JP2016146529A - モノクロ写真のカラー化 - Google Patents
モノクロ写真のカラー化 Download PDFInfo
- Publication number
- JP2016146529A JP2016146529A JP2015022116A JP2015022116A JP2016146529A JP 2016146529 A JP2016146529 A JP 2016146529A JP 2015022116 A JP2015022116 A JP 2015022116A JP 2015022116 A JP2015022116 A JP 2015022116A JP 2016146529 A JP2016146529 A JP 2016146529A
- Authority
- JP
- Japan
- Prior art keywords
- color
- model
- urs
- data
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 57
- 239000003086 colorant Substances 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 35
- 238000007639 printing Methods 0.000 claims description 4
- 235000019557 luminance Nutrition 0.000 description 60
- 238000010586 diagram Methods 0.000 description 31
- 230000003746 surface roughness Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 101150071132 LTE1 gene Proteins 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Color, Gradation (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【解決手段】本発明に係るモノクロ写真のカラー化方法は、新規なカラーモデル(URSモデル)を用いて、基準色Pおよび屈折点Sを決定することにより、その写真の中の色分布を近似する工程を備える。
【選択図】図4
Description
を参照のこと)。
色相はx軸から計ったz軸のまわりの回転角θで表し、ただし、Rの色相はθ=0とし、この向きをx軸とし、またGの方がBよりθが小さいとし、
前記URSモデル内のBkからR、G、Bに引いたベクトル
本発明は、本明細書に記載される特定の方法、プロトコール、および材料などに限定されず、バリエーションを含んでもよいことが理解されるべきである。本明細書において使用される技術用語は、特定の実施形態を説明する目的のためであって、本発明の範囲を限定することは意図されず、この範囲は特許請求の範囲によってのみ規定される。
(URSモデルの構築)
(従来のカラーモデル)
カラーモデルとは、色を規則に沿って2次元あるいは3次元空間上に配列する形式であり、色を座標で指示できるようにしたものである。カラーモデルを用いれば、色同士の違いという人間的な感覚を、それぞれの色を座標として扱うことで数値的に違いを調べることができる。
従来モデルの問題点を解消し、白黒写真から得られる輝度情報から元の色を復元するために、輝度と色との関係を明確に示せる新しいカラーモデルUeda Rectangular Solid model(URSモデル)を定義する。完成したものが図3である。
一般に、色を数値で表すにはいくつかの方法がある。三原色R、G、Bの各強度をr,g,bとするとき、これを{r,g,b}と記すことにする。ただし、
また、色は「輝度」、「彩度」、「色相」によって表される。この3つの自由度を表すためにURSモデルは3次元直交座標の位置(x,y,z)で色を表すことにする。
{r,g,b}、輝度、彩度、色相とURSモデルの座標(x,y,z)を次のようにして決定する。
[輝度]輝度はモデル内の高さzで表し、Bkの座標を(0,0,0)、Whを(0,0,1)とする。三原色の強度が{r,g,b}の色の輝度は、一般にカラー画像を白黒化する際に用いられる式をそのまま使い、次式で定義する。
[彩度]彩度はz軸からの距離で表す。
[色相]色相はx軸から計ったz軸のまわりの回転角θで表す。ただし、Rの色相はθ=0とし、この向きをx軸とする。また、Gの方がBよりθが小さいとする。
[色と基準ベクトル]モデル内のBkからR、G、Bに引いたベクトル
色Pの成分を{r,g,b}とするとき、色PのURSモデル内の座標は基準ベクトルを用いて次式で定義する。
式(2)の彩度は、Bk−Wh軸(z軸)上の色、つまり全てのグレーで0となり、色鮮やかなほどz軸から離れた位置に座標をとることを意味する。
以上の定義だけでは、3原色R、G、Bおよびそれらの補色C、M、YのURSモデル内の座標を計算することはできない。そこで、さらに条件を追加する。
[条件1]
URSモデルの形状は、色を簡単に3原色に分解できるようにするため、全ての色が
[条件2]
基本の6色で補色関係にある色RとC,GとM、BとYの相対的な位置関係は等しく、それぞれの距離はBk−Whの距離1に等しいとする。まとめると、
[条件3]
URSモデルでの基本の6色は平行六面体の各頂点に位置し、それぞれ輝度0.5のグレー(0,0,0.5)から等距離にあり、距離は0.5とする。したがって、この平行六面体は、(0,0,0.5)を中心とする半径0.5の球面に内接する。
以上の条件から、URSモデル内の基本の6色、つまり、平行六面体の各頂点の座標を決定していこう。
3原色R、G、Bの座標を
RGB色空間からURSモデルへの座標の変換は次式で定義する。
写真内の色の特徴を考える際、CGのレンダラの計算が参考になると考えた。そこで、実験用レンダラの製作と、写真内で色の決定に必要な条件の特定を行った。計算式には、物理ベースのレンダリング方程式に用いられる光の反射モデルの1つであるBRDFの式を用いた。
まず鏡面反射係数F(λ,θ)には、フレネルの方程式を用いる。入射角をθ、調べる光の波長をλ、その波長での屈折率をとおくと、
で求められる。つまり、
である。また、反射光が遮られる場合の減衰率Gcは、
である。減衰は入射時または反射時のどちらかのみで起こり(図8)、減衰率Gは0(完全にさえぎられる)〜1(減衰なし)であるから、
よって、写真内で色を左右する要素は、ベクトル
カラー化を考える際、最初から実際の写真のような複雑で多様な条件を考慮するのは困難である。そこで、実際の写真と似た特徴を持ち、かつ単純な画像があれば理想的であると考えた。光の挙動の計算式を基に、このような理想的なモデルを考案した。
実際の写真において、ある程度広い範囲が撮られており、全ての方向に均等に法線ベクトルが分布している場合、写真内に映りうる色は、全ての向きに等しい割合で法線ベクトルをもつと考え、「球体」によってすべてを調べることができると考える。
球体のCG画像(図9左)の各画素の色をURSモデルにプロットすると、図9右のようになる。
図9右のモデルでは、CG画像に表した元の色である「少し明るい赤色」の点と白Wh、黒Bkを結んだ線上に、CG画像内のほとんどの色がのっており、元の色の点の少し内側でそれぞれ折れ曲がり、さらにその囲まれた領域に散らばりを持っている。
光源方向をx軸の周りで視線方向から0°、30°、60°、90°と変化させた際、色の並びがどう変化するかを調べた(図10〜13)。このように、光源方向を変化させた場合、視線方向となす角が広がるほど散らばりが強くなった。また、外側の主な線は変化しないことがわかった。
光源方向を0°とし、物体の表面の粗さを変化させた際の色の分布を調べた(図14〜16)。このように、粗さを変化させてもBkおよびWhから折れ曲がり点までは変化はないが、荒さを上げるほど折れ曲がり点がBk、Whに近づくことがわかった。
物体の色を(R,G,B)=(1.0,0,0)、(0.7,0,0)、(0.4,0,0)、(0.1,0,0)のように、色の濃さを変化させたときの色の分布を調べた(図17〜20)。このように、物体の色の濃さを変化させてもBkおよびWhから折れ曲がり点までは変化はないが、色が濃くなるほど折れ曲がり点がBk、Whに近づくことがわかった。
光源の強さを10、20、30と変化させた場合の色の分布を調べた(図21〜23)。このように、光源の強さを変化させてもBkおよびWhから折れ曲がり点までは変化はないが、光源が弱くなるほど折れ曲がり点がBk、Whに近づくことがわかった。
物体の色相を、他の基本色であるG(0,1.0,0)やC(0,1.0,1.0)、また基本色以外の色として(1.0,0.5,0)や(0,0.5,1.0)にしたときの色の分布を調べた(図24〜27)。このように、他の基本の色でも、分布の外側の線は、その色と黒、白を繋いだ線になった。また、基本の6色でない色の場合の分布の外側の線は、黒とその色、その色とC,M,Y−Whの軸上の点、軸上の点と白をそれぞれ結んだ線となった。
数値実験結果より、URSモデルにプロットされた点の並びは、物体の色などの条件によって、もっと簡単に表せるのではないかと考えた。そこで、色の分布の近似を考えた。
球による理想的なモデルにおいてでは成り立った、色の分布の近似方法が、実際の写真でも成り立つかをつぎの手順で調べた。
(1)元のカラー画像(図30)をデジタル処理により一旦モノクロ画像に変換する。
(2)カラー画像の色をURSモデルにプロットする。図32の赤い点がその分布である。
(3)この赤い点の分布を図32の青い折れ線で近似する。
(4)青い線に従って、モノクロ画像の色を復元し、図31が得られる。図33〜図35も同様である。
復元の精度の評価には、カラーモデル内での距離の平均を用いた。
図30の写真の復元での平均誤差は0.0428、図33の写真の復元での平均誤差は0.0274となった。
このように、写真全体が似た色相である場合、近似式から元の色に大まかに復元することができることがわかった。
写真の条件を変えた際、写真全体の明るさや、隣どうしの画素を比べたとき鏡面反射等の明るさの差が大きくなる部分が変化した。そこで、写真全体でそれぞれの輝度を示す「画素数」および「輝度の変化量」を調べれば、基準色や屈折点などの特徴点の輝度が求まるのではないかと考えた(図36)。
理想的なモデルにおいて、物体の色の基準色の輝度が同じで色相のみが違うとき、画像にどのような違いが現れるかを調べた(図37〜図39)。
右側のグラフはそれぞれの画像についての、各輝度での輝度の変化量の平均値のグラフである。このように、色相の情報は、ヒストグラムの「形」に現れた。
色相の特定を行うためには、元の写真に写る物体の色が指定した色相のときの画像が必要であるが、それを得るためには映っている物体の形状を特定しなければならず、白黒写真から色相による差を調べられるほどの精度で立体化することは困難である。
よって、輝度のヒストグラムで最大値を示すのは、光源方向と視線方向のなす角をθとするとき、
(基準色の輝度)×(光源の強さ)×cosθ
である。また、屈折点について、
(屈折点の輝度)=(基準色の輝度)×(光源の強さ)
以上より、屈折点、基準色のそれぞれの輝度から光源の方向と強さと求めることができる。
写真から条件の一致する球体を作り、色相を変化させて「ある輝度での輝度の変化量」のヒストグラムを作り、どの色相で最も元の写真のヒストグラムに近づくかを調べる。
まず、理想的なモデルでは輪郭による輝度の変化を考慮していないため、写真から輪郭での変化を除去する。写真を取り込むときの大きさや映っている物体の大きさによって、全体的な変化量の大きさが変化してしまうため、輪郭部での輝度の変化量は写真によって異なる。そこで、輝度の変化量の度数分布表を作り、平均を下回る変化量の画素は、
ここまでは写真全体での基準色が1つの場合を扱ってきたが、実際の写真では当然複数色用いられている場合が存在する。写真内の色が2色以上使われている場合、現実の色の近い部分ごとに画像を分割し、それぞれで色を特定すればよいと考えた。
Claims (9)
- モノクロデータをカラーデータに変換する方法であって、前記方法は、
URSモデルを構築する工程、および
前記URSモデルを用いて、モノクロデータを、輝度、彩度、および色相からなるカラーデータに変換する工程を包含し、
ここで、前記URSモデルは、
xyz座標で表される三次元空間中に、黒(Bk)、白(Wh)、赤(R)、青(B)、G(緑)、シアン(C)、マゼンタ(M)、黄色(Y)に関する座標を有するカラーモデルであって、
前記黒(Bk)、白(Wh)、赤(R)、青(B)、G(緑)、シアン(C)、マゼンタ(M)、黄色(Y)に関する座標の各々は、これらを各頂点とする平行六面体を構成し、かつこれらの各頂点は、黒(Bk)と白(Wh)のちょうど中間である灰色(中心の灰色)を中心とする半径0.5の球の表面上に存在し、
黒(Bk)および白(Wh)の座標はz軸上に存在し、黒(Bk)の座標は(0,0,0)であり、白(Wh)の座標は(0,0,1)であり、中心の灰色の座標は(0,0,0.5)であり、
前記平行六面体において、黒(Bk)に隣接する頂点は、赤(R)、青(B)、G(緑)であり、輝度はG(緑)>赤(R)>青(B)となるように配置されており、彩度はG(緑)>赤(R)>青(B)となるように配置されており、
前記平行六面体において、白(Wh)に隣接する頂点は、シアン(C)、マゼンタ(M)、黄色(Y)であり、輝度は黄色(Y)>シアン(C)>マゼンタ(M)となるように配置されており、彩度はマゼンタ(M)>シアン(C)>黄色(Y)となるように配置されており、
輝度は前記URSモデル内の高さzで表され、
彩度はz軸からの距離
色相はx軸から計ったz軸のまわりの回転角θで表し、ただし、Rの色相はθ=0とし、この向きをx軸とし、またGの方がBよりθが小さいとし、
前記URSモデル内のBkからR、G、Bに引いたベクトル
、方法。 - 請求項1に記載のモノクロデータをカラーデータに変換する方法であって、
さらに、URSモデルを用いて、モノクロデータにおける輝度の基準色Pおよび屈折点Sを決定することにより、そのモノクロデータの中の色分布を近似する工程を備える、
方法。 - 請求項1または2に記載のモノクロデータをカラーデータに変換する方法であって、
モノクロデータから得られる輝度の変化量のヒストグラムのピークおよび輝度のヒストグラムの中央値から、基準色Pおよび屈折点Sを誘導する工程を備える、
方法。 - 請求項1〜3のいずれか一項に記載のモノクロデータをカラーデータに変換する方法であって、
カラーデータから作成される写真内の色が2色以上使われている場合に、輝度および各画素での輝度の変化量で二次元座標にプロットし、クラスタリングを行うことにより基準の色を求める工程を備える、
方法。 - コンピュータによって処理される、請求項1〜4のいずれか一項に記載のモノクロデータをカラーデータに変換する方法。
- モノクロデータがモノクロ写真の輝度データである、請求項1〜5のいずれか1項に記載のモノクロデータをカラーデータに変換する方法。
- 請求項1〜6のいずれか1項に記載のモノクロデータをカラーデータに変換する方法によって得られたカラーデータを用いて、カラー写真を作成する方法。
- モノクロ写真をスキャンしてモノクロデータを収集する工程、およびカラー写真を印刷する工程をさらに備える、請求項7に記載の方法。
- 請求項1〜8のいずれか1項に記載のモノクロデータをカラーデータに変換するための装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022116A JP2016146529A (ja) | 2015-02-06 | 2015-02-06 | モノクロ写真のカラー化 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022116A JP2016146529A (ja) | 2015-02-06 | 2015-02-06 | モノクロ写真のカラー化 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016146529A true JP2016146529A (ja) | 2016-08-12 |
Family
ID=56686258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015022116A Pending JP2016146529A (ja) | 2015-02-06 | 2015-02-06 | モノクロ写真のカラー化 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016146529A (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005323258A (ja) * | 2004-05-11 | 2005-11-17 | Toppan Printing Co Ltd | 色変換方法および色変換装置 |
JP2011049734A (ja) * | 2009-08-26 | 2011-03-10 | Konica Minolta Business Technologies Inc | 画像処理方法および画像処理装置 |
-
2015
- 2015-02-06 JP JP2015022116A patent/JP2016146529A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005323258A (ja) * | 2004-05-11 | 2005-11-17 | Toppan Printing Co Ltd | 色変換方法および色変換装置 |
JP2011049734A (ja) * | 2009-08-26 | 2011-03-10 | Konica Minolta Business Technologies Inc | 画像処理方法および画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU735613B2 (en) | Method for image processing | |
US9773302B2 (en) | Three-dimensional object model tagging | |
RU2680765C1 (ru) | Автоматизированное определение и обрезка неоднозначного контура документа на изображении | |
TW201730627A (zh) | 用於檢測顯示器所產生的光場缺陷之光學計量系統 | |
US11516412B2 (en) | Image processing method, image processing apparatus and electronic device | |
US10540810B2 (en) | System and method of rendering a graphical object with modification in structure | |
JP6004481B2 (ja) | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム | |
US20190266788A1 (en) | System and method of rendering a surface | |
JP2006215756A (ja) | 画像処理装置および画像処理方法ならびにそのプログラム | |
Hincapié-Ramos et al. | SmartColor: Real-time color correction and contrast for optical see-through head-mounted displays | |
CN112241933A (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
US10846887B2 (en) | Machine vision processing system | |
CN109636890B (zh) | 纹理融合方法和装置、电子设备、存储介质、产品 | |
CN102638639A (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
Menk et al. | Visualisation techniques for using spatial augmented reality in the design process of a car | |
KR20140058674A (ko) | 본질 이미지들을 이용하는 디지털 이미지 신호 압축 시스템 및 방법 | |
CN109104545A (zh) | 图像处理设备、图像处理方法和图像处理系统 | |
US20170372134A1 (en) | Method and subsystem for identifying document subimages within digital images | |
JP6776004B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2016146529A (ja) | モノクロ写真のカラー化 | |
Gaiani | Color Acquisition, Management, rendering, and assessment in 3D reality-based models construction | |
CN113783996A (zh) | 屏幕缺陷优化方法、装置、设备及计算机存储介质 | |
CN105681774A (zh) | 一种图像处理的方法及终端 | |
KR101772626B1 (ko) | 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치 | |
US10325406B2 (en) | Image synthesis method and image synthesis device for virtual object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180918 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190312 |