JP2009219140A - カラー画像の露出評価方法 - Google Patents
カラー画像の露出評価方法 Download PDFInfo
- Publication number
- JP2009219140A JP2009219140A JP2009119369A JP2009119369A JP2009219140A JP 2009219140 A JP2009219140 A JP 2009219140A JP 2009119369 A JP2009119369 A JP 2009119369A JP 2009119369 A JP2009119369 A JP 2009119369A JP 2009219140 A JP2009219140 A JP 2009219140A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- frequency
- exposure
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】同一シーンについて露出を変えて複数枚のカラー画像系列を取得する。これら複数枚のカラー画像系列において、ある画像位置についての複数枚のカラー画像のうち、色の出現頻度が低い画像を、その画像位置における露出が適正な画像であると判断する。
【選択図】図7
Description
「コンピュータ画像処理入門」(田村秀行著)総研出版、1985 「C言語による画像処理」(安居院猛、中嶋正之、木見尻秀子著) 昭晃堂、1990 酒井幸市:Visual Basic & Visual C++によるデジタル画像処理入門、 CQ出版社、2002
写真撮影の際に、同じシーンを露出を変えて複数撮影したときに、注目している物体の見やすさと色の出現頻度との関係について説明する。図1は、図2の同一シーンを、露出を変えて9通りに撮影した画像群であり、それぞれの画像に1〜9の番号を付している。図2に示すように、机の上にはプラスチック製の鉢が置いてあり、机の下にはプラスチック製の鳥の人形が置いてある。鉢に対して適正な露出を合わせると、鳥の人形が暗くつぶれてしまう。逆に鳥の人形に露出を合わせると、鉢は白くとんでしまう。
色の頻度情報を有するカラーヒストグラム空間において、その頻度を調べることで、露出を変えて撮影した画像の適正な露出を判断することができる。以下、これを具体的に説明する。
[頻度画像の作成]
実シーンでは、画素のRGB値は種々のノイズの影響を受けることが多いため、複数枚の同じシーンを連続して取得したカラー画像を用いて頻度画像を作成する。具体的な手順を以下に示す。
RGBカラーヒストグラム空間では、同じ色の距離であっても、その位置により人間には異なった距離に感じることが知られている。たとえば、緑付近の色の差と青付近の色の差がRGB空間で同じであっても人間には青付近の方がより差を感じる。
L*:明度
a*:値が大きいほど赤、小さいほど緑
b*:値が大きいほど黄、小さいほど青
の3つの値で色を表す。
(基本的な考え方)
ディジタルカメラなどから得られる24ビットフルカラー画像を用いた場合の露出補正の基本的な考え方は次の二つである。
(前景と背景の決定)
原画像をL*a*b*表色系のL*の値で2値化する。この時の閾値は判別分析法により自動で決定し、閾値より明度の低い部分を前景とし、明度の高い部分を背景とする。
前景部分の最適露出画像fo(x,y)は、上記のフルカラー画像の暗部の明るさを線形濃度変換により強調して作成したものとする。このとき、濃度変換直線の傾きを少しずつ変化させて、前景部分の明度のエントロピーが最大になるものを求める。
求めた最適露出画像fo(x,y)、fu(x,y)を、上述の均等色空間の性質を持つRGBカラーヒストグラム空間にそれぞれプロットして、それぞれの頻度画像go(x,y)、gu(x,y)を作成する。
頻度の低い領域ほど露出が適正なので、2枚の頻度画像で同じ位置の頻度を比べ、頻度の低い方が多くブレンドされるように、下記の式によって画素ごとにブレンド比ro(x,y)、ru(x,y)を決める。
次に、上記で求めた最適露出画像fo(x,y)、fu(x,y)のブレンド比ro(x,y)、ru(x,y)を濃淡画像で表したブレンド比マップの画像を作成する。この画像は、前景部分の露出が適正である画像fo(x,y)のブレンド割合が高いほど明るい画像となる。
ノイズの影響を避けるためブレンド比マップをスムージングする。単にスムージングすると画像中におけるエッジの付近がぼけてしまうため、画像中の場所によって動的に重みが変わるスムージングフィルタを利用する。このフィルタは図10に示すようなガウシアンフィルタであるが、図10(a)に示すようにエッジ付近では分散値を小さく、図10(b)に示すようにエッジから離れるに従って分散値σを大きく設定する。
前景最適露出画像fo(x,y)と背景最適露出画像fu(x,y)の各画素のRGB値を用いてブレンド比ro(x,y)、ru(x,y)によって実際にブレンドを行う際、画素のRGBの値は、下記の式(9)を用いていったん公知のY/C分離信号に変換し、Y成分とC成分を別々にブレンドした後、式(9)をRGBに関して解いた式(10)を用いてRGBの値に逆変換し、画像とする。
デジタルカメラで撮影したJPEG画像から24ビットのフルカラー画像を得て、これを原画像として実験を行った。
(まとめ)
以上のようにして、24ビットフルカラー画像を用いて、局所的に露出の不適正な部分を補正することができる。これは、同一シーンにおいて露出を変えて撮影した画像において、露出の適正な部分は、色の出現頻度が低くなるという知見に基づくものである。本手法は、カラー画像の明度情報を基にブレンドや補正を行う手法と異なり、人間の知覚に基づいたカラー空間より得られる情報を用いるため、視覚的に違和感のない自然な補正画像を作成することができる。
(中間画像の利用)
次に、中間画像を利用する場合について説明する。この処理では、たとえば原画像を減色した背景画像と原画像を明るくした前景画像の2枚を用いるとともに、その2枚以外に、背景画像と前景画像の中間の明るさの、単数または複数の中間画像を作成する。
フルカラーの画像ではRGBがそれぞれ256階調あり、色数は256×256×256存在する。
背景画像より作成した頻度画像:中間画像1より作成した頻度画像
背景画像より作成した頻度画像:中間画像2より作成した頻度画像
背景画像より作成した頻度画像:中間画像3より作成した頻度画像
背景画像より作成した頻度画像:前景画像より作成した頻度画像
のように、背景画像と、単数または複数の中間画像および前景画像とで、それぞれブレンド比マップを作成し、これらを用いて新たなブレンド比マップを得る。具体的には、各ブレンド比マップの平均や、各ブレンド比マップにそれぞれ係数を乗じて加え合わせたものなどを、新たなブレンド比マップとすることができる。各ブレンド比マップにそれぞれ係数を乗じる場合には、たとえば、背景画像と前景画像によるブレンド比マップに乗じる係数の値を、中間画像を用いた場合のブレンド比マップに乗じる係数の値よりも大きな値とすることができる。
上述の露出補正方法に、さらに中間画像をも利用した処理のアルゴリズムの例を、図17に示す。
図18に示すように、高速化アルゴリズムのために、原画像より縮小した縮小画像を作成する。縮小は、最近傍法、線形補間法、三次補間法などの一般的なアルゴリズムを使用する。この縮小画像を原画像として、上述と同様の処理により、ブレンド比マップを作成する。
ここでは、画像のRAWデータを用いて処理を行う。
RAWデータとは、ディジタルカメラにおいて撮影時に撮像素子が生成したRAWモードのデータであり、画像ではない。一般にディジタルカメラで出力される画像は、ガンマ値、明るさ、色、ホワイトバランスなどのパラメータを設定して、RAWデータから生成されたものである。この処理を一般に「現像」という。現在までに公開されている現像ソフトでは上に挙げたパラメータを任意に設定できない。そのため、例えば図19のように影の領域や空の領域に色の変化が見られない。そこで、ここではRAWデータを直接処理することのできる「dcraw」というフリーライセンスの現像ソフト(“RAW Digital Photo Decoding in Linux”、http://www.cybercom.net/〜dcoffin/dcraw/)を用いる。dcrawを用いると、図20、21に示すように明るさの異なる2枚の画像を現像できる。
2枚の画像をブレンドすることによって露出の補正を行った図24のブレンド結果は初見では不自然だと感じることはないが、原画像と共に見ると人物の左肩にある影が不自然である。これはブレンドする2枚の画像の明るさに差があるため、オーバー気味な画像において飛んでいる領域の面積が増え、頻度が極度に大きくなりブレンドに無理が生じたためである。そこで、最適なブレンド比マップを作成する方法について説明する。
このRAWデータを用いて処理を行う場合も、同様に、原画像より縮小した縮小画像を作成する。この縮小画像を原画像としてブレンド比マップを作成し、得られたブレンド比マップを原画像のサイズに拡大し、この拡大したブレンド比マップを用いて露出補正画像を作成することができ、これによって処理の高速化を図ることができる。
以上の処理をフローチャートで表したものを図31に示す。この処理は、以下の各工程を含む。
(b)露出アンダー(Iu)及び露出オーバー(Io)の各1枚の画像と、中間の露出のN枚(但し、Nは0又は1以上の自然数)の画像とをRGB表色系で作成する工程、
(c)重みテーブルを用いて、L*a*b*表色系の性質を持つRGB表色系のカラーヒストグラムを作成する工程、
(d)IuとIoの頻度画像を作成する工程、
(e)IuとIoの平均画像Imを作成し、Imの急峻さを検出して位置可変のガウシアンフィルタのパラメータを決定する工程、
(f)各画素毎にブレンド比を決定し、ガウシアンフィルタを用いて補正されたブレンド比マップを作成する工程、
(g)各画像におけるRGB値のY/C分離を行う工程、
(h)Y成分及びC成分毎にブレンド比を用いて合成画像を作成する工程、
(i)Y成分及びC成分からRGB表色系へ変換する工程、
(j)画像表示(最終画像)を得る工程、
露出の不適正な領域と適正な領域が混在する画像を取得し、実験を行った。実験に用いた画像は、ディジタルカメラCanon EOS D30のRAWモードにて撮影し、サイズを半分にして現像した1088×724[pixel]のRGB各8bitのフルカラー画像である。処理はAthlon XP 2500+のCPU、512MB RAMのメモリを搭載したパーソナルコンピュータを用いて行った。処理時間は、画像によって差はあるが、約2.5(min)であった。
Claims (1)
- 同一シーンについて露出を変えて複数枚のカラー画像系列を取得し、これら複数枚のカラー画像系列において、ある画像位置についての複数枚のカラー画像のうち、色の出現頻度が低い画像を、その画像位置における露出が適正な画像であると判断することを特徴とするカラー画像の露出評価方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009119369A JP5050141B2 (ja) | 2004-12-01 | 2009-05-18 | カラー画像の露出評価方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347925 | 2004-12-01 | ||
JP2004347925 | 2004-12-01 | ||
JP2009119369A JP5050141B2 (ja) | 2004-12-01 | 2009-05-18 | カラー画像の露出評価方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005342982A Division JP4359662B2 (ja) | 2004-12-01 | 2005-11-29 | カラー画像の露出補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009219140A true JP2009219140A (ja) | 2009-09-24 |
JP5050141B2 JP5050141B2 (ja) | 2012-10-17 |
Family
ID=41190491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009119369A Active JP5050141B2 (ja) | 2004-12-01 | 2009-05-18 | カラー画像の露出評価方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5050141B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014220759A (ja) * | 2013-05-10 | 2014-11-20 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
WO2021039454A1 (ja) * | 2019-08-30 | 2021-03-04 | キヤノン株式会社 | 画像処理装置、放射線撮影システム、画像処理方法及びプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11195115A (ja) * | 1997-12-26 | 1999-07-21 | Fuji Photo Film Co Ltd | 画像出力方法および装置 |
JP2001008216A (ja) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2002010073A (ja) * | 2000-06-19 | 2002-01-11 | Ricoh Co Ltd | 画像処理装置および画像処理方法および記録媒体 |
JP2002290707A (ja) * | 2001-03-26 | 2002-10-04 | Olympus Optical Co Ltd | 画像処理装置 |
JP3464182B2 (ja) * | 1999-11-25 | 2003-11-05 | 徳島県 | カラー画像の処理方法 |
JP2004229259A (ja) * | 2002-11-26 | 2004-08-12 | Keio Gijuku | カラ−画像処理装置および処理方法 |
JP2004297269A (ja) * | 2003-03-26 | 2004-10-21 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2005295567A (ja) * | 2004-04-01 | 2005-10-20 | Microsoft Corp | 輝度補正を伴うデジタルカメラ |
-
2009
- 2009-05-18 JP JP2009119369A patent/JP5050141B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11195115A (ja) * | 1997-12-26 | 1999-07-21 | Fuji Photo Film Co Ltd | 画像出力方法および装置 |
JP2001008216A (ja) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP3464182B2 (ja) * | 1999-11-25 | 2003-11-05 | 徳島県 | カラー画像の処理方法 |
JP2002010073A (ja) * | 2000-06-19 | 2002-01-11 | Ricoh Co Ltd | 画像処理装置および画像処理方法および記録媒体 |
JP2002290707A (ja) * | 2001-03-26 | 2002-10-04 | Olympus Optical Co Ltd | 画像処理装置 |
JP2004229259A (ja) * | 2002-11-26 | 2004-08-12 | Keio Gijuku | カラ−画像処理装置および処理方法 |
JP2004297269A (ja) * | 2003-03-26 | 2004-10-21 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2005295567A (ja) * | 2004-04-01 | 2005-10-20 | Microsoft Corp | 輝度補正を伴うデジタルカメラ |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014220759A (ja) * | 2013-05-10 | 2014-11-20 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
WO2021039454A1 (ja) * | 2019-08-30 | 2021-03-04 | キヤノン株式会社 | 画像処理装置、放射線撮影システム、画像処理方法及びプログラム |
JP7418171B2 (ja) | 2019-08-30 | 2024-01-19 | キヤノン株式会社 | 画像処理装置、放射線撮影システム、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5050141B2 (ja) | 2012-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9852499B2 (en) | Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification | |
CN105144233B (zh) | 用于运动重影滤波的参考图像选择 | |
EP2624204B1 (en) | Image processing apparatus and method of controlling the same | |
CN108668093B (zh) | Hdr图像的生成方法及装置 | |
TWI464706B (zh) | 以單張影像模擬高動態範圍之暗部曝光補償方法及其應用該方法的影像處理裝置 | |
US8902328B2 (en) | Method of selecting a subset from an image set for generating high dynamic range image | |
JP2008054066A (ja) | 画像処理装置と撮影装置 | |
US20180025476A1 (en) | Apparatus and method for processing image, and storage medium | |
JP2018006912A (ja) | 撮像装置、画像処理装置及びそれらの制御方法、プログラム | |
Kao | High dynamic range imaging by fusing multiple raw images and tone reproduction | |
JP2016086246A (ja) | 画像処理装置及び方法、及び撮像装置 | |
WO2008102296A2 (en) | Method for enhancing the depth sensation of an image | |
US10863103B2 (en) | Setting apparatus, setting method, and storage medium | |
JP4359662B2 (ja) | カラー画像の露出補正方法 | |
US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
CN110246086A (zh) | 彩色图像增强的图像处理方法及其图像处理系统 | |
JP5050141B2 (ja) | カラー画像の露出評価方法 | |
JP7277158B2 (ja) | 設定装置及び方法、プログラム、記憶媒体 | |
EP4090006A2 (en) | Image signal processing based on virtual superimposition | |
JP2020145594A (ja) | 画像処理装置及び画像処理方法、及び撮像装置 | |
JP6627530B2 (ja) | 画像処理装置及びプログラム | |
WO2022067761A1 (zh) | 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质 | |
JP7277156B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
CN115689903A (zh) | 图像处理方法及装置、设备、存储介质 | |
JP2003264849A (ja) | カラー動画像処理方法および処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120403 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5050141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150803 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |