JP2004350222A - 画像処理装置、電子カメラ、及び画像処理プログラム - Google Patents
画像処理装置、電子カメラ、及び画像処理プログラム Download PDFInfo
- Publication number
- JP2004350222A JP2004350222A JP2003147894A JP2003147894A JP2004350222A JP 2004350222 A JP2004350222 A JP 2004350222A JP 2003147894 A JP2003147894 A JP 2003147894A JP 2003147894 A JP2003147894 A JP 2003147894A JP 2004350222 A JP2004350222 A JP 2004350222A
- Authority
- JP
- Japan
- Prior art keywords
- image
- adjustment
- color
- adjustment amount
- electronic camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【解決手段】被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段(S1〜S4)と、画像のうち無彩色検出された部分領域が第1調整量でホワイトバランス調整された際の色信号のバランスを演算する演算手段(S5)と、ずれが閾値以上残存しているとき(S6NO)には第1調整量の値をそのまま第2調整量に設定し、ずれが閾値未満しか残存していないとき(S6YES)にはそのずれが圧縮される方向に第1調整量の値を補正してから(S7)第2調整量に設定する(S8)第2設定手段とを備える。
【選択図】 図2
Description
【発明の属する技術分野】
本発明は、被写体の画像に施すべきホワイトバランス調整の調整量を決定するための画像処理装置、その決定機能を搭載した電子カメラ、及びその調整量を決定するための画像処理プログラムに関する。
【0002】
【従来の技術】
一般の電子カメラには、白色の物体を照明色に依らず白色で表現するためのオートホワイトバランス調整の機能が搭載されている。
このホワイトバランス調整の方法として代表的なのは、次の方法(1),方法(2)などである。
【0003】
方法(1)は、被写体の画像全体の平均色に基づき照明色を判定し、その照明色に応じた調整量(ホワイトバランスゲイン(gr,gb))でホワイトバランス調整(信号に対するホワイトバランスゲイン(gr,gb)の乗算)を行うものである。
方法(2)は、被写体の画像から無彩色領域を探索し、その無彩色領域の色に基づき照明色を判定し、その照明色に応じたホワイトバランスゲイン(gr,gb)でホワイトバランス調整を行うものである(特許文献1,特許文献2など)。
【0004】
しかし、方法(1)は、灰色原理(画像全体の物体色を平均化すると無彩色になるという前提)の上に立つので、物体色に偏りのある画像(例えば、海の画像、芝生の画像、赤い壁の画像など)に適用すると、その物体色の偏りが照明色の偏りとみなされてしまい、誤判定し、ホワイトバランス調整に失敗することがある。
また、方法(2)は、照明色は予め決められた複数種(例えば、日中の自然光の色、蛍光灯の色、白熱灯の色)の何れかであるとの前提の上に立つので、想定外の照明色で照明された被写体の画像に適用すると、有彩色領域が特定の照明色の下での無彩色領域とみなされてしまい、誤判定し、ホワイトバランス調整に失敗することがある。
【0005】
これらの失敗を低減するため、方法(3)が提案された。
方法(3)は、方法(1),(2)による2つの判定結果(ここでは照明色)を画像撮影時の撮影条件や画像内の色の分布に基づいて重み付け平均し、平均化された照明色に応じて、ホワイトバランスゲイン(gr,gb)を決定する方法である。
【0006】
【特許文献1】
特開平8−322061号公報
【特許文献2】
特開平11−205812号公報
【0007】
【発明が解決しようとする課題】
しかしながら、方法(3)のように複数の互いに異なる判定結果を平均化すると、ホワイトバランス調整に失敗(大外しする)確率は低減されるものの、ホワイトバランス調整に成功(大正解する)確率も低減されてしまう。
【0008】
そこで本発明は、ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
請求項1に記載の画像処理装置は、被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段と、前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手段と、前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手段とを備えたことを特徴とする。
【0010】
請求項2に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記画像の全体を前記第2調整量でホワイトバランス調整する調整手段をさらに備えたことを特徴とする。
請求項3に記載の電子カメラは、被写体を撮像する撮像素子と、前記撮像素子から出力される画像に基づいて演算を行う回路部とを備え、前記回路部は、被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段と、前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手段と、前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手段とを備えたことを特徴とする。
【0011】
請求項4に記載の電子カメラは、請求項3に記載の電子カメラにおいて、前記回路部は、前記画像の全体を前記第2調整量でホワイトバランス調整する調整手段をさらに備えたことを特徴とする。
請求項5に記載の電子カメラは、請求項3又は請求項4に記載の電子カメラにおいて、前記第1設定手段は、2種類以上の互いに異なる方法で判定された前記被写体の照明色に基づいて前記設定を行うことを特徴とする。
【0012】
請求項6に記載の電子カメラは、請求項3又は請求項5に記載の電子カメラにおいて、前記第1設定手段は、ユーザ入力に従って前記設定を行うことを特徴とする。
請求項7に記載の電子カメラは、請求項3〜請求項6の何れか一項に記載の電子カメラにおいて、前記ずれの前記閾値は、同種照明間の演色性の相違に相当する大きさであることを特徴とする。
【0013】
請求項8に記載の電子カメラは、請求項3〜請求項6の何れか一項に記載の電子カメラにおいて、前記ずれの緑色方向の前記閾値は、前記ずれの反緑色方向の前記閾値より小さいことを特徴とする。
請求項9に記載の画像処理プログラムは、被写体の画像に対しホワイトバランス調整を施すコンピュータ読み取り可能な画像処理プログラムにおいて、被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手順と、前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手順と、前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手順とを含むことを特徴とする。
【0014】
請求項10に記載の画像処理プログラムは、請求項9に記載の画像処理プログラムにおいて、前記画像の全体を前記第2調整量でホワイトバランス調整する調整手順をさらに備えたことを特徴とする。
【0015】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【0016】
[第1実施形態]
図1、図2、図3、図4を参照して本発明の第1実施形態について説明する。
本実施形態は電子カメラの実施形態である。
図1は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラは、電子カメラ本体1,撮影レンズ2からなる。
【0017】
電子カメラ本体1には、撮像素子11、A/D変換器12、設定回路13、ホワイトバランス調整回路14、補間回路15、階調変換処理回路16などが備えられる。このうち、設定回路13及びホワイトバランス調整回路14が請求項における回路部、及び画像処理装置に対応する。
撮影レンズ2は、被写体の像を撮像素子11上に結ぶ。
【0018】
撮像素子11から出力される各画像の各画素信号(R,G,B)は、A/D変換器12、ホワイトバランス調整回路14、補間回路15、階調変換処理回路16を経由した後、不図示の記録媒体に格納される。
各画素信号(R,G,B)は、A/D変換器12にてディジタル信号に変換され、ホワイトバランス調整回路14にてホワイトバランス調整され、補間回路15において画素補間処理され、階調変換処理回路16において階調変換処理される。
【0019】
このうちホワイトバランス調整は、ホワイトバランス調整回路14が、各画素信号(R,G,B)に対しホワイトバランスゲイン(gr,gb)(請求項における第2調整量に対応。)を乗算する(gr×R,G,gb×B)ことによって実現する。
このホワイトバランスゲイン(gr,gb)は、演算回路、RAM、ROMなどからなる設定回路13によって1画像毎に設定される。
【0020】
設定回路13は、A/D変換器12から出力される1画像分の画素信号(R,G,B)を参照すると共に、設定回路13内のROMに予め格納されたルックアップテーブル13c−1を参照し、ホワイトバランス調整回路14に対し設定すべきホワイトバランスゲイン(gr,gb)を決定し、それをホワイトバランス調整回路14に設定する。
【0021】
このルックアップテーブル13c−1には、照明種類及び色温度の各組み合わせそれぞれに最適なホワイトバランスゲイン(gr,gb)が、例えば図1に示すように予め格納されている。
以下、或る画像Iに対しホワイトバランスゲイン(gr,gb)が設定されるまでの設定回路13の動作について詳細に説明する。
【0022】
図2は、本実施形態の設定回路13の動作フローチャートである。
先ず、画像Iの画素信号(R,G,B)から、3種類の互いに異なる方法により画像Iの照明色が判定される(図2ステップS1,S2,S3)。
第1の方法は、画像Iの無彩色検出による判定方法であり(図2ステップS1)、第2の方法は、画像Iの全体の平均色による判定方法あり(図2ステップS2)、第3の方法は、画像Iの肌色検出による判定方法である(図2ステップS3)。
【0023】
無彩色検出による判定方法(図2ステップS1)では、先ず、図3(a)に示すように画像Iの各小領域i(i=1,2,3,・・・)の平均色(AR,AG,AB)i(i=1,2,3,・・・)がそれぞれ求められる。平均色(AR,AG,AB)iは、小領域i内の各画素信号(R,G,B)の平均値(又は積算値)である。
【0024】
求められた各小領域iの平均色(AR,AG,AB)i(i=1,2,3,・・・)は、それぞれ予め想定された複数色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・の何れかに属するか否か、さらにどの色に属すかが判断される。また、属すると判断されたときには、該当色の頻度(小領域数)が1だけ加算される。
【0025】
ここで、各色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・は、予め想定された各照明下で無彩色物体が示す各色である。
例えば、色Cn1,Cn2,Cn3,・・・は、互いに異なる色温度の自然光で照明された無彩色物体が示す各色である。
また、Cb1,Cb2,Cb3,・・・は、互いに異なる色温度の白熱灯で照明された無彩色物体が示す各色である。
【0026】
また、Cf1,Cf2,Cf3,・・・は、互いに異なる色温度の蛍光灯で照明された無彩色物体が示す各色である。
そして、各色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・の頻度(小領域数)から、図3(b)に示すとおりヒストグラムが作成される。
【0027】
さらに、このヒストグラムにおいて最大頻度を示す色(図3ではCn2)に属する小領域の集合(図3(c)の領域E)が、無彩色物体の存在する領域(無彩色領域)とみなされる。
そして、その無彩色領域とみなされた領域Eの平均色(AR,AG,AB)Eが改めて求められる。領域Eの平均色(AR,AG,AB)Eは、領域E内の各画素信号(R,G,B)の平均値である。
【0028】
なお、無彩色領域とみなされた領域Eの平均色(AR,AG,AB)Eの情報は、後のステップ(図2ステップS5)でも用いられる。
さらに、無彩色領域とみなされた領域Eの平均色(AR,AG,AB)Eから、照明色(すなわち照明種類及びその色温度)が例えば「2100Kの自然光」などと判定される(以上、図2ステップS1)。
【0029】
一方、画像Iの全体の平均色による判定方法(図2ステップS2)では、先ず、画像Iの全体の平均色(AR,AG,AB)Allが求められる。平均色(AR,AG,AB)Allは、画像I内の各画素信号(R,G,B)の平均値(又は積算値)である。
【0030】
さらに、画像Iの全体の平均色(AR,AG,AB)Allから、照明色(すなわち照明種類及びその色温度)が例えば「2000Kの自然光」などと判定される(以上、図2ステップS2)。
一方、肌色検出による判定方法(図2ステップS3)は、上述した無彩色検出による判定方法と類似しており、無彩色領域に代えて肌色領域を検出する点のみがそれと異なる。
【0031】
すなわち、画像Iの各小領域i(i=1,2,3,・・・)の平均色(AR,AG,AB)i(i=1,2,3,・・・)がそれぞれ求められる。
求められた各小領域iの平均色(AR,AG,AB)i(i=1,2,3,・・・)は、それぞれ予め想定された複数色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・の何れかに属するか否か、さらに、どの色に属すか判断される。また、属すると判断されたときには、該当色の頻度(小領域数)が1だけ加算される。
【0032】
ここで、各色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・は、予め想定された各照明下で肌色の物体が示す各色である。
例えば、色Cn1,Cn2,Cn3,・・・は、互いに異なる色温度の自然光で照明された肌色の物体が示す各色である。
また、Cb1,Cb2,Cb3,・・・は、互いに異なる色温度の白熱灯で照明された肌色の物体が示す各色である。
【0033】
また、Cf1,Cf2,Cf3,・・・は、互いに異なる色温度の蛍光灯で照明された肌色の物体が示す各色である。
そして、各色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・の頻度(小領域数)から、ヒストグラムが作成される。
さらに、このヒストグラムにおいて最大頻度を示す色に属する小領域の集合(領域E)が、肌色の物体の存在する領域(肌色領域)とみなされる。
【0034】
そして、その肌色領域とみなされた領域Eの平均色(AR,AG,AB)Eが求められる。
さらに、肌色領域とみなされた領域Eの平均色(AR,AG,AB)Eから、照明色(すなわち照明種類及びその色温度)が例えば「2500Kの自然光」などと判定される(以上、図2ステップS3)。
【0035】
以上、3つの判定でそれぞれ照明色が判定されると、設定回路13は、それらの判定の結果に基づき、仮のホワイトバランスゲイン(gr’,gb’)(請求項における第1調整量に対応。)を決定する(図2ステップS4)。
例えば、3つの判定の結果が「2100Kの自然光」、「2000Kの自然光」、「2500Kの自然光」であるときには、照明種類は自然光であり、また、照明の色温度は2100K,2000K,2500Kを重み付け平均した値(例えば、2050K)とみなされる。
【0036】
なお、その重み付け平均の荷重は、予め記憶された画像Iの撮影条件や、別途取得された画像I内の色の分布などに応じて、画像I毎に決定される。
さらに設定回路13は、その照明種類(ここでは自然光)と平均後の色温度(ここでは2050K)とに応じてルックアップテーブル13c−1を参照し、その照明種類及び色温度の組み合わせに最適な値を、仮のホワイトバランスゲイン(gr’,gb’)とする(以上、図2ステップS4)。
【0037】
次に、設定回路13は、ステップS1で求めた平均色(AR,AG,AB)E(無彩色領域とみなされた領域Eの平均色)に対し、仮のホワイトバランスゲイン(gr’,gb’)を(gr’×AR,AG,gb’×AB)Eのように乗算する(図2ステップS5)。
この乗算後の領域Eの色(gr’×AR,AG,gb’×AB)Eは、仮のホワイトバランスゲイン(gr’,gb’)を用いたホワイトバランス調整が行われた際の領域Eの大凡の色を示している。
【0038】
さらに、設定回路13は、乗算後の領域Eの色(R,G,B)のバランスの1:1:1からのずれΔr,Δbを求め、それらずれΔr,Δbをそれぞれ閾値と比較し、式(1)を満たすか否か判別する(図2ステップS6)。
|Δr|<0.05,かつ|Δb|<0.05 ・・・(1)
但し、Δrは、R色方向のずれ、すなわちΔr=1−G/Rであり、Δbは、B色方向のずれ、すなわちΔb=1−G/Bである。
【0039】
ここで、この式(1)の閾値”0.05”は、同種照明間の演色性の相違に相当する大きさである。
図4(a),(b)は、ずれΔr,Δbを有する色(R,G,B)を可視化した図である。図4(a)は、ずれΔr,Δbが比較的小さい色(R,G,B)を可視化したものであり、図4(b)は、ずれΔr,Δbが比較的大きい色(R,G,B)を可視化したものである。
【0040】
そして、ずれΔr,Δbが図4(a)に示すごとく小さく、式(1)を満たすとき(それぞれ閾値”0.05”未満であるとき)には(図2ステップS6YES)、そのずれΔr,Δbが図4(a’)に示すようにそれぞれ0になるよう、仮のホワイトバランスゲイン(gr’,gb’)は補正され(図2ステップS7)、補正後の値がホワイトバランス調整回路14に設定すべきホワイトバランスゲイン(gr,gb)とされる(図2ステップS8)。
【0041】
一方、ずれΔr,Δbが図4(b)に示すごとく大きく、式(1)を満たさないとき(少なくとも一方が閾値”0.05”以上であるとき)には(図2ステップS6NO)、図4(b’)に示すように仮のホワイトバランスゲイン(gr’,gb’)のそのままの値がホワイトバランス調整回路14に設定すべきホワイトバランスゲイン(gr,gb)とされる(図2ステップS8)。
【0042】
したがって、ずれΔr,Δbが演色性の相違に相当する大きさ未満しか残存していないときには、無彩色検出による判定結果が重視される方向に仮のホワイトバランスゲインの値が補正される。
一方、バランスのずれΔr,Δbが演色性の相違に相当する大きさ以上残存しているときには、その補正は行われない。
【0043】
以上のようにして設定されたホワイトバランスゲイン(gr,gb)によるホワイトバランス調整は、失敗する確率が低いまま、成功する確率のみが高まる。
なお、式(1)の閾値については、実験的に撮影された各種の被写体の画像に基づいて選定されることが望ましい。例えば、”0.05”に代えて”0.1”などと選定されてもよい。
【0044】
[第2実施形態]
図5、図6を参照して本発明の第2実施形態について説明する。
本実施形態も電子カメラの実施形態である。なお、ここでは第1実施形態の電子カメラとの相違点についてのみ説明する。
図5は、本実施形態の電子カメラの概略構成を示す図である。
【0045】
本実施形態の電子カメラの電子カメラ本体1には、ユーザに対し照明情報を入力させるための操作部材17が備えられている。
照明情報は、例えば、画像Iの撮影環境(例えば、蛍光灯室内、晴天、夕焼け、白熱灯室内など)を示す。
この照明情報は、設定回路13によって取り込まれる。
【0046】
設定回路13は、或る画像Iに対しホワイトバランスゲイン(gr,gb)を設定するに当たり、画像Iを参照すると共に、その照明情報を参照する。
以下、本実施形態において或る画像Iに対しホワイトバランスゲイン(gr,gb)が設定されるまでの設定回路13の動作について説明する。
図6は、本実施形態の設定回路13の動作フローチャートである。
【0047】
先ず、設定回路13は、ユーザ入力された照明情報(例えば「晴天」)から、画像Iの撮影に使用された照明種類と色温度を、例えば「5000Kの自然光」などと判定し(図6ステップS21)、その照明種類と色温度とに応じてルックアップテーブル13c−1を参照し、それらの組み合わせに最適な値を、仮のホワイトバランスゲイン(gr’,gb’)とする(図6ステップS22)。
【0048】
その一方で、設定回路13は、画像Iから無彩色領域Eを検出する(図6ステップS1’)。その検出の方法は、図2ステップS1(図3参照)において無彩色領域Eを検出した方法と同じである。
その後、無彩色領域Eの平均色(AR,AG,AB)Eが求められ、その平均色(AR,AG,AB)Eに対し、仮のホワイトバランスゲイン(gr’,gb’)を(gr’×AR,AG,gb’×AB)Eのように乗算する(図6ステップS5)。
【0049】
さらに、設定回路13は、乗算後の領域Eの色(R,G,B)のバランスの1:1:1からのずれΔr,Δbを求め、それらずれΔr,Δbをそれぞれ閾値と比較し、式(1)を満たすか否か判別する(図6ステップS5)。
そして、ずれΔr,Δbが式(1)を満たすとき(それぞれ閾値未満であるとき)には(図6ステップS6YES)、そのずれΔr,Δbがそれぞれ0になるよう、仮のホワイトバランスゲイン(gr’,gb’)は補正され(図6ステップS7)、補正後の値がホワイトバランス調整回路14に設定すべきホワイトバランスゲイン(gr,gb)とされる(図6ステップS8)。
【0050】
一方、ずれΔr,Δbが式(1)を満たさないとき(少なくとも一方が閾値”0.5”以上であるとき)には(図6ステップS6NO)、仮のホワイトバランスゲイン(gr’,gb’)のそのままの値がホワイトバランス調整回路14に設定すべきホワイトバランスゲイン(gr,gb)とされる(図6ステップS8)。
以上のとおり、ユーザ入力に従って仮のホワイトバランスゲイン(gr’,gb’)が設定される本実施形態の電子カメラでも、ずれΔr,Δbが演色性の相違に相当する大きさ未満しか残存していないときには、無彩色検出による判定結果が重視される方向に仮のホワイトバランスゲインの値が補正される。
【0051】
一方、バランスのずれΔr,Δbが演色性の相違に相当する大きさ以上残存しているときには、その補正は行われない。
したがって、第1実施形態の電子カメラと同様に、ホワイトバランス調整に失敗する確率が低いまま、成功する確率のみが高まる。
[第3実施形態]
図7を参照して本発明の第3実施形態について説明する。
【0052】
本実施形態も電子カメラの実施形態である。なお、ここでは第1実施形態の電子カメラとの相違点についてのみ説明する。
本実施形態の電子カメラの構成は、図1に示した第1実施形態の電子カメラのそれと同じである。
また、設定回路13(図1参照)の動作も、第1実施形態におけるそれと基本的に同じである。
【0053】
但し、ステップS6(図1参照)の判別に用いられる式は、式(1)に代えて式(2)とされる。
−0.025<Δr<0.075,かつ
−0.025<Δb<0.075 ・・・(2)
但し、式(2)において、Δr=1−G/R、Δb=1−G/Bである。
【0054】
このとき、Δrが正となる方向は、R色方向(G色と比較してR色が強い方向)であり、Δbが正となる方向は、B色方向(G色と比較してB色が強い方向)である。
式(2)においては、ずれΔr,ΔbのG色方向の閾値の大きさとR及びB色方向の閾値の大きさとに格差が付けられており、前者が”0.075”であるのに対し、後者は、”0.025”である。
【0055】
図7においては、ずれΔr,Δbを有する各色(R,G,B)を可視化した。図7において上に行くほどR色又はB色が強い色、下に行くほどG色が強い色を示す。
G方向の閾値が厳しく設定された式(2)によると、図7(b)、図7(e)のように同じ大きさのずれであっても、ずれの方向がG方向であるとき(図7(e))には仮のホワイトバランスゲイン(gr’,gb’)が補正されず(図7(e’))、ずれの方向がR方向又はB方向であるとき(図7(b))にのみ仮のホワイトバランスゲイン(gr’,gb’)が補正される(図7(b’))、という事態が生じうる。
【0056】
このようにずれの方向に格差が付けられれば、第1実施形態と同様にホワイトバランス調整に成功する確率が高まるだけでなく、或特定の画像に対するホワイトバランス調整の失敗を防ぐことができる。
ここで、特定の画像とは、「自然光下で撮影した芝生の画像」など、蛍光灯以外の照明が採用されたにも拘わらず全体的に緑色が優勢となった画像である。
【0057】
このような画像は、芝生の領域が誤って無彩色領域Eとみなされてしまう可能性がある。この場合に無彩色検出による判定結果が重視されてしまうと、ホワイトバランスゲインは、蛍光灯の照明に適する方向(緑色を抑える方向)に補正されてしまうので、ホワイトバランス調整に失敗し、画像の色が極めて不自然となる。
【0058】
その点、本実施形態のようにG色方向の閾値が厳しく設定されていれば、緑色を抑える方向に補正されにくくなるので、そのような失敗の可能性は抑えられる。
なお、G色方向の閾値が厳しく設定されていると、「蛍光灯下で照明した通常の画像」のホワイトバランス調整が調整不足となる可能性もある。
しかし、調整不足では、蛍光灯特有の色味(緑色)が画像に残るのだけなので、蛍光灯下で撮影した画像が緑色がかることを経験的に知っているユーザにとっては、問題にはならない。
【0059】
なお、式(2)の閾値については、実験的に撮影された各種の被写体の画像に基づいて選定されることが望ましい。例えば、”−0.025”及び”0.075”に代えて”−0.05”及び”0.12”などと選定されてもよい。
[その他]
なお、上記各実施形態の電子カメラは、記録媒体に格納される情報が、ホワイトバランス調整後の画像データ(画素信号群)となっているが、そのホワイトバランス調整前の画像データ(RAWデータ)にホワイトバランスゲイン(gr,gb)の情報を添付した情報としてもよい(RAW記録)。
【0060】
また、ホワイトバランスゲイン(gr,gb)の情報と共に、仮のホワイトバランスゲイン(gr’,gb’)の情報などを添付してもよい。
また、上記各実施形態の電子カメラは、情報を記録媒体に格納しているが、記録媒体に格納する代わりに、外部のコンピュータや別の電子カメラなどに情報を転送してもよい。
【0061】
また、上記第1実施形態、第3実施形態の電子カメラは、重み付け平均により照明色を判定しているが、重み付け平均に代えて、選択式にしてもよい。
また、上記各実施形態の電子カメラは、仮のホワイトバランスゲイン(gr,gb)の設定を、2複数以上の互いに異なる判定に基づいて行ったり、ユーザ設定に応じた判定に基づいて行ったりしているが、無彩色判定以外の少なくとも1つの判定に基づいているのであれば、他の如何なる公知の判定に基づいて行われてもよい。例えば、ユーザによるプリセット内容に応じた判定もある。
【0062】
また、上記各実施形態の設定回路13及びホワイトバランス調整回路14の動作の一部又は全部を、汎用のコンピュータに実行させてもよい。
その場合、その動作の一部又は全部からなるプログラムを、コンピュータ読み取り可能な記録媒体(CD−ROM)などに予め書き込み、その記録媒体を介してコンピュータに対しそのプログラムを実行させればよい。
【0063】
或いは、そのプログラムをインターネットを介してコンピュータにダウンロードさせてもよい。
【0064】
【発明の効果】
以上、本発明によれば、ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムが実現する。
【図面の簡単な説明】
【図1】第1実施形態の電子カメラの概略構成を示す図である。
【図2】第1実施形態の設定回路13の動作フローチャートである。
【図3】無彩色検出による判定方法を説明する図である。
【図4】第1実施形態における閾値判別を説明する図である。
【図5】第2実施形態の電子カメラの概略構成を示す図である。
【図6】第2実施形態の設定回路13の動作フローチャートである。
【図7】第2実施形態における閾値判別を説明する図である。
【符号の説明】
1 電子カメラ本体
2 撮影レンズ
11 撮像素子
12 A/D変換器
13 設定回路
14 ホワイトバランス調整回路
15 補間回路
16 階調変換処理回路
13c−1 ルックアップテーブル
Claims (10)
- 被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段と、
前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手段と、
前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手段と
を備えたことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記画像の全体を前記第2調整量でホワイトバランス調整する調整手段をさらに備えた
ことを特徴とする画像処理装置。 - 被写体を撮像する撮像素子と、
前記撮像素子から出力される画像に基づいて演算を行う回路部とを備え、
前記回路部は、
被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段と、
前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手段と、
前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手段と
を備えたことを特徴とする電子カメラ。 - 請求項3に記載の電子カメラにおいて、
前記回路部は、
前記画像の全体を前記第2調整量でホワイトバランス調整する調整手段をさらに備えた
ことを特徴とする電子カメラ。 - 請求項3又は請求項4に記載の電子カメラにおいて、
前記第1設定手段は、
2種類以上の互いに異なる方法で判定された前記被写体の照明色に基づいて前記設定を行う
ことを特徴とする電子カメラ。 - 請求項3又は請求項5に記載の電子カメラにおいて、
前記第1設定手段は、
ユーザ入力に従って前記設定を行う
ことを特徴とする電子カメラ。 - 請求項3〜請求項6の何れか一項に記載の電子カメラにおいて、
前記ずれの前記閾値は、
同種照明間の演色性の相違に相当する大きさである
ことを特徴とする電子カメラ。 - 請求項3〜請求項6の何れか一項に記載の電子カメラにおいて、
前記ずれの緑色方向の前記閾値は、
前記ずれの反緑色方向の前記閾値より小さい
ことを特徴とする電子カメラ。 - 被写体の画像に対しホワイトバランス調整を施すコンピュータ読み取り可能な画像処理プログラムにおいて、
被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手順と、
前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手順と、
前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手順と
を含むことを特徴とする画像処理プログラム。 - 請求項9に記載の画像処理プログラムにおいて、
前記画像の全体を前記第2調整量でホワイトバランス調整する調整手順をさらに含む
ことを特徴とする画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003147894A JP4269780B2 (ja) | 2003-05-26 | 2003-05-26 | 画像処理装置、電子カメラ、及び画像処理プログラム |
US10/841,551 US7446802B2 (en) | 2003-05-26 | 2004-05-10 | Image processing unit, electronic camera, and image processing program for determining parameters of white balance adjustment to be applied to an image |
EP04011433A EP1482725B1 (en) | 2003-05-26 | 2004-05-13 | Image processing unit, electronic camera, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003147894A JP4269780B2 (ja) | 2003-05-26 | 2003-05-26 | 画像処理装置、電子カメラ、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004350222A true JP2004350222A (ja) | 2004-12-09 |
JP4269780B2 JP4269780B2 (ja) | 2009-05-27 |
Family
ID=33128201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003147894A Expired - Fee Related JP4269780B2 (ja) | 2003-05-26 | 2003-05-26 | 画像処理装置、電子カメラ、及び画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7446802B2 (ja) |
EP (1) | EP1482725B1 (ja) |
JP (1) | JP4269780B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7455656B2 (ja) | 2020-05-18 | 2024-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7394930B2 (en) * | 2005-01-07 | 2008-07-01 | Nokia Corporation | Automatic white balancing of colour gain values |
KR100700492B1 (ko) * | 2005-04-29 | 2007-03-28 | 삼성에스디아이 주식회사 | 영상보정장치를 구비한 이동통신단말기 |
JP5156423B2 (ja) * | 2008-02-08 | 2013-03-06 | キヤノン株式会社 | 色処理装置および色処理方法 |
EP2355037A1 (en) * | 2009-12-18 | 2011-08-10 | Nxp B.V. | Method of and system for determining an average colour value for pixels |
JP5927565B2 (ja) * | 2010-10-27 | 2016-06-01 | パナソニックIpマネジメント株式会社 | 撮像装置 |
WO2017186071A1 (en) * | 2016-04-25 | 2017-11-02 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for image white balance adjustment |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5270802A (en) * | 1989-04-14 | 1993-12-14 | Hitachi, Ltd. | White balance adjusting device for video camera |
JPH07162890A (ja) * | 1993-12-08 | 1995-06-23 | Matsushita Electric Ind Co Ltd | ホワイトバランス調整装置 |
JP3538963B2 (ja) | 1995-05-25 | 2004-06-14 | ソニー株式会社 | 色温度算出方法、色温度算出装置およびそれを有するビデオカメラ |
JPH11205812A (ja) | 1998-01-19 | 1999-07-30 | Ricoh Co Ltd | 白バランス制御方法及び装置 |
JP4063418B2 (ja) * | 1998-09-11 | 2008-03-19 | イーストマン コダック カンパニー | オートホワイトバランス装置 |
US6906744B1 (en) * | 1999-09-28 | 2005-06-14 | Nikon Corporation | Electronic camera |
JP4487342B2 (ja) | 1999-09-28 | 2010-06-23 | 株式会社ニコン | デジタルカメラ |
US7196724B2 (en) * | 2000-12-08 | 2007-03-27 | Nikon Corporation | Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas |
JP4826028B2 (ja) * | 2001-05-24 | 2011-11-30 | 株式会社ニコン | 電子カメラ |
-
2003
- 2003-05-26 JP JP2003147894A patent/JP4269780B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-10 US US10/841,551 patent/US7446802B2/en active Active
- 2004-05-13 EP EP04011433A patent/EP1482725B1/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7455656B2 (ja) | 2020-05-18 | 2024-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1482725A2 (en) | 2004-12-01 |
EP1482725B1 (en) | 2011-07-13 |
US20040239774A1 (en) | 2004-12-02 |
US7446802B2 (en) | 2008-11-04 |
JP4269780B2 (ja) | 2009-05-27 |
EP1482725A3 (en) | 2006-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4977707B2 (ja) | オートホワイトバランスを備える画像処理装置 | |
EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
US7098944B1 (en) | Image processing apparatus and method | |
JP3892648B2 (ja) | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 | |
JP4740602B2 (ja) | オートホワイトバランス装置及びホワイトバランス調整方法 | |
US20070085911A1 (en) | Apparatus for color correction of subject-image data, and method of controlling same | |
JP4707450B2 (ja) | 画像処理装置及びホワイトバランス調整装置 | |
JP2000092509A (ja) | オートホワイトバランス装置 | |
US9813634B2 (en) | Image processing apparatus and method | |
JP2009518982A (ja) | 適応性自動ホワイト・バランス | |
JP2006211440A (ja) | オートホワイトバランス装置及びホワイトバランス調整方法 | |
JP2007173933A (ja) | デジタルカメラ、ゲイン算出装置、および、ゲイン算出方法 | |
JP2008099218A (ja) | 目標物検出装置 | |
JP2007036927A (ja) | デジタルカメラおよびゲイン算出方法 | |
US9036046B2 (en) | Image processing apparatus and method with white balance correction | |
EP3460748B1 (en) | Dynamic range compression device and image processing device cross-reference to related application | |
JP2004200971A (ja) | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ | |
JP4269780B2 (ja) | 画像処理装置、電子カメラ、及び画像処理プログラム | |
JP2003309859A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
KR101854432B1 (ko) | 역광 프레임을 검출하고, 보정하는 방법 및 장치 | |
US20200029016A1 (en) | Moving object monitoring device and moving object monitoring system | |
JP2003333616A (ja) | ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体 | |
JP4430656B2 (ja) | デジタル影像キャプチャ装置及びホワイトバランス調整方法 | |
JP3958700B2 (ja) | デジタルカメラ | |
JP2009260542A (ja) | 色補正装置及び色補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4269780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150306 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150306 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150306 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |