JP2004350222A - 画像処理装置、電子カメラ、及び画像処理プログラム - Google Patents

画像処理装置、電子カメラ、及び画像処理プログラム Download PDF

Info

Publication number
JP2004350222A
JP2004350222A JP2003147894A JP2003147894A JP2004350222A JP 2004350222 A JP2004350222 A JP 2004350222A JP 2003147894 A JP2003147894 A JP 2003147894A JP 2003147894 A JP2003147894 A JP 2003147894A JP 2004350222 A JP2004350222 A JP 2004350222A
Authority
JP
Japan
Prior art keywords
image
adjustment
color
adjustment amount
electronic camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003147894A
Other languages
English (en)
Other versions
JP4269780B2 (ja
Inventor
Tetsuya Takeshita
哲也 武下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2003147894A priority Critical patent/JP4269780B2/ja
Priority to US10/841,551 priority patent/US7446802B2/en
Priority to EP04011433A priority patent/EP1482725B1/en
Publication of JP2004350222A publication Critical patent/JP2004350222A/ja
Application granted granted Critical
Publication of JP4269780B2 publication Critical patent/JP4269780B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムを提供する。
【解決手段】被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段(S1〜S4)と、画像のうち無彩色検出された部分領域が第1調整量でホワイトバランス調整された際の色信号のバランスを演算する演算手段(S5)と、ずれが閾値以上残存しているとき(S6NO)には第1調整量の値をそのまま第2調整量に設定し、ずれが閾値未満しか残存していないとき(S6YES)にはそのずれが圧縮される方向に第1調整量の値を補正してから(S7)第2調整量に設定する(S8)第2設定手段とを備える。
【選択図】 図2

Description

【0001】
【発明の属する技術分野】
本発明は、被写体の画像に施すべきホワイトバランス調整の調整量を決定するための画像処理装置、その決定機能を搭載した電子カメラ、及びその調整量を決定するための画像処理プログラムに関する。
【0002】
【従来の技術】
一般の電子カメラには、白色の物体を照明色に依らず白色で表現するためのオートホワイトバランス調整の機能が搭載されている。
このホワイトバランス調整の方法として代表的なのは、次の方法(1),方法(2)などである。
【0003】
方法(1)は、被写体の画像全体の平均色に基づき照明色を判定し、その照明色に応じた調整量(ホワイトバランスゲイン(g,g))でホワイトバランス調整(信号に対するホワイトバランスゲイン(g,g)の乗算)を行うものである。
方法(2)は、被写体の画像から無彩色領域を探索し、その無彩色領域の色に基づき照明色を判定し、その照明色に応じたホワイトバランスゲイン(g,g)でホワイトバランス調整を行うものである(特許文献1,特許文献2など)。
【0004】
しかし、方法(1)は、灰色原理(画像全体の物体色を平均化すると無彩色になるという前提)の上に立つので、物体色に偏りのある画像(例えば、海の画像、芝生の画像、赤い壁の画像など)に適用すると、その物体色の偏りが照明色の偏りとみなされてしまい、誤判定し、ホワイトバランス調整に失敗することがある。
また、方法(2)は、照明色は予め決められた複数種(例えば、日中の自然光の色、蛍光灯の色、白熱灯の色)の何れかであるとの前提の上に立つので、想定外の照明色で照明された被写体の画像に適用すると、有彩色領域が特定の照明色の下での無彩色領域とみなされてしまい、誤判定し、ホワイトバランス調整に失敗することがある。
【0005】
これらの失敗を低減するため、方法(3)が提案された。
方法(3)は、方法(1),(2)による2つの判定結果(ここでは照明色)を画像撮影時の撮影条件や画像内の色の分布に基づいて重み付け平均し、平均化された照明色に応じて、ホワイトバランスゲイン(g,g)を決定する方法である。
【0006】
【特許文献1】
特開平8−322061号公報
【特許文献2】
特開平11−205812号公報
【0007】
【発明が解決しようとする課題】
しかしながら、方法(3)のように複数の互いに異なる判定結果を平均化すると、ホワイトバランス調整に失敗(大外しする)確率は低減されるものの、ホワイトバランス調整に成功(大正解する)確率も低減されてしまう。
【0008】
そこで本発明は、ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
請求項1に記載の画像処理装置は、被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段と、前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手段と、前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手段とを備えたことを特徴とする。
【0010】
請求項2に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記画像の全体を前記第2調整量でホワイトバランス調整する調整手段をさらに備えたことを特徴とする。
請求項3に記載の電子カメラは、被写体を撮像する撮像素子と、前記撮像素子から出力される画像に基づいて演算を行う回路部とを備え、前記回路部は、被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段と、前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手段と、前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手段とを備えたことを特徴とする。
【0011】
請求項4に記載の電子カメラは、請求項3に記載の電子カメラにおいて、前記回路部は、前記画像の全体を前記第2調整量でホワイトバランス調整する調整手段をさらに備えたことを特徴とする。
請求項5に記載の電子カメラは、請求項3又は請求項4に記載の電子カメラにおいて、前記第1設定手段は、2種類以上の互いに異なる方法で判定された前記被写体の照明色に基づいて前記設定を行うことを特徴とする。
【0012】
請求項6に記載の電子カメラは、請求項3又は請求項5に記載の電子カメラにおいて、前記第1設定手段は、ユーザ入力に従って前記設定を行うことを特徴とする。
請求項7に記載の電子カメラは、請求項3〜請求項6の何れか一項に記載の電子カメラにおいて、前記ずれの前記閾値は、同種照明間の演色性の相違に相当する大きさであることを特徴とする。
【0013】
請求項8に記載の電子カメラは、請求項3〜請求項6の何れか一項に記載の電子カメラにおいて、前記ずれの緑色方向の前記閾値は、前記ずれの反緑色方向の前記閾値より小さいことを特徴とする。
請求項9に記載の画像処理プログラムは、被写体の画像に対しホワイトバランス調整を施すコンピュータ読み取り可能な画像処理プログラムにおいて、被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手順と、前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手順と、前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手順とを含むことを特徴とする。
【0014】
請求項10に記載の画像処理プログラムは、請求項9に記載の画像処理プログラムにおいて、前記画像の全体を前記第2調整量でホワイトバランス調整する調整手順をさらに備えたことを特徴とする。
【0015】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【0016】
[第1実施形態]
図1、図2、図3、図4を参照して本発明の第1実施形態について説明する。
本実施形態は電子カメラの実施形態である。
図1は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラは、電子カメラ本体1,撮影レンズ2からなる。
【0017】
電子カメラ本体1には、撮像素子11、A/D変換器12、設定回路13、ホワイトバランス調整回路14、補間回路15、階調変換処理回路16などが備えられる。このうち、設定回路13及びホワイトバランス調整回路14が請求項における回路部、及び画像処理装置に対応する。
撮影レンズ2は、被写体の像を撮像素子11上に結ぶ。
【0018】
撮像素子11から出力される各画像の各画素信号(R,G,B)は、A/D変換器12、ホワイトバランス調整回路14、補間回路15、階調変換処理回路16を経由した後、不図示の記録媒体に格納される。
各画素信号(R,G,B)は、A/D変換器12にてディジタル信号に変換され、ホワイトバランス調整回路14にてホワイトバランス調整され、補間回路15において画素補間処理され、階調変換処理回路16において階調変換処理される。
【0019】
このうちホワイトバランス調整は、ホワイトバランス調整回路14が、各画素信号(R,G,B)に対しホワイトバランスゲイン(g,g)(請求項における第2調整量に対応。)を乗算する(g×R,G,g×B)ことによって実現する。
このホワイトバランスゲイン(g,g)は、演算回路、RAM、ROMなどからなる設定回路13によって1画像毎に設定される。
【0020】
設定回路13は、A/D変換器12から出力される1画像分の画素信号(R,G,B)を参照すると共に、設定回路13内のROMに予め格納されたルックアップテーブル13c−1を参照し、ホワイトバランス調整回路14に対し設定すべきホワイトバランスゲイン(g,g)を決定し、それをホワイトバランス調整回路14に設定する。
【0021】
このルックアップテーブル13c−1には、照明種類及び色温度の各組み合わせそれぞれに最適なホワイトバランスゲイン(g,g)が、例えば図1に示すように予め格納されている。
以下、或る画像Iに対しホワイトバランスゲイン(g,g)が設定されるまでの設定回路13の動作について詳細に説明する。
【0022】
図2は、本実施形態の設定回路13の動作フローチャートである。
先ず、画像Iの画素信号(R,G,B)から、3種類の互いに異なる方法により画像Iの照明色が判定される(図2ステップS1,S2,S3)。
第1の方法は、画像Iの無彩色検出による判定方法であり(図2ステップS1)、第2の方法は、画像Iの全体の平均色による判定方法あり(図2ステップS2)、第3の方法は、画像Iの肌色検出による判定方法である(図2ステップS3)。
【0023】
無彩色検出による判定方法(図2ステップS1)では、先ず、図3(a)に示すように画像Iの各小領域i(i=1,2,3,・・・)の平均色(AR,AG,AB)(i=1,2,3,・・・)がそれぞれ求められる。平均色(AR,AG,AB)は、小領域i内の各画素信号(R,G,B)の平均値(又は積算値)である。
【0024】
求められた各小領域iの平均色(AR,AG,AB)i(i=1,2,3,・・・)は、それぞれ予め想定された複数色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・の何れかに属するか否か、さらにどの色に属すかが判断される。また、属すると判断されたときには、該当色の頻度(小領域数)が1だけ加算される。
【0025】
ここで、各色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・は、予め想定された各照明下で無彩色物体が示す各色である。
例えば、色Cn1,Cn2,Cn3,・・・は、互いに異なる色温度の自然光で照明された無彩色物体が示す各色である。
また、Cb1,Cb2,Cb3,・・・は、互いに異なる色温度の白熱灯で照明された無彩色物体が示す各色である。
【0026】
また、Cf1,Cf2,Cf3,・・・は、互いに異なる色温度の蛍光灯で照明された無彩色物体が示す各色である。
そして、各色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・の頻度(小領域数)から、図3(b)に示すとおりヒストグラムが作成される。
【0027】
さらに、このヒストグラムにおいて最大頻度を示す色(図3ではCn2)に属する小領域の集合(図3(c)の領域E)が、無彩色物体の存在する領域(無彩色領域)とみなされる。
そして、その無彩色領域とみなされた領域Eの平均色(AR,AG,AB)が改めて求められる。領域Eの平均色(AR,AG,AB)は、領域E内の各画素信号(R,G,B)の平均値である。
【0028】
なお、無彩色領域とみなされた領域Eの平均色(AR,AG,AB)の情報は、後のステップ(図2ステップS5)でも用いられる。
さらに、無彩色領域とみなされた領域Eの平均色(AR,AG,AB)から、照明色(すなわち照明種類及びその色温度)が例えば「2100Kの自然光」などと判定される(以上、図2ステップS1)。
【0029】
一方、画像Iの全体の平均色による判定方法(図2ステップS2)では、先ず、画像Iの全体の平均色(AR,AG,AB)Allが求められる。平均色(AR,AG,AB)Allは、画像I内の各画素信号(R,G,B)の平均値(又は積算値)である。
【0030】
さらに、画像Iの全体の平均色(AR,AG,AB)Allから、照明色(すなわち照明種類及びその色温度)が例えば「2000Kの自然光」などと判定される(以上、図2ステップS2)。
一方、肌色検出による判定方法(図2ステップS3)は、上述した無彩色検出による判定方法と類似しており、無彩色領域に代えて肌色領域を検出する点のみがそれと異なる。
【0031】
すなわち、画像Iの各小領域i(i=1,2,3,・・・)の平均色(AR,AG,AB)(i=1,2,3,・・・)がそれぞれ求められる。
求められた各小領域iの平均色(AR,AG,AB)i(i=1,2,3,・・・)は、それぞれ予め想定された複数色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・の何れかに属するか否か、さらに、どの色に属すか判断される。また、属すると判断されたときには、該当色の頻度(小領域数)が1だけ加算される。
【0032】
ここで、各色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・は、予め想定された各照明下で肌色の物体が示す各色である。
例えば、色Cn1,Cn2,Cn3,・・・は、互いに異なる色温度の自然光で照明された肌色の物体が示す各色である。
また、Cb1,Cb2,Cb3,・・・は、互いに異なる色温度の白熱灯で照明された肌色の物体が示す各色である。
【0033】
また、Cf1,Cf2,Cf3,・・・は、互いに異なる色温度の蛍光灯で照明された肌色の物体が示す各色である。
そして、各色Cn1,Cn2,Cn3,・・・,Cb1,Cb2,Cb3,・・・,Cf1,Cf2,Cf3,・・・の頻度(小領域数)から、ヒストグラムが作成される。
さらに、このヒストグラムにおいて最大頻度を示す色に属する小領域の集合(領域E)が、肌色の物体の存在する領域(肌色領域)とみなされる。
【0034】
そして、その肌色領域とみなされた領域Eの平均色(AR,AG,AB)が求められる。
さらに、肌色領域とみなされた領域Eの平均色(AR,AG,AB)から、照明色(すなわち照明種類及びその色温度)が例えば「2500Kの自然光」などと判定される(以上、図2ステップS3)。
【0035】
以上、3つの判定でそれぞれ照明色が判定されると、設定回路13は、それらの判定の結果に基づき、仮のホワイトバランスゲイン(g’,g’)(請求項における第1調整量に対応。)を決定する(図2ステップS4)。
例えば、3つの判定の結果が「2100Kの自然光」、「2000Kの自然光」、「2500Kの自然光」であるときには、照明種類は自然光であり、また、照明の色温度は2100K,2000K,2500Kを重み付け平均した値(例えば、2050K)とみなされる。
【0036】
なお、その重み付け平均の荷重は、予め記憶された画像Iの撮影条件や、別途取得された画像I内の色の分布などに応じて、画像I毎に決定される。
さらに設定回路13は、その照明種類(ここでは自然光)と平均後の色温度(ここでは2050K)とに応じてルックアップテーブル13c−1を参照し、その照明種類及び色温度の組み合わせに最適な値を、仮のホワイトバランスゲイン(g’,g’)とする(以上、図2ステップS4)。
【0037】
次に、設定回路13は、ステップS1で求めた平均色(AR,AG,AB)(無彩色領域とみなされた領域Eの平均色)に対し、仮のホワイトバランスゲイン(g’,g’)を(g’×AR,AG,g’×AB)のように乗算する(図2ステップS5)。
この乗算後の領域Eの色(g’×AR,AG,g’×AB)は、仮のホワイトバランスゲイン(g’,g’)を用いたホワイトバランス調整が行われた際の領域Eの大凡の色を示している。
【0038】
さらに、設定回路13は、乗算後の領域Eの色(R,G,B)のバランスの1:1:1からのずれΔr,Δbを求め、それらずれΔr,Δbをそれぞれ閾値と比較し、式(1)を満たすか否か判別する(図2ステップS6)。
|Δr|<0.05,かつ|Δb|<0.05 ・・・(1)
但し、Δrは、R色方向のずれ、すなわちΔr=1−G/Rであり、Δbは、B色方向のずれ、すなわちΔb=1−G/Bである。
【0039】
ここで、この式(1)の閾値”0.05”は、同種照明間の演色性の相違に相当する大きさである。
図4(a),(b)は、ずれΔr,Δbを有する色(R,G,B)を可視化した図である。図4(a)は、ずれΔr,Δbが比較的小さい色(R,G,B)を可視化したものであり、図4(b)は、ずれΔr,Δbが比較的大きい色(R,G,B)を可視化したものである。
【0040】
そして、ずれΔr,Δbが図4(a)に示すごとく小さく、式(1)を満たすとき(それぞれ閾値”0.05”未満であるとき)には(図2ステップS6YES)、そのずれΔr,Δbが図4(a’)に示すようにそれぞれ0になるよう、仮のホワイトバランスゲイン(g’,g’)は補正され(図2ステップS7)、補正後の値がホワイトバランス調整回路14に設定すべきホワイトバランスゲイン(g,g)とされる(図2ステップS8)。
【0041】
一方、ずれΔr,Δbが図4(b)に示すごとく大きく、式(1)を満たさないとき(少なくとも一方が閾値”0.05”以上であるとき)には(図2ステップS6NO)、図4(b’)に示すように仮のホワイトバランスゲイン(g’,g’)のそのままの値がホワイトバランス調整回路14に設定すべきホワイトバランスゲイン(g,g)とされる(図2ステップS8)。
【0042】
したがって、ずれΔr,Δbが演色性の相違に相当する大きさ未満しか残存していないときには、無彩色検出による判定結果が重視される方向に仮のホワイトバランスゲインの値が補正される。
一方、バランスのずれΔr,Δbが演色性の相違に相当する大きさ以上残存しているときには、その補正は行われない。
【0043】
以上のようにして設定されたホワイトバランスゲイン(g,g)によるホワイトバランス調整は、失敗する確率が低いまま、成功する確率のみが高まる。
なお、式(1)の閾値については、実験的に撮影された各種の被写体の画像に基づいて選定されることが望ましい。例えば、”0.05”に代えて”0.1”などと選定されてもよい。
【0044】
[第2実施形態]
図5、図6を参照して本発明の第2実施形態について説明する。
本実施形態も電子カメラの実施形態である。なお、ここでは第1実施形態の電子カメラとの相違点についてのみ説明する。
図5は、本実施形態の電子カメラの概略構成を示す図である。
【0045】
本実施形態の電子カメラの電子カメラ本体1には、ユーザに対し照明情報を入力させるための操作部材17が備えられている。
照明情報は、例えば、画像Iの撮影環境(例えば、蛍光灯室内、晴天、夕焼け、白熱灯室内など)を示す。
この照明情報は、設定回路13によって取り込まれる。
【0046】
設定回路13は、或る画像Iに対しホワイトバランスゲイン(g,g)を設定するに当たり、画像Iを参照すると共に、その照明情報を参照する。
以下、本実施形態において或る画像Iに対しホワイトバランスゲイン(g,g)が設定されるまでの設定回路13の動作について説明する。
図6は、本実施形態の設定回路13の動作フローチャートである。
【0047】
先ず、設定回路13は、ユーザ入力された照明情報(例えば「晴天」)から、画像Iの撮影に使用された照明種類と色温度を、例えば「5000Kの自然光」などと判定し(図6ステップS21)、その照明種類と色温度とに応じてルックアップテーブル13c−1を参照し、それらの組み合わせに最適な値を、仮のホワイトバランスゲイン(g’,g’)とする(図6ステップS22)。
【0048】
その一方で、設定回路13は、画像Iから無彩色領域Eを検出する(図6ステップS1’)。その検出の方法は、図2ステップS1(図3参照)において無彩色領域Eを検出した方法と同じである。
その後、無彩色領域Eの平均色(AR,AG,AB)が求められ、その平均色(AR,AG,AB)に対し、仮のホワイトバランスゲイン(g’,g’)を(g’×AR,AG,g’×AB)のように乗算する(図6ステップS5)。
【0049】
さらに、設定回路13は、乗算後の領域Eの色(R,G,B)のバランスの1:1:1からのずれΔr,Δbを求め、それらずれΔr,Δbをそれぞれ閾値と比較し、式(1)を満たすか否か判別する(図6ステップS5)。
そして、ずれΔr,Δbが式(1)を満たすとき(それぞれ閾値未満であるとき)には(図6ステップS6YES)、そのずれΔr,Δbがそれぞれ0になるよう、仮のホワイトバランスゲイン(g’,g’)は補正され(図6ステップS7)、補正後の値がホワイトバランス調整回路14に設定すべきホワイトバランスゲイン(g,g)とされる(図6ステップS8)。
【0050】
一方、ずれΔr,Δbが式(1)を満たさないとき(少なくとも一方が閾値”0.5”以上であるとき)には(図6ステップS6NO)、仮のホワイトバランスゲイン(g’,g’)のそのままの値がホワイトバランス調整回路14に設定すべきホワイトバランスゲイン(g,g)とされる(図6ステップS8)。
以上のとおり、ユーザ入力に従って仮のホワイトバランスゲイン(g’,g’)が設定される本実施形態の電子カメラでも、ずれΔr,Δbが演色性の相違に相当する大きさ未満しか残存していないときには、無彩色検出による判定結果が重視される方向に仮のホワイトバランスゲインの値が補正される。
【0051】
一方、バランスのずれΔr,Δbが演色性の相違に相当する大きさ以上残存しているときには、その補正は行われない。
したがって、第1実施形態の電子カメラと同様に、ホワイトバランス調整に失敗する確率が低いまま、成功する確率のみが高まる。
[第3実施形態]
図7を参照して本発明の第3実施形態について説明する。
【0052】
本実施形態も電子カメラの実施形態である。なお、ここでは第1実施形態の電子カメラとの相違点についてのみ説明する。
本実施形態の電子カメラの構成は、図1に示した第1実施形態の電子カメラのそれと同じである。
また、設定回路13(図1参照)の動作も、第1実施形態におけるそれと基本的に同じである。
【0053】
但し、ステップS6(図1参照)の判別に用いられる式は、式(1)に代えて式(2)とされる。
−0.025<Δr<0.075,かつ
−0.025<Δb<0.075 ・・・(2)
但し、式(2)において、Δr=1−G/R、Δb=1−G/Bである。
【0054】
このとき、Δrが正となる方向は、R色方向(G色と比較してR色が強い方向)であり、Δbが正となる方向は、B色方向(G色と比較してB色が強い方向)である。
式(2)においては、ずれΔr,ΔbのG色方向の閾値の大きさとR及びB色方向の閾値の大きさとに格差が付けられており、前者が”0.075”であるのに対し、後者は、”0.025”である。
【0055】
図7においては、ずれΔr,Δbを有する各色(R,G,B)を可視化した。図7において上に行くほどR色又はB色が強い色、下に行くほどG色が強い色を示す。
G方向の閾値が厳しく設定された式(2)によると、図7(b)、図7(e)のように同じ大きさのずれであっても、ずれの方向がG方向であるとき(図7(e))には仮のホワイトバランスゲイン(g’,g’)が補正されず(図7(e’))、ずれの方向がR方向又はB方向であるとき(図7(b))にのみ仮のホワイトバランスゲイン(g’,g’)が補正される(図7(b’))、という事態が生じうる。
【0056】
このようにずれの方向に格差が付けられれば、第1実施形態と同様にホワイトバランス調整に成功する確率が高まるだけでなく、或特定の画像に対するホワイトバランス調整の失敗を防ぐことができる。
ここで、特定の画像とは、「自然光下で撮影した芝生の画像」など、蛍光灯以外の照明が採用されたにも拘わらず全体的に緑色が優勢となった画像である。
【0057】
このような画像は、芝生の領域が誤って無彩色領域Eとみなされてしまう可能性がある。この場合に無彩色検出による判定結果が重視されてしまうと、ホワイトバランスゲインは、蛍光灯の照明に適する方向(緑色を抑える方向)に補正されてしまうので、ホワイトバランス調整に失敗し、画像の色が極めて不自然となる。
【0058】
その点、本実施形態のようにG色方向の閾値が厳しく設定されていれば、緑色を抑える方向に補正されにくくなるので、そのような失敗の可能性は抑えられる。
なお、G色方向の閾値が厳しく設定されていると、「蛍光灯下で照明した通常の画像」のホワイトバランス調整が調整不足となる可能性もある。
しかし、調整不足では、蛍光灯特有の色味(緑色)が画像に残るのだけなので、蛍光灯下で撮影した画像が緑色がかることを経験的に知っているユーザにとっては、問題にはならない。
【0059】
なお、式(2)の閾値については、実験的に撮影された各種の被写体の画像に基づいて選定されることが望ましい。例えば、”−0.025”及び”0.075”に代えて”−0.05”及び”0.12”などと選定されてもよい。
[その他]
なお、上記各実施形態の電子カメラは、記録媒体に格納される情報が、ホワイトバランス調整後の画像データ(画素信号群)となっているが、そのホワイトバランス調整前の画像データ(RAWデータ)にホワイトバランスゲイン(g,g)の情報を添付した情報としてもよい(RAW記録)。
【0060】
また、ホワイトバランスゲイン(g,g)の情報と共に、仮のホワイトバランスゲイン(g’,g’)の情報などを添付してもよい。
また、上記各実施形態の電子カメラは、情報を記録媒体に格納しているが、記録媒体に格納する代わりに、外部のコンピュータや別の電子カメラなどに情報を転送してもよい。
【0061】
また、上記第1実施形態、第3実施形態の電子カメラは、重み付け平均により照明色を判定しているが、重み付け平均に代えて、選択式にしてもよい。
また、上記各実施形態の電子カメラは、仮のホワイトバランスゲイン(g,g)の設定を、2複数以上の互いに異なる判定に基づいて行ったり、ユーザ設定に応じた判定に基づいて行ったりしているが、無彩色判定以外の少なくとも1つの判定に基づいているのであれば、他の如何なる公知の判定に基づいて行われてもよい。例えば、ユーザによるプリセット内容に応じた判定もある。
【0062】
また、上記各実施形態の設定回路13及びホワイトバランス調整回路14の動作の一部又は全部を、汎用のコンピュータに実行させてもよい。
その場合、その動作の一部又は全部からなるプログラムを、コンピュータ読み取り可能な記録媒体(CD−ROM)などに予め書き込み、その記録媒体を介してコンピュータに対しそのプログラムを実行させればよい。
【0063】
或いは、そのプログラムをインターネットを介してコンピュータにダウンロードさせてもよい。
【0064】
【発明の効果】
以上、本発明によれば、ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムが実現する。
【図面の簡単な説明】
【図1】第1実施形態の電子カメラの概略構成を示す図である。
【図2】第1実施形態の設定回路13の動作フローチャートである。
【図3】無彩色検出による判定方法を説明する図である。
【図4】第1実施形態における閾値判別を説明する図である。
【図5】第2実施形態の電子カメラの概略構成を示す図である。
【図6】第2実施形態の設定回路13の動作フローチャートである。
【図7】第2実施形態における閾値判別を説明する図である。
【符号の説明】
1 電子カメラ本体
2 撮影レンズ
11 撮像素子
12 A/D変換器
13 設定回路
14 ホワイトバランス調整回路
15 補間回路
16 階調変換処理回路
13c−1 ルックアップテーブル

Claims (10)

  1. 被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段と、
    前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手段と、
    前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手段と
    を備えたことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記画像の全体を前記第2調整量でホワイトバランス調整する調整手段をさらに備えた
    ことを特徴とする画像処理装置。
  3. 被写体を撮像する撮像素子と、
    前記撮像素子から出力される画像に基づいて演算を行う回路部とを備え、
    前記回路部は、
    被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手段と、
    前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手段と、
    前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手段と
    を備えたことを特徴とする電子カメラ。
  4. 請求項3に記載の電子カメラにおいて、
    前記回路部は、
    前記画像の全体を前記第2調整量でホワイトバランス調整する調整手段をさらに備えた
    ことを特徴とする電子カメラ。
  5. 請求項3又は請求項4に記載の電子カメラにおいて、
    前記第1設定手段は、
    2種類以上の互いに異なる方法で判定された前記被写体の照明色に基づいて前記設定を行う
    ことを特徴とする電子カメラ。
  6. 請求項3又は請求項5に記載の電子カメラにおいて、
    前記第1設定手段は、
    ユーザ入力に従って前記設定を行う
    ことを特徴とする電子カメラ。
  7. 請求項3〜請求項6の何れか一項に記載の電子カメラにおいて、
    前記ずれの前記閾値は、
    同種照明間の演色性の相違に相当する大きさである
    ことを特徴とする電子カメラ。
  8. 請求項3〜請求項6の何れか一項に記載の電子カメラにおいて、
    前記ずれの緑色方向の前記閾値は、
    前記ずれの反緑色方向の前記閾値より小さい
    ことを特徴とする電子カメラ。
  9. 被写体の画像に対しホワイトバランス調整を施すコンピュータ読み取り可能な画像処理プログラムにおいて、
    被写体の画像に施すべきホワイトバランス調整の第1調整量の値を設定する第1設定手順と、
    前記画像のうち無彩色検出された部分領域が前記第1調整量でホワイトバランス調整された際の色信号のバランスのずれを演算する演算手順と、
    前記ずれが閾値以上残存しているときには前記第1調整量の値をそのまま第2調整量に設定し、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第1調整量の値を補正してから第2調整量に設定する第2設定手順と
    を含むことを特徴とする画像処理プログラム。
  10. 請求項9に記載の画像処理プログラムにおいて、
    前記画像の全体を前記第2調整量でホワイトバランス調整する調整手順をさらに含む
    ことを特徴とする画像処理プログラム。
JP2003147894A 2003-05-26 2003-05-26 画像処理装置、電子カメラ、及び画像処理プログラム Expired - Fee Related JP4269780B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003147894A JP4269780B2 (ja) 2003-05-26 2003-05-26 画像処理装置、電子カメラ、及び画像処理プログラム
US10/841,551 US7446802B2 (en) 2003-05-26 2004-05-10 Image processing unit, electronic camera, and image processing program for determining parameters of white balance adjustment to be applied to an image
EP04011433A EP1482725B1 (en) 2003-05-26 2004-05-13 Image processing unit, electronic camera, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003147894A JP4269780B2 (ja) 2003-05-26 2003-05-26 画像処理装置、電子カメラ、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2004350222A true JP2004350222A (ja) 2004-12-09
JP4269780B2 JP4269780B2 (ja) 2009-05-27

Family

ID=33128201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003147894A Expired - Fee Related JP4269780B2 (ja) 2003-05-26 2003-05-26 画像処理装置、電子カメラ、及び画像処理プログラム

Country Status (3)

Country Link
US (1) US7446802B2 (ja)
EP (1) EP1482725B1 (ja)
JP (1) JP4269780B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455656B2 (ja) 2020-05-18 2024-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394930B2 (en) * 2005-01-07 2008-07-01 Nokia Corporation Automatic white balancing of colour gain values
KR100700492B1 (ko) * 2005-04-29 2007-03-28 삼성에스디아이 주식회사 영상보정장치를 구비한 이동통신단말기
JP5156423B2 (ja) * 2008-02-08 2013-03-06 キヤノン株式会社 色処理装置および色処理方法
EP2355037A1 (en) * 2009-12-18 2011-08-10 Nxp B.V. Method of and system for determining an average colour value for pixels
JP5927565B2 (ja) * 2010-10-27 2016-06-01 パナソニックIpマネジメント株式会社 撮像装置
WO2017186071A1 (en) * 2016-04-25 2017-11-02 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for image white balance adjustment

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270802A (en) * 1989-04-14 1993-12-14 Hitachi, Ltd. White balance adjusting device for video camera
JPH07162890A (ja) * 1993-12-08 1995-06-23 Matsushita Electric Ind Co Ltd ホワイトバランス調整装置
JP3538963B2 (ja) 1995-05-25 2004-06-14 ソニー株式会社 色温度算出方法、色温度算出装置およびそれを有するビデオカメラ
JPH11205812A (ja) 1998-01-19 1999-07-30 Ricoh Co Ltd 白バランス制御方法及び装置
JP4063418B2 (ja) * 1998-09-11 2008-03-19 イーストマン コダック カンパニー オートホワイトバランス装置
US6906744B1 (en) * 1999-09-28 2005-06-14 Nikon Corporation Electronic camera
JP4487342B2 (ja) 1999-09-28 2010-06-23 株式会社ニコン デジタルカメラ
US7196724B2 (en) * 2000-12-08 2007-03-27 Nikon Corporation Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas
JP4826028B2 (ja) * 2001-05-24 2011-11-30 株式会社ニコン 電子カメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455656B2 (ja) 2020-05-18 2024-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
EP1482725A2 (en) 2004-12-01
EP1482725B1 (en) 2011-07-13
US20040239774A1 (en) 2004-12-02
US7446802B2 (en) 2008-11-04
JP4269780B2 (ja) 2009-05-27
EP1482725A3 (en) 2006-04-05

Similar Documents

Publication Publication Date Title
JP4977707B2 (ja) オートホワイトバランスを備える画像処理装置
EP2426928B1 (en) Image processing apparatus, image processing method and program
US7098944B1 (en) Image processing apparatus and method
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
JP4740602B2 (ja) オートホワイトバランス装置及びホワイトバランス調整方法
US20070085911A1 (en) Apparatus for color correction of subject-image data, and method of controlling same
JP4707450B2 (ja) 画像処理装置及びホワイトバランス調整装置
JP2000092509A (ja) オートホワイトバランス装置
US9813634B2 (en) Image processing apparatus and method
JP2009518982A (ja) 適応性自動ホワイト・バランス
JP2006211440A (ja) オートホワイトバランス装置及びホワイトバランス調整方法
JP2007173933A (ja) デジタルカメラ、ゲイン算出装置、および、ゲイン算出方法
JP2008099218A (ja) 目標物検出装置
JP2007036927A (ja) デジタルカメラおよびゲイン算出方法
US9036046B2 (en) Image processing apparatus and method with white balance correction
EP3460748B1 (en) Dynamic range compression device and image processing device cross-reference to related application
JP2004200971A (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP4269780B2 (ja) 画像処理装置、電子カメラ、及び画像処理プログラム
JP2003309859A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR101854432B1 (ko) 역광 프레임을 검출하고, 보정하는 방법 및 장치
US20200029016A1 (en) Moving object monitoring device and moving object monitoring system
JP2003333616A (ja) ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体
JP4430656B2 (ja) デジタル影像キャプチャ装置及びホワイトバランス調整方法
JP3958700B2 (ja) デジタルカメラ
JP2009260542A (ja) 色補正装置及び色補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4269780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150306

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150306

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150306

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees