JP2003299117A - デジタル画像の自動ホワイトバランス補正方法 - Google Patents

デジタル画像の自動ホワイトバランス補正方法

Info

Publication number
JP2003299117A
JP2003299117A JP2003051375A JP2003051375A JP2003299117A JP 2003299117 A JP2003299117 A JP 2003299117A JP 2003051375 A JP2003051375 A JP 2003051375A JP 2003051375 A JP2003051375 A JP 2003051375A JP 2003299117 A JP2003299117 A JP 2003299117A
Authority
JP
Japan
Prior art keywords
white balance
scene
light source
image
balance correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003051375A
Other languages
English (en)
Inventor
Jr James E Adams
エドワード アダムズ，ジュニア ジェイムズ
Jr John F Hamilton
フランクリン ハミルトン，ジュニア ジョン
Edward B Gindele
ブルックス ジンデール エドワード
Bruce H Pillman
ハロルド ピルマン ブルース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2003299117A publication Critical patent/JP2003299117A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 ホワイトバランス補正の計算に使用するた
め、及び、写景光源の各クラス内の色温度の変化に対応
するホワイトバランス補正のため、写景光源を検出及び
識別する単純化された手段を提供することを目的とす
る。 【解決手段】 デジタル撮像装置のホワイトバランス補
正方法は、写景の輝度及び少なくとも１つの色座標値か
ら写景の光源の種類を決定する段階と、写景の光源の種
類、写景の輝度、及び、少なくとも１つの色座標値に対
応するホワイトバランスパラメータ値を決定する段階
と、少なくとも１つのホワイトバランス補正曲線を与え
る段階と、決定された写景の光源の種類に対し、ホワイ
トバランスパラメータ値及び少なくとも１つのホワイト
バランス補正曲線からホワイトバランス補正を決定する
段階を含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、写景の光源を検出
する方法と、その検出方法を用いてデジタル写真処理に
おけるホワイトバランス補正を行う方法とに関する。
【０００２】
【従来の技術】撮像システムは、人間の視覚系のように
動作するために、写景における照明の色合いの変化に自
動的に適応しなければならない。簡単に言うならば、写
景中の白い被写体は、写景の光源がデイライト、タング
ステン、蛍光灯、又は、他の源であろうと、白く再現さ
れなければならない。この自動ホワイト適応処理は、
「ホワイトバランス」と呼ばれ、この適応メカニズムに
よって決定される補正動作は、ホワイトバランス補正で
ある。
【０００３】自動プリンタ、デジタルスキャナ、及び、
デジタルカメラに使用される自動ホワイトバランスアル
ゴリズムは、従来において、２値化された画像情報と、
関連する数学的技法を使用して、画像データから、写景
毎に画像に適応されるべきホワイトバランス補正の最適
レベルを推論する。自動ホワイトバランス補正において
エラーが発生するのは、そのアルゴリズムが、写景光源
によりもたらされる全体の色合いと、写景の構成による
全体の色の偏りとを識別することができないときである
ことが知られている。従って、写景照明による色合いと
写景構成による色の偏りとを識別できることが好適であ
る。更に、ホワイトバランスのエラーは、写景光源のク
ラスにおける色温度の変化によっても起きることが知ら
れている。午後遅い日の直接光は、黄色味がかった色合
いを写景にもたらし、一方で、曇天の日の光は、青味が
かった色合いを写景にもたらす。しかし、どちらの光も
確かにデイライトであるが、かなり異なったホワイトバ
ランス補正を必要とする。従って、ホワイトバランス補
正を決定するときに、写景光源の色温度の変化も考慮に
入れることが好適である。
【０００４】デジタル画像の写景光源を決定する方法が
多くの文献に記載されている。一部の方法は、この決定
をするために、画像捕捉時に特別なハードウェアを必要
とする。同一出願人による特許文献１（Braksmayer外）
及び特許文献２（Gaboury）には、専用センサを用いて
写景光源の時間的な振動を測定する手段が記載される。
デイライトには振動がないが、タングステン及び蛍光源
は、それらの電源であるＡＣの性質によって出力が変動
する。専用センサを用いた取り組み方法の問題点は、１
つは光源検出、もう１つは実際の画像捕捉のために２つ
の別個のデータ収集及び処理経路が必要となる点であ
る。このことは、専用センサ経路が、メインの画像捕捉
経路に対し、同期を失い、且つ、較正が必要となる場合
があり得る。更に、専用センサにより捕捉される情報量
は比較的限定されるので、写景光源決定の信頼性をひど
く限定してしまう。
【０００５】同一出願人による特許文献３（Miyano外）
及び特許文献４（Miyano）では、画像データ（ビデオ入
力）が輝度入力と組合されて光源のクラス分けが行われ
る。（輝度を入力することの本質は説明されていな
い。）写景の全体の光源を決定するのではなく、画像の
低解像度版が作成され、その低解像度画像内の各画像素
子（又は、「パクセル（paxel）」）はそれぞれ、多数
の可能な写景光源のうちの１つにクラス分けされる。こ
のパクセル毎のクラス分けから統計が取られ、最適な妥
協的ホワイトバランス補正が導き出される。この取り組
み方法の問題点は、写景光源による色合いの影響と写景
構成による影響とを切離す試みがなんらなされていない
点である。それどころか、パクセル毎のクラス分けの後
に、後続のアルゴリズムにおけるエラーを少なくしよう
と一連の複雑なテスト及びデータ重み付けスキームが行
われる。
【０００６】特許文献５には、同一出願人による特許文
献３及び特許文献４に記載される方法と非常に類似する
方法が教示されており、同様の問題を有する。
【０００７】同一出願人による特許文献６（Wheeler）
には、写景の光源レベル、カメラから被写体までの距
離、フラッシュ信号、及び、フラッシュ戻り信号を写景
毎に測定して、画像が、デイライトの下で捕捉されたか
デイライト以外の光源の下で捕捉されたかが分類され
る。デイライトバランスフィルムで捕捉された画像に対
しては、デイライト以外の光源を識別する必要はなく、
というのは、同じホワイトバランス補正方法が関係なく
行われるからである。従って、同一出願人による特許文
献６は、続く光源識別のための方法を提示しない。この
ような取り組み方法の問題点は、正確なホワイトバラン
スを行うために、デイライト以外の光源を識別すること
を更に要求する撮像システムに適用された場合、又は、
任意の画像メタデータ（即ち、写景の光源レベル、カメ
ラから被写体までの距離、フラッシュ信号、及び、フラ
ッシュ戻り信号）に欠陥がある又は欠落している場合に
行えない点である。
【０００８】多くの文献に、色温度に対応するデジタル
画像のホワイトバランス補正を決定する方法が記載され
ている。同一出願人による特許文献７（Shinomiya）及
び特許文献８（Shinomiya）には、写景光源の赤（Ｒ）
パワー、緑（Ｇ）パワー、及び、青（Ｂ）パワーの相対
量を、専用センサにより測定する方法が記載される。写
景光源の色温度に関係すると考えられているＲ／Ｇ及び
Ｂ／Ｇの比からホワイトバランス補正値が導き出され
る。同一出願人による特許文献１及び特許文献２におい
て説明したように、専用センサを用いる取り組み方法に
おける問題点は、１つは光源検出、もう１つは実際の画
像捕捉のために２つの別々のデータ収集及び処理経路が
必要となる点である。これらの２つの経路は互いにタイ
ミングが合わなくなってしまう場合がある。上述した特
許文献５では、光源のクラス分け段階は更に細かく行わ
れ、各光源クラスにおいて様々なサブカテゴリを表す。
このようにして、デイライト、タングステン、及び、蛍
光灯の光源クラスの寒色系の色合い及び暖色系の色合い
のバージョンが決められる。しかし、既に述べたよう
に、光源による色合いと写景構成の可変性を切離す明確
な方法は与えられておらず、その結果、アルゴリズムエ
ラーを最小にするには、様々且つ複雑な統計学的演算を
行わなければならない。
【０００９】
【特許文献１】米国特許第４，８２７，１１９号
【特許文献２】米国特許第５，０３７，１９８号
【特許文献３】米国特許第５，６４４，３５８号
【特許文献４】米国特許第５，６５９，３５７号
【特許文献５】日本国特許第２００１２１１４５８号
【特許文献６】米国特許第６，１３３，９８３号
【特許文献７】米国特許第５，１８５，６５８号
【特許文献８】米国特許第５，２９８，９８０号
【発明が解決しようとする課題】従って、本発明は、ホ
ワイトバランス補正の計算に使用するため、及び、写景
光源の各クラス内の色温度の変化に対応するホワイトバ
ランス補正のため、写景光源を検出及び識別する単純化
された手段を提供することを目的とする。
【００１０】
【課題を解決するための手段】本発明は、以下のデジタ
ル撮像装置のためのホワイトバランス補正方法により達
成される。本発明のホワイトバランス補正方法は、
（ａ）写景の輝度及び１つ以上の色座標値から、写景の
光源の種類を決定する段階と、（ｂ）写景の光源の種
類、写景の輝度、及び、１つ以上の色座標値に対応する
ホワイトバランスパラメータ値を決定する段階と、
（ｃ）少なくとも１つのホワイトバランス補正曲線を与
える段階と、（ｄ）ホワイトバランスパラメータ値及び
ホワイトバランス補正曲線から、決定された写景の光源
の種類に対してホワイトバランス補正を決定する段階と
を含む。
【００１１】ホワイトバランス補正を効果的に行うため
に、写景光源を検出し且つ識別する方法を与えること
は、本発明の利点である。
【００１２】本発明のもう１つの利点は、ホワイトバラ
ンス補正を与えるための改善且つ簡易化した装置を提供
することである。
【００１３】
【発明の実施の形態】電子カメラがよく知られているの
で、本明細書は、特に、本発明による装置及び方法の一
部を形成する構成要素、又は、装置及び方法とより直接
的に協働する構成要素に関する。本願に特に示さない、
又は、説明しない構成要素は、従来技術において既知で
ある構成要素から選択することができる。
【００１４】最初に図１を参照するに、電子スチールカ
メラが入力部２と、補間及び記録部４とに実質的に分け
られる。本発明は、他の画像撮像装置にも使用可能であ
ることを理解するものとする。入力部２は、被写体（図
示せず）からの画像光を画像センサ１２に向ける露光部
１０を含む。図示しないが、露光部１０は、光学絞りを
調整するダイアフラムを介して画像光を方向付ける従来
の光学機器と、露光時間を調整するシャッタを含む。画
像のピクチャ捕捉素子であるフォトサイトの２次元アレ
イを含む画像センサ１２は、従来の電荷結合素子（ＣＣ
Ｄ）又は相補形金属酸化膜シリコン（ＣＭＯＳ）センサ
である。
【００１５】本発明は、画像センサ１２からリニアの
赤、緑、及び、青（ＲＧＢ）画像データを獲得すること
から始まる。データは、完全なＲＧＢ画像でも、又は、
バイヤアレイ（Bayer array）として知られ、同一出願
人による米国特許第３，９７１，０６５号（Bayer）
（開示内容は本願に参考文献として含まれる）に記載さ
れる色フィルタアレイ（ＣＦＡ）１３からのデータでも
よい。バイヤ幾何学形状では、各色は、画像センサ１２
の１フォトサイト、即ち、画像素子（画素）をカバーす
る。画像センサ１２に画像光が露光され、各フォトサイ
トにアナログの画像電荷情報が生成される。この電荷情
報は出力ダイオード１４に供給される。出力ダイオード
１４は、電荷情報を、各画像素子に対応するアナログ画
像信号に変換する。アナログ画像信号はＡ／Ｄ変換器１
６に供給され、各画像素子に対するアナログ画像信号か
らデジタル画像信号が生成される。デジタル画像信号
は、画像バッファ１８に供給される。画像バッファ１８
は、複数の画像を格納できる記憶容量を有するランダム
アクセスメモリ（ＲＡＭ）であってよい。
【００１６】制御プロセッサ２０がカメラの入力部２を
全体的に制御して、（露光部１０のダイアフラムとシャ
ッタ（図示せず）を動作させることにより）露光を開始
且つ制御し、画像センサ１２内の画像データにアクセス
するのに必要な水平信号及び垂直信号を生成し、画像素
子に関連する各信号セグメントに対しＡ／Ｄ変換器１６
と画像バッファ１８を連動させる。画像バッファ１８内
に、特定数のデジタル画像信号が蓄積されると、蓄積さ
れた画像信号はデジタル信号プロセッサ２２に供給され
る。デジタル信号プロセッサ２２は、カメラの補間及び
記録部４のスループット処理率を制御する。更に、制御
プロセッサ２０は、デジタル信号プロセッサ２２に写真
情報を送信する。写真情報には、シャッタ速度、絞り、
及び、露光指数といったカメラの設定条件が含まれる。
デジタル信号プロセッサ２２は、適切な画像処理アルゴ
リズム（例えば、ホワイトバランス、補間、及び、色補
正）をデジタル画像信号に行い、処理された画像信号
を、コネクタ２６を介して、従来の着脱可能なメモリカ
ード２４に送信する。
【００１７】画像処理は通常、数回の段階に亘って行わ
れるので、処理アルゴリズムの中間結果が処理バッファ
２８に格納される。（処理バッファ２８は、画像バッフ
ァ１８のメモリ空間の一部として構成されてもよい）。
デジタル処理が開始するまでに画像バッファ１８が必要
とする画像信号の数は、処理の種類に依存する。つま
り、例えば、ホワイトバランス演算を開始するには、ビ
デオフレームを含む画像信号の少なくとも一部を含む信
号ブロックが必要である。従って、多くの場合、ホワイ
トバランス演算は、画像バッファ１８内に、必要な画像
素子のブロックが蓄積されると直ぐに始められる。
【００１８】制御プロセッサ２０に演算表示パネル３０
を接続して、カメラの演算に有用な情報が表示される。
このような情報には、例えば、シャッタ速度、絞り、露
光バイアス等といった一般的な写真データを含む。更
に、当該のカメラタイプに固有の他の情報も表示するこ
とができる。例えば、着脱可能なメモリカード２４は通
常は、各格納画像の始まりと終わりを示すディレクトリ
を含む。このことは、表示パネル３０上において、格納
された画像の数、又は、残っている或いは残っていると
予想される画像空間の数のいずれか（又は両方）として
表示される。
【００１９】図２を参照するに、デジタル信号プロセッ
サ２２をより詳細に示す。ホワイトバランス部３２は、
画像バッファ１８から未処理の画像データを受け取り、
写景の光源（画像が捕捉されたときに使用されていた光
源）を分類し、適切なホワイトバランス利得を決定す
る。デジタルカメラシステムでは、中間色（即ち、白、
黒、及び、グレーの色調）は、互いに等しい赤色データ
値、緑色データ値、及び、青色データ値（ＲＧＢデータ
値）により表されることは一般的である。この条件が成
立するとき、画像のホワイトバランスがとれていると言
える。しかし、カメラセンサからの未処理画像データ
は、ホワイトバランスがとれていないことが一般的であ
り、従って、中間色に対する赤色データ値、緑色データ
値、青色データ値は互いに等しくない。この場合、ＲＧ
Ｂデータ値をそれぞれ異なる数によって乗算することに
よりホワイトバランスが達成される。即ち、赤色値に赤
色の利得を、緑色値に緑色の利得を、青色値に青色の利
得を乗算する。利得が適切に選択されると、結果とし
て、中間色はそれぞれ等しいＲＧＢ値を有し、ホワイト
バランスが達成される。
【００２０】色補間部３４は、ホワイトバランス部３２
において作成されたホワイトバランスのとれた画像デー
タから３原色の画像を作成する。色補間方法は、ベイヤ
パターンとしてのカラーフィルタに対し（同一出願人に
よる米国特許第３，９７１，０６５号）周知である（例
えば、同一出願人による米国特許第５，６５２，６２１
号を参照）。色補正部３６は、色補正マトリクスを適用
することによってＲＧＢデータ値を調整する。色補正マ
トリクスは、ホワイトバランス部３２において決められ
た写景光源のクラス分けに応じて選択される。
【００２１】図３を参照するに、ホワイトバランス部３
２をより詳細に説明する。aveIll計算部４２は、画像バ
ッファ部１８からの未処理画像データを受取り、平均写
景色座標、即ち、aveIllを、以下に説明するように計算
する。Bv計算部４４は、制御プロセッサ２０からの写真
情報を受取り、写景輝度、即ち、Bvを、以下に説明する
ように判断する。写景光源決定部４６は、aveIll計算部
４２から写景の色情報を、Bv計算部４４から写景の輝度
情報を受け取る。それにより、写景光源が、複数の所定
の光源の種類のうちのいずれかにクラス分けされる。ホ
ワイトバランス計算部４８は、光源クラス分け種類を受
取り、ホワイトバランスの利得を決定する。最終的に、
適切なホワイトバランス利得がリニアＲＧＢ画像データ
に適用される。
【００２２】図４を参照するに、aveIll計算部４２をよ
り詳細に説明する。ＲＧＢ画像データパクセル化部５２
は、パクセル（paxel）とよばれる画素ブロックのアレ
イにおいて利用可能な赤色値、緑色値、及び、青色値を
平均化することにより画像の低解像度版を作成する。結
果として、もとの画像の中央部分をカバーする２４×３
６パクセルのアレイが得られ、各パクセルは、平均赤
値、平均緑値、及び、平均青値を有する。パクセル化さ
れたＲＧＢ平均値は、logU空間部５４に渡され、一連の
変換が行われる。各パクセルについて、リニアＲＧＢデ
ータ値（linR、linG、及び、linB）は、対数のＲＧＢ値
に変換される。０乃至４，０９５ビットのレンジをカバ
ーする１２ビットのリニアデータの場合、対数のＲＧＢ
値は、以下の通りに計算される。
【００２３】logR=Round (1000＊LOG10(1+linR)) logG=Round (1000*LOG10 (1+linG)) log B=Round (1000*LOG10 (1+linB)) これにより、別の３つの１２ビット整数が得られる。対
数のＲＧＢ値は、以下のようにlogU空間座標に変換され
る。
【００２４】NEU = (logR + logG + logB)/3 GM = (-logR + 2*logG - logB)/4 ILL = (-logR + logB)/2 これにより、各パクセルに対しlogU空間トリプレット
（ＮＥＵ、ＧＭ、及び、ＩＬＬ）が得られる。
【００２５】次に計算される値はsbaNeu18と称し、１８
％のグレイパッチが１つ画像にあった場合のＮＥＵ値の
推定値である。SbaNeu18値は、以下に詳細に説明する２
つの中間値から決定される（SbaNeu18値計算部５６）。
第１の中間値を見つけるためには、２４×３６のパクセ
ルにされた画像は、それぞれ６列有する４つの水平スト
ラップに分けられる。各水平ストラップにおいて、最大
ＮＥ値（ＭＮ）が見つけられ、留意される。上から下
に、ＭＮ値に０から４をラベル付けすることにより、Ｈ
ＷＡ（horizontal weighted average、水平重み付け平
均）と称する複合平均を以下の通りに表すことができ
る。
【００２６】ＨＷＡ＝（１＊ＭＮ１＋４＊ＭＮ２＋４＊
ＭＮ３＋３＊ＭＮ４）／１２第２の中間値を見つけるに
は、もとの２４×３６パクセルのアレイを使用してエッ
ジパクセルを画成する。３×３の近隣パクセルを有する
各パクセルに対し、最大ＮＥＵ値（ＭＡＸ）及び最小Ｎ
ＥＵ値（ＭＩＮ）を見つける。（ＭＡＸ−ＭＩＮ）が、
特定の閾値（例えば、２４０という値が良好である）を
超えると、そのパクセルは、エッジパクセルと称する。
各エッジパクセルは、その場所に応じた重みｗｇｔ
（ｉ，ｊ）（ガウス分布より）を受ける。
【００２７】
【数１】 ただし、ｉ及びｊは、アレイにおけるパクセルの位置を
示す指数であり、ｘｊ＝ｊ‐（Ｎｃｏｌ‐１）／２であ
り、ｙｉ＝ｉ−３／５＊Ｎｒｏｗであり、σｘ＝（Ｎｃ
ｏｌ／４）であり、σｙ＝（Ｎｒｏｗ／４）であり、Ｎ
ｃｏｌは３６であり、Ｎｒｏｗは２４である。
【００２８】エッジパクセルからのＮＥＵ値の加重平均
はＧＷＡ（gaussian weighted average、ガウス加重平
均）と称する。ＨＷＡとＧＷＡの値を使用して、sbaNew
18を以下の通りに計算することができる。
【００２９】 sbaNeu18 = 0.35*HWA + 0.65*GWA - 0.3324 有用パクセル選択部５８は、パクセル化された画像とsb
aNew18値を受取り、それにより、どのパクセルが写景光
源を分類するのに有用であるのかを判断する。sbaNeu18
と（sbaNeu18 + 700）の間のＮＥＵ値を有するパクセル
はどれも有用であると見なされる。これらのパクセル
は、１８％から９０％の範囲に該当する推定平均写景反
射率を有する。aveIll計算部６０において、有用パクセ
ル選択部５８において有用であると識別されたパクセル
のＩＬＬ座標の平均をとることにより、平均値aveIllが
見つけられる。
【００３０】図３に示すBv計算部４４を参照するに、写
真情報を使用して、写景の輝度値Bvが計算される。写真
データは特に、絞り設定値（ｆ＃）、シャッタ時間
（ｔ）、及び、露光指数（ＩＳＯ）である。これらの３
つの値から、輝度値Bvが以下の通りに計算できる。
【００３１】ＢＶ＝ＴＶ＋ＡＶ−ＳＶ ただし、TV = log2(1/t)であり、SV = log2(ISO/π)で
あり、AV = log2(f#2)である。
【００３２】写景の輝度値Bvと平均写景色座標aveIllを
入力として使用することにより、写景光源決定部４６
は、複数の光源の種類のうちのいずれかに写景光源を分
類する。好適な実施例では、３つのタイプ、即ち、デイ
ライト、蛍光灯、及び、タングステンのみを使用する。
【００３３】図５を参照するに、写景光源決定部４６を
詳細に説明する。判断部６２は、写景の輝度値Bvが、閾
値Bday（一般的なBday値は５である）より大きいかどう
か試験する。判断部６２における不等式が真（Ｔ）であ
る場合には、デイライト決定部７０において、写景光源
はデイライトであると分類される。判断部６２における
不等式が偽（Ｆ）である場合には、２つの値、即ち、輝
度値Bvと平均写景色座標aveIllを使用して、光源スコア
（Ｚ）が以下の通りに計算される。
【００３４】Z = aveIll + 25*Bv 判断部６６は、光源スコア（Ｚ）が閾値Zday（一般的な
Zday値は２０である）より大きいかどうか試験する。判
断部６６における不等式が真（Ｔ）である場合には、デ
イライト決定部７０において、写景光源はデイライトで
あると分類される。判断部６６における不等式が偽
（Ｆ）である場合には、判断部６８は、光源スコア
（Ｚ）が閾値Zfluor（一般的なZfluor値は−１７０であ
る）より大きいかどうかを試験する。判断部６８におけ
る不等式が真（Ｔ）である場合には、蛍光灯決定部７２
において、写景光源は蛍光灯であると分類される。判断
部６８における不等式が偽（Ｆ）である場合には、タン
グステン決定部７４において、写景光源はタングステン
であると分類される。
【００３５】図３を参照するに、ホワイトバランス計算
部４８は、写景光源分類の関数として適切なＲＧＢホワ
イトバランス利得を決定し、この利得を、画像バッファ
部１８から受け取る未処理の画像データに適用する。各
光源カテゴリに対する正確なホワイトバランス利得の決
定は、経験的処理である。特に、１８％の反射率のグレ
イパッチを含む適切な色テストチャートを含む多数の画
像の集まりから開始し、ユーザは、その１８％のグレイ
パッチの完璧なホワイトバランス補正を達成するのに必
要な色チャネル利得を手動で決定する。これらの色チャ
ネル利得は、従来の最小２乗関数フィッティング（fitt
ing）によって、以下の２つのホワイトバランス補正曲
線における係数を決定するために使用される。
【００３６】ILLwb = B1*Bv + B2*aveIll + B3 GMwb = C1*Bv + C2*aveIll + C3 ただし、ILLwb及びGMwbは、計算された１８％グレイパ
ッチのＵ空間色度座標である。ILLwb及びGMwbの値は、
同一出願人による米国特許第６，２４３，１３３号（Sp
aulding外）に開示されるように対応するホワイトバラ
ンス利得を決定するために使用できる。特定のカメラシ
ステムに応じて、最小２乗法は、ILLwb及びGMwbの１つ
の値は、全部の光源カテゴリ（即ち、Ｂ１＝０、Ｂ２＝
０、Ｃ１＝０、及び、Ｃ２＝０）を表すのに十分である
ことを示す。他の場合において、全ての係数は非ゼロで
あることが要求される。
【００３７】コンピュータプログラムプロダクトには、
例えば、本発明の方法を実行するよう１つ以上のコンピ
ュータを制御する命令を有するコンピュータプログラム
ヲ格納するために使用される、磁気ディスク（例えば、
フロッピー（登録商標）ディスク）又は磁気テープとい
った磁気記憶媒体や、光ディスク、光テープ、又は、機
械読み取り可能バーコードといった光学記憶媒体や、ラ
ンダムアクセスメモリ（ＲＡＭ）又は読出し専用メモリ
（ＲＯＭ）といった半導体電子記憶装置や、任意の他の
物理的装置又は媒体のうち１つ以上の記憶媒が含まれ得
る。
【００３８】［関連出願への相互参照］「Auto White B
alancing Apparatus and Method」なる名称の共通に譲
受された米国特許出願番号０９／５６７，６４１（２０
００年５月９日出願、ToshikiMiyano）を参照し、この
出願の開示内容は本願に組込まれるものとする。
【図面の簡単な説明】
【図１】本発明に応じて使用可能な電子カメラを示すブ
ロック図である。
【図２】図１中のデジタル信号プロセッサ２２をより詳
細に示すブロック図である。
【図３】図２中のホワイトバランス部３２をより詳細に
示すブロック図である。
【図４】図３に示すaveIll計算部４２をより詳細に示す
ブロック図である。
【図５】図３に示す光源決定部４６を示すブロック図で
ある。
【符号の説明】
２ 電子スチールカメラの入力部 ４ 電子スチールカメラの補間及び記録部 １０ 露光部 １２ 画像センサ １３ 色フィルタアレイ １４ 出力ダイオード １６ Ａ／Ｄ変換器 １８ 画像バッファ ２０ プロセッサ ２２ デジタル信号プロセッサ ２４ メモリカード ２６ コネクタ ２８ 処理バッファ ３０ 演算表示パネル ３２ ホワイトバランス部 ３４ 色補間部 ３６ 色補正部 ４２ aveIll計算部 ４４ Bv計算部 ４６ 写景光源決定部 ４８ ホワイトバランス計算部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョン フランクリン ハミルトン，ジュ ニア アメリカ合衆国 ニューヨーク 14617 ロチェスター オークヴュー・ドライヴ 2537 (72)発明者 エドワード ブルックス ジンデール アメリカ合衆国 ニューヨーク 14618 ロチェスター ボニー・ブレイ・アヴェニ ュー 394 (72)発明者 ブルース ハロルド ピルマン アメリカ合衆国 ニューヨーク 14616 ロチェスター ウェイククリフ・ドライヴ 97 Ｆターム(参考） 5B057 AA20 BA02 BA29 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE11 CE17 DA17 DB02 DB06 DB09 DC22 5C065 AA03 BB02 BB41 CC01 GG26 5C066 AA01 CA17 EA15 FA01 GA01 GA05 KE01 KE07 KE09 KE17 KE19 KM01 5C077 LL19 MM02 MP08 PP32 PP37 PP46 PQ18 PQ22 SS03 TT09 5C079 HB01 JA14 JA22 JA25 LA23 MA01 MA11 NA01 NA27 PA00

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 デジタル撮像装置におけるホワイトバラ
    ンス補正方法であって、 （ａ）写景の輝度及び１つ以上の色座標値から、写景の
    光源の種類を決定する段階と、 （ｂ）上記写景の光源の種類、上記写景の輝度、及び、
    上記１つ以上の色座標値に対応するホワイトバランスパ
    ラメータ値を決定する段階と、 （ｃ）少なくとも１つのホワイトバランス補正曲線を与
    える段階と、 （ｄ）上記ホワイトバランスパラメータ値及び上記少な
    くとも１つのホワイトバランス補正曲線から、上記決定
    された写景の光源の種類に対し、ホワイトバランス補正
    を決定する段階とを含む方法。
  2. 【請求項２】 上記デジタル撮像装置はデジタルカメラ
    である請求項１記載の方法。
  3. 【請求項３】 上記写景の光源の種類は、デイライト、
    フラッシュ、タングステン、及び、蛍光灯である請求項
    １記載の方法。
  4. 【請求項４】 上記色座標値は、ＩＬＬ＝（Ｂ−Ｒ）／
    ２により決められ、ただし、Ｒは赤であり、Ｂは青であ
    る、請求項１記載の方法。
  5. 【請求項５】 上記ホワイトバランスパラメータ値は、
    ｓ＝Ａ１×ＢＶ＋Ａ ２×aveill＋Ａ３により決められ、
    ただし、ＢＶは上記写景の輝度であり、aveillは色座標
    値であり、Ａ１、Ａ２、及び、Ａ３は上記写景の光源の
    種類に応じた係数である、請求項１記載の方法。
JP2003051375A 2002-03-15 2003-02-27 デジタル画像の自動ホワイトバランス補正方法 Pending JP2003299117A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US099835 2002-03-15
US10/099,835 US6573932B1 (en) 2002-03-15 2002-03-15 Method for automatic white balance of digital images

Publications (1)

Publication Number Publication Date
JP2003299117A true JP2003299117A (ja) 2003-10-17

Family

ID=22276842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003051375A Pending JP2003299117A (ja) 2002-03-15 2003-02-27 デジタル画像の自動ホワイトバランス補正方法

Country Status (3)

Country Link
US (1) US6573932B1 (ja)
EP (1) EP1347655A1 (ja)
JP (1) JP2003299117A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005041588A1 (ja) * 2003-10-24 2005-05-06 Nokia Corporation 色味補正機能を有する撮影機能を備えた電子機器、及び、画像データの色味補正方法
US9319653B2 (en) 2014-02-24 2016-04-19 Acer Incorporated White balance compensation method and electronic apparatus using the same
CN104869379B (zh) * 2014-02-26 2017-04-12 宏碁股份有限公司 白平衡补偿方法及电子装置

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US7551201B2 (en) 1997-07-15 2009-06-23 Silverbrook Research Pty Ltd Image capture and processing device for a print on demand digital camera system
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US6961066B2 (en) * 1999-04-13 2005-11-01 Athentech Technologies, Inc. Automatic color adjustment for digital images
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
AUPQ289099A0 (en) * 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
JP2002374539A (ja) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd ホワイトバランス補正可能なカメラ
US7576797B2 (en) * 2001-06-25 2009-08-18 Texas Instruments Incorporated Automatic white balancing via illuminant scoring autoexposure by neural network mapping
US7158174B2 (en) * 2002-04-04 2007-01-02 Eastman Kodak Company Method for automatic white balance of digital images
US7353502B2 (en) * 2002-07-03 2008-04-01 The Mathworks, Inc. System and method for creation of software components
EP1406454A1 (en) * 2002-09-25 2004-04-07 Dialog Semiconductor GmbH Automatic white balance technique
US20050195289A1 (en) * 2003-09-12 2005-09-08 Jacobs William S. Solid-state area image sensor readout methods for illuminat discrimination and automatic white balance in digital cameras
US7352894B2 (en) * 2003-09-30 2008-04-01 Sharp Laboratories Of America, Inc. Systems and methods for illuminant estimation
US7394488B2 (en) * 2003-10-30 2008-07-01 Hewlett-Packard Development Company, L.P. System and method for dual white balance compensation of images
US7333145B2 (en) * 2004-03-05 2008-02-19 Micron Technology, Inc. Camera module
US7606437B2 (en) * 2005-01-11 2009-10-20 Eastman Kodak Company Image processing based on ambient air attributes
US7421121B2 (en) * 2005-02-08 2008-09-02 Micron Technology, Inc. Spectral normalization using illuminant exposure estimation
US7920167B2 (en) * 2005-04-29 2011-04-05 Hewlett-Packard Development Company, L.P. Method and apparatus for the creation of image capture device parameter curves
FR2899696B1 (fr) * 2006-04-06 2008-06-20 Dxo Labs Sa Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe
US8126284B2 (en) * 2006-12-01 2012-02-28 Broadcom Corporation Method and apparatus for resolution improvement in digital capturing
TWI377847B (en) * 2006-12-27 2012-11-21 Quanta Comp Inc Method and apparatus for image processing
CN101237517B (zh) * 2007-01-29 2010-08-25 广达电脑股份有限公司 图像处理方法及装置
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US7800783B2 (en) * 2007-05-25 2010-09-21 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Auto white balancing by modified grey world and geometric distortion measurement
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US7933454B2 (en) * 2007-06-25 2011-04-26 Xerox Corporation Class-based image enhancement system
US20090021810A1 (en) * 2007-07-20 2009-01-22 Adams Jr James E Method of scene balance using panchromatic pixels
JP5148989B2 (ja) 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
US8285059B2 (en) * 2008-05-20 2012-10-09 Xerox Corporation Method for automatic enhancement of images containing snow
KR20090120991A (ko) * 2008-05-21 2009-11-25 엘지이노텍 주식회사 자동 화이트 밸런스 영역 설정 방법
US8509519B2 (en) * 2009-07-29 2013-08-13 Intellectual Ventures Fund 83 Llc Adjusting perspective and disparity in stereoscopic image pairs
US8213052B2 (en) * 2009-07-31 2012-07-03 Eastman Kodak Company Digital image brightness adjustment using range information
US8218823B2 (en) * 2009-08-11 2012-07-10 Eastman Kodak Company Determining main objects using range information
WO2011062586A1 (en) 2009-11-20 2011-05-26 Hewlett-Packard Development Company, L.P. Determining a visual balance of an image
KR101803571B1 (ko) * 2011-06-17 2017-11-30 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US9521385B2 (en) * 2014-03-27 2016-12-13 Himax Imaging Limited Image sensor equipped with additional group of selectively transmissive filters for illuminant estimation, and associated illuminant estimation method
EP3195594B1 (en) 2014-09-17 2019-08-14 SZ DJI Technology Co., Ltd. Automatic white balancing system and method
US9696470B2 (en) 2015-03-04 2017-07-04 Microsoft Technology Licensing, Llc Sensing images and light sources via visible light filters
CN106023929B (zh) * 2016-07-20 2018-08-24 深圳市华星光电技术有限公司 显示装置的白平衡调整方法及其系统
CN108156435B (zh) * 2017-12-25 2020-03-13 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
KR20210011162A (ko) * 2019-07-22 2021-02-01 삼성전자주식회사 디스플레이장치 및 그 제어방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2594913B2 (ja) * 1985-12-04 1997-03-26 株式会社日立製作所 カラービデオカメラ
JPH03155292A (ja) * 1989-11-14 1991-07-03 Hitachi Ltd 撮像装置
DE69227869T2 (de) * 1991-09-05 1999-06-02 Canon K.K., Tokio/Tokyo Weissabgleichssteuerung für eine Bildaufnahmevorrichtung
JP3120512B2 (ja) * 1991-11-21 2000-12-25 株式会社ニコン ホワイトバランス調整装置
JPH07162890A (ja) * 1993-12-08 1995-06-23 Matsushita Electric Ind Co Ltd ホワイトバランス調整装置
JPH08251620A (ja) * 1995-03-07 1996-09-27 Eastman Kodak Japan Kk オートホワイトバランス装置
US6545710B1 (en) * 1995-08-11 2003-04-08 Minolta Co., Ltd. Image pick-up apparatus
JPH0955949A (ja) * 1995-08-11 1997-02-25 Minolta Co Ltd 撮像装置
JP3551568B2 (ja) * 1995-08-11 2004-08-11 ミノルタ株式会社 撮像装置
US5805213A (en) * 1995-12-08 1998-09-08 Eastman Kodak Company Method and apparatus for color-correcting multi-channel signals of a digital camera
US6249315B1 (en) * 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
JP2002152772A (ja) * 2000-08-28 2002-05-24 Fuji Photo Film Co Ltd ホワイトバランス補正装置及びホワイトバランス補正方法と濃度補正方法並びにこれらの方法を実行するためのプログラムを記録した記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005041588A1 (ja) * 2003-10-24 2005-05-06 Nokia Corporation 色味補正機能を有する撮影機能を備えた電子機器、及び、画像データの色味補正方法
US9319653B2 (en) 2014-02-24 2016-04-19 Acer Incorporated White balance compensation method and electronic apparatus using the same
CN104869379B (zh) * 2014-02-26 2017-04-12 宏碁股份有限公司 白平衡补偿方法及电子装置

Also Published As

Publication number Publication date
EP1347655A1 (en) 2003-09-24
US6573932B1 (en) 2003-06-03

Similar Documents

Publication Publication Date Title
JP2003299117A (ja) デジタル画像の自動ホワイトバランス補正方法
EP1351524B1 (en) Method for automatic white balance of digital images
JP4849818B2 (ja) ホワイトバランス調整装置及び色識別装置
US7084907B2 (en) Image-capturing device
US8106961B2 (en) Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product
US7009641B2 (en) Electronic camera with gain adjustment
US8493465B2 (en) Color processing method, program therefor, and image pickup apparatus
US20070047803A1 (en) Image processing device with automatic white balance
US8208037B2 (en) Digital camera and gain computation method
US8243164B2 (en) Method, apparatus, and system for selecting pixels for automatic white balance processing
JP2000092509A (ja) オートホワイトバランス装置
JP2007036462A (ja) 画像処理装置
US7486819B2 (en) Sampling images for color balance information
JP2007097175A (ja) ゾーン重み付け機能を備えたホワイトバランス機構
US20070041064A1 (en) Image sampling method for automatic white balance
JP2002271638A (ja) ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
JP2001112019A (ja) オートホワイトバランス装置及び方法
JP3821729B2 (ja) デジタルカメラ
JP4029206B2 (ja) 撮像装置
US7336314B2 (en) Image acquiring method and image acquiring apparatus
US7146040B2 (en) Automatic white balance technique
JP2005033609A (ja) 固体撮像装置及びデジタルカメラ
JP2003163944A (ja) ホワイトバランス制御方法及びデジタルカメラ。
JP2021002707A (ja) ホワイトバランス客観評価方法、ホワイトバランス客観評価プログラム及び撮像装置
JP3863773B2 (ja) 画像撮影方法および装置