JP2004072769A - シーンから得たパッチ情報を用いたデジタルカメラの４ウェイ校正 - Google Patents

Abstract

【課題】デジタルカメラは、シーン撮像時に、シーン内の異なる領域のセンサ露光値を撮影者が簡単に把握するための手段を有し、それにより所望の露光補正が自動的に実施され、シーンを直ちに再撮像することができない。
【解決手段】撮像したデジタルイメージを改良する方法は、複数の異なる色のカラーパッチを含むカラーチャートに関する既知値を記憶するメモリと、デジタルイメージプロセッサとを有するデジタルカメラを設けるステップと、前記デジタルカメラを用いて前記カラーチャートのイメージを撮像し、前記カラーチャートの前記カラーパッチの撮像値を生成するステップと、色補正マトリックスまたはプロファイルを生成するステップと、前記デジタルカメラで後に取得するカラーイメージを補正するために、前記色補正マトリックスまたはプロファイルを記憶するステップと、を含む。
【選択図】図１

Description

　本発明は一般的に、デジタルカメラを用いてより良いデジタルイメージを生成することに関する。

　コダックＤＣＳプロバック６４５Ｍカメラ（登録商標）などのデジタルカメラは、固体イメージセンサを用いてシーンのイメージを撮像し、ＰＣＭＣＩＡタイプＩＩＩハードドライブなどの着脱可能なメモリデバイスに、得られたイメージデータを記憶する。そして、その撮像イメージのサムネイルを、カメラのカラーＬＣＤ画面に表示することができる。シーンは幅広い範囲の照度レベルを有することがあるため、カメラは自動露光制御機能を備え、それによってカメラレンズのｆ／値および露光時間を調節して、シーン照度レベルを補償する。しかし、シーン内の各物体が異なる反射率レベルを有し、かつ、イメージセンサのダイナミックレンジに限界があるため、そのような自動露光制御機能はしばしば、プロの写真家が容認できない結果をもたらしてしまう。

　そのため、上記のようなデジタルカメラは、手動露光オーバーライド機能を備える。撮影者は、カメラのＬＣＤイメージ表示器上の撮像イメージを確認し、撮像イメージが望ましい度合いより明るくまたは暗く見えるかを判断でき、露光設定を調節した後、次の写真を撮ることができる。しかし、ＬＣＤ表示器のサイズが小さく画質に限界があるため、表示イメージを用いて露光に関する重大な判断を下すことは不可能である。よって、この方法は、とても大まかな露光調整のみに有用である。

　デジタルカメラ（コダックＤＣＳ６２０（登録商標）またはコダックＤＣＳプロバック６４５Ｍカメラ（登録商標）など）でイメージを撮像した後、それらのイメージをコンピュータにダウンロードして処理および表示することができる。たとえば、アドビシステム社（カリフォルニア州サンノゼ）のフォトショップバージョン６．０（登録商標）などのイメージ処理プログラムを用いて、撮像イメージを表示および編集できる。フォトショップバージョン６．０（登録商標）は、ユーザが特定のイメージ領域上にカーソルを置いたままにした場合に、その特定の画素のＲＧＢコード値を表示する、「インフォツール（登録商標）」を含む。表示される値は、カメラから得られた処理済みの画素のＲＧＢコード値であり、多様な非線形量子化および処理を実施した後の値である。したがってＲＧＢコード値を、シーン撮像時のカメラのセンサ露光値に簡単に関連づけることは、不可能である。さらに、それらの表示コードは、イメージをコンピュータにダウンロードした後のみに利用可能であり、イメージを撮像しながら利用できるものではない。

　１９９５年５月９日発行の米国特許第５，４１４，５３７号（発明者Omuro）には、異なる露光条件にもかかわらず処理イメージが物体の色を正確に表すよう物体のカラーイメージを処理する、カラーイメージ処理方法および装置が開示されている。物体と、既知の測色パラメータを有する複数のカラーチップから成るカラーチャートとを、同じ所定の露光条件で撮像する。続いて、撮像したカラーチャートの各撮像カラーチップに関する測色パラメータを検出する。既知の測色パラメータと検出測色パラメータとの相関を算出し、得られた相関に基づき、撮像物体の色を補正する。この技術は、ユーザ入力を必要とする点、カメラとは別個のコンピュータで実施する点、および色偏差しか補正しないという点で、不都合である。

米国特許第５，４１４，５３７号 米国特許第５，１６４，８３１号

　シーン撮像時に、シーン内の異なる領域のセンサ露光値を撮影者が簡単に把握するための手段を有し、それにより所望の露光補正が自動的に実施され、シーンを直ちに再撮像できるデジタルカメラが、必要とされている。

　上述の課題が、本発明によって解決される。

　本発明の特徴の一つによれば、カラーターゲットに関する撮像デジタルイメージから、重要なシーンコンテンツが選択され、それに関する色、直線性、チャネル、および露光の補正に必要な情報が提供される。

　本発明の他の特徴によれば、デジタルカメラで撮像したデジタルイメージを改良する方法は、複数の異なる色のカラーパッチを有するカラーチャートに関する既知値を記憶するメモリと、デジタルイメージプロセッサとを有するデジタルカメラを設けるステップと、前記デジタルカメラを用いて前記カラーチャートのイメージを撮像し、前記カラーチャートの前記カラーパッチの撮像値を生成するステップと、前記デジタルイメージプロセッサを作動させて、前記カラーパッチ撮像値および前記記憶されたカラーパッチの既知値の少なくともいくつかを処理し、色補正マトリックスまたはプロファイルを生成するステップと、前記デジタルカメラで後に取得するカラーイメージを補正するために、前記色補正マトリックスまたはプロファイルを記憶するステップと、を含む。

　本発明は、以下の利点を有する。
１．撮影者は、ある撮影状況で撮るすべてのイメージに関して、補正情報を直ちに使用することができる。
２．プロの写真家も利用した有名なカラーターゲットに関する補正情報を、使用できる。
３．イメージ処理パラメータの生成のための補正情報を、撮影者の要求に合わせて継続的に更新しながら利用できる。

　本実施形態によれば、直線性、色、ホワイトバランス、および露光に関して、デジタルカメラを自動的に校正する方法および装置を提供でき、これらの手法をイメージに適用することによって、様々な光源のもとで格別な画質のイメージを生成することが可能になる。

　図１は、本発明の装置を組み込み本発明の方法を実施する、代表的なデジタルカメラを示すブロック図である。デジタルカメラ３０は、デジタルイメージを生成し、そのイメージを着脱可能なメモリカード７４に記憶する。デジタルカメラ３０は、レンズ３２を備える。レンズ３２は、絞りモータドライブ３４と、シャッタモータドライブ３５と、電気的に調節可能な絞り３３と、電気的に駆動されるシャッタ３６とを有する。レンズ３２は、シーン（図示せず）からの光を、たとえばシングルチップのカラーＣＣＤイメージセンサなどのイメージセンサ４０上に、周知のベイヤー配列のカラーフィルタパターンに従って集束させる。絞り３３、シャッタ３６、およびイメージセンサ４０は、ドライバ３７，４２によって制御される。絞りモータ３４、シャッタモータ３５、およびドライバ３７，４２は、制御インタフェースプロセッサ６２によって供給される制御信号によって制御される。

　制御インタフェースプロセッサ６２は、写真システムインタフェース３７からの入力を受ける。イメージセンサ４０からのアナログ出力信号は、アナログ信号処理部（ＡＳＰ）５０によって増幅され、アナログ−デジタル（Ａ／Ｄ）変換回路５２によってデジタルデータに変換される。ＡＳＰ５０およびＡ／Ｄ５２は、プログラム可能な電気的ゲインを備え、そのゲインは、カメラの有効ＩＳＯ速度設定の調節に使用可能である。その調節は、同一出願人による１９９７年３月１１日発行の米国特許第５，６１０，６５４号（発明者Parulski et al.）で説明されるとおりに実施できる（この出願の開示内容を、本願に引用して援用する）。デジタルデータは、ＤＲＡＭバッファメモリ６４に記憶された後、ファームウェアメモリ７０内に記憶されているファームウェアによって制御されるデジタルイメージプロセッサ６６で処理される。ファームウェアメモリ７０は、フラッシュＥＰＲＯＭメモリであってもよい。もしくは、デジタルイメージプロセッサ６６は、カスタム回路（たとえば、デジタルカメラ専用の１つ以上のカスタム集積回路（ＩＣ）設計）、あるいはプログラム可能プロセッサとカスタム回路との組み合わせから成る。

　処理されたデジタルイメージファイルは、メモリカードインタフェース７２に供給される。インタフェース７２は、着脱可能なメモリカード７４にデジタルイメージファイルを記憶させる。着脱可能メモリカード７４は、当業者に周知のものである。着脱可能メモリカード７４はたとえば、Personal Computer Memory Card International Association (PCMCIA), Sunnyvale, Californiaによって１９９１年９月に発行されたPC Card Standard, Release 2.0に記載されたＰＣＭＣＩＡカードインタフェース規格、あるいはCompactFlash Association, Palo Alto, Californiaによって１９９８年８月５日に発行されたCompactFlash Specification Version 1.3に適合したメモリカードを含むことが考えられる。代替案では、スマートメモリカード、セキュアデジタル（ＳＤ）カード、およびメモリスティックカードを含む他のタイプの着脱可能メモリカード、もしくは、磁気ハードドライブ、磁気テープ、または光ディスクなどの他の種類のデジタルメモリデバイスを用いて、デジタルイメージを記憶することも可能である。

　実施形態によっては、デジタルイメージプロセッサ６６は、色補間を実施した後に色およびトーン補正を実施することで、翻訳ｓＲＧＢイメージデータを生成する。続いて、翻訳ｓＲＧＢイメージデータはＪＰＥＧ圧縮され、ＪＰＥＧイメージファイルとして着脱可能メモリカード７４に記憶される。他の実施形態では、プロセッサ６６が直ちに圧縮データを着脱可能メモリカード７４に記憶し、その後、その圧縮ベイヤーカラーイメージデータをホストＰＣ８０で処理することによって、イメージの「仕上げ」が施される。

　プロセッサ６６はさらに、「サムネイル（親指の爪）」サイズのイメージを生成する。そのイメージは、ＲＡＭメモリ６８に記憶され、カラーＬＣＤイメージ表示器７８に供給される。表示器７８は、ユーザが確認できるよう撮像イメージを表示する。カラーＬＣＤイメージ表示器の代わりに、デジタルカメラ３０に、有機発光ダイオード（ＯＬＥＤ）表示器や他の多様なイメージ表示器を設けることが可能である。サムネイルイメージは、同一出願人による１９９２年１１月１７日発行の米国特許第５，１６４，８３１号（発明者Kuchta et al.）で説明されるとおりに生成できる（この出願の開示内容を、本願に引用して援用する）。カラーＬＣＤイメージ表示器７８に表示されるグラフィックユーザインタフェースは、ファームウェアメモリ７０内に記憶されているファームウェアのユーザインタフェース部分によって制御される。

　一連のイメージが撮像され、着脱可能メモリカード７４に記憶された後、着脱可能メモリカード７４をホストＰＣ８０のカード読取り器（図示せず）に挿入する。あるいは、インタフェースケーブル７７を用いて、デジタルカメラ３０内のインタフェース７６とホストＰＣ８０とを接続する。インタフェースケーブル７７はたとえば、周知のＩＥＥＥ１３９４インタフェース仕様、Universal Serial Bus（ＵＳＢ）インタフェース仕様、もしくは他の有線または無線インタフェース仕様に適合するものであることが考えられる。

　代替案では、デジタルカメラ３０は、３５ｍｍまたは中判フィルムカメラ用のデジタルバックを含んでもよい。その場合は、レンズ３２、絞り３４、およびシャッタ３６は、フィルムカメラ本体の一部として設けられ、イメージセンサ４０、イメージプロセッサ６６、およびカラーＬＣＤイメージ表示器７８を含む他の構成品は、フィルムカメラ本体に連結される別個のデジタルカメラバックの一部として設けられる。その連結部は、電気的コネクタ（図示せず）を含むことが好ましい。それにより、レンズ３２、絞り３４、およびシャッタ３６は、デジタルバック内の制御プロセッサおよびタイミング生成器６０による制御が可能になる。

　本実施形態によれば、直線性、色、ホワイトバランス、および露光に関して、デジタルカメラを自動的に校正する方法および装置が提供される。デジタルイメージ処理経路において、最高の画質は、処理経路に最新データを適用してイメージ処理を実施できる場合に達成される。この事実のため、最も新しく発生したデータが、特定の撮像において処理に使用される最善のデータであると言える。しかし、各イメージを自身のデータ処理に使用するためには、作業フローに関して克服しなければならない事柄が多く存在する。その次に良い手法は、情報を、一式のイメージの処理に使用することである。この手法は、その一式のイメージが撮像される条件に最も似た条件下でイメージを撮像することを通じて実現できる。その一度の撮像から得た情報を、抽出して適切に分析した後、後続のイメージに適用することによって、様々な光源のもとで格別な画質のイメージを生成することが可能になる。

　本実施形態によれば一般的に、デジタルカメラ３０のユーザは、カラーチャート（たとえば、図２の小さなマクベス１００）を、後続のイメージ撮像に使用する光源下または撮影状況で撮影する。カメラファームウェア６６，７０は、チャート上のニュートラルパッチデータ１０２から情報を抽出し、露光、ホワイトバランス、および直線性を調節する。またカメラファームウェア６６，７０は、カラーパッチデータ１０６を用いて、撮像されたパッチデータを基準パッチデータに回帰させる。この回帰によって得られる結果は、イメージが撮像された一式の条件下でイメージの測色的バランスを達成させる、ＩＣＣ（International Color Consortium）プロファイルまたはカラーマトリックスである。カラーチャート１００に関する既知値が、ファームウェアメモリ７０内に記憶されている。デジタルイメージプロセッサ６６は、撮像されたカラーチャート１００から検出された値と共に、それらの既知値を使用することによって、本発明の方法を実施する。

　本発明は、既知のチャートから得たパッチデータの利用において、ユニークなアプローチを提供し、作業フローを削減する。それにより、デジタル処理作業フローにおける多くの重要事項を達成する。この技術は、スキャナやプリンタにも利用できる。

　露光およびホワイトバランス補正は、カラーターゲット１００の中間グレーパッチ１０４に基づいて決定される。パッチ１０４はニュートラルであるので、そのパッチについて工場で決定された露光レベルがわかっており、それを用いてイメージがどのくらい露光過度／不足であるかを算出する。その判定に基づき、ソフトウェアは自動的にイメージデータを調節して、適切な露光を実現する。式１ａは、露光レベルを判定するための式である。式１ｂは、イメージデータが、式１ａの値に基づいてどのように自動的に補正されるかを示す。

　（数１）
MidGrayに基づく絞り値＝log₁₀（MidGray値／log₁₀２）　…（１ａ）
ここで、MidGrayは、工場で決定されたそのパッチに関する適切な露光レベルである。

　（数２）
露光補正＝２^MidGrayニ基ツ゛ク絞リ値　…（１ｂ）
ここで、MidGrayは、工場で決定されたそのパッチに関する適切な露光レベルである。

　ホワイトバランス補正も同様に、中間グレーパッチ１０４（図２）に基づいて決定される。パッチ１０４はニュートラルであり、光源は赤、緑、および青色を含むので、そのグレーパッチのＲ、Ｇ、およびＢ値を分析することによって、パースペクティブを把握できる。それらの値を検出した後、イメージの赤、緑、および青のチャネルにそれぞれ適用するためのチャネルゲインを算出できる。式２ａは、チャネルゲインの算出方法を示す。式２ｂは、それらのゲインが、どのようにして赤、緑、および青の各チャネルに自動的に適用されるかを表す。

　（数３）
Red_gain = Max_channel/Red_Avg
Green_gain = Max_channel/Green_Avg
Blue_gain = Max_channel/Blue_Avg　　　…（２ａ）
ここで、Max_channel＝最高値（Ｒ，Ｇ，Ｂ）である。

　（数４）
Red_corr = RedLut[Red_value]
Green_corr = GreenLut[Green_value]
Blue_corr = BlueLut[Blue_value] …（２ｂ）
ここで、RedLut、GreenLut、およびBlueLutは、上記式（２ａ）で計算されたゲインに、線形曲線を乗算することによって算出される。

　撮像イメージの画質を向上させるためには、イメージのトーンスケールを線形にすることが極めて重要である。ＣＣＤの基本理念は、露光に線形比例した出力を生成することである。しかし、線形パラダイムに合致しない限りにおいて、色性能は低下し、それに伴い画質も低下したものになる。

　線形性に関わる他の問題点は、カメラのＩＳＯ速度を増大させると、デバイスの線形性が悪化しうることである。したがって、実際のイメージデータを用いてイメージを線形化できることは、効率的な作業フローの確立において重要である。

　カラーチャート１００上のニュートラルスケール１０２に基づいて、線形補正を決定する。この補正の決定手段を、図３のフローチャートに示す。ニュートラルスケールの分析３００によって、特定の撮影条件においてイメージに存在する非線形性のレベルが示される。したがって、回帰処理３０２の後に、ニュートラルスケールによって示される曲線と対照的な補正曲線が導出される３０４。撮影条件に基づいた特性ニュートラルスケールと、補正曲線との効果により、高画質を実現させる線形ニュートラルスケールが得られる。以上のことを、図４（ａ）および図４（ｂ）に示す。図４（ａ）は、イメージＩ_inとＩ_outとの関係を表す線形曲線Ａを示す。図４（ｂ）には、撮像された非線形曲線Ｂ、導出された補償曲線Ｃ、および補正された線形曲線Ａ’を示す。

　デジタルイメージの色補正は、イメージ処理経路において最も決定的な部分である。露光、ホワイトバランス、および線形性にも大きく依存するが、適切な色補正をしない限り、イメージは顧客の使用に適したものにはならない。コダックの市場競争力における優位性は、色を扱う技術にある。

　図２のカラーチャート１０６を用いて、カメラが「見ている」色を査定し、カメラが「見る」べき色に補正することが可能である。それは、撮影状況毎に実施できる。撮影条件が変化しない場合、実施される色補正は、その条件下で撮影されるすべてのシーンに関して有効である。したがって、色バランスのとれたイメージがカメラで得られ、バックエンド処理に必要な時間が削減されるため、ユーザの作業フローが大いに向上する。図５のフローチャートは、適切な色再現に必要な色補正パラメータの決定に用いるフローを示す。まずカラーパッチのイメージデータを分析（５００）した後、既知のカラーパッチ値および撮像カラーパッチ値を用いて回帰処理を実施する（５０２）ことを通じて、色補正マトリックスまたはプロファイルを導出する（５０４）。この処理で得られる結果は、ＲＧＢデータに適用される３×３のマトリックスか、もしくはＲＧＢデータに適用されるＩＣＣプロファイルであることが考えられる。

本発明の装置を組み込み本発明の方法を実施する、代表的なデジタルカメラを示すブロック図である。 本発明の実施に使用できる代表的なカラーチャートを示す概略図である。 本発明による直線性補正の導出方法を示すフローチャートである。 本発明による直線性補正を示すグラフである。 本発明による色補正の決定方法を示すフローチャートである。

符号の説明

　３０　デジタルカメラ、６６　デジタルイメージプロセッサ。

Claims (4)

1. 　デジタルカメラで撮像したデジタルイメージを改良する方法であって、
   　複数の異なる色のカラーパッチを含むカラーチャートに関する既知値を記憶するメモリと、デジタルイメージプロセッサとを有するデジタルカメラを設けるステップと、
   　前記デジタルカメラを用いて前記カラーチャートのイメージを撮像し、前記カラーチャートの前記カラーパッチの撮像値を生成するステップと、
   　前記デジタルイメージプロセッサを作動させて、前記カラーパッチ撮像値および前記記憶されたカラーパッチの既知値の少なくともいくつかを処理し、色補正マトリックスまたはプロファイルを生成するステップと、
   　前記デジタルカメラで後に取得するカラーイメージを補正するために、前記色補正マトリックスまたはプロファイルを記憶するステップと、を含む方法。
2. 　請求項１に記載の方法であって、
   　前記カラーチャートに関する前記記憶された既知値は、ニュートラルの中間グレーパッチの値を含み、
   　前記カラーチャートの前記撮像イメージは、対応のニュートラル中間グレーパッチの値を含み、
   　前記デジタルイメージプロセッサは、前記ニュートラル中間グレーパッチに関する前記記憶された既知値および前記撮像値を処理することで、露光補正を導出し、前記デジタルカメラで後に取得するイメージの露光を補正するために記憶する、方法。
3. 　請求項１に記載の方法であって、
   　前記カラーチャートに関する前記記憶された既知値は、ニュートラルの中間グレーパッチの値を含み、
   　前記カラーチャートの前記撮像イメージは、対応のニュートラル中間グレーパッチの値を含み、
   　前記デジタルイメージプロセッサは、前記ニュートラル中間グレーパッチに関する前記記憶された既知値および前記撮像値を処理することで、ホワイトバランス補正を導出し、前記デジタルカメラで後に取得するイメージを補正するために記憶する、方法。
4. 　請求項１に記載の方法であって、
   　前記カラーチャートに関する前記記憶された既知値は、一式のニュートラルスケールのパッチに関する一式の値を含み、
   　前記カラーチャートの前記撮像イメージは、前記一式のニュートラルスケールのパッチに関する対応の一式の値を含み、
   　前記デジタルイメージプロセッサは、前記一式のニュートラルスケールのパッチに関する前記記憶された既知値および前記撮像値を処理することで、線形補正を導出し、前記デジタルカメラで後に取得するイメージを補正するために記憶する、方法。