JP2007515876A - 画像データ変換処理を効果的に実行する画像データ変換処理システム及び画像データ変換処理方法 - Google Patents

Abstract

画像データ変換処理を実行するシステム及び方法は、写真ターゲットに対応する第１の画像データを捕捉する電子カメラ装置を含む。電子カメラ装置の変換マネージャは、選択可能な変換パラメータを用いて、第１の画像データを第２の画像データに変換するように構成してもよく、この変換パラメータは、最適化メトリックを用いて最適化され、これにより、第２の画像データにおける雑音特性を最小化できる。変換パラメータは、電子カメラ装置内のパラメータルックアップテーブルに保存でき、変換マネージャは、画像データ変換処理を実行する際に、この変換パラメータを用いることができる。

Description

本発明は、包括的には、データ処理技術に関し、詳しくは、画像データ変換処理を効果的に実行するための画像データ変換処理システム及び画像データ変換処理方法に関する。

現在の電子機器の設計者及び製造業者にとって、効率的なデータ処理の実現は、重要な課題である。しかしながら、電子機器において、データを効率的に処理することは、システム設計者にとって非常に困難である場合もある。例えば、機器の機能及び性能を向上させる要求が高まると、より大きなシステム処理パワーが必要となり、更なるハードウェアリソースが必要となる。処理又はハードウェア要求が高まると、製造コストが高まり、処理効率が低下するため、不経済である。

更に、様々な高度な処理を実行するように機器の能力を高めることは、システムユーザにとって有益であるが、様々な機器コンポーネントの制御及び管理に関する要求も厳しくなる。例えば、効率的にデジタル画像データを捕捉し、処理するように機能が高められた電子機器では、大量の複雑なデータが扱われるため、効率的な処理が求められる。

デジタル画像データを捕捉するある電子カメラでは、画像データのフォーマットを変更する様々な変換処理が必要な場合がある。システムリソースに対する要求が高まり、データ規模が実質的に大きくなっているため、関連する電子技術について、データを処理するための新たな技術の開発が課題であることは明らかである。したがって、上述した全ての理由から、データを処理するための効率的なシステムを開発することは、現在の電子機器の設計者、製造業者及びユーザにとって、重要な課題である。

本発明は、画像データ変換処理を実行する画像データ変換処理システム及び画像データ変換処理方法を提供する。一実施の形態においては、オフライン設計処理の際に、変換パラメータ範囲を定義し、上述した画像データ変換処理を実行するために最適化された変換パラメータの望ましい範囲を指定してもよい。更に、最適化メトリックを定義し、様々な条件の下で、雑音特性について、色パッチの代表パッチセットを評価してもよい。

そして代表パッチセットの現在の照明光を測定し、記録してもよい。次に、代表パッチセットからの各色パッチを測定し、様々な所望の色及び明度特性を判定してもよい。本発明では、最適化された変換パラメータを適切に選択することによって、最適化メトリックを最小化し、これにより、対応する画像データにおける雑音の量を最小化できる。以上の処理は、様々なカメラ利得における所望の各照明光について、更なる最適化された変換パラメータを選択するために繰り返し実行してもよい。そして、各照明光及びカメラ利得について最適化された変換パラメータを選択すると、電子カメラ装置内に、最適化された変換パラメータを保存するパラメータルックアップテーブルを作成できる。

オンライン処理では、まず、電子カメラ装置により、所望の写真ターゲットの現在の照明の条件に応じて、適切なカメラ利得を決定及び保存できる。次に、電子カメラ装置は、写真ターゲットの現在の照明光を推定し、保存できる。電子カメラ装置の変換マネージャは、画像データ変換処理を実行するために最適化された変換パラメータを含む上述のパラメータルックアップテーブルの１つ以上にアクセスできる。

一実施の形態においては、変換マネージャは、パラメータルックアップテーブルを用いて、現在のカメラ利得及び写真ターゲットの現在の照明光に最も近い最適化された変換パラメータを補間する。次に、変換マネージャは、本発明に基づき、電子カメラ装置のカメラレジスタに適切な最適化された変換パラメータをロードし、最適化された変換パラメータを用いて、１つ以上の画像データ変換処理を実行する。これにより、本発明は、画像データ変換処理を効率的に実行できる向上された画像データ変換処理システム及び画像データ変換処理方法を提供する。

本発明は、データ処理技術の改善に関する。以下の説明では、当業者が本発明を製造及び使用できるように開示し、及び特許出願の明細書及びその要件を満たすものである。当業者は、好ましい実施例の変形例を容易に想到することができ、ここに説明する全般的な原理は、他の実施例にも適用できるものである。したがって、本発明は、ここに説明する実施例に限定されるものではなく、ここに開示する原理及び特徴に矛盾しない最も広い範囲を有するものである。

本発明は、画像データ変換処理を効率的に実行する画像データ変換処理システム及び画像データ変換処理方法を提供し、画像データ変換処理システムは、写真ターゲットに対応する第１の画像データを捕捉するよう構成された電子カメラ装置を含む。電子カメラ装置の変換マネージャは、選択可能な変換パラメータを用いて、第１の画像データを第２の画像データに変換するように構成してもよく、この変換パラメータは、最適化メトリックを用いて最適化され、これにより、第２の画像データにおける雑音特性を最小化できる。変換パラメータは、電子カメラ装置内のパラメータルックアップテーブルに保存でき、変換マネージャは、画像データ変換処理を実行する際に、この変換パラメータを用いることができる。

図１は、本発明に基づくカメラ装置１１０の一実施の形態のブロック図である。図１に示すように、カメラ装置１１０は、以下に限定されるものではないが、捕捉サブ装置１１８、システムバス１３８及び制御モジュール１１４を備える。図１に示す実施の形態では、捕捉サブ装置１１８は、ターゲットオブジェクトに光学的に接続され、また、システムバス１３８を介して、制御モジュール１１４に電気的に接続されている。

他の実施形態として、カメラ装置１１０は、図１の実施形態に関連して説明する要素に加えて、又はこれらに代えて、他の様々な要素を含んでいてもよい。更に、一実施形態として、図１に示すカメラ装置１１０に代えて、他の任意の適切な種類の電子機器に本発明を適用してもよい。例えば、カメラ装置１１０は、スキャナ装置又はビデオカメラ装置に置き換えられることは明らかである。

図１に示す実施形態において、システムユーザが捕捉サブ装置１１８の焦点をターゲットオブジェクトに合わせ、カメラ装置１１０に対し、ターゲットオブジェクトに対応する画像データを捕捉することを要求すると、制御モジュール１１４は、システムバス１３８を介して、捕捉サブ装置１１８に対し、ターゲットオブジェクトを表す画像データの捕捉を指示する。そして、捕捉された画像データは、システムバス１３８を介して、制御モジュール１１４に供給され、これに応じて、制御モジュール１１４は、画像データに対し、様々な処理及び動作を実行する。また、システムバス１３８は、捕捉サブ装置１１８及び制御モジュール１１４の間で、様々な状態信号及び制御信号を双方向に伝える。

一実施の形態では、カメラ装置１１０は、現在のターゲットオブジェクトの照明光を判定する照明光の評価回路を備えていてもよい。例えば、カメラ装置１１０は、現在の照明光が、例えば、特定の色温度の日光、蛍光灯、又は白色光等、適切な照明源であることを推定してもよい。更に、カメラ装置１１０は、カメラ装置１１０のカメラ利得を変更し、現在のターゲットオブジェクトの明度条件を補うカメラ利得の調整回路を備えていてもよい。例えば、カメラ装置１１０は、ターゲットオブジェクトの暗すぎる照明の条件を補償するために、カメラ利得を高めてもよく、ターゲットオブジェクトの明るすぎる照明の条件を補償するために、カメラ利得を低めてもよい。

図１に示す実施の形態では、捕捉サブ装置１１８は、以下に限定されるものではないが、光路に沿って画像センサに入射する反射光により、ターゲットオブジェクトに対応する画像データを捕捉する画像センサを備える。好ましくは、電荷結合素子（charge-coupled device：ＣＣＤ）を備える画像センサは、ターゲットオブジェクトを表す一組の画像データを生成する。そして、画像データは、適切な処理及び保存のために、システムバス１３８を介して、制御モジュール１１４にルーティングすることができる。また、本発明では、例えば、ＣＭＯＳ又は線形アレイ等の他の種類の画像捕捉センサによって画像データを捕捉してもよい。例えば、画像捕捉センサは、３個以上の原色チャンネル（例えば、赤／緑／青（ＲＧＢ）又はシアン／マゼンタ／イエロー／グリーン（Ｃ／Ｍ／Ｙ／Ｇ）等）を含んでいてもよい。

図１に示す実施の形態では、制御モジュール１１４は、以下に限定されるものではないが、好ましくは、ビューファインダ１３４と、中央演算処理装置（central processing unit：ＣＰＵ）１２２と、メモリ１２６と、１つ以上の入出力インタフェース（Ｉ／Ｏ）１３０とを備える。ビューファインダ１３４、ＣＰＵ１２２、メモリ１２６及びＩ／Ｏ１３０は、好ましくは、それぞれ、捕捉サブ装置１１８にも接続されている共通のシステムバス１３８を介して接続され、互いに通信する。他の実施の形態として、制御モジュール１１４は、図１の実施形態に関連して説明する要素に加えて、又はこれらに代えて、他の様々な要素を含んでいてもよい。

図１に示す実施の形態では、ＣＰＵ１２２は、好ましくは、何らかの適切なマイクロプロセッサを用いて実現される。これに代えて、他の如何なる適切な技術を用いてＣＰＵ１２２を実現してもよい。例えば、ＣＰＵ１２２は、何らかの特定用途向け集積回路（application-specific integrated circuit：ＡＳＩＣ）又は他の適切な電子素子によって実現してもよい。メモリ１２６は、好ましくは、以下に限定されるものではないが、読取専用メモリ、ランダムアクセスメモリ、及び例えば、フロッピー（登録商標）ディスク装置、ハードディスクドライブ又はフラッシュメモリ等の様々な種類の不揮発性メモリを含む１つ以上の適切な記憶装置により実現できる。Ｉ／Ｏ１３０は、好ましくは、カメラ装置１１０と、システムユーザ又は他の電子機器を含む任意の外部のエンティティとの間における双方向通信を実現する１つ以上の有効なインタフェースを備えていてもよい。Ｉ／Ｏ１３０は、適切な如何なる入出力装置によって実現してもよい。以下、カメラ装置１１０の機能及び動作について、図２〜図７を用いて更に詳細に説明する。

本発明の一実施の形態に基づく、図１に示すメモリ１２６の構成を図２に示す。図２に示す実施の形態では、メモリ１２６は、例えば、カメラアプリケーション２１２、オペレーティングシステム２１４、変換マネージャ２１６、ＲＧＢ画像データ２１８、ＹＣｂＣｒ画像データ２２０、圧縮画像データ２２２、一時記憶領域２２４、諸情報（miscellaneous information）２２６を含む。他の実施形態として、メモリ１２６は、図２の実施形態に関連して説明する要素に加えて、又はこれらに代えて、他の様々な要素を含んでいてもよい。

図２の実施の形態では、カメラアプリケーション２１２は、好ましくは、ＣＰＵ１２２（図１）によって実行され、カメラ装置１１０の様々な機能及び動作を実現するプログラム命令を含む。カメラアプリケーション２１２の特定の性質及び機能は、例えば、対応するカメラ装置１１０の種類及び特定の用途等の要素に応じて異なる。

図２の実施の形態では、オペレーティングシステム２１４は、好ましくは、カメラ装置１１０の低レベル機能を制御及び調整する。変換マネージャ２１６は、本発明に基づき、好ましくは、カメラ装置１１０によって捕捉された画像データに対する１つ以上の画像データ変換処理を制御及び調整する。変換マネージャ２１６の機能については、図３〜図７を用いて後に更に詳細に説明する。

図２の実施の形態では、ＲＧＢ画像データ２１８、ＹＣｂＣｒ画像データ２２０及び圧縮画像データ２２２は、先にカメラ装置１１０によって捕捉された様々なフォーマットの画像データを含むことができる。一時記憶領域２２４は、適切な種類の情報又はデータのための一時的な記憶領域を提供する。諸情報２２６は、任意の所望のソフトウェア命令、データ、又はカメラ装置１１０によって実行される様々な機能を実現するための他の情報を含むことができる。

図３は、本発明に基づく変換行列３１０の一実施の形態を示している。本発明の他の実施の形態として、変換マネージャ２１６は、図３の実施の形態に関連して説明する手法とは異なる様々な手法を用いてもよいことは明らかである。

本発明では、変換マネージャ２１６（図２）又は他の適切なエンティティが、変換行列３１０からの変換パラメータを用いてＲＧＢ画像データ２１８（又は、他の適切な原色画像データ）を対応するＹＣｂＣｒ画像データ２２０に変換する。本発明の一実施の形態では、変換マネージャ２１６は、同様に変換行列３１０を用いて、原色画像データをＹＣｂＣｒ画像データ２２０以外の適切なフォーマットに変換する。

図３の実施の形態では、変換行列３１０は、輝度変換パラメータの第１の行３１４と、Ｃｂ変換パラメータの第２の行３３０と、Ｃｒ変換パラメータの第３の行３３４とを含む。また、図３の実施の形態では、輝度変換パラメータの第１の行３１４は、第１の輝度変換パラメータ「ａ」（３１８）と、第２の輝度変換パラメータ「ｂ」（３２２）と第３の輝度変換パラメータ「ｃ」（３２６）とを含む。

一実施の形態では、変換行列３１０は、変換行列３１０を用いて、画像データ変換処理を実行し、ＲＧＢ画像データ２１８をＹＣｂＣｒ画像データ２２０に変換し、ＹＣｂＣｒ画像データ２２０は、後に、ＭＰＥＧ画像データ等の適切な種類の圧縮画像データ２２２に変換される。ＹＣｂＣｒフォーマットは、テレビジョン業界で用いられている標準色空間である。図３の実施の形態では、上述した画像データ変換処理は、周知の「勧告６０１」規格に基づく従来の変換パラメータを用いて、Ｃｂ変換パラメータの第２の行３３０により「Ｃｂ」を算出する。勧告６０１は、正式には、ＩＴＵ−Ｒ（以前はＣＣＩＲ）勧告ＢＴ．６０１−４「スタジオのためのデジタルテレビジョンのパラメータ符号化（Encoding Parameters Of Digital Television For Studios）」（１９９０年：ジュネーブ：ＩＴＵ）として知られている。同様に、上述した画像データ変換処理は、周知の「勧告６０１」標準からの従来の変換パラメータを用いて、Ｃｒ変換パラメータの第３の行３３０により「Ｃｒ」を算出する。

「勧告６０１」規格からの変換パラメータに基づき、「Ｃｂ」は、以下の式によって記述できる。
Ｃｂ＝ｄＲ＋ｅＧ＋ｆＢ
ここで、「Ｒ、Ｇ、Ｂ」は、ＲＧＢ画像データ２１８からの原色値（color primary values）であり、「ｄ、ｅ、ｆ」は、変換行列３１０のＣｂ変換パラメータの第２の行３３０からの変換パラメータである。

同様に、「勧告６０１」規格からの変換パラメータに基づき、「Ｃｒ」は、以下の式によって記述できる。
Ｃｒ＝ｇＲ＋ｈＧ＋ｉＢ
ここで、「Ｒ、Ｇ、Ｂ」は、ＲＧＢ画像データ２１８からの原色値であり、「ｇ、ｈ、ｉ」は、変換行列３１０のＣｒ変換パラメータの第３の行３３４からの変換パラメータである。

また、本発明に基づき、変換マネージャ２１６は、変換パラメータ３１８、３２２、３２６を選択し、以下の式に基づいて、第１の輝度値「Ｙ１」を算出することができる。
Ｙ１＝ａＲ＋ｂＧ＋ｃＢ
ここで、「Ｒ、Ｇ、Ｂ」は、ＲＧＢ画像データ２１８からの原色値であり、「ａ、ｂ、ｃ」は、変換行列３１０の輝度変換パラメータの第１の行３１４からの変換パラメータである。

図３の実施の形態では、輝度変換パラメータの第１の行３１４は、別の輝度変換パラメータを表してもよい。例えば、第１の輝度変換パラメータ「ａ」（３１８）は、これに代えて「ｋ１」として表してもよく、第２の輝度変換パラメータ「ｂ」（３２２）は、これに代えて「ｋ２」として表してもよい。本発明に基づき、第３の輝度変換パラメータ「ｃ」（３２６）は、以下の式によって定義することができる。
ｃ＝１−ｋ１−ｋ２
ここで、「ｋ１」は、第１の輝度変換パラメータ３１８であり、「ｋ２」は、第２の輝度変換パラメータ３２２である。

したがって、変換マネージャ２１６は、輝度変換パラメータ３１８、３２２を選択し、以下の式に基づいて、第１の輝度値「Ｙ１」を算出できる。
Ｙ１＝（ｋ１）Ｒ＋（ｋ２）Ｇ＋（１−ｋ１−ｋ２）Ｂ
ここで、「Ｒ、Ｇ、Ｂ」は、ＲＧＢ画像データ２１８からの原色値（color primary values）であり、「ｋ１」及び「ｋ２」は、変換行列３１０の輝度変換パラメータの第１の行３１４からの選択された変換パラメータである。

また、本発明では、組合せ変換パラメータ「ｋ３」に基づいて、第２の輝度値「Ｙ２」を上述した第１の輝度値「Ｙ１」と組み合わせて、ＹＣｂＣｒ画像データ２２０の最終的な輝度値「Ｙ」を生成してもよい。第２の輝度値「Ｙ２」は、様々な適切な手法で決定された比較的単純な輝度値であってもよい。例えば、第２の輝度値「Ｙ２」は、最初に捕捉された画像データ（例えば、ＲＧＢ画像データ又はＣＭＹＧ画像データ）からの選択された原色値の単純な総和又は平均であってもよい。

本発明の一実施の形態では、変換マネージャ２１６は、組合せ変換パラメータ「ｋ３」選択し、以下の式を適用することにより、最終的な輝度値「Ｙ」を算出してもよい。
Ｙ＝（ｋ３）Ｙ１＋（１−ｋ３）Ｙ２
ここで、「Ｙ１」は、変換行列３１０を用いて算出された第１の輝度値であり、「Ｙ２」は、上述した第２の輝度値である。

一実施の形態では、本発明は、上述した変換パラメータに対し、ある変換パラメータ範囲を設定できる。例えば、式０≦ｋ１≦１に基づいて「ｋ１」を制限してもよい。同様に、例えば、式０≦ｋ２≦１に基づいて「ｋ２」を制限してもよい。更に、第３の輝度変換パラメータ「ｃ」（３２６）を（１−ｋ１−ｋ２）として、第３の輝度変換パラメータ「ｃ」（３２６）は、式０≦（１−ｋ１−ｋ２）≦１に基づいて制限してもよい。上述の組合せ変換パラメータ「ｋ３」は、式０≦ｋ３≦２によって制限してもよい。

本発明では、輝度変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」は、ＹＣｂＣｒ画像データ２２０（したがって、これに対応する最終的な表示画像）における様々な種類の雑音特性を最小化するように有利に、最適に選択できる。一実施の形態では、輝度変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」は、ＹＣｂＣｒ画像データ２２０における様々な種類の色シフト特性を最小化するように選択できる。上述した変換パラメータの変形及び使用法については、図４〜図７を用いて後に更に詳細に説明する。

図４は、本発明に基づく一実施の形態において、雑音標準偏差を判定するためのグラフ４１０を示している。本発明の他の実施の形態として、本発明は、図４の実施の形態に関連して説明する手法とは異なる様々な手法を用いてもよいことは明らかである。

上述のように、輝度変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」は、ＹＣｂＣｒ画像データ２２０における様々な種類の雑音特性を最小化するように、有利に、最適に選択できる。輝度変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」を最適化するために、最適化メトリックを導出し、ＹＣｂＣｒ画像データ２２０の雑音特性を評価する必要がある。本発明では、１つ以上の最適化メトリックを導出するために如何なる適切で有効な手法を用いてもよい。

一実施の形態では、代表色パッチのパッチセットを用いて、最適化メトリックを導出することができる。例えば、標準マクベス色票（standard MacBeth Color Checker）の２４個の異なる代表色パッチを用いて、有効な最適化メトリックを導出してもよい。パッチセットからの各色パッチは、所定のカメラ利得、照明光及び輝度変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」について測定してもよい。そして、適切な色空間（標準Ｌ＊ａ＊ｂ＊色空間等）内の各色パッチについて、雑音分散値を算出してもよい。そして、上述した最適化メトリックは、各色パッチについての上述した全ての雑音分散値の平均値として算出してもよい。

図４の実施の形態では、グラフ４１０の縦軸４１４は、Ｌ＊ａ＊ｂ＊色空間からのＬ＊値を示し、横軸４１８は、所定の色パッチに亘る画素を示している。また、グラフ４１０には、平均Ｌ＊値４２２も示している。一実施の形態では、まず、非線形ＹＣｂＣｒフォーマットで色パッチを測定し、次に、この色パッチを線形Ｌ＊ａ＊ｂ＊フォーマットに変換して、最適化メトリックを導出する。図４の実施の形態では、平均Ｌ＊値４２２の上のライン４３２と、平均Ｌ＊値４２２の下のライン４３６とによって確定された範囲内に、平均Ｌ＊値４２２を中心とする雑音の雑音標準偏差４２８を示している。

このように、雑音標準偏差４２８は、平均Ｌ＊値４２２の上下の雑音値を測定することによって判定できる。図４の実施の形態では、現在の色パッチに対応する雑音分散値は、以下の式に基づいて、雑音標準偏差４２８を二乗することによって算出される。
ＮＶ＝（ＳＮＤ）^２
ここで、ＳＮＤは、雑音標準偏差４２８であり、ＮＶは、最適化メトリックを算出するために用いられる雑音分散値の１つである。

各色パッチについて雑音分散値「ＮＶ」を算出した後に、以下の式に基づいて、各色パッチについて、雑音分散値の平均を算出することによって最適化メトリック「Φ」を算出してもよい。

Φ（利得，照明光，ｋ１，ｋ２，ｋ３）＝（ＮＶｉ＋ＮＶ２＋ＮＶ３＋・・・ＮＶＭ）／Ｍ
ここで、「Ｍ」は、パッチセットにおける色パッチの総数であり、Φ（利得，照明光，ｋ１，ｋ２，ｋ３）は、特定の値のカメラ利得、照明光及び選択された変換パラメータｋ１、ｋ２、ｋ３についての最適化メトリックである。また、一実施の形態では、最適化メトリックは、色パッチの他の測定値からの情報を含んでいてもよい。例えば、最適化メトリックは、Ｌ＊ａ＊ｂ＊色空間のａ＊値及び／又はｂ＊値からの情報を含んでいてもよい。

本発明では、上述した最適化メトリックを用いて、変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」を最適に選択し、ＹＣｂＣｒ画像データ２２０における雑音特性を有利に最小化する。詳しくは、様々なカメラ利得及び照明光について、変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」を変更することによって最適化メトリックの最小値を見出すことができる。この最適化メトリックの最小値は、如何なる適切な手法により求めてもよい。例えば、単純な試行錯誤法を用いてもよく、又は更にインテリジェントな「最急降下法（"path of steepest descent"technique）」を繰り返し適用して、最適化メトリックの最小値を発見してもよい。

様々な照明光及び特定のカメラ利得について、最適化された変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」を判定した後、カメラ装置１１０による画像データ変換処理の実行に用いられる適切な最適化された変換パラメータ「ｋ１」、「ｋ２」、「ｋ３」にアクセスし又はこれらを補間するためのパラメータルックアップテーブルを作成できる。以下、パラメータルックアップテーブルの一具体例について、図５を参照して説明する。

図５は、本発明に基づくパラメータルックアップテーブル５１０の一実施の形態を示している。図５のパラメータルックアップテーブル５１０は、例示的なものであり、本発明の他の実施の形態では、パラメータルックアップテーブル５１０は、図５の実施の形態に関連して説明する構成とは異なる様々な構成の他のエレメント及びコンポーネントを含むことができることは明らかである。

図５の具体例で第１の列５３４は、行５１４〜５３０に、様々な照明光Ａ〜Ｅについての一連のｋ１値を示している。同様に、第２の列５３８は、行５１４〜５３０に照明光Ａ〜Ｅについての一連のｋ２値を示している。第３の列５４２は、行５１４〜５３０に照明光Ａ〜Ｅについての一連のｋ３値を示している。ここでは、説明のため、図５のパラメータルックアップテーブル５１０には、５つの照明光だけを示している。但し、他の実施の形態として、如何なる数又は種類の照明光を含めてもよい。

図５のパラメータルックアップテーブル５１０は、１（単位）のカメラ利得について最適化された変換パラメータを提供する。本発明に基づき、カメラ利得の他の如何なる所望の数値についてのパラメータルックアップテーブル５１０を作成してもよい。更に、カメラ装置１１０の貴重なメモリリソースを節約する目的でパラメータルックアップテーブル５１０は、エントリ数が削減された最小化されたフォーマットで実現してもよい。

また、変換マネージャ２１６は、本発明に基づき、適切な様々な補間法を用いて、パラメータルックアップテーブル５１０に登録されていない利得又は照明光について、更なる最適化された変換パラメータを補間してもよい。更に、変換マネージャ２１６は、パラメータルックアップテーブル５１０の変換パラメータの特性又は関係を定義する１つ以上の数式又はアルゴリズムを用いて、更なる最適化された変換パラメータを導出してもよい。

図６は、本発明の一実施の形態に基づき、オフライン設計処理により、最適化された変換パラメータを決定する処理ステップのフローチャートを示している。図６の実施の形態は、例示的なものであり、本発明の他の実施の形態では、図６の実施の形態に関連して説明するものとは異なる他の様々なステップ及びシーケンスを用いてもよいことは明らかである。

図６の実施の形態では、ステップ６１２において、画像データ変換処理を実行するために最適化された変換パラメータの所望の範囲を指定するパラメータ範囲を定義する。ステップ６１６では、色パッチの代表パッチセットを評価するための最適化メトリックを定義する。そして、ステップ６２０において、代表パッチセットの現在の照明光を測定し、記録する。次に、ステップ６２４において、代表パッチセットからの色パッチのそれぞれを測定し、様々な所望の色及び明度特性を判定する。

ステップ６２８において、本発明に基づき、対応する画像データの雑音特性を最小化するように最適化メトリックを最小化し、これにより、様々な最適化された変換パラメータを適切に選択する。ステップ６３２において、更なる照明光について選択するべき最適化された変換パラメータが残っている場合、図６の処理は、ステップ６２０〜ステップ６３２を繰り返し、更なる照明光のそれぞれについて、更なる最適化された変換パラメータを選択する。

そして、各照明光について、最適化された変換パラメータが選択されると、ステップ６３６において、現在のカメラ利得のためのパラメータルックアップテーブル５１０を作成する。ここで、図６の処理は、終了してもよい。なお、本発明では、多くの場合、所望の数のカメラ利得について、図６の処理を繰り返し、これにより、カメラ装置１１０において、画像データ変換処理を実行する際に用いられるパラメータルックアップテーブル５１０の完全な組を生成する。パラメータルックアップテーブル５１０を利用する一実施の形態について、以下、図７を参照して説明する。

図７は、本発明の一実施の形態に基づき、最適化された変換パラメータを用いてオンライン処理を実行するための処理ステップのフローチャートを示している。図７の実施の形態は、例示的なものであり、本発明の他の実施の形態では、図７の実施の形態に関連して説明するものとは異なる他の様々なステップ及びシーケンスを用いてもよいことは明らかである。

図７の実施の形態では、まず、ステップ７１２において、カメラ装置１１０が、所望の写真ターゲットの現在の照明の条件に応じて、適切なカメラ利得を決定し、保存する。次に、ステップ７１６において、カメラ装置１１０が写真ターゲットの現在の照明光を推定する。ステップ７２０において、カメラ装置１１０の変換マネージャ２１６は、画像データ変換処理を実行するために最適化された変換パラメータを含む１つ以上のパラメータルックアップテーブル５１０にアクセスする。

ステップ７２４において、変換マネージャ２１６は、パラメータルックアップテーブル５１０を用いて、現在のカメラ利得及び写真ターゲットの現在の照明光に最も近い最適化された変換パラメータを補間する。次に、ステップ７２８において、変換マネージャ２１６は、ステップ７２４において得られた適切な最適化された変換パラメータをカメラ装置１１０のカメラレジスタにロードする。そして、変換マネージャ２１６は、ステップ７３２において、最適化された変換パラメータを用いて、本発明に基づく１つ以上の画像データ変換処理を実行する。図７の処理は、ここで終了する。

以上、本発明を好ましい実施例を用いて説明した。上述の説明から、当業者は他の実施例を容易に想到できる。例えば、本発明は、上述の実施例において説明した構成及び技術とは異なる構成及び技術を用いても容易に実現できる。更に、本発明は、好ましい実施例において説明したシステムとは異なるシステムを用いても実現できる。したがって、これらの及びこの他の変形例は、本発明の範囲内にあり、本発明は、特許請求の範囲によってのみ限定されるものである。

本発明に基づくカメラ装置の一実施の形態のブロック図である。 本発明に基づく図１のメモリの一実施の形態のブロック図である。 本発明に基づく変換行列の具体例を示す図である。 本発明の一実施形態に基づき、雑音標準偏差を判定するためのグラフである。 本発明に基づくパラメータルックアップテーブルの具体例を示す図である。 本発明の一実施の形態に基づき、オフライン設計処理により、最適化された変換パラメータを決定する処理のフローチャートである。 本発明の一実施の形態に基づき、最適化された変換パラメータを用いてオンライン処理を実行するための処理のフローチャートである。

Claims (42)

1. 画像データ変換処理を実行する画像データ変換処理システムにおいて、
   写真ターゲットに対応する第１の画像データを捕捉する電子カメラ装置と、
   第２の画像データの雑音特性を最小化するように最適化された変換パラメータを用いて上記第１の画像データを該第２の画像データに変換する変換マネージャとを備える画像データ処理システム。
2. 上記変換マネージャは、上記画像データ変換処理において、ＲＧＢフォーマットの上記第１の画像データを、ＹＣｂＣｒフォーマットの上記第２の画像データに変換することを特徴とする請求項１記載の画像データ処理システム。
3. 上記変換マネージャは、第１の変換パラメータｋ１、第２の変換パラメータｋ２、組合せパラメータｋ３を含む上記変換パラメータを用いることによって上記画像データ変換処理を実行することを特徴とする請求項２記載の画像データ処理システム。
4. 上記変換マネージャは、上記第１の変換パラメータｋ１と、上記第２の変換パラメータｋ２と、１から上記第１の変換パラメータｋ１及び上記第２の変換パラメータｋ２を減算して得られる第３の変換パラメータとを含む輝度変換行を有する変換行列を用いて、上記画像データ変換処理を実行することを特徴とする請求項３記載の画像データ処理システム。
5. 上記変換マネージャは、上記第１の画像データの三原色の赤色、緑色及び青色の値をそれぞれＲ、Ｇ及びＢとし、上記変換行列の上記輝度変換行からの上記第１の変換パラメータをｋ１とし、上記第２の変換パラメータをｋ２とし、上記第３の変換パラメータを（１−ｋ１−ｋ２）とし、
   式：Ｙ１＝（ｋ１）Ｒ＋（ｋ２）Ｇ＋（１−ｋ１−ｋ２）Ｂ
   に基づいて、第１の輝度値Ｙ１を算出することを特徴とする請求項４記載の画像データ処理システム。
6. 上記変換パラメータは、最適化メトリックを評価することによって最適化されることを特徴とする請求項２記載の画像データ処理システム。
7. 上記最適化メトリックは、線形Ｌ＊ａ＊ｂ＊色空間において評価され、上記第２の画像データにおける上記雑音特性を最小化することを特徴とする請求項６記載の画像データ処理システム。
8. 平均Ｌ＊値の上下の各色パッチについて、代表パッチセットから雑音標準偏差を算出し、該雑音標準偏差を用いて上記色パッチのそれぞれについて、上記雑音標準偏差の１つをＳＮＤとし、上記最適化メトリックを算出するために用いられる上記雑音分散値の対応する値をＮＶとして、
   式：ＮＶ＝（ＳＮＤ）^２
   に基づいて、雑音分散値を計算することを特徴とする請求項７記載の画像データ処理システム。
9. 上記最適化メトリックは、各色パッチについて、上記パッチセットにおける上記色パッチの総数をＭとし、上記雑音分散値の１つをＮＶとし、特定の値のカメラ利得、照明光及び選択された変換パラメータｋ１、ｋ２、ｋ３についての上記最適化メトリックをΦ（利得，照明光，ｋ１，ｋ２，ｋ３）として、
   式：（利得，照明光，ｋ１，ｋ２，ｋ３）＝（・・・ＮＶｉ＋ＮＶ２＋ＮＶ３＋ＮＶＭ）／Ｍ
   に基づいて、上記雑音分散値の平均値を算出することによって算出されることを特徴とする請求項８記載の画像データ処理システム。
10. 上記組合せパラメータｋ３は、上記第１の輝度値Ｙ１及び第２の輝度値Ｙ２を組み合わせて、上記ＹＣｂＣｒフォーマットにおける上記第２の画像データの最終的な輝度値Ｙを生成するための組合せ比率を決定するために用いられることを特徴とする請求項５記載の画像データ処理システム。
11. 上記第２の輝度値Ｙ２は、上記第１の画像データから選択された原色値の単純な未処理の平均値であることを特徴とする請求項１０記載の画像データ処理システム。
12. 上記変換マネージャは、上記変換行列を用いて算出された上記第１の輝度値をＹ１とし、上記第２の輝度値をＹ２とし、上記組合せパラメータをｋ３として、
    式：Ｙ＝（ｋ３）Ｙ１＋（１−ｋ３）Ｙ２
    に基づいて、上記最終的な輝度値Ｙを算出することを特徴とする請求項１１記載の画像データ処理システム。
13. 上記変換パラメータは、各カメラ利得における各照明光毎に、最適化され、上記カメラ装置内のパラメータルックアップテーブルに保存されることを特徴とする請求項３記載の画像データ処理システム。
14. 上記パラメータルックアップテーブルは、上記変換パラメータの数を削減した最小化されたフォーマットで実現され、上記変換マネージャは、補間法を用いて、上記パラメータルックアップテーブル内で明確に示されていない所定の上記カメラ利得及び上記照明光について、更なる変換パラメータを補間することを特徴とする請求項１３記載の画像データ処理システム。
15. 上記変換パラメータは、上記第１の変換パラメータｋ１を第１の式：０≦ｋ１≦１に基づいて制限し、上記第２の変換パラメータｋ２を第２の式：０≦ｋ２≦１に基づいて制限し、上記第３の変換パラメータ（１−ｋ１−ｋ２）を第２の式：０≦（１−ｋ１−ｋ２）≦１に基づいて制限し、上記組合せ変換パラメータｋ３を第４の式：０≦ｋ３≦１に基づいて制限するパラメータ範囲によって制限されることを特徴とする請求項３記載の画像データ処理システム。
16. 上記変換パラメータは、パッチセットからの代表色パッチを評価するために、変換パラメータ範囲を定義し、及び最適化メトリックを定義するオフライン設計手順において選択されることを特徴とする請求項１記載の画像データ処理システム。
17. 上記最適化メトリックは、上記代表色パッチの一連の所望の照明光及びカメラ利得について最小化され、上記第２の画像データにおける上記雑音特性を最小化する最適な上記変換パラメータが判定されることを特徴とする請求項１６記載の画像データ処理システム。
18. 上記変換パラメータは、上記画像データ変換処理を実行するために、上記カメラ装置において、パラメータルックアップテーブルを作成するために用いられることを特徴とする請求項１７記載の画像データ処理システム。
19. 上記カメラ装置は、写真ターゲットに対応する現在のカメラ利得及び現在の照明光を測定及び記録することを特徴とする請求項１記載の画像データ処理システム。
20. 上記変換マネージャは、上記変換パラメータのパラメータルックアップテーブルにアクセスし、上記現在のカメラ利得及び上記現在の照明光に応じて、上記変換パラメータの適切な値を補間し、上記変換パラメータの上記適切な値により、上記画像データ変換処理を実行し、上記第２の画像データを生成することを特徴とする請求項１９記載の画像データ処理システム。
21. 画像データ変換処理を実行する画像データ変換処理方法において、
    電子カメラ装置により、写真ターゲットに対応する第１の画像データを捕捉するステップと、
    変換マネージャにより、第２の画像データの雑音特性を最小化するように最適化された変換パラメータを用いて上記第１の画像データを該第２の画像データに変換するステップとを有する画像データ処理方法。
22. 上記変換マネージャは、上記画像データ変換処理において、ＲＧＢフォーマットの上記第１の画像データを、ＹＣｂＣｒフォーマットの上記第２の画像データに変換することを特徴とする請求項２１記載の画像データ処理方法。
23. 上記変換マネージャは、第１の変換パラメータｋ１、第２の変換パラメータｋ２、組合せパラメータｋ３を含む上記変換パラメータを用いることによって上記画像データ変換処理を実行することを特徴とする請求項２２記載の画像データ処理方法。
24. 上記変換マネージャは、上記第１の変換パラメータｋ１と、上記第２の変換パラメータｋ２と、１から上記第１の変換パラメータｋ１及び上記第２の変換パラメータｋ２を減算して得られる第３の変換パラメータとを含む輝度変換行を有する変換行列を用いて、上記画像データ変換処理を実行することを特徴とする請求項２３記載の画像データ処理方法。
25. 上記変換マネージャは、上記第１の画像データの三原色の赤色、緑色及び青色の値をそれぞれＲ、Ｇ及びＢとし、上記変換行列の上記輝度変換行からの上記第１の変換パラメータをｋ１とし、上記第２の変換パラメータをｋ２とし、上記第３の変換パラメータを（１−ｋ１−ｋ２）とし、
    式：Ｙ１＝（ｋ１）Ｒ＋（ｋ２）Ｇ＋（１−ｋ１−ｋ２）Ｂ
    に基づいて、第１の輝度値Ｙ１を算出することを特徴とする請求項２４記載の画像データ処理方法。
26. 上記変換パラメータは、最適化メトリックを評価することによって最適化されることを特徴とする請求項２２記載の画像データ処理方法。
27. 上記最適化メトリックは、線形Ｌ＊ａ＊ｂ＊色空間において評価され、上記第２の画像データにおける上記雑音特性を最小化することを特徴とする請求項２６記載の画像データ処理方法。
28. 平均Ｌ＊値の上下の各色パッチについて、代表パッチセットから雑音標準偏差を算出し、該雑音標準偏差を用いて上記色パッチのそれぞれについて、上記雑音標準偏差の１つをＳＮＤとし、上記最適化メトリックを算出するために用いられる上記雑音分散値の対応する値をＮＶとして、
    式：ＮＶ＝（ＳＮＤ）^２
    に基づいて、雑音分散値を計算することを特徴とする請求項２７記載の画像データ処理方法。
29. 上記最適化メトリックは、各色パッチについて、上記パッチセットにおける上記色パッチの総数をＭとし、上記雑音分散値の１つをＮＶとし、特定の値のカメラ利得、照明光及び選択された変換パラメータｋ１、ｋ２、ｋ３についての上記最適化メトリックをΦ（利得，照明光，ｋ１，ｋ２，ｋ３）として、
    式：（利得，照明光，ｋ１，ｋ２，ｋ３）＝（・・・ＮＶｉ＋ＮＶ２＋ＮＶ３＋ＮＶＭ）／Ｍ
    に基づいて、上記雑音分散値の平均値を算出することによって算出されることを特徴とする請求項２８記載の画像データ処理方法。
30. 上記組合せパラメータｋ３は、上記第１の輝度値Ｙ１及び第２の輝度値Ｙ２を組み合わせて、上記ＹＣｂＣｒフォーマットにおける上記第２の画像データの最終的な輝度値Ｙを生成するための組合せ比率を決定するために用いられることを特徴とする請求項２５記載の画像データ処理方法。
31. 上記第２の輝度値Ｙ２は、上記第１の画像データから選択された原色値の単純な未処理の平均値であることを特徴とする請求項３０記載の画像データ処理方法。
32. 上記変換マネージャは、上記変換行列を用いて算出された上記第１の輝度値をＹ１とし、上記第２の輝度値をＹ２とし、上記組合せパラメータをｋ３として、
    式：Ｙ＝（ｋ３）Ｙ１＋（１−ｋ３）Ｙ２
    に基づいて、上記最終的な輝度値Ｙを算出することを特徴とする請求項３１記載の画像データ処理方法。
33. 上記変換パラメータは、各カメラ利得における各照明光毎に、最適化され、上記カメラ装置内のパラメータルックアップテーブルに保存されることを特徴とする請求項２３記載の画像データ処理方法。
34. 上記パラメータルックアップテーブルは、上記変換パラメータの数を削減した最小化されたフォーマットで実現され、上記変換マネージャは、補間法を用いて、上記パラメータルックアップテーブル内で明確に示されていない所定の上記カメラ利得及び上記照明光について、更なる変換パラメータを補間することを特徴とする請求項３３記載の画像データ処理方法。
35. 上記変換パラメータは、上記第１の変換パラメータｋ１を第１の式：０≦ｋ１≦１に基づいて制限し、上記第２の変換パラメータｋ２を第２の式：０≦ｋ２≦１に基づいて制限し、上記第３の変換パラメータ（１−ｋ１−ｋ２）を第２の式：０≦（１−ｋ１−ｋ２）≦１に基づいて制限し、上記組合せ変換パラメータｋ３を第４の式：０≦ｋ３≦１に基づいて制限するパラメータ範囲によって制限されることを特徴とする請求項２３記載の画像データ処理方法。
36. 上記変換パラメータは、パッチセットからの代表色パッチを評価するために、変換パラメータ範囲を定義し、及び最適化メトリックを定義するオフライン設計手順において選択されることを特徴とする請求項２１記載の画像データ処理方法。
37. 上記最適化メトリックは、上記代表色パッチの一連の所望の照明光及びカメラ利得について最小化され、上記第２の画像データにおける上記雑音特性を最小化する最適な上記変換パラメータが判定されることを特徴とする請求項３６記載の画像データ処理方法。
38. 上記変換パラメータは、上記画像データ変換処理を実行するために、上記カメラ装置において、パラメータルックアップテーブルを作成するために用いられることを特徴とする請求項３７記載の画像データ処理方法。
39. 上記カメラ装置は、写真ターゲットに対応する現在のカメラ利得及び現在の照明光を測定及び記録することを特徴とする請求項２１記載の画像データ処理方法。
40. 上記変換マネージャは、上記変換パラメータのパラメータルックアップテーブルにアクセスし、上記現在のカメラ利得及び上記現在の照明光に応じて、上記変換パラメータの適切な値を補間し、上記変換パラメータの上記適切な値により、上記画像データ変換処理を実行し、上記第２の画像データを生成することを特徴とする請求項３９記載の画像データ処理方法。
41. 画像データ変換処理を実現するプログラム命令を含むコンピュータにより読取可能な媒体において、該画像データ変換処理は、
    電子カメラ装置により、写真ターゲットに対応する第１の画像データを捕捉するステップと、
    変換マネージャにより、第２の画像データの雑音特性を最小化するように最適化された変換パラメータを用いて上記第１の画像データを該第２の画像データに変換するステップとを有するコンピュータにより読取可能な媒体。
42. 画像データ変換処理を実行する画像データ変換処理システムにおいて、
    写真ターゲットに対応する第１の画像データを捕捉する捕捉手段と、
    第２の画像データの雑音特性を最小化するように最適化された変換パラメータを用いて上記第１の画像データを該第２の画像データに変換する変換手段とを備える画像データ変換処理システム。

Images