JP2014534699A - 固有画像を使用したデジタル画像信号圧縮のシステム及び方法 - Google Patents

Abstract

本発明の例示的な第１実施形態においては、画像を処理する、自動化されコンピュータ化された方法が提供される。本発明の一特徴によれば、方法は、画像を描く画像ファイルをコンピュータメモリ内において提供するステップと、画像に対応する固有画像を生成するステップと、固有画像を圧縮して圧縮固有画像を提供するステップと、を有する。

Description

本発明は、固有画像を使用したデジタル画像信号圧縮のシステム及び方法に関する。

最近のコンピュータ技術の多数の有意且つ商業的に重要な使用法は、画像に関するものである。これらには、画像処理、画像分析、及びコンピュータビジョンアプリケーションが含まれる。例えば、物体認識及び光学文字認識などのコンピュータビジョンアプリケーションにおいては、画像の照明アスペクト（側面）と素材（物質）アスペクトの分離により、コンピュータの動作の精度及び速度を大幅に改善できることが判明している。画像の照明アスペクト及び素材アスペクトに関係する有意な発明は、Richard Mark Friedhoffの「Differentiation Of Illumination And Reflection Boundaries」という名称の特許文献１及びRichard Mark Friedhoffらの「Method And System For Identifying Illumination Flux In An Image」という名称の特許文献２（以下、Friedhoff特許と総称する）に開示されている。

米国特許第７，８７３，２１９号明細書 米国特許第７，６７２，５３０号明細書

本発明は、Friedhoff特許の基本的な教示内容に対する改善及び機能強化を提供するものであり、且つ、例えば、データ送信の結果の改善のために、デジタル画像信号圧縮アルゴリズムに適用可能な固有画像を正確に且つ正しく生成する画像技法を有する方法及びシステムを含む。

本発明の例示的な第１実施形態においては、画像を処理するための自動化されコンピュータ化された方法が提供される。本発明の一特徴によれば、方法は、画像を描く画像ファイルをコンピュータメモリ内において提供するステップと、画像に対応する固有画像を生成するステップと、固有画像を圧縮して圧縮固有画像を提供するステップと、を有する。

本発明の例示的な第２実施形態においては、コンピュータシステムが提供される。コンピュータシステムは、ＣＰＵと、画像を収容する画像ファイルを格納するメモリと、を有する。本発明の一特徴によれば、ＣＰＵは、画像に対応する固有画像を生成すると共に固有画像を圧縮して圧縮固有画像を提供するためのルーチンを実行するように適合及び構成されている。

本発明の例示的な第３実施形態においては、コンピュータ可読媒体上に配設されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、画像を描く画像ファイルをコンピュータメモリ内において提供し、画像に対応する固有画像を生成し、且つ、固有画像を圧縮して圧縮固有画像を提供するようにコンピュータを制御するべく動作可能なコンピュータ実行可能プロセスステップを含む。

本発明の例示的な第４実施形態においては、画像を処理するための自動化されコンピュータ化された方法が提供される。本発明の一特徴によれば、方法は、圧縮された固有画像を受け取るステップを有する。

本発明の例示的な第５実施形態においては、装置は、圧縮固有画像を受け取るように適合及び構成されている。
本発明の例示的な第６実施形態においては、コンピュータ可読媒体上に配設されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、圧縮固有画像を受け取るようにコンピュータを制御するべく動作可能なコンピュータ実行可能プロセスステップを含む。

本発明の更なる実施形態によれば、上述の方法を実行するように構成された（例えば、プログラムされた）１つ又は複数のコンピュータを含むコンピュータシステムが提供される。本発明のその他の実施形態によれば、上述の実施形態を実施するように１つ又は複数のコンピュータを制御するべく動作可能なコンピュータ実行可能プロセスステップをそこに格納状態で有する非一時的なコンピュータ可読媒体が提供される。本発明においては、コンピュータ可読媒体を、例えば、集積回路チップなどのハードウェア回路として実装された命令を含む本発明の方法を実行するべくコンピュータ内において使用可能な情報を実施した任意の製品として想定している。自動化されコンピュータ化された方法は、デジタルコンピュータ、アナログコンピュータ、光センサ、状態機械、シーケンサ、集積チップ、又は本発明の方法のステップを実行するように設計又はプログラムすることができる任意の装置又は機器によって実行することができる。

画像に関係する動作を実行するように適合及び構成されたコンピュータシステムのブロックダイアグラムである。 図１のコンピュータシステムに格納された画像のｎ×ｍピクセルアレイの画像ファイルを示す。 本発明の一特徴による図２の画像ファイル内においてタイプＣトークン領域を識別するフローチャートである。 タイプＣトークンの識別の際に一例として使用されるオリジナル画像である。 図３ｂの画像内のタイプＣトークン領域を示す。 本発明の一特徴による図３ｃのタイプＣトークンから生成されたタイプＢトークンを示す。 本発明の一特徴による図３ａのフローチャートのルーチンによって識別されたタイプＣトークンを試験するルーチンのフローチャートである。 本発明の一特徴による対数色空間色度プレーンのグラフィカルな図である。 入力画像内に描かれている色のリストを判定するフローチャートである。 本発明の一特徴による対数色度空間の向きを判定するフローチャートである。 本発明の一特徴による図６のルーチンの実行を通じて判定された入力画像の色の対数色度座標を判定するフローチャートである。 本発明の一特徴による図８のルーチンの実行を通じて判定された対数色度座標を増強するフローチャートである。 本発明の一特徴による対数色度座標をクラスタ化するフローチャートである。 本発明の一特徴による図１０のルーチンの実行を通じて判定されたクラスタに対して対数色度座標を割り当てるフローチャートである。 本発明の一特徴による対数色度クラスタ化に基づいて均一な反射率の領域を検出するフローチャートである。 固有画像の生成のために、同一の素材制約に従って、画像の照明側面と素材側面を識別及び分離するために使用される［Ａ］［ｘ］＝［ｂ］行列関係の図である。 図３ｂのオリジナル画像に対応する照明画像及び素材画像を含む固有画像を示す。 本発明の一特徴による固有画像を圧縮するフローチャートである。 本発明の一特徴による固有画像を圧縮解除するフローチャートである。

以下、添付図面の、まずは、図１を参照すれば、画像に関係する動作を実行するように適合及び構成されたコンピュータシステム１０のブロックダイアグラムが示されている。ＣＰＵ１２は、例えば、ＵＳＢポートなどを介して、例えば、デジタルカメラ１４などの装置に結合されている。デジタルカメラは、ビデオデジタルカメラを有することができる。デジタルカメラ１４は、カメラ１４上にローカルに格納されている画像をＣＰＵ１２にダウンロードするように動作する。ＣＰＵ１２は、画像ファイル１８として、ダウンロードされた画像をメモリ１６に格納する。ＣＰＵ１２は、モニタ２０上における表示のために、又はプリンタ２２上における印刷のために、画像ファイル１８にアクセスすることができる。メモリ１６は、任意の一時的又は永久的なデータ格納装置を有することができる。

更には、コンピュータシステム１０は、メモリ１６に格納されている画像ファイル１８内に出現可能な様々な物体に関する情報を格納するオブジェクトデータベース２４を含む。この情報には、データベース２４に格納されているそれぞれの物体の素材（マテリアル）構成及び素材反射率測色に関する情報が含まれる。オブジェクトデータベースは、図１に示されているようにＣＰＵ１２に結合されている。又、ＣＰＵ１２は、ウェブサイト２８に対するアクセスのために、インターネット２６にも結合されている。ウェブサイト２８は、例えば、物体の素材構成及び素材反射率測色などの画像ファイル１８内に出現可能な物体に関連する情報を収容するウェブサイトを含み、且つ、オブジェクトデータベースの別の供給源を提供する。又、ウェブサイト２８は、ＣＰＵ１２からインターネット２６上において送信された画像ファイル１８を受け取るように構成されたウェブサイトをも含む。

或いは、この代わりに、ＣＰＵ１２は、例えば、デジタルカメラ１４又はロボットなどの装置に組み込まれたマイクロプロセッサとして実装することもできる。又、ＣＰＵ１２は、例えば、ロボットの動作又はユーザーとの間の対話型の動作との関連において、画像に関係するリアルタイム動作のためのリアルタイムオペレーティングシステムを装備することもできる。

図２に示されているように、それぞれの画像ファイル１８は、ｎ×ｍピクセルのアレイを有する。それぞれのピクセルｐは、画像全体の別個の部分に対応する画素である。ピクセルのすべてが、協働し、画像ファイル１８によって表されている画像を規定する。それぞれのピクセルは、例えば、画素の赤色成分、緑色成分、及び青色成分（ＲＧＢ）などの色帯の組に対応したデジタル値を有する。本発明は、任意のマルチ帯域画像に適用可能であり、この場合に、それぞれの帯域は、電磁気スペクトルの一部分に対応している。ピクセルアレイは、それぞれ、ピクセルｐ（１，１）によって始まり、且つ、ピクセルｐ（ｎ，ｍ）によって終了するｍ個の列のｎ個の行を含む。画像を表示又は印刷する際には、ＣＰＵ１２は、一般に知られているように、対応する画像ファイル１８をメモリ１６から取得し、且つ、状況に応じて、画像ファイル１８内のピクセルのデジタル値の関数として、モニタ２０又はプリンタ２２を動作させる。

画像の操作の際には、ＣＰＵ１２は、例えば、画像ファイル１８内に記録されている場面内に描かれた単一の素材に対応する画像の領域の識別などの様々な目的を実現するべく、格納されている画像ファイル１８のピクセルのＲＧＢ値を分析するように動作する。本発明の基本的な発見の基礎をなす基本的な観察は、画像が、素材と照明という２つの成分を有するというものである。画像のすべての変化は、これらの成分のうちの一方又は他方によって生成される。例えば、素材などのこれらの成分のうちの１つを検出する方法は、照明及び陰影の境界から物体のエッジなどの素材又は物体の形状を弁別するメカニズムを提供する。

このようなメカニズムにより、固有画像を生成するために使用可能な技法が可能となる。固有画像は、例えば、入力画像ファイル１８内に描かれている画像などのオリジナルの画像に対応している。固有画像は、例えば、画像内に描かれている表面上のそれぞれの地点に入射する光の強度及び色をキャプチャするための照明画像と、画像内に描かれている表面の反射率特性（表面が反射する光のそれぞれの波長の百分率）をキャプチャするための素材反射率画像と、を含む。固有画像内における素材からの照明の分離は、相対的に効果的であり且つ正確であると共に効率的な更なる処理のために最適化された画像をＣＰＵ１２に対して提供する。

例えば、本発明の一特徴によれば、固有画像は、データ送信及び／又は格納の際の結果を改善するために、デジタル画像信号圧縮アルゴリズムに適用される。画像、特に、カラー画像、を描くコンピュータファイルは、例えば、バイトによって表されたピクセルとして構成された大量の情報を必要としている。従って、それぞれの画像ファイルは、メモリ内における大量の格納空間を必要とし、且つ、リモートサイト又は装置に対する画像のデータ送信の際に大量の時間を消費する可能性がある。例えば、ビデオストリームにおけるように、一連の画像の送信に必要とされうる時間量は、スマートフォン、インターネットウェブサイト、又はタブレット上におけるビデオのリアルタイム表示のためのストリーミング動作などの動作を予測不能なものにする可能性がある。

従って、画像のピクセルを表すバイト数を格段に小さなバイト数に圧縮するために、数学的技法が開発されている。例えば、．ｊｐｇファイルフォーマットは、デジタル写真ファイルを圧縮するべく、ＪＰＥＧ（Joint Photographic Experts Group）によって開発された柔軟性を有する圧縮アルゴリズムである。圧縮された画像は、オリジナル画像ファイルよりも格段に小さな格納容量を必要とする方式で格納することが可能であり、且つ、格段に効率的且つ高速な送信動作によってリモートサイト又は装置に送信することができる。圧縮された画像ファイルは、例えば、画面上における表示などの、更なる使用のために、圧縮解除される。但し、デジタルビデオの受信及びリアルタイム表示用の装置のユーザー数の迅速な増大に起因し、既知の圧縮法は、有効機能の限度に直面している。

本発明の一特徴によれば、固有画像に対して圧縮及び圧縮解除プロセスを実行することにより、デジタル信号の圧縮及び圧縮解除処理が改善される。

本発明の一特徴によれば、処理は、トークンレベルにおいて実行される。トークンとは、領域のピクセルが素材及び照明の識別などの画像の特徴及び特性の識別に関係する方式によって相互に関係付けられている画像の接続された領域である。トークンのピクセルは、例えば、ピクセルの間における色の緊密な相関などの均質な要因、或いは、例えば、テクスチャと一般に呼ばれているＲＧＢ空間などの色空間内において幾何学的に関係付けられた異なる色値などの不均質な要因の観点において関係付けることができる。本発明は、画像ファイル１８内において描かれている画像の連続したピクセルに関係する空間−スペクトル情報を利用し、トークン領域を識別している。空間−スペクトル情報には、例えば、ピクセルのＲＧＢ値などの色帯の観点における連続したピクセルの間におけるスペクトル関係と、単一の素材に関係するピクセルスペクトル特性の空間的な程度と、が含まれる。

本発明の例示的な一実施形態によれば、トークンは、それぞれ、タイプＡトークン、タイプＢトークン、又はタイプＣトークンとして分類される。タイプＡトークンとは、場面内において単一の素材を取り囲む画像の最大可能領域（均一な反射率）を表す連続したピクセルを有する接続された画像領域である。タイプＢトークンとは、場面内において単一の素材を取り囲む画像の領域を表す連続したピクセルを有する接続された画像領域であるが、必ずしも、その素材に対応する均一な反射率の最大領域ではない。又、タイプＢトークンは、そのすべてが同一の反射率（素材色）を有するが、必ずしも、すべてのピクセルがその素材色に対応しているわけではない１つ又は複数の画像領域又はピクセルの集合体として規定することもできる。タイプＣトークンとは、トークンの連続したピクセルの間における類似の画像特性の接続された画像領域を有しており、この場合に、類似性は、画像を記録するために使用された撮像システムのノイズモデルとの関係において規定される。

次に図３ａを参照すれば、本発明の一特徴による図２の画像ファイル１８内に描かれている場面内においてタイプＣトークン領域を識別するフローチャートが示されている。タイプＣトークンは、本発明の一特徴によれば、図３ａのステップを利用することにより、画像内において容易に識別することが可能であり、且つ、次いで、これらを分析及び処理することにより、タイプＢトークンを構築することができる。

１次均一均質タイプＣトークンは、画像の連続したピクセルの間において単一の安定した色計測値を有する。識別ルーチンの開始時点において、ＣＰＵ１２は、領域マップをメモリ内においてセットアップする。ステップ１００において、ＣＰＵ１２は、領域マップをクリアし、且つ、領域ＩＤを割り当てているが、領域ＩＤは、当初、１に設定される。ピクセル番号に対応するルーチンの反復は、ｉ＝０に設定されており、且つ、トークンを判定するためのシードとして使用されるＮ×Ｎピクセルアレイの数値は、初期値Ｎ＝Ｎ_{ｓｔａｒｔ}に設定されている。Ｎ_{ｓｔａｒｔ}は、０を上回る整数であってもよく、例えば、１１又は１５ピクセルにおいて設定することができる。

ステップ１０２において、シード試験を開始している。ＣＰＵ１２は、例えば、ｉ＝１において、第１ピクセルを、即ち、画像ファイル１８の第１のＮ×Ｎサンプルの左上隅のピクセルであるピクセル（１，１）を、選択している（図２を参照されたい）。次いで、このピクセルは、選択されたピクセルが良好なシードの一部であるかどうかを判定するために判定ブロック１０４において試験されている。試験は、例えば、Ｎ×Ｎアレイなどのシードとして予め選択された数のその隣接するピクセルの色値との間における選択されたピクセルの色値の比較を有することができる。色値の比較は、ピクセルの複数の色帯値（本発明者らの例においては、ＲＧＢ）との関係におけるものであってもよい。比較が、シード内のピクセルについて（記録装置のノイズレベル内の）ほぼ等しい値を結果的にもたらさない場合には、ＣＰＵ１２は、次のＮ×Ｎシードサンプルについて、例えば、ｉ＝２のピクセル（１，２）のようにｉの値を増分し（ステップ１０６）、且つ、次いで、ｉ＝ｉ_ｍａｘであるかどうかを判定するべく試験する（判定ブロック１０８）。

ピクセル値が、ｉ_ｍａｘである、即ち、結果の改善のためにシードサイズを低減するための判定用の閾値として選択された値である場合には、シードサイズＮを、例えば、Ｎ＝１５から、Ｎ＝１２に低減する（ステップ１１０）。本発明の例示的な一実施形態においては、ｉ_ｍａｘは、図２に示されているように、ピクセル（ｎ，ｍ）において終了する画像内のピクセルの数に設定することができる。この結果、図３ａのルーチンは、低減されたＮの値だけルーチンを反復する前に、最初のＮの値だけ画像全体を解析する。

シードサイズの低減の後に、ルーチンは、ステップ１０２に戻り、且つ、トークンシードの試験を継続する。又、ステップ１１０においては、分析が完了しているかどうかを判定するために、Ｎ_ｓｔｏｐ値（例えば、Ｎ＝２）もチェックされる。Ｎの値がＮ_ｓｔｏｐである場合には、ＣＰＵ１２は、画像ピクセルアレイの調査を完了しており、且つ、ルーチンを終了する。

ｉの値がｉ_ｍａｘ未満であり、且つ、ＮがＮ_ｓｔｏｐを上回っている場合には、ルーチンは、ステップ１０２に戻り、且つ、トークンシードの試験を継続する。

良好なシード（ほぼ等しいピクセル値を有するＮ×Ｎアレイ）が見出された際には（ブロック１０４）、シードからトークンを成長させる。ステップ１１２において、ＣＰＵ１２は、シードからのピクセルをキュー上にプッシュしている。キュー内のピクセルのすべてが領域マップ内の現在の領域ＩＤによってマーキングされる。次いで、ＣＰＵ１２は、キューが空であるかどうかについて問い合わせている（判定ブロック１１４）。キューが空ではない場合には、ルーチンは、ステップ１１６に進む。

ステップ１１６において、ＣＰＵ１２は、キューからフロントピクセルをポップアップし、且つ、ステップ１１８に進む。ステップ１１８において、ＣＰＵ１２は、現在の領域ＩＤにより、主題ピクセルの周りの「良好」な隣接ピクセルを、即ち、主題ピクセルと色値においてほぼ等しい隣接ピクセルを、マーキングしている。マーキングされた良好な隣接ピクセルのすべては、領域マップ内に配置され、且つ、キュー上にプッシュもされる。次いで、ＣＰＵ１２は、判定ブロック１１４に戻る。ステップ１１４、ステップ１１６、ステップ１１８のルーチンは、キューが空になる時点まで反復される。この時点において、現在の領域内においてトークンを形成しているピクセルのすべての識別と、タイプＣトークンとしての領域マップ内におけるマーキングと、が完了している。

キューが空である際には、ＣＰＵ１２は、ステップ１２０に進む。ステップ１２０において、ＣＰＵ１２は、次のトークンの識別に伴って使用するべく、領域ＩＤを増分している。次いで、ＣＰＵ１２は、ステップ１０６に戻り、新しい現在のトークン領域との関係においてルーチンを反復する。

Ｎ＝Ｎ_ｓｔｏｐに、つまり、図３ａのフローチャートのステップ１１０に、到達した際に、即ち、画像と一致する領域マップの完了の際に、ルーチンは、トークン構築タスクを完了していることになる。図３ｂは、トークンの識別において、一例として使用されるオリジナル画像である。画像は、青色の色のエリアと、青色の陰影のエリアと、濃青緑色の色のエリアと、濃青緑色の陰影のエリアと、を示している。図３ｃは、例えば、図３ｂと画像との関係において、図３ａのルーチンの実行を通じて識別された領域マップに対応するトークン領域（タイプＣトークン）を示している。これらのトークン領域は、画像のフルカラーの青色及び濃青緑色のエリアの間の半影領域及び有色エリアの陰影を含む画像３ｂの画像のトークン構成を示すために色分けされている。

それぞれのタイプＣトークンは、画像の連続したピクセルの間の単一の安定した色計測値を有する画像の領域を有するが、トークンは、素材境界に跨って成長してもよい。通常、異なる素材は、陰影境界上に又は類似の色相を有するが異なる強度を有する異なる素材を横断する変化する照明を有するエリア内にしばしば位置したネック領域を介して１つのタイプＣトークン内において１つに接続している。ネックピクセルは、隣接するピクセルの特性を調査することによって識別することができる。ピクセルが、対応するトークン内に存在していない反対側の２つの連続したピクセルと、対応するトークン内に存在している反対側の２つの連続したピクセルと、を有する際に、そのピクセルは、ネックピクセルとして規定される。

図４は、タイプＣトークンのネック試験のフローチャートを示している。ステップ１２２において、ＣＰＵ１２は、識別されたトークンのそれぞれのピクセルを調査し、調査対象のピクセルのいずれかがネックを形成しているかどうかを判定している。図４のルーチンは、特定のトークンが図３ａのルーチンの実行の際に識別された直後にサブルーチンとして実行することができる。ネックとして識別されたすべてのピクセルは、「成長不能」としてマーキングされる。判定ブロック１２４において、ＣＰＵ１２は、ピクセルのいずれかがマーキングされているかどうかを判定している。

判定結果が否定的である場合には、ＣＰＵ１２は、図４のルーチンを終了し、且つ、図３ａのルーチンに戻る（ステップ１２６）。

判定結果が肯定的である場合には、ＣＰＵ１２は、ステップ１２８に進み、且つ、シードサイズ及び領域ＩＤのカウントを変更することなしに、図３ａのルーチンに従って、現在のトークンのマーキングされていないピクセルの中から選択されたシード場所からトークンを再成長させるように動作する。再成長プロセスにおいては、ＣＰＵ１２は、成長不能として予めマーキングされた任意のピクセルを含んでいない。トークンの再成長の後に、予めマーキングされていたピクセルは、その他のトークンがその内部に成長してもよいように、マーキング解除される。

予めマーキングされたピクセルを伴わないトークンの再成長の後に、ＣＰＵ１２は、ステップ１２２に戻り、新しく再成長したトークンを試験する。ネック試験により、素材境界を横断するタイプＣトークンを識別し、且つ、識別されたトークンを再成長させることにより、タイプＢトークンを生成する際に使用するのに適した単一素材タイプＣトークンを提供する。

図３ｄは、本発明の一特徴に従って図３ｃのタイプＣトークンから生成されたタイプＢトークンを示している。本発明は、画像ファイル１８のタイプＢトークンを構築するために対数色度クラスタ化を使用する新しい例示的な技法を提供している。対数色度は、照明不変色度空間を生成するための技法である。

対数色度表現を使用して照明と反射率を分離する方法及びシステムは、米国特許第７，５９６，２６６号明細書に開示されており、この文献の内容は、引用により、本明細書に明示的に包含される。米国特許第７，５９６，２６６号明細書に教示されている技法を使用し、例えば、タイプＣトークンによって表された画像のそれぞれの色の照明不変対数色度表現値を提供することができる。画像ピクセルの色帯値の対数値を対数−色空間グラフ上においてプロットする。次いで、米国特許第７，５９６，２６６号明細書に教示されているように、対数値を二光源二色性反射モデル（Bi-Illuminant Dichromatic Reflection：ＢＩＤＲモデル）の関数として方向付けされた対数−色度投影プレーンに対して投影し、それぞれのピクセルごとの対数色度値を提供する。ＢＩＤＲモデルは、色の変化が、画像内に描かれている場面の単一の素材にわたって陰影を形成している照明の変化に起因している際には、異なる色計測値が、正のスロープに沿って、暗い端部（陰影内）から明るい端部（照射された端部）まで、ＲＧＢ空間内の円筒に属すると予測している。

図５は、米国特許第７，５９６，２６６号明細書に開示されている本発明の一特徴による対数色空間二光源色度プレーンのグラフィカルな図である。色度プレーンのアライメントは、色度プレーンに対して垂直のベクトルＮによって決定され、且つ、Ｎ＝ｌｏｇ（Ｂｒｉｇｈｔ_{ｖｅｃｔｏｒ}）−ｌｏｇ（Ｄａｒｋ_{ｖｅｃｔｏｒ}）＝ｌｏｇ（ｌ＋１／Ｓ_{ｖｅｃｔｏｒ}）として規定される。プレーンの座標ｕ，ｖは、ｕ軸としての色度プレーン上への緑色軸の投影と、ｕとｖ軸として規定されているＮのクロス積と、によって規定することができる。本発明者らの例においては、素材Ａ、Ｂ、Ｃのそれぞれの対数値は、色度プレーン上に投影され、且つ、従って、図５に示されているように、色度値であるプレーン内の対応するｕ，ｖ座標値を有することになる。

従って、米国特許第７，５９６，２６６号明細書に開示されている技法によれば、画像ファイル１８内のそれぞれのピクセルのＲＧＢ値は、図５に示されているように、ＣＰＵ１２により、画像ファイル値ｐ（ｎ，ｍ，Ｒ，Ｇ，Ｂ）から、対数値に、次いで、色度プレーンに対する投影を通じて、対応するｕ，ｖ値に、マッピングすることができる。次いで、画像ファイル１８内のそれぞれのピクセルｐ（ｎ，ｍ，Ｒ，Ｇ，Ｂ）は、オリジナルのＲＧＢ画像の色度表現を提供するように、ＣＰＵ１２により、二次元色度値ｐ（ｎ，ｍ，ｕ，ｖ）によって置換される。一般的に、Ｎ帯域の画像の場合には、Ｎ個の色値がＮ−１個の色度値によって置換される。色度表現は、真に正確な照明不変表現であり、その理由は、表現が基づいているＢＩＤＲモデルが、オリジナル画像を生成した光束を正確且つ正しく表しているからである。

本発明の一特徴によれば、対数色度値は、均一な反射率の領域（タイプＢトークン）の識別のために、ＣＰＵ１２に入力された画像ファイル１８内において描かれているそれぞれの色について算出される。例えば、タイプＣトークンのそれぞれのピクセルは、例えば、ＲＧＢ値の観点において、画像を記録するために使用された機器のノイズレベル内において、同一のタイプＣトークンのすべてのその他の構成ピクセルとほぼ同一の色値を有することになる。従って、それぞれの特定のタイプＣトークンの構成ピクセルの色値の平均を使用し、対数色度分析において、個々のタイプＣトークンの色値を表すことができる。

図６は、例えば、画像ファイル１８などの入力画像において描かれている色のリストを判定するフローチャートである。ステップ２００において、入力画像ファイル１８が処理のためにＣＰＵ１２に入力されている。ステップ２０２及びステップ２０４において、ＣＰＵ１２は、入力画像ファイル１８内において描かれている色を判定している。ステップ２０２において、ＣＰＵ１２は、色のリストについて、上述のように、図３ａのルーチンの実行を通じてＣＰＵ１２によって判定されたそれぞれのタイプＣトークンごとに平均色を計算している。ＣＰＵ１２は、任意選択により、トークンの構成ピクセルの数の観点において最小トークンサイズを必要とするように、或いは、分析のために図３ａのルーチンに従ってタイプＣトークンを判定するために使用される最小シードサイズ（Ｎ×Ｎアレイ）を必要とするように、動作させることができる。最小サイズ要件は、画像の色のリスト内の色計測値が入力画像内において描かれている場面内の色の正確な描画であり、且つ、ブレンドピクセルのアーチファクトではないことを保証するために実装される。

ブレンドピクセルとは、画像の２つの異なる方式で色付けされた領域の間のピクセルである。２つの領域の間の色をＲＧＢ空間内においてプロットした場合に、これらの色の間には、線形の遷移が存在しており、それぞれのブレンドピクセルは、１つの領域から次のものへ移動することに伴って、２つの領域の色の重み付けされた平均値である。従って、それぞれのブレンドピクセルは、画像の真の色を表してはいない。ブレンドピクセルが存在している場合には、２つの異なる方式で色付けされた領域の間の画像のエリアについて、ブレンドピクセルから構成された相対的に小さなタイプＣトークンを識別することができる。サイズの最小値を必要とすることにより、ＣＰＵ１２は、ブレンドピクセルから構成されたトークンを分析から除去することができる。

或いは、この代わりに、ステップ２０４において、ＣＰＵ１２は、ピクセルレベルにおいて色を、即ち、図２に示されているように、入力画像ファイル１８のピクセルのＲＧＢ値を、収集することもできる。ＣＰＵ１２は、相対的に正確な色のリストのために、分析において使用される画像ファイル１８のそれぞれのピクセルが、フィルタ出力を介して最小限の安定性を、又は局所的な標準偏差を、有することを任意選択によって必要とするように、動作させることができる。例えば、二次導関数エネルギーを使用し、画像のピクセルの安定性を示すことができる。

この方式においては、ＣＰＵ１２は、ＤｏＧ（Difference of Gaussians）、ＬｏＧ（Laplacian of Gaussian）、又は類似のフィルタを使用することにより、それぞれのピクセルにおいて二次導関数を算出するか、又は入力画像ファイル１８内において描かれている画像のすべての照明状態をカバーするために画像に跨って分配されたピクセルのサブセットを算出する。次いで、調査したそれぞれのピクセルの二次導関数エネルギーは、それぞれの色帯内の二次導関数の絶対値の平均（又は、グレースケール画像の場合には、単一値の絶対値）として、それぞれの色帯内における二次導関数の値の二乗の合計（又は、グレースケール画像の場合には、単一の値の二乗）として、色帯に跨る最大二乗二次導関数値（又は、グレースケール画像の場合には、単一値の二乗）として、又は任意の類似した方法により、ＣＰＵ１２によって計算することができる。それぞれのピクセルごとの二次導関数エネルギーの計算の際に、ＣＰＵ１２は、ピクセルのエネルギー値を分析する。二次導関数エネルギーとピクセルの安定性の間には、反比例の関係が存在しており、エネルギーは、対応するピクセルの安定性が乏しいほど、大きくなる。

ステップ２０６において、ＣＰＵ１２は、（ステップ２０２及び／又はステップ２０４の一方又は両方を実行した後に）色の１つ又は複数のリストを出力している。本発明の一特徴によれば、更なる処理のすべてをステップ２０２又はステップ２０４からのリストを使用して実行することが可能であり、或いは、それぞれの後続のステップにおいて使用されるリスト（ステップ２０２又はステップ２０４からのリストの一方又は他方）を変更することもできる。

図７は、本発明の一特徴による対数色度表現の向きを判定するフローチャートである。例えば、ＣＰＵ１２は、図５に示されているように、対数色度プレーンについて、法線Ｎ用の向きを判定する。ステップ２１０において、ＣＰＵ１２は、図６のルーチンのステップ２０６において出力されたリストなどの入力ファイル１８の色のリストを受け取っている。ステップ２１２において、ＣＰＵ１２は、対数色度空間の向きを判定している。

米国特許第７，５９６，２６６号明細書に教示されているように、且つ、上述のように、色度プレーンのアライメントは、Ｎによって表され、Ｎは、例えば、図５の色度プレーンなどの色度表現に対して垂直のベクトルである。向きは、いくつかの技法のうちのいずれかの技法の実行を通じてＣＰＵ１２によって推定される。例えば、ＣＰＵ１２は、米国特許第７，５９６，２６６号明細書に詳細に開示されているように、エントロピーの最小化、ユーザーによる手動選択、又は入力画像ファイル１８の画像の特性スペクトル比の使用に基づいて推定値を判定することができる。

例えば、ＲＹＧＢ空間（赤色、黄色、緑色、青色）などの更に大きな色の次元の組の場合には、対数色度法線Ｎは、入力空間よりも１つだけ小さな次元を有するサブ空間を規定している。従って、４次元のＲＹＧＢ空間においては、法線Ｎは、３次元の対数色度空間を規定する。４次元のＲＹＧＢ値を３次元の対数色度空間内に投影した際には、対数色度空間内の投影値は、照明の変動の影響を受けない。

ステップ２１４において、ＣＰＵ１２は、法線Ｎの向きを出力している。図５の例に示されているように、法線Ｎは、３次元のＲＧＢ空間内におけるｕ，ｖプレーンの向きを規定している。

図８は、本発明の一特徴による図６のルーチンのステップ２０２又はステップ２０４において識別される入力画像の色の対数色度座標を判定するフローチャートである。ステップ２２０において、色のリストがＣＰＵ１２に入力されている。色のリストは、図６のルーチンのステップ２０２の実行を通じて生成されたリスト又はステップ２０４の実行を通じて生成されたリストを有することができる。又、ステップ２２２において、図７のルーチンの実行を通じて判定された法線Ｎの対数色度の向きもＣＰＵ１２に入力されている。

ステップ２２４において、ＣＰＵ１２は、色のリストのそれぞれの色ごとに対数値を計算するように動作し、且つ、図５に示されているように、個々の（ｌｏｇ Ｒ，ｌｏｇ Ｇ，ｌｏｇ Ｂ）座標における３次元対数空間内において対数値をプロットしている。素材Ａ、Ｂ、及びＣは、ステップ２２０においてＣＰＵ１２に入力された色のリストの特定の色の対数値を表記している。又、ｕ，ｖ座標及びステップ２２２においてＣＰＵ１２に入力されたＮによって設定された向きを有する対数色度プレーンも、３次元対数空間内においてＣＰＵ１２によって算出される。又、対数色度プレーン内のそれぞれのｕ，ｖ座標も、３次元対数空間内における対応する（log R，log G，log B）座標によって表記することができる。

本発明の一特徴によれば、次いで、ＣＰＵ１２は、色Ａ、Ｂ、及びＣの対数値を対数色度プレーン上に投影し、それぞれの色ごとにｕ，ｖ対数色度座標を判定する。それぞれのｕ，ｖ対数色度座標は、３次元対数空間内の対応する（log R，log G，log B）座標によって表現することができる。ＣＰＵ１２は、ステップ２２６において対数色度座標のリストを出力している。リストは、それぞれの色をｕ，ｖ対数色度座標に対して、且つ、（分析（ステップ２０２（トークン）又は２０４（ピクセル）において使用された色のリストに応じて）個々の色を有するピクセル（又は、タイプＣトークン）に対して、相互参照している。

図９は、本発明の一特徴による余分な次元を有するピクセル又はタイプＣトークンの対数色度座標を任意選択によって増強するフローチャートである。ステップ２３０において、図８のルーチンの実行を通じて入力画像の色について判定された対数色度座標のリストがＣＰＵ１２に入力されている。ステップ２３２において、ＣＰＵ１２は、増強の際に使用するべく、入力画像ファイル１８にアクセスしている。

ステップ２３４において、ＣＰＵ１２は、それぞれの対応するピクセル（又は、タイプＣトークン）ごとにトーンマッピング強度によってそれぞれの対数色度座標を増強するように任意選択によって動作している。トーンマッピング強度は、任意の既知のトーンマッピング法を使用して判定される。トーンマッピング強度情報による増強は、類似の対数色度座標及び類似のトーンマッピング強度の両方に従ってグループ化されたピクセル又はトークンをクラスタ化するための基礎を提供する。この結果、クラスタ化ステップの精度が改善される。

ステップ２３６において、ＣＰＵ１２は、対応するピクセルごとにｘ，ｙ座標（又は、タイプＣトークンの構成ピクセルのｘ，ｙ座標の平均値）によってそれぞれの対数色度座標を増強するように任意選択によって動作している（Ｐ（１，１）〜Ｐ（Ｎ，Ｍ）ピクセルの構成を示す図２を参照されたい）。従って、ｘ，ｙ座標情報によるクラスタ化ステップは、そのような特性が望ましい際に、空間的に制限された構成においてグループを提供することになる。

ステップ２３４及びステップ２３６のそれぞれにおいて、増強された情報は、増強された座標における相対的な重要度及び異なる次元のスケールを規定するために、それぞれのケースごとに、それぞれ、係数ｗ_１、ｗ_２、及びｗ_３によって重み付けすることができる。重み係数ｗ_１、ｗ_２、及びｗ_３は、ユーザーによって指定される。従って、ピクセル又はタイプＣトークンの（log R，log G，log B）座標は、（log R，log G，log B，Ｔ＊ｗ_１，ｘ＊ｗ_２，ｙ＊ｗ_３）に増強され、ここで、Ｔ、ｘ、及びｙは、それぞれ、トーンマッピング強度、ｘ座標、及びｙ座標である。

ステップ２３８において、ＣＰＵ１２は、増強された座標のリストを出力している。増強された対数色度座標は、ピクセルの、或いは、例えば、タイプＣトークンなどの入力画像の指定された領域構成の、正確な照明不変表現を提供する。本発明の一特徴によれば、基礎として対数色度座標の照明不変特性に依拠することにより、例えば、タイプＢトークンなどの単一の素材又は反射率の画像の領域を識別している。

図１０は、本発明の一特徴による対数色度座標をクラスタ化するフローチャートである。ステップ２４０において、増強された色度座標のリストがＣＰＵ１２に入力されている。ステップ２４２において、ＣＰＵ１２は、対数色度座標をクラスタ化するように動作している。クラスタ化ステップは、例えば、既知のｋ平均クラスタ化によって実装することができる。任意の既知のクラスタ化法を使用して対数色度座標をクラスタ化し、類似の対数色度座標値のグループを判定することができる。ＣＰＵ１２は、それぞれの対数色度座標を個々の座標が属しているグループに対して関連付ける。又、ＣＰＵ１２は、クラスタ化ステップにおいて識別されたそれぞれのグループごとに中心を計算するようにも動作する。例えば、ＣＰＵ１２は、（log R，log G，log B，log T）空間との関係においてそれぞれのグループごとに中心を判定することができる。

ステップ２４４において、ＣＰＵ１２は、（対応するピクセル又はタイプＣトークンに対して相互参照された）対数色度座標のクラスタグループメンバーシップのリスト及び／又はクラスタグループの中心のリストを出力している。

上述のように、クラスタ化法の実行において、ＣＰＵ１２は、図６のルーチンのステップ２０２の実行を通じて生成されたリスト又はステップ２０４の実行を通じて生成されたリストからの色のリストを使用することができる。識別されたクラスタグループを入力画像に適用する際には、クラスタ化法において使用されたものと同一の色の組（ステップ２０２に対応する色のリスト又はステップ２０４に対応する色のリストのうちの一方）を使用するように、或いは、異なる色の組（ステップ２０２に対応する色のリスト又はステップ２０４に対応する色のリストのうちの他方）を適用するように、ＣＰＵ１２を動作させることができる。異なる色の組が使用される場合には、ＣＰＵ１２は、図１１のルーチンを実行するように継続する。

図１１は、本発明の一特徴によるクラスタグループの識別の後に異なる色のリストが使用された際に図１０のルーチンの実行を通じて判定されたクラスタに対して対数色度座標を割り当てるフローチャートである。ステップ２５０において、ＣＰＵ１２は、この場合にも、図８のルーチンを実行しているが、今回は、新しい色のリストとの関係において、これを実行している。例えば、ステップ２０２において生成された色のリスト（タイプＣトークンに基づいた色）を使用してクラスタグループを識別し、且つ、次いで、ＣＰＵ１２が、ステップ２０４において生成された色のリスト（ピクセルに基づいた色）に基づいてクラスタグループとの関係において対数色度座標を分類するように動作する場合には、図１１のルーチンのステップ２５０を実行して入力画像ファイル１８内におけるピクセルの色の対数色度座標を判定する。

ステップ２５２において、クラスタの中心のリストがＣＰＵ１２に入力されている。ステップ２５４において、ＣＰＵ１２は、最も近接したクラスタグループの中心に従ってステップ２５０において識別された対数色度座標のそれぞれを分類するように動作している。ステップ２５６において、ＣＰＵ１２は、ステップ２５０において使用された色のリスト（ステップ２０２において生成された色のリスト又はステップ２０４において生成された色のリスト）に応じて、対応するピクセル又はタイプＣトークンに対する相互参照を伴って、新しい色のリストに基づいて対数色度座標のクラスタグループメンバーシップのリストを出力している。

図１２は、本発明の一特徴による対数色度のクラスタ化に基づいて均一な反射率の領域を検出するフローチャートである。ステップ２６０において、この場合にも、入力画像ファイル１８がＣＰＵ１２に供給されている。ステップ２６２において、ステップ２５０において使用された色のリストに応じて、ピクセル又はタイプＣトークンのいずれかがＣＰＵ１２に入力されている。ステップ２６４において、ステップ２４４又はステップ２５６からのクラスタメンバーシップ情報がＣＰＵ１２に入力されている。

ステップ２６６において、ＣＰＵ１２は、同一のクラスタグループメンバシップを有するピクセルの、又は、例えば、タイプＣトークンなどの入力画像の規定された領域の、それぞれを、均一な反射率の領域（タイプＢトークン）を表す画像の単一の領域にマージするように動作している。ＣＰＵ１２は、このようなマージ動作を、適宜、入力画像ファイル１８のピクセル又はトークンのすべてについて実行する。ステップ２６８において、ＣＰＵ１２は、均一な反射率の（並びに、対数色度座標がステップ２３４及び／又はステップ２３６において増強されている場合には、類似のトーンマッピング強度及びｘ，ｙ座標の）すべての領域のリストを出力している。本発明の特徴に従って判定された均一な反射率のそれぞれの領域（タイプＢトークン）は、潜在的に、領域に跨る有意な照明変動を有することに留意されたい。

米国特許出願公開第２０１０／０１４２８２５号明細書は、同一の素材制約に基づいた最適化された解決策を含む画像内において照明と素材を分離するための制約／ソルバモデルについて教示している。米国特許出願公開第２０１０／０１４２８２５号明細書に教示されているものと同一の素材制約は、本発明の教示に従って判定できるタイプＣトークン及びタイプＢトークンを利用している。制約する関係は、同一のタイプＢトークンの一部を構成しているすべてのタイプＣトークンは、同一の素材を有するように制約されるというものである。この制約は、タイプＢトークンの定義を、即ち、場面内の単一の素材（同一の反射率）を取り囲む画像の領域を表す連続したピクセルを有する接続された画像領域を、強く主張するものではあるが、必ずしも、その素材に対応する最大領域を強く主張するものではない。従って、同一のタイプＢトークン内に位置しているすべてのタイプＣトークンは、その定義により、同一の素材のタイプＢトークンに対して課されるが、必ずしも、同一の照明のタイプＢトークンに対して課されるものではない。従って、タイプＣトークンは、変化する照明によって生成される外観上の観察される相違に対応するように制約されている。

図１３は、米国特許出願公開第２０１０／０１４２８２５号明細書に教示されている同一の素材制約に従って画像の照明側面と素材側面を識別及び分離するために使用される［Ａ］［ｘ］＝［ｂ］行列関係の図である。基本式Ｉ＝ＭＬ（Ｉ＝画像ファイル１８に格納されている記録された画像値であり、Ｍ＝素材反射率であり、且つ、Ｌ＝照明である）に基づいて、ｌｏｇ（Ｉ）＝ｌｏｇ（ＭＬ）＝ｌｏｇ（Ｍ）＋ｌｏｇ（Ｌ）である。これは、ｉ＝ｍ＋ｌと言い換えることも可能であり、この場合に、ｉは、ｌｏｇ（Ｉ）を表しており、ｍは、ｌｏｇ（Ｍ）を表しており、且つ、ｌは、ｌｏｇ（Ｌ）を表している。同一の素材の制約する関係において、ａ、ｂ、及びｃによって定義された対応するタイプＢトークンによって定義される（図１３に示されている）３つのタイプＣトークンａ、ｂ、及びｃが単一の反射率の領域内に存在している例においては、ｍ_ａ＝ｍ_ｂ＝ｍ_ｃである。この例においては、それぞれのタイプＣトークンのＩ値は、トークンの構成ピクセルの記録された色値の平均色値である。この例のタイプＣトークンａ、ｂ、及びｃは、図３ｄに示されている青色のタイプＢトークンに対応することができる。

ｍ_ａ＝ｉ_ａ−ｌ_ａ、ｍ_ｂ＝ｉ_ｂ−ｌ_ｂ、且つ、ｍ_ｃ＝ｉ_ｃ−ｌ_ｃであることから、これらの数学的関係は、同一の素材制約において、（１）ｌ_ａ＋（−１）ｌ_ｂ＋（０）ｌ_ｃ＝（ｉ_ａ−ｉ_ｂ）、（１）ｌ_ａ＋（０）ｌ_ｂ＋（−ｌ）ｌ_ｃ＝（ｉ_ａ−ｉ_ｃ）、及び（０）ｌ_ａ＋（１）ｌ_ｂ＋（−ｌ）ｌ_ｃ＝（ｉ_ｂ−ｉ_ｃ）として表現することができる。

従って、図１３の行列式において、［ｂ］行列内のｌｏｇ（Ｉ）（ｉ_ａ，ｉ_ｂ，ｉ_ｃ）の様々な値は、隣接するタイプＣトークンａ、ｂ、及びｃの構成ピクセルの平均記録ピクセル色値から判明する。０、１、及び−１からなる［Ａ］行列は、上述のように、同一の素材制約を表現する式の組によって定義されている。［Ａ］行列内の、最上部から最下部までの、行の数は、トークンに課せられた実際の制約の数に対応しており、このケースにおいては、３つであり、３つの隣接するタイプＣトークンａ、ｂ、及びｃの間において素材制約は、同一である。［Ａ］行列内の、左から右までの、列の数は、解明を要する未知数の数に対応しており、この場合にも、再び、３つのトークンについて３つの照明値である。従って、［ｘ］行列内のそれぞれのタイプＣトークンａ、ｂ、及びｃの照明成分の値は、行列式において、ＣＰＵ１２によって解明することができる。それぞれの値は、本発明者らの例の色帯（赤色、緑色、及び青色など）に対応する３つの値のベクトルであり、或いは、グレースケース画像などにおいては、単一の値であってもよいことに留意されたい。

照明値が判明したら、式Ｉ＝ＭＬを使用し、ＣＰＵ１２によって素材色を算出することができる。いまや、オリジナル画像内のそれぞれのピクセルを算出された照明値及び素材値によってそれぞれ置換することにより、トークンａ、ｂ、及びｃによって定義された領域について、固有照明画像及び固有素材画像を生成することができる。図１４には、図３ｂに示されているオリジナル画像に対応する照明画像及び素材画像の一例が示されている。

本発明の更なる例示的な実施形態の一特徴によれば、ＣＰＵ１２は、オブジェクトデータベース２４に結合されている。上述のように、オブジェクトデータベース２４は、画像ファイル１８内に出現可能な物体のリストと、データベース２４に格納されているそれぞれの物体の素材構成及び素材反射率測色に関する情報と、を格納している。画像を対応する素材反射率固有画像と照明固有画像に分離する上述の技法との関連において、処理されている画像内の物体を識別するべく、例えば、ＳＩＦＴ法などの既知の物体認識タスクを実行するようにＣＰＵ１２を動作させる。

処理されている画像内において描かれている場面内の物体を識別する際に、ＣＰＵ１２は、識別される物体と関連する素材反射率測色情報のオブジェクトデータベース２４にアクセスする。次いで、例えば、識別される物体を構成している処理されている画像内の任意のタイプＣトークンを相関させるように、ＣＰＵ１２を動作させる。次いで、識別される物体の素材反射率測色情報を使用し、例えば、図１３に示されている行列式に追加される固定された素材色アンカー値を規定して識別される物体を構成しているタイプＣトークンを制約し、これにより、処理されている画像内において識別される物体を構成しているトークンを物体の対応する固有の素材反射率側面と照明側面に分離する。

例示的な実施形態の更に別の特徴によれば、ＣＰＵ１２は、インターネット２６に結合されている。この結果、ＣＰＵ１２は、インターネット２６のウェブサイト２８にアクセスすることができる。ウェブサイト２８は、オブジェクトデータベースの別の供給源を提供する。例えば、ＣＰＵ１２は、例えば、テキストに基づいたサーチなどを介してインターネット２６をサーチし、アクセスしたウェブサイト２８において、処理されている画像内において識別された物体の素材特性に関連する情報を取得することができる。この素材特性を使用し、上述の固定されたアンカー値を判定する。

例えば、本発明による対数色度クラスタ化法を介して得られた、例えば、タイプＣトークン及びタイプＢトークンと、オブジェクトデータベース２６からの情報と、を利用する米国特許出願公開第２０１０／０１４２８２５号明細書の技法及び教示による制約／ソルバモデルの実装は、オリジナル入力画像に対応する固有画像を生成する非常に効果的且つ効率的な方法を提供する。固有画像を使用し、画像処理、画像分析、及びコンピュータビジョンアプリケーションの精度、速度、及び効率を改善することができる。

例えば、図１５は、本発明の一特徴に従って固有画像を圧縮するフローチャートを示している。オリジナル画像ではなく、１つの固有画像又は固有画像（素材及び照明）の組を圧縮することにより、相対的に効率的な格納及び相対的に高速のデータ送信のために、圧縮ファイルのサイズの更なる低減が結果的に得られる。

ステップ３００において、ＣＰＵ１２は、例えば、メモリ１６からの画像ファイル１８などのオリジナルの画像を受け取る。ステップ３０２において、ＣＰＵ１２は、例えば、先程詳述した技法に従って、オリジナル画像から固有画像を生成し、照明マップ（照明画像）（ステップ３０４）及び反射率マップ（素材画像）（ステップ３０６）を出力するように動作している。

ステップ３０８及びステップ３１０において、ＣＰＵ１２は、並行動作として、又は順番に、それぞれ、圧縮プロセスＡ及び圧縮プロセスＢを実行するように動作している。

圧縮プロセスＡにおいて、ＣＰＵ１２は、照明画像に対して圧縮プロセスを実行する。例えば、ＣＰＵ１２は、照明マップを．ｐｇｍフォーマット（既知の携帯型のグレースケールフォーマット）に変換するように動作する。次いで、ＣＰＵ１２は、品質レベル２０を使用することにより、既知のＪＰＥＧフォーマットに従って、グレースケール照明．ｐｇｍ画像を．ｊｐｇ圧縮画像ファイルに変換するように継続する。

圧縮プロセスＢにおいては、ＣＰＵ１２は、素材画像に対して圧縮プロセスを実行する。例えば、ＣＰＵ１２は、２５６色を使用することにより、既知のＧｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅフォーマットに従って、反射率マップをＧＩＦファイルに変換するように動作する。次いで、ＣＰＵ１２は、品質レベル２０を使用することにより、既知のＪＰＥＧフォーマットに従って、ＧＩＦファイルを．ｊｐｇ圧縮画像ファイルに変換するように継続する。

ステップ３１２において、ＣＰＵ１２は、既知のＧＮＵ画像操作プログラム（GNU Image Manipulation Program：ＧＩＭＰ）に従って、．ｊｐｇ圧縮照明ファイルと素材圧縮ファイルを再合成し、圧縮された固有画像を出力するように動作している（ステップ３１４）。

本発明の一特徴によれば、圧縮された固有画像は、ＣＰＵ１２により、メモリ１６に格納されると共に／又は、例えば、インターネット２６を介して、例えば、ウェブサイト２８として構成されたリモード装置に対して送信される（図１を参照されたい）。リモート装置は、例えば、スマートフォン、タブレット又はｉＰａｄ、或いは、ＴＶ放送動作中の装置を有する。

図１６は、本発明の一特徴による固有画像を圧縮解除するフローチャートである。ステップ３１６において、例えば、ウェブサイト２８として構成された装置は、（図１５のルーチンに従って処理された）圧縮固有画像をインターネット２６を介して受け取っている。装置は、例えば、スマートフォン、タブレット又はｉＰａｄ、或いは、ＴＶ放送動作中の装置を有する。ステップ３１８において、ＣＰＵ１２は、受け取った圧縮画像を有する合成された．ｊｐｇファイルを分離し、圧縮された固有の照明画像と素材画像を出力するように動作している。

ステップ３２０及びステップ３２２において、ＣＰＵ１２は、並行動作として、又は連続的に、圧縮解除プロセスＡ及び圧縮解除プロセスＢをそれぞれ実行するように動作している。

圧縮解除プロセスＡにおいては、ＣＰＵ１２は、照明画像の圧縮されたバージョンに対して圧縮解除プロセスを実行し、固有照明マップを出力している（ステップ３２４）。

圧縮解除プロセスＢにおいては、ＣＰＵ１２は、素材画像の圧縮されたバージョンに対して圧縮解除プロセスを実行し、固有反射率マップを出力している（ステップ３２６）。

ステップ３１８、ステップ３２０、及びステップ３２２のそれぞれは、ＪＰＥＧフォーマットなどの既知の技法に従ってまずは圧縮された画像を処理する既知の技法を使用することによって実装される。

ステップ３２８において、ＣＰＵ１２は、固有の照明画像と素材画像を再合成し、例えば、図１５のルーチンに従ってＣＰＵ１２によってまずは処理された画像ファイル１８に描かれていた画像などのオリジナル画像を出力するように動作している（ステップ３３０）。再合成された画像は、先程詳述したＩ＝ＭＬ式を使用することにより、ＣＰＵ１２によって算出することができる。

デジタルビデオの受信及びリアルタイム表示用の装置のユーザー数の迅速な増大に起因し、本発明によって教示されているように、固有画像の使用によって実現される圧縮結果の改善は、有効な機能の限度を拡張することにより、電子装置の使用法の最近の傾向に対応している。

以上においては、特定の例示的な実施形態及びその例を参照し、本発明について説明している。但し、添付の請求項に記述されている本発明の広範な精神及び範囲を逸脱することなしに、これに対して様々な変更及び変形を実施してもよいことが明らかであろう。従って、本明細書及び図面は、制限の意味においてではなく、例示を目的としたものとして見なされたい。

Claims (22)

1. 画像を処理するための自動化されコンピュータ化された方法であって、
   画像を描く画像ファイルをコンピュータメモリ内に提供するステップと、前記画像に対応する固有画像を生成するステップと、前記固有画像を圧縮して圧縮固有画像を提供するステップと、を有する方法。
2. 前記圧縮固有画像をリモート装置に送信する追加ステップを含む、請求項１に記載の方法。
3. 前記圧縮固有画像をメモリに格納する追加ステップを含む、請求項１に記載の方法。
4. 前記固有画像は一組の固有画像を有する、請求項１に記載の方法。
5. 前記一組の固有画像は素材画像と照明画像を含む、請求項４に記載の方法。
6. 圧縮固有画像を受け取るステップを有する、画像を処理するための自動化されコンピュータ化された方法。
7. 前記圧縮固有画像を圧縮解除する更なるステップを含む、請求項６に記載の方法。
8. 前記圧縮固有画像は、圧縮照明画像と圧縮素材画像の混合物を有する、請求項６に記載の方法。
9. コンピュータシステムであって、
   ＣＰＵと、画像を収容する画像ファイルを格納するメモリと、を有し、
   前記ＣＰＵは、前記画像に対応する固有画像を生成すると共に前記固有画像を圧縮して圧縮固有画像を提供するためのルーチンを実行するように整えられ構成されている、システム。
10. 前記ＣＰＵは、前記圧縮固有画像をリモート装置に送信するように更に整えられ構成されている、請求項９に記載のコンピュータシステム。
11. 前記ＣＰＵは、前記圧縮固有画像をメモリに格納するように更に整えられ構成されている、請求項９に記載のコンピュータシステム。
12. コンピュータ可読媒体に配設されたコンピュータプログラム製品であって、画像を描く画像ファイルをコンピュータメモリ内に提供し、前記画像に対応する固有画像を生成し、且つ、前記固有画像を圧縮して圧縮固有画像を提供するようにコンピュータを制御するべく動作可能なコンピュータ実行可能プロセスステップを含む、製品。
13. 前記圧縮固有画像をリモード装置に送信する更なるプロセスステップを含む、請求項１２に記載のコンピュータプログラム製品。
14. 前記圧縮固有画像をメモリに格納する更なるプロセスステップを含む、請求項１２に記載のコンピュータプログラム製品。
15. 前記固有画像は一組の固有画像を有する、請求項１２に記載のコンピュータプログラム製品。
16. 前記一組の固有画像は素材画像と照明画像を含む、請求項１５に記載のコンピュータプログラム製品。
17. 圧縮固有画像を受け取るように整えられ構成された装置。
18. 前記圧縮固有画像を圧縮解除する更なるステップを実行するように整えられ構成された、請求項１７に記載の装置。
19. 前記圧縮固有画像は、圧縮照明画像と圧縮素材画像の混合物を有する、請求項１７に記載の装置。
20. コンピュータ可読媒体に配設されたコンピュータプログラム製品であって、圧縮された固有画像を受け取るようにコンピュータを制御するべく動作可能なコンピュータ実行可能プロセスステップを含む製品。
21. 前記圧縮固有画像を圧縮解除する更なるプロセスステップを含む、請求項２０に記載のコンピュータプログラム製品。
22. 前記圧縮固有画像は、圧縮照明画像と圧縮素材画像の混合物を有する、請求項２０に記載のコンピュータプログラム製品。