JP2010510571A - ３ｄ画像の色補正の方法及びそのシステム - Google Patents

Abstract

同一のシーンに対してキャプチャされた少なくとも２つの別個の画像ストリームを含む３Ｄ画像の色補正のシステム及び方法は、選択された画像ストリームの少なくとも一部の三次元特性を決定することを含む。三次元特性は、光反射特性及び表面反射特性、表面色、反射特性、シーンジオメトリなどを含む。次に、選択された画像ストリームの一部の外観は、決定された三次元特性のうちの少なくとも１つの値を変更することによって、さらに１つの実施形態では、像形成理論を適用することによって、修正される。次に、修正を、自動的にかつ／またはユーザ入力のいずれかにより、出力された３Ｄピクチャにおいてレンダリングする。様々な実施形態において、少なくとも２つの画像ストリームのうちの選択されたストリームに行われる補正を、画像ストリームの他方に自動的に適用することができる。

Description

本発明は、概して、色補正のシステム及び方法に関する。より詳しくは、像形成理論を用いて、動画またはビデオシーンなどの画像コンテンツの三次元画像の色補正を改善しかつ可能にするシステム及び方法に関する。

従来の色補正は、２Ｄ画像のピクセル値を処理するだけの単なる２次元（２Ｄ）技術である。全ての従来の色補正は、原色演算をサポートする。原色演算は、例えばリフト、ゲイン、ガンマ、及び、演算子によって特定されて画像内の全てのピクセルに包括的に適用される米国撮影監督協会カラーディシジョンリスト（ＡＳＣ ＣＤＬ：American Society of Cinematographers Color Decision List）関数などである。しかしながら、近年では、色補正は、画像内のいくつかの選択ピクセルだけに適用される二次的演算もサポートする。

しかしながら、従来の色補正は、画像の同時チャネルとステレオカメラ等を用いたキャプチャ（撮像）に由来する関連情報との間の関係を有効に使うことができなかった。更に、既存の色補正処理は、実際の照明条件、光反射特性、またはシーン内のオブジェクトの三次元（３Ｄ）ジオメトリ（幾何形状）情報を考慮しないかまたは修正しない。従って、従来の色補正処理は、３Ｄ画像を色補正するには不十分である。

本発明は、立体画像などの三次元（３Ｄ）画像の色補正のための方法、装置及びシステムを提供することによって従来技術の不足に対処する。

本発明の様々な実施形態において、立体画像などの３Ｄ画像の色補正は、原色演算を用いて左チャネルのユーザ色補正画像から始まる。続いて、それらの色演算は、右チャネルの画像にコピーされる。最後に、ユーザは、右チャネルの画像に対する色補正を見直しかつ手作業で精密化して、左チャネルの画像に正しく一致させることができる。

本発明の１つの実施形態において、同一のシーンに対してキャプチャされた（捕捉された）少なくとも２つの別個の画像ストリームを含む３Ｄ画像の色補正方法は、三次元画像の選択された画像ストリームの少なくとも一部の少なくとも１つの三次元特性を決定（判断）するステップと、少なくとも１つの決定された三次元特性の値を変更することによって、選択された画像ストリームの少なくとも一部の外観を修正するステップとを含む。三次元特性は、ジオメトリ特性、光特性、表面反射特性などに関する情報を含むことができる。次に、選択された画像ストリームの一部の外観は、少なくとも１つの決定された三次元特性を変更することによって、および像形成理論などを用いて、修正されてもよい。次に、修正が、３Ｄ画像（例えば、２つの別個の画像ストリーム）において、それに応じてレンダリングされてもよい。様々な実施形態において、少なくとも２つの画像ストリームの選択された一方になされる修正は、画像ストリームの他方に自動的に適用され得る。

本発明の代替的実施形態において、三次元画像を色補正するシステムは、色補正のための画像を表示する参照（基準）ディスプレイデバイス及び色補正デバイスを含む。本発明の実施形態の色補正デバイスは、三次元画像の選択された画像ストリームの少なくとも一部の少なくとも１つの三次元特性を決定し、少なくとも１つの決定された三次元特性の値を変更することによって選択された画像ストリームの少なくとも一部の外観を修正する。本発明のシステムは更に、少なくとも２つの画像キャプチャデバイス、あるいは、少なくとも２つの画像ストリームをキャプチャするステレオカメラを含むことができる。

本発明の教示を、添付図面とともに以下の詳細な説明を考察することによって容易に理解することができる。

図面は、本発明の概念を説明するためであり、必ずしも本発明を説明するための唯一の構成であるというわけではないということが理解されなければならない。理解を容易にするために、同一の参照番号が可能であれば用いられて、図に共通している同一の要素を示す。

本発明の実施形態による、立体画像などの三次元（３Ｄ）画像の色補正のための色補正システム１００のハイレベルブロック図である。 本発明による図１の色補正システムでの使用に適した色補正デバイスの実施形態のハイレベルブロック図である。 本発明の実施形態による図１の色補正システムでの使用に適したユーザインタフェースのハイレベルブロック図である。 本発明の実施形態による表面レンダリングの原理を示す図である。 本発明の実施形態による三次元情報を決定する方法のフローチャートである。 本発明の実施形態による三次元情報を用いて３Ｄ画像を色補正する方法のフローチャートである。

本発明は、立体画像などの三次元（３Ｄ）画像の色補正のための方法、装置及びシステムを有利に提供する。本発明は、例えばビデオ録画システム及び／またはビデオ編集システムなどの後処理環境のコンテキストの中で主として説明されるが、本発明の特定の実施形態は、本発明の範囲を限定しているものとして扱われてはならない。本発明の概念は、例えばカメラ、ビデオレコーダ、携帯電話、映画撮影用カメラ、またはネットワークを介してなどの、画像をキャプチャしかつ／または編集することができる任意のデジタルマルチメディアシステムなどのキャプチャされた画像又は画像の一部の色補正及び／または色調整のためのいかなる環境において、適用されてもよいということが有利であるということが、当業者によって認められかつ本発明の教示によって知らされる。更に、本発明の概念は、例えば３Ｄシーンキャプチャデバイスを用いて、立体画像キャプチャまたはデュアル画像キャプチャができる任意の記録方法に適用することができる。

本発明の様々な実施形態において、画像の２つの同時チャネル（例えば、立体画像対におけるいかなる追加のメタデータをも有する左右の画像）が受信される。各チャネルは、抽出された三次元ジオメトリ及び照明モデルに従って処理される。モデルは、２つの画像ストリーム同士の間の差分を考慮に入れて、例えばユーザ入力からの命令に従って各ストリームを修正する。本発明の実施形態は、各チャネルに対する米国撮影監督協会カラーディシジョンリスト（ＡＳＣ ＣＤＬ）演算などの標準原色補正のほかに、受信された画像の特定の領域に関する演算などの二次補正も提供する。

本発明の実施形態において、２つのストリームから及び／又は３Ｄデータベースから抽出される情報を用いてオブジェクト画定及びオブジェクト追跡が実行されて、光反射率などのオブジェクトの属性に対する特定のタイプの交代のための画素をユーザが分離するのを助ける。本発明により３Ｄ画像をモデル化することによって、第１のチャネルの画像の変化を、第２のチャネルの画像で容易にかつ自動的に翻訳しかつ実行できるようにする。

図に示した様々な要素の機能は、専用のハードウェア及び適当なソフトウェアに付随するソフトウェアを実行可能なハードウェアを用いて提供されてもよい。該機能は、プロセッサによって提供されると、単一の専用プロセッサによって、単一の共有プロセッサによって、またはその幾つかが共有されてもよい複数の個々のプロセッサによって提供されてもよい。更に、用語「プロセッサ」または「コントローラ」の明確な使用として、ソフトウェアを実行することができるハードウェアに限定して参照すべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶装置を非明示的に含むが、これらに限定されるものではない。

図１は、本発明の実施形態による立体画像などの三次元（３Ｄ）画像の色補正のための色補正システム１００のハイレベルブロック図を示す。図１の色補正システム１００は、画像キャプチャデバイス１０５、色補正デバイス１１０、及び参照ディスプレイ１２０を例として含んでいる。図１の色補正システム１００において、画像コンテンツは、画像キャプチャデバイス１０５によってキャプチャされる。画像キャプチャデバイス１０５は、２つの別個のチャネル１６及び１８の形で、同一のキャプチャ画像（または画像シーン）の２つの画像ストリームを生成する。例えば、本発明の１つの実施形態において、画像キャプチャデバイス１０５は、同一のキャプチャ画像（例えば、３Ｄ画像を生成する左右の画像ストリーム／チャネル）の２つの画像ストリームを生成することができるステレオカメラを含むことができる。本発明の代替的実施形態において、画像キャプチャデバイス１０５は、キャプチャ画像の２つの同時チャネル１６及び１８を提供する２つの別個の画像キャプチャデバイス１１２及び１１４を含むことができる。

２つの画像ストリーム１６及び１８は、色補正デバイス１１０に伝達される。色補正デバイス１１０において、各チャネル１６及び１８は、三次元照明及びジオメトリモデルを提供するためにそれに応じて処理される。三次元照明及びジオメトリモデルが生成されて、色補正デバイス１１０に保存される。モデルは、２つの画像ストリーム１６と１８との間の差分を考慮する。次に、各ストリームは、例えばオペレータからの命令に従って修正されてもよい。本発明の１つの実施形態において、色補正デバイス１１０は、各チャネル１６及び１８に対するＡＳＣ ＣＤＬ演算などの標準原色補正のほかに画像ストリームの特定の領域に関する演算などの二次的補正も提供する。図１の実施形態は、３Ｄ画像化のための２つの別個のストリームを生成しかつ提供するというコンテキストの中で説明されているが、本発明の代替的実施形態では、対応する深さマップを有する２Ｄ画像も、３Ｄ画像化のために用いることができる。

図２は、本発明による図１の色補正システム１００における使用に適した色補正デバイスの実施形態のハイレベルブロック図を示す。図２の色補正デバイス１１０は、プロセッサ２１０のほかに、制御プログラム、ジオメトリ情報、光情報及びモデル、並びにオブジェクトデータベースなどを保存するメモリ２２０も含む。プロセッサ２１０は、電力供給、クロック回路、及びキャッシュメモリなどの従来のサポート回路２３０のほかに、メモリ２２０に保存されたソフトウェアルーチンを実行するのに役立つ回路と協働する。そのようなものとして、ソフトウェア処理として本明細書において検討されるいくつかの処理ステップは、例えばプロセッサ２１０と協働して様々なステップを実行する回路として、ハードウェア内で実行されてもよいと考えられる。色補正デバイス１１０はまた、色補正デバイス１１０と通信する様々な各機能要素同士の間のインタフェースを形成する入出力回路２４０を含む。

図２の色補正デバイス１１０は、本発明による様々な制御機能を実行するようにプログラムされている汎用コンピュータとして示されているが、本発明は、特定用途向け集積回路（ＡＳＩＣ）などのハードウェアにおいて実行されてもよい。このように、本明細書で説明されている処理ステップは、ソフトウェア、ハードウェアまたはそれらの組合せによって同等に実行されるものと広く解釈されることを意図している。

本発明の１つの実施形態において、本発明の色補正システム１００は、環境情報及び色補正パラメータに関する情報をユーザが色補正デバイス１１０に入力することができるようにするユーザインタフェース１２５を更に含むことができる。図１の色補正デバイス１１０のユーザインタフェース１２５は、無線遠隔制御、マウスまたはトラックボールなどのポインティングデバイス、音声記録システム、タッチスクリーン、オンスクリーンメニュ、ボタン、ノブ（knobs）などを含むことができる。更に、ユーザインタフェース１２５は、色補正デバイス１１０に直接、または遠隔パネルまたは遠隔デバイスに設けられてもよい。

例えば、図３は、本発明の実施形態による図１の色補正システムにおける使用に適したユーザインタフェースのハイレベルブロック図を示す。図３のユーザインタフェース１２５は、スクリーンまたはディスプレイ３０２を含むスタンドアロンのワークステーションを含んでもよく、または、プロセッサもしくはコントローラを有するコンピュータのグラフィカルユーザインタフェースとしてソフトウェアで実行されてもよい。制御部３１０−３２６は、ユーザインタフェース１２５の実行に依存する、現実のノブ／スティック３１０、キーパッド／キーボード３２４、ボタン３１８‐３２２、仮想ノブ／スティック及び／または仮想ボタン３１４、並びにマウス３２６を含むことができる。

スクリーン３０２は、画像または画像コンポーネントを見るための領域を含み、色補正及び画像内のジオメトリ修正または光源修正を可能にする。ユーザ制御カーソル（図示せず）をスクリーン上で用いて、制御を起動してスクリーン３０２の一部を強調するかまたはアクティブにすることができる。カーソルは、マウス３２６、キーパッド３２４、ジョイスティックまたは他の選択／ポインティングデバイス３３０を用いて実行されかつ移動されてもよい。それらは、ユーザインタフェース１２５の一部としてまたは分離されて維持されてもよい。

１つの実施形態において、画像（または複数の画像）の領域３０４が、処理のために選択される。領域は、オブジェクト３０５を含み、オブジェクト３０５について、ジオメトリデータ、光源データ、反射率データ、及び他の任意の特徴が集められて保存され得る。オブジェクト３０５は、一定の特性（例えば、反射率（非発光表面）等）を含むように選択されることが望ましく、光源位置、ジオメトリ特徴、またはそれらの両方を決定するかまたは推定する方法として用いられ得る。画像のレンダリングを、スクリーン３０２に表示することができる（あるいは、画像のレンダリングを、参照ディスプレイ１２０に表示することができる）。画像のキャプチャの間に集められた、または（下記に更に詳述される）推定によって画像のオブジェクトに起因する、一組の特性に基づいて画像に修正を行うことができる。これは、キャプチャデバイス（または複数のキャプチャデバイス）を用いて集められた３Ｄ情報を含む。本明細書において説明されている編集ツール及び微調整は、ソフトウェアベースのツールを用いて自動的に、手入力の操作で、または両方の組合せで実行され得る。これは、ジオメトリモデルに基づく自動的な、チャネル対の画像の一方と他方との間の更新された画像情報の転送を含むことができる。

図１に戻って参照すると、色補正デバイス１１０において、３Ｄピクチャ（例えば左右の画像ストリーム）が分析されて、キャプチャシーンの照明、表面反射率、及び３Ｄジオメトリモデルを作成する（構築する）。この処理は、ユーザインタフェース１２５を介したユーザからの入力（または複数の入力）を含むインタラクティブな処理であってもよい。３Ｄジオメトリモデルは、例えば画像のキャプチャの間に集められた３Ｄ情報を用いて生成されてもよい。例えば、本発明の１つの実施形態において、本システムの色補正デバイスは、画像キャプチャの領域に置かれてもよく、画像キャプチャに含まれる環境条件を決定する様々なセンサ（図示せず）を含むことができる。例えば、本発明の色補正デバイスは、画像がキャプチャされる環境の照明条件を決定する光センサを含むことができる。

色補正デバイス１１０によって決定される照明モデル、反射モデル、及び３Ｄジオメトリモデルに基づいて、シーン内のオブジェクトの照明特性、表面反射特性、及び表面ジオメトリを修正することができる。指定した演算が、両方の画像ストリームに適用される。本発明の様々な実施形態において、発明者はキャプチャ画像の態様を決定する像形成理論を実行する。例えば、画像の形成は、少なくとも以下の４つの要因に依存する。即ち、カメラ、シーンジオメトリ、光源特性、及び表面反射特性である。反射放射輝度（それは、カメラ投影後のキャプチャした２Ｄ画像のうちの１つの最終的に観察されたピクセル値に比例している）と、拡散成分及び鏡面反射成分を分解しかつ鏡面反射率についてのフォンモデル（Phong model）を用いた後の上記の４つの要因との間の関係は、以下の式（１）によって見積もられる。

ここで、Ｌ_r（ｘ，ω_r，λ）は、反射放射輝度を示し、反射放射輝度は、カメラ投射後の観察されるピクセル値に比例している。ｘは、シーン表面上のポイントである。ω_rは反射角を示す。λは、光線の波長を示す。Ｌ_e（ｘ，ω_r，λ）は、表面によって放射される放射輝度を示す。Ｌ_i（ｘ，ω_i，λ）は、入射放射輝度を示す。ω_iは入射角を示す。ω_sは、正反射方向の角度を示し、正反射方向の角度は、表面法線及び入射光線によって決定される。Ｌ_sは、正反射方向に沿った放射輝度を示す。ρ_d及びρ_sは、拡散アルベド（diffusive albedo）及び鏡面反射アルベド（specular albedo）（反射率）をそれぞれ示す。ｃｏｓθ_s＝（ω_s・ω_r）及びｎは、鏡面性の鮮明さを決定するパラメータを示す。ｃｏｓθ_i＝（ω_i・Ｎ）、ここで、Ｎは表面法線である。これらの要素同士の間の関係は、図４に例示されている。

より具体的には、図４は、表面レンダリングのための基本原理の図を示す。図４において、光源４１０は、入射角ω_iで光を与える。光源４１０は、法線Ｎ（ｘ）と角度θ_iを作る。法線Ｎ（ｘ）は、表面４１２に垂直であり、それは光源４１０からの光を反射することに関与する。図４の図において、ω_r'は、例えば第１のキャプチャ位置からの反射の角度を示し、ω_sは、正反射方向の角度を示し、θ_s'は、それらの間の角度を示す。更に、図４の図において、ω_r,は、例えば第２のキャプチャ位置からの反射の角度を示し、θ_s,は、第２のキャプチャ位置からの反射の角度と、正反射方向の角度であるω_s,との間の角度を示す。

本発明では、左チャネル１６及び右チャネル１８についてキャプチャされた３Ｄシーン情報が考慮される。または、チャネルの各々についての式(１)は、以下の式（２）及び式(３)によって特徴づけられる。

区別する目的で、本発明の１つの実施形態において、式(２)は、右目チャネルを示すことができ、式(３)は、左目チャネルを示すことができる。留意すべきは、式（２）及び式（３）のいずれの第２項

も、同じものであるということである。

式(２)及び式(３)は、非発光表面（例えば、式（２）及び（３）の第１項（Ｌ_e（ｘ，ω_r，λ）＝０）及び／または式（２）及び（３）の均等拡散面（第３項（ρ_s（ｘ，λ）Ｌ_s（ｘ，ω_s，λ）（ｃｏｓθ_s'）ⁿ＝０）について更に簡約化することができる。

３Ｄ画像からの照明モデル、表面反射モデル、及び３Ｄジオメトリモデルの抽出は、２つのステレオチャネルの２Ｄ画像から得られてもよい。

本発明の実施形態において、対話型処理は、人間による入力のほかに、３Ｄシーン情報（例えば、左右の画像ストリーム）及び光情報（例えば、シーンに対する球面鏡（mirror spheres）のピクチャ）も考慮し、図５を参照して説明されるように、これらのモデルを抽出して精密化する。そして上記したように、例えば、３Ｄ環境における色補正能力を実現するために、光源情報及び表面ジオメトリ情報のほかに表面反射特性も、処理の前に必要とされるかもしれない。例えば外部ソースからに含まれるか、または、処理される画像から推定される画像から、３Ｄ情報を得るいくつかの方法がある。外部ソースについて、３Ｄジオメトリは、例えばレーザスキャナまたは他のデバイス、及び／またはユーザ入力などのジオメトリキャプチャデバイスによって得られてもよい。光情報は、光センサ及び／またはミラーボールなどの光キャプチャデバイスから決定されてもよい。画像から環境特性を推定するために、単一の画像から同時にシーンジオメトリ、光反射特性及び表面反射特性を取り戻そうとすることは難しい。多数の未知の変数が存在するからである。しかしながら、色補正処理において、ユーザは、システムと相互作用して所望の効果を実現することができる。

従って、ユーザ‐コンピュータ相互作用及び３Ｄ画像を、シーンジオメトリ復元を容易にしかつ改善するために利用することができる。例えば、ユーザは、システムにとって「良い」領域を選択して光源を推定することができる。次に、推定された光源を、より複雑な領域のために用いることができる。ユーザはまた、光源の位置を推定し、システムがインタラクティブに光源及びシーンの３Ｄジオメトリを精密化するのを支援することができる。さらに、僅かに異なる位置を有しかつ画像データを同時にキャプチャする２台のカメラまたは他の３Ｄピクチャキャプチャデバイスに基づいてシーン内のオブジェクトからジオメトリ情報を得てもよい。このように、２つの画像は、例えば、コンピュータ視覚ソフトウェアツールを用いて比較されて、３次元のジオメトリ特徴を決定してモデルを生成することができる。ここで留意すべきは、３Ｄ画像は、３次元のためのジオメトリ情報を含むということである。

例えば、図５は、本発明の実施形態によるシーンの三次元情報を決定する方法５００のフローチャートを示す。図５の方法５００は、ステップ５０１から始まり、ステップ５０１において、画像情報（例えば、シーン情報）は少なくとも２つのチャネル（例えば、画像ストリーム）を介して受信される。各チャネルは、例えば、ステレオカメラまたは２台の別個のカメラを用いて、僅かに異なる角度から撮られる同一のシーンの情報ストリームを運ぶことができる。方法５００は、ステップ５０２へ進む。

ステップ５０２で、ユーザは、特定の特性（例えば、均等拡散面（Lambertian surface））を有する受信した画像の領域を選択する。より具体的には、ステップ５０２で、受信した画像の特定の領域が選択されて、表面または３Ｄモデルの作成に役立ち得る。例えば、鏡面反射アルベドについて（近似値であっても）、正反射方向に沿った放射輝度、及びカメラ位置が既知である場合、表面法線を、以下の式（４）及び式(５)を用いて決定することができる。

更に、無数の既知の光源があり、表面が均等不拡散である場合、この表面が選択されて３Ｄモデルを生成するのに役立ち得る。ユーザは、例えば正反射アルベド、正反射方向に沿った放射輝度、並びにカメラ位置及び／または均等拡散面などの特定の既知の特性を有する画像またはその一部の領域を選択する。次に、方法５００は、ステップ５０４へ進む。

ステップ５０４で、ユーザは、画像コンテンツに従って、この場合はシーン内の光（照明）位置である三次元特性の決定または評価を準備する。しかしながら、本発明の代替的実施形態において、三次元特性は、以前に受信した画像から推定されてもよい。次に、方法５００はステップ５０６へ進む。

ステップ５０６で、３Ｄジオメトリモデルを、コンピュータ視覚技術を用いてシーンジオメトリ情報（例えば、左右の画像ストリーム）の２つの同時チャネルから作成することができる。左右の画像対が最初に登録されて共通の座標系を共有する。例えば、本発明の１つの実施形態では、深さは、画像差分及びカメラ位置に基づいてあらゆるピクセルについて算出され、そのとき３Ｄ表面モデルは深さ決定に適している。更に、（左右の画像対だけでなく）左右の画像ストリームが利用できるので、３Ｄジオメトリ情報は、同様に時間内の前の左右の画像対から評価されてもよい。このことは、オブジェクトまたはカメラが移動する場合に、作成された３Ｄジオメトリモデルの精度を改善するのに非常に役立ち得る。更に、追加の３Ｄジオメトリ情報を、例えば、非発光表面を仮定することによって、上記の式(２)‐(５)を用いて抽出することができる。次に、方法５００は、ステップ５０８へ進む。

ステップ５０８で、選択された領域は、リレンダリングされる。かかるリレンダリングは、既存のレイトレーシングアルゴリズム（ray-traciing algorithm）を用いて実現されてもよい。次に、方法５００は、ステップ５１０へ進む。

ステップ５１０で、元の選択された領域の外観とレンダリングした領域とが比較される。リレンダリングした領域及び元の領域があまり一致していない場合、例えば光位置を再評価することによってより良い一致を実現するためにステップ５０４に返る。リレンダリングされた領域及び元の領域がよく一致する場合、方法は終了する。一致するかどうかは、画像が改善されたかどうかを判断するために用いられてもよい客観的基準または画像の仕様に基づいていてもよい。本発明によれば、一旦、シーンの三次元情報（例えば、三次元特性）が上記のように決定されると、三次元特性（例えば、光源位置及び光度、表面反射率、その他）が修正されて（下記に詳述される）、画像についての所望の「外観」を実現することができる。本発明の実施形態において、一致には、２つの画像チャネルの光源及びジオメトリからの情報を含むことができる。次に、最終的な光情報を、同一の画像の他の領域に再利用することができる。

ステップ５１２で、２Ｄストリームのうちの選択されたストリームに対して本発明の処理によって実行されるあらゆる変更を、基本になっている三次元モデルを用いて他方のストリームに自動的にまたはユーザ入力を介して適用することは任意である。

１つの２Ｄ画像に対して光源を与えられたシーンジオメトリの復元のための本発明の方法の実施形態が、ここで更に詳細に説明される。選択された領域が一定のアルベドまたは他の一定の特性を有する均等拡散面パッチであると仮定すると、アルベドマップは、区分に関して言えば一定であり、従って、アルベドマップ上で一定のアルベドを有する領域を見つけることは難しいはずがない。留意すべきは、均等拡散面のために、以下の式（６）によって、光、ジオメトリ、及びアルベドが制約されるということである。

選択された色補正領域内でアルベドが一定の場合、光かまたはジオメトリのうちの１つを認識することが、他の要因を復元するのに役立ち得る。多くの場合、シーン表面を均等拡散面として見積もることができる。均等拡散面で、反射特性はあらゆる方向に一定であり、それはまた、式(１)の正反射の項がゼロになるということを示す。表面放射も無視することができる場合（それは、大部分の表面タイプにあてはまる）、以下の簡約化した式が準備されてもよい。
ここで、

は、従来、照明画像と称されていて、それは、シーンアルベドの影響を排除するとともに、光及び表面ジオメトリの相互作用を符号化する。アルベドマップは、以下の式７（７）に従って、観察された画像及び照明画像から復元され得るということは明らかである。

アルベドマップ（領域内で一定）及び光位置（有限のポイント光源数）を与えられると、ジオメトリを、以下の式（８）により表面法線Ｎ（ｘ）を最初に得ることによって復元することができる。

ここで、Ｌ_i，はポイント光源ｉの放射輝度を示す。Ｎ（ｘ）は、表面法線を示す。ω_iは、光源ｉの入射光線を示す。しかしながら、式(８)は無数の解を有することができるので、式(８)を解くことは難しいかもしれない。問題の解をもっと明確にするために、発明者は、法線マップが領域内で連続していて滑らかであるという制約を課すことを提案する。従って、明確な関数を、以下の式（９）によって特徴づけることができる。

式(９)の関数の第１項（第１の積分）は、式（８）を満足させようとし、一方、第２項（第２の積分）は滑らかさの制約を課すための正規化項である。式（９）の関数を最小化することによって、近似の法線マップＮ（ｘ）を、以下の式（１０）により特徴づけることができる。

式(６)の関数と類似した関数が用いられて、例えばオプティカルフロー評価などの他の産業の条件を決定する。概して解は、傾斜降下(gradient decent)または関数を最小化することによって見出されてオイラー・ラグランジェ（Euler-Lagrange）微分方程式を解くことができる。オイラー・ラグランジェ微分方程式は、周知の計算方法によって解かれる。一旦、法線マップが復元されると、初期条件として領域境界を用いて二次微分方程式を解くことによって領域内のジオメトリを復元することができる。法線マップから３Ｄ表面を算出する方法は、標準のコンピュータ視覚テキストで知ることができる。以下、像形成理論を有する色補正及び本発明による画像形成を用いている３Ｄ情報について説明する。

本発明による画像形成を用いる像形成理論及び３Ｄ情報での色補正がここで説明される。本発明は、少なくとも明色、表面色及び反射特性、光位置、並びに表面ジオメトリを修正することによってユーザ（例えば、カラリスト）が画像の「外観」を変更できるようにする。更に、他の変更を利用することができる。例えば、これらの要因のいかなる組合せを修正して所望の「外観」を生成してもよい。かかる変更は、上記したように図５の方法のステップ５０４及びステップ５０８で実行されることが望ましい。変更は、オペレータによって与えられる命令に基づいて３Ｄ画像にレンダリングされ得る。例えば、ステレオ対の場合には、修正は、３Ｄジオメトリ情報及び２つのチャネルの間のジオメトリ対応に基づいて左右のチャネルの画像に対して自動的にレンダリングされる。

本発明の１つの実施形態において、入射光の色を修正することだけが所望されると仮定する。そのとき、光の色は、スケーリングされる必要がある。具体的には、要因Ｓ（λ）によって入射光の放射輝度を乗じることによって、入射光のカラーコンポーネントの構成が変更される。このことは、色温度、輝度等を変更するために用いられてもよい。次に、シーンの反射光を、以下の式（１１）により特徴づけることができる。

式（１１）は、明色をスケーリングすることが最終的に観察される色をスケーリングすることに相当するということを示す。従って、明色を修正することが、従来の色補正処理に相当するとみなされてもよい。

シーン表面が均等拡散面であると仮定されかつ材料の放射が無視される表面反射率を修正する最も単純な場合を検討すると、表面反射率を、以下の式（１２）により特徴づけることができる。

上記の修正のように、Ｓ（λ）を有する拡散アルベドρ_d（ｘ，λ）をスケーリングすることは、最終的に観察される値をスケーリングすることに相当する。

放射特性及び正反射特性の両方を無視できないより一般的な場合について、３Ｄジオメトリ及び光情報は、レンダリングのために必要とされる。外部ソース（即ち、光キャプチャデバイス及び／または３Ｄスキャナから）からの３Ｄジオメトリ情報及び光源情報について説明した処理を用いることによって、ユーザは、放射コンポーネントＬ_e（ｘ，ω_r，λ）を変更し、拡散アルベドρ_d（ｘ，λ、）、正反射アルベドρ_s（ｘ，λ、）、及び正反射パワーｎを変更することができる。次に、選択された領域は、上記の式(２)及び式(３)を用いてリレンダリングされ得る。かかるリレンダリングは、既存のレイトレーシングアルゴリズムを用いて実現されてもよい。

光位置及び方向だけを修正する実施形態において、ユーザは、光が指向的な場合に、光の位置及び方向を変更することができる。ユーザはまた、追加の光源をシーンに加えることができる。表面の３Ｄジオメトリを利用できる場合、リレンダリングすることは、上記の式(２)及び(３)を用いて単に実現されてもよい。光位置を修正することによって、いくつかの特別な効果は、例えば表面の鏡面性を変更することによって実現され得る。

シーンジオメトリだけを修正する実施形態において、ユーザは選択された領域のジオメトリを変更することができる。表面のジオメトリを変更することは、Ｂスプラインに類似の編集ツールによって実現され得る。Ｂスプラインに類似の編集ツールは、いくつかの既存のソフトウェアパッケージにおいて提供されている。一旦、ジオメトリが修正されると、式(２)及び式(３)を用いて、レイトレーシングアルゴリズムを用いて選択された表面をリレンダリングすることができる。

上記の単一の要因の修正方法に加えて、上記の方法を組み合わせて、本発明による画像のオブジェクト外観の異なった態様を変更することができる。例えば、像形成理論においてて説明したように、画像のジオメトリ（例えば、表面反射率）及び光の両方を修正する場合では、シーンのレンダリングを、以下の式（１３）により説明することができる。

ここで、Ｉ_d（ｘ，λ）は、照明画像を示し、Ｉ_d（ｘ，λ）に類似していて、鏡面照明画像を、以下の式（１４）により特徴づけることができる。

照明画像及び鏡面照明画像の両方は、３Ｄ環境の光情報及びジオメトリ情報を符号化する。照明画像を用いて、光及びジオメトリ取得処理は、ジオメトリ情報及び光情報を評価する代わりに照明画像自身を編集することだけによって避けることができる。照明画像及び鏡面照明画像は、マットペインティングによって得られるかまたは、利用可能な３Ｄジオメトリを用いて別個のレンダリング処理を介してレンダリングされ得る。一旦、このことが完了すると、式(１３)を、選択された領域に照明画像を組み込むために用いることができる。

本原理の実施形態による色補正方法は、光、表面反射率、及び３Ｄジオメトリを修正して、シーンの３Ｄジオメトリ情報から生成される照明モデル、表面反射モデル、及び３Ｄジオメトリモデルを修正することによってシーン内の所望の効果を設けることができる。本発明の様々な実施形態によれば、ユーザが２Ｄ画像の２つの同期チャネルのうちの１つだけに手を加えるときでも、色補正演算は、２Ｄ画像の２つの同期チャネルに対してレンダリングされる。このことによって、シーンの３Ｄジオメトリ及びカメラ位置の認識が自動的に行われ得る（ステップ５２０）。

本発明の方法の実施形態は、シーン全体（もしくは３Ｄ画像）またはその一部に適用され得る。例えば、特定のオブジェクトは、３Ｄピクチャ（この処理は、３Ｄジオメトリモデルを用いて容易にされる）並びに画像の残りの部分から独立して修正されるその表面反射率及びジオメトリ特性から分割されてもよいし見つけられてもよい。

図６は、本発明の実施形態によるシーンの三次元情報を用いて画像を色補正する方法のフローチャートを示す。図６の方法は、ステップ６０２で開始し、ステップ６０２で、受信した画像内でレンダリングされるべきシーンのオブジェクトの特徴についての情報が、シーンのオブジェクトについての反射率、光源情報、及びジオメトリ情報のうちの少なくとも１つを含む三次元特性に関する外部ソース情報を集めることにより色補正のために準備される。上記のように、かかる情報は、外部センサまたはユーザ入力を用いて集められてもよい。本発明の実施形態によれば、反射率、光源情報、及びジオメトリ情報のうちの少なくとも１つを、ステレオカメラもしくはデュアル画像キャプチャデバイスまたは他の３Ｄ画像キャプチャデバイスから集められる情報の左右のチャネルを用いて得ることができる。次に、方法は、ステップ６０８へ進む。

あるいは、図６の方法６００は、ステップ６０４で開始することができ、ステップ６０４で、光源位置及び／またはオブジェクトジオメトリを受信した画像から推定することができる。例えば、図６に示すように、光源位置及び／またはオブジェクトジオメトリの推定は、ステップ６０５を含み、ステップ６０５で、一定の特性または複数の一定の特性（例えば、アルベド、反射率、その他）を有する領域が選択されて、領域内の光源位置及び／またはオブジェクトジオメトリがより容易に決定される。さらに、ステップ６０６を含み、ステップ６０６で、関数（例えば、式(９)）が決定されて、オブジェクトジオメトリのための表面を画定／制約する。次に、方法は、ステップ６０８へ進む。

ステップ６０８で、オブジェクトジオメトリ及びジオメトリ情報のうちの少なくとも１つを用いて、選択された領域内のピクセル値を、１つの実施形態では、２つのチャネルの画像ストリーム同士の間の差分を調べることによって、ジオメトリ評価及び光評価のために算出する。本発明の代替的実施形態において、選択された領域内のピクセル値は、光源を変更することによってかつ／または選択された領域のジオメトリを変更することによって、ジオメトリ評価及び光評価について算出される。次に、方法は、ステップ６１０へ進む。

ステップ６１０で、領域に対して評価されたピクセル値は、元の画像内のピクセル値と比較されて、一致が存在するかどうか判断される。一致が存在する場合、方法はステップ６１２へ進む。一致が存在しない場合、方法はステップ６１４へとスキップする。

ステップ６１２で、所望の「外観」が実現されるまで、色、表面のジオメトリ、光の色及び方向などが修正される。次に、方法は、次の画像へ進み、次の画像が存在しない場合、方法は終了して、得られる３Ｄ画像を、例えば図１の参照ディスプレイ１２０に表示することができる。

ステップ６１４で、更なる編集または精密化が、光源の値を精密化することにより、かつ／または画像の一部のジオメトリの値を精密化することにより画像の一部を精密化することによって実行されて、より類似したものを実現する。光源及びジオメトリを、画像及び鏡画像が三次元環境についての光情報及びジオメトリ情報で符号化された照明画像及び鏡面性画像を用いて精密化することができる。次に、方法は、ステップ６１０に返る。

任意のステップ（図示せず）において、ステップ６１２で少なくとも２つの画像ストリームのうちの選択された第１のストリームの修正の後に、選択された第１の画像ストリームに適用される変更を、（適用可能な場合に）第２の画像ストリームに適用することができる。

本発明の方法を、同じ画像の他方の画像または異なる領域に対して繰り返すことができる。ステップ６１２に戻って参照すると、色、表面ジオメトリ及び光の色、光の方向が、所望の「外観」が実現されるまで、変更される。所望の「外観」は、特定の色を修正し、ジオメトリの欠点を直し、または客観的基準または主観的基準により所望の視覚効果を実現することを含んでもよい。修正は、２つのチャネル同士の間の３Ｄシーンジオメトリ及びジオメトリ対応に基づいて出力される３Ｄ画像（即ち、ステレオ対）にマッピングされる。このことは、自動的にまたはユーザによるアプリケーションによって対のうちの一方の画像から他方へ変更を転送することを含む。

３Ｄ画像の色補正のための方法及びシステムについて好適な実施形態（それは、説明であって限定していないことを意図している）を説明してきたが、留意すべきは、変更態様及び変化形が上記の教示を考慮して当業者によって行われ得るということである。従って、添付の請求の範囲によって要点が述べられているように、開示された本発明の特定の実施形態において変更がなされてもよいということが理解されるべきである。開示された本発明の特定の実施形態は、本発明の範囲及び精神の範囲内にある。よって特許法によって要求される詳細及び特殊性を用いて本発明を説明してきたので、特許状によって保護される、請求されかつ要求されることは、添付の請求の範囲に記載されている。

Claims (26)

1. 同一のシーンに対してキャプチャされた少なくとも２つの別個の画像ストリームを含む三次元画像を色補正する方法であって、
   前記三次元画像の選択された画像ストリームの少なくとも一部についての少なくとも１つの三次元特性を決定するステップと、
   少なくとも１つの決定された三次元特性の値を変更することによって前記選択された画像ストリームの少なくとも前記一部の外観を修正するステップと、
   を含む方法。
2. 前記少なくとも１つの三次元特性は、前記三次元画像の前記少なくとも１つの部分についての光特性、表面色、反射特性、及びシーンジオメトリのうちの少なくとも１つを含むことを特徴とする請求項１記載の方法。
3. 前記選択された画像ストリーム内の領域を選択して、該領域内で前記少なくとも１つの三次元特性を決定するステップを更に含むことを特徴とする請求項１記載の方法。
4. 前記画像ストリーム内の領域を選択するステップは、正反射方向に沿った放射輝度が既知でありかつ画像キャプチャデバイスの位置が既知であって、アルベドが一定の領域を選択するステップを含むことを特徴とする請求項３記載の方法。
5. 前記決定するステップは、
   前記２つのキャプチャされた画像の間の差分に基づいて深さ値を算出するステップと、
   前記算出された値を用いて前記選択された画像ストリームの少なくとも一部をレンダリングするステップと、
   前記選択された画像ストリームの前記レンダリングした部分を前記元の画像ストリームの対応する部分と比較してその間に一致があるかどうかを判断するステップと、
   を含むことを特徴とする請求項１記載の方法。
6. 前記少なくとも１つの三次元特性は、ユーザ入力に基づいて決定されることを特徴とする請求項１記載の方法。
7. 前記決定するステップは、前記選択された画像ストリームの前記少なくとも１つの部分の表面に基づいて光源位置及びオブジェクトジオメトリのうちの少なくとも１つを推定するステップを含むことを特徴とする請求項１記載の方法。
8. 前記推定するステップは、像形成理論を用いるステップを含むことを特徴とする請求項７記載の方法。
9. 前記少なくとも１つの三次元特性は、少なくとも１つのセンシングデバイスを用いて決定されることを特徴とする請求項１記載の方法。
10. 前記少なくとも１つのセンシングデバイスは、画像キャプチャの間、前記三次元画像のキャプチャ環境に置かれることを特徴とする請求項９記載の方法。
11. 前記選択された画像ストリームの少なくとも前記一部の外観は、像形成理論を用いて修正され、前記像修正理論は、前記選択された画像ストリームの前記少なくとも１つの部分の表面領域を画定する関数を決定するステップを含むことを特徴とする請求項１記載の方法。
12. 前記少なくとも２つの画像ストリームは、少なくとも２つの画像キャプチャデバイスを用いてキャプチャされることを特徴とする請求項１記載の方法。
13. 前記少なくとも２つの画像ストリームは、ステレオカメラを用いてキャプチャされることを特徴とする請求項１記載の方法。
14. コンピュータ視覚技術を用いて、前記少なくとも２つの画像ストリームから三次元モデルを生成するステップを含むことを特徴とする請求項１記載の方法。
15. 前記少なくとも１つの決定された三次元特性の前記変更された値は、前記選択された画像ストリームのレンダリングに適用されて、前記選択された画像ストリームの前記外観を修正することを特徴とする請求項１記載の方法。
16. 前記選択された画像ストリームに対して決定された修正を前記少なくとも２つの画像ストリームの他方にレンダリングするステップを含むことを特徴とする請求項１記載の方法。
17. 同一の画像に対してキャプチャされた少なくとも２つの別個の画像ストリームを含む三次元画像を色補正するシステムであって、
    色補正のための画像を表示する参照ディスプレイデバイスと、
    前記参照ディスプレイと通信する色補正デバイスと、
    を含み、
    前記色補正デバイスは、
    受信した三次元画像の選択された画像ストリームの少なくとも一部についての少なくとも１つの三次元特性を決定し、
    少なくとも１つの決定された三次元特性の値を変更することによって、前記選択された画像ストリームの少なくとも前記一部の外観を修正することを特徴とするシステム。
18. 少なくとも１つの三次元特性を決定する少なくとも１つのセンシングデバイスを含むことを特徴とする請求項１７記載のシステム。
19. ユーザ入力を可能にするユーザインタフェースを含むことを特徴とする請求項１７記載のシステム。
20. 前記ユーザインタフェースは、無線遠隔制御、マウスもしくはトラックボールなどのポインティングデバイス、音声認識システム、タッチスクリーン、オンスクリーンメニュ、ボタン、及びノブのうちの少なくとも１つを含むことを特徴とする請求項１９記載のシステム。
21. 前記少なくとも１つの三次元特性は、前記ユーザインタフェースを用いて前記色補正デバイスに伝達されることを特徴とする請求項１９記載のシステム。
22. 前記少なくとも２つの画像ストリームをキャプチャする少なくとも２つの画像キャプチャデバイスを含むことを特徴とする請求項１７記載のシステム。
23. 前記少なくとも２つの画像ストリームをキャプチャするステレオカメラを含むことを特徴とする請求項１７記載のシステム。
24. 前記色補正デバイスは、少なくとも２つの画像ストリームの間の差分を用いてオブジェクトの三次元モデルを作成することを特徴とする請求項１７記載のシステム。
25. 光源特性とジオメトリ特性との組み合わせを、三次元環境についての光情報及びジオメトリ情報で符号化された照明画像及び鏡像を用いて精密化することを特徴とする請求項１７記載のシステム
26. 前記色補正デバイスは、前記選択された画像ストリームに対して決定された補正を少なくとも２つの画像ストリームのうちの他方にレンダリングすることを特徴とする請求項１７記載のシステム。

Images