JP2018509027A - 動きに基づくビデオ色調安定化のための方法及び装置 - Google Patents

Abstract

動きに基づくビデオ色調安定化のための１つの一般的な態様は、キーフレーム及び動き推定技術を用いて、入力画像とキーフレームとの間の空間対応のレベルを決定する。空間対応のレベルが高い場合に、色調安定化は、カメラモデルの演繹的知識なしで自動カメラパラメータによって引き起こされる画像間の色差を最小限にするよう、回帰及びべき乗則色調変換を通じて行われる。色調誤差蓄積は、長期の色調伝播を使用することによって低減される。

Description

本原理は、画像の又はビデオシーケンスの色調安定化（tonal stabilization）のための方法及び装置に概して関係がある。

安価なビデオカメラの急増によって促進された素人のますます多くのビデオフィルムは、可視的なビデオアーチファクトの数を相当に増やしてきた。そのようなビデオアーチファクトのいくつかは、動き及び色調の不安定性である。動きの安定化は幾人もの研究者によって研究されているが、色調の不安定性はほとんど議論されていない。

ビデオ色調の不安定性は、シーケンスの隣接フレームの色の変動を特徴とする特定の時間的アーチファクトである。１つの従前の方法に従って、現代のビデオでは、そのような不安定性は、カメラの自動設定、特に、自動ホワイトバランス及び自動露出、によって主に引き起こされる。

自動ホワイトバランス及び自動露出は、民生用デジタルカメラの一般的な機能であり、ユーザ経験を助けながら、色バランスのとれた画像及びうまく露出された画像を提供するよう夫々意図される。しかし、それらの機能は、静止画についてはたいていは適切であるが、時間において安定しておらず、ビデオにおいて認知され得る不快な色調の不安定性を生じさせる。自動ホワイトバランスアルゴリズムに伴う顕著な問題は、光源推定に対するそれらの依存性であり、不良設定（ill-posed）問題と考えられている。例えばgrey world及びmax rgbのような前提は、実施において、時間的なシーンの変化との関連で容易に破られるので、色不安定性を生じさせる可能性が高い。

他方で、自動露出は、ダイナミックレンジの固有の限界を補償するためのカメラの重要な機能である。しかし、ビデオフィルムにおける高速な露出の変化は、見る者にとって不快であるから、高速に変化する露出の時間的な平滑化は、ビデオの認知される品質を潜在的に高め得る。露出を安定させることは、輝度不変（brightness constancy）の前提に依存するコンピュータビジョン用途（例えば、トラッキング、オプティカルフロー）にとっても有用である。

自動ホワイトバランスは、いくつかの場合に、簡単にオフされ得るが、ローエンドのカメラは、セットアップパラメータに対する制御を提供しない。この場合に、不快な色調変動を回避するための唯一の代替案は、ビデオを更に処理することである。文献中のいくつかの研究は、ビデオにおける色調の不安定性の問題に近づいているが、既存の解決法は、特定のタイプの輝度フリッカを扱うことに制限され、あるいは、リアルタイム用途には適していない。

本願で記載される実施形態は、ビデオにおける色調安定化を解決する高速且つパラメトリックな方法及び装置を提供する。１つの特徴は、閉形式解（closed form solution）により容易に計算され得る最適化としての色調安定化問題のモデリングである。更には、それは、フレーム間の支配的な動きを考慮して、この方法が時間的に離れたフレーム間の正確な色対応を計算することを可能にする。提案される装置及び方法は、よりロバストな且つ信頼できる色調安定化をもたらす。

先行技術のそれら及び他の欠点及び短所は、記載される様々な実施形態によって対処される。それらの実施形態は、画像のデータベースのコントラスト強化のための方法及び装置を対象とする。

１つの一般的な態様に従って、ビデオ色調安定化のための方法が提供される。当該方法は、空間対応関数を生成するよう画像とキーフレームとの間の動きに基づく対応を決定することを有する。このことは、入力される画像とキーフレームとの間の動き推定を行うことと、前記キーフレームとアライメントするよう前記画像をワーピングすることと、前記アライメントされた画像の差分マップにおいて閾値よりも高い値を捨てることとを有することができる。当該方法は、更新されたキーフレームを用いて前記決定することを繰り返す前に、画像間の動きに基づく対応の数が閾値よりも大きい場合に前記キーフレームを更新することと、前記動きに基づく対応の数が閾値に満たない場合に前記画像に対して色補正を行うこととを更に有する。前記色補正は、前記空間対応関数において点の組にわたって回帰を行うことと、前記画像と前記キーフレームとの間の色差を最小限にするよう前記画像に対して変換を行うこととを有することができる。

他の一般的な態様に従って、ビデオ色調安定化のための装置が提供される。当該装置は、画像及びキーフレームに作用する動き推定部を有する。当該装置は、前記画像及び前記キーフレームをアライメントする画像処理部と、空間対応関数を生じさせる閾値よりも高い値を捨てるよう前記アライメントされた画像の差分マップに作用する比較部と、画像間の動きに基づく対応の数が閾値に満たない場合に前記キーフレームを更新し、制御に前記動き推定部、前記画像処理部及び前記比較部の動作を繰り返させる回路とを更に有する。当該装置は、画像間の動きに基づく対応の数が閾値よりも大きい場合に前記空間対応関数において点の組にわたって回帰を行う第１プロセッサと、前記画像と前記キーフレームとの間の色差を最小限にするよう前記画像に対して変換を行う第２プロセッサとを更に有する。

１つ以上の実施の詳細は、添付の図面及び以下の記載において説明される。たとえ１つの特定の様態において記載されているとしても、当然ながら、実施は様々な様態において構成又は具現化され得る。例えば、実施は方法として実施され、あるいは、例えば、動作の組を実施するよう構成される装置又は動作の組を実施する命令を記憶している装置のような、装置として具現化され、あるいは、信号において具現化され得る。他の態様及び特徴は、添付の図面及び特許請求の範囲とともに検討される以下の詳細な説明から明らかになるだろう。

本原理は、以下の、例としての図に従って、より良く理解され得る。
原画像と、ビデオ色調安定化により補正された例とを示す。 ビデオ色調安定化のためのフローチャートの一実施形態を示す。 ビデオ色調安定化のためのいくつかのステップを示す。 本原理に従うチャネルワイズのヒストグラム指定マッピングを示す。 異なる露出及びホワイトバランスを有する画像の例を示す。 べき乗則モデルにより補正された画像の例を示す。 ビデオ色調安定化のための方法の一実施形態を示す。 色チャートから抽出されたデータ点及び推定べき乗則変換を示す。 色チャートから抽出されたデータ点及び推定べき乗則変換を示す。 タイムラプスシーケンスのための露出補正の例を示す。 図９のシーケンスを補正するデータ点及び推定曲線を示す。 図９のシーケンスを補正するデータ点及び推定曲線を示す。 ビデオ色調安定化のための装置の実施形態を示す。 テストシーケンスにおける色調安定化の例を示す。 ビデオ色調安定化のためのフローチャートの実施形態を示す。

記載される実施形態は、動きに基づくビデオ色調安定化のための方法及び装置を対象とする。

一般的に言えば、色調安定化は、シーケンスの複数の画像において好ましくない色変動を最小限にする変換を探すものとされ得る。

本項目は、ビデオ色調安定化のための提案される方法の論理的根拠及び主たる寄与を示す。先ず第一に、目的は、次の所望の特性、すなわち、１）ビデオ内のフレーム間で観測される色の不安定性をモデル化することにおける正確さ、２）動き、オクルージョン（occlusion）及びノイズに対するロバスト性、３）準リアルタイムの用途において実装される計算の簡潔さ、を有している方法を思い付くことである。

実際問題として、第１の特性（モデルの正確さ）は、ロバスト性及び計算の簡潔さの他の特性としばしば対照的であることに気付かれたい。特に、色調変換に関して、最も正確なモデルと見なされ得る放射計測校正（radiometric calibration）アプローチは、動き及びオクルージョンに対して実際にロバストでなく、非常に複雑である。これを考慮して、提案される方法は、それら３つの特性の間の望ましいトレードオフを目標とする。

加えて、従前の方法による最新の色調安定化方法は、上述された色調安定化のための所望の特性を満足しない点に留意されたい。この方法の主な制限は、空間対応に依存するにもかかわらず、隣接フレームの空間座標間の動き補償を適用しないことである。よって、空間対応の正確さは、２つのフレーム間の高速な動きの場合に、著しく妥協され得る。

図２は、色調安定化のための提案される方法のフロー図を示し、図３は、提案される方法の概要を示す。動き及びオクルージョン（従前の方法の重要な制限）に対するロバスト性を達成するために、参照キーフレームｕ_ｋと補正されるフレームｕ_ｔとの間の支配的な動きが推定される。次いで、それら２つのフレームは、色対応を計算するために位置合わせされる。たとえｕ_ｔ及びｕ_ｋが時間においていくつかのフレームによって異なるとしても、累積的な動きによって、それらを位置合わせすることができる点に留意されたい。最終的に、色対応は、色調の不安定性を補正するよう適用される色変換を推定するために使用される。

最新技術と比較した提案される方法の寄与は、次のように要約され得る：
１．動き駆動法：支配的な動きの推定及び補償によって得られるフレーム間の正確な色対応の使用。
２．動きの蓄積によって得られる長期の動き推定を使用することによる、時間的により長い色調コヒーレンス。
３．色補正のための、計算的に簡単ながら有効なパラメトリックモデルの提案。

提案されるアルゴリズムの適用のために、いくつかの前提が、補正されるシーケンス及びモデル化される色変動に関して置かれる必要がある。特に、以下を仮定する：
１．シーケンス（シーンカットなし。）において隣接フレームどうしの間には空間対応（又はコンテンツの冗長性）が存在する。
２．フレーム間の比色差（colorimetric aberrations）を補償することができる大域的変化が存在する。

最初の前提は、シーン・ジオメトリ（ほぼ全部のオクルージョン）又は放射測定の極度の変化（すなわち、照度若しくは飽和の大きい変化）を経験しない限りは、単一ショットから成るシーケンスごとに確かめられる。第２の前提は、観測される色の不安定性及び結果としてカメラ応答関数が大域的（空間的に不変）であることを暗示する。すなわち、提案される方法は、アーカイブされた古いフィルムにおいて観測される局所フリッカのような、局所的な色調の不安定性の補正には適さない。

以下の小節は、提案される方法の夫々の主たるステップを（図３）において詳細に説明する。簡単のために、色調変換モデルは、動きを有さない画像間の色補正の最も簡単な場合を最初に仮定して、次に記載される。シーケンスにおいて、提案されるモデルは、動きを含むシーケンスの色調安定化の一般的な場合を扱うことが提示される。最後に、方法の有効性は、実際のシーケンスを使用した試み及び最新技術との比較から記載される。

色調変換モデル
この項では、色調の不安定性の補正のための色調変換モデルが記載される。特に、同じカメラで撮影された画像において観測される色調の不安定性の場合を考える。このとき、色調変動は、カメラ自動パラメータによって特に引き起こされる。

１つの従前の方法に従って、完全な色取得モデルは、次の式（１）によって与えられる：

このとき、
（外１）

は、色カメラ応答を表し、Ｔ_ｓは、カメラ色空間変換（時間に対して一定）を考慮する３×３行列であり、ｕは、観測される強さであり、Ｅは、放射照度であり、Ｔ_ｗは、ホワイトバランス及び露出（時間に対して変化）の変化を考慮する対角行列であり、次の式（２）によって与えられる：

ｕ_０及びｕ_１は、同じカメラによって撮影された２つの、完全に位置合わせされた画像であって、ホワイトバランス及び露出に関してのみ異なっているとする（よって、それらの画像は同じ放射照度Ｅを有している。）。Ｈ＝Ｆ（Ｔ_ｓ）を、一定であるカメラ応答の成分として表すと、その場合に、ｕ_０及びｕ_１は、次の式（３）及び（４）のように表される：

この場合に、ｕ_０とｕ_１との間の色調の差を補正するための簡単なアプローチは、ｕ_１の同じ色調特性を有するようｕ_０の色を変換することである。それにより、次の式（５）及び（６）が得られる：

従って、理論上、画像ｕ_０及びｕ_１の間の色調安定化は、カメラセンサ空間において実施される簡単な対角変換（非線形変換Ｈ及びＨ^−１によって与えられる。）により実現され得る。この色調安定化モデルは、Ｈの推定を可能にしながら、放射照度Ｅ＝［Ｅ_Ｒ，Ｅ_Ｇ，Ｅ_Ｂ］がロー（ＲＡＷ）画像の形で知られている場合にカメラ色転写（color transfer）を実施するよう正確なプロシージャとして放射計測校正から発想を得る。なお、色調安定化の問題について、我々は、安価なカメラを用いて撮影されたビデオに直面する。それらから、我々は、放射計測校正を計算するのに必要である通常の前提を置くことができない。同じカメラからの複数の露出の前提は、カメラ応答関数を推定するために必要とされるものであるが、いくつかのシーケンスについて有効でないことがあり、そして、ＲＡＷ−ｓＲＧＢ対応も、実際に利用可能でない。

ビデオ色調安定化のためにまさに挙げられた所望の特性に従って、放射計測校正モデルは、正確ではあるが非常に複雑であり、放射照度が知られないシーケンスの色調安定化のために適用されるほど十分に一般的でない。このとき、問題は、知られている唯一の情報がｕ_０及びｕ_１において観測された強さであるときに、このモデルを如何にして近似すべきかである。

観測された画像が、それらの色調特性を正規化する正確な色変換を導出するための十分な情報を提供しないとき、この問題のための有効な解決法は、パラメトリック又は非パラメトリック推定法によって計算され得る色調強度マッピング（例えば、輝度又は色転写関数）に由来することが本願で提案される。次に、夫々の推定アプローチの賛否が記載され、提案される選択のための動機付けを与える。

非パラメトリック又はパラメトリック色変換
非パラメトリック色変換モデルは、変換のタイプに関する明示的な前提を置かず、ポストプロセッシング正則化を求める規則性の欠如を犠牲にしながら、非線形変換をモデル化することを可能にする。

非パラメトリック色変換のいくつかの注目に値する例は、加重補間及びヒストグラム指定である。上述されたように、加重補間（例えば、先行技術の色調安定化方法において提案される。）は、メモリ必要量及び処理時間の両方に関して計算上複雑であるという欠点を有している。他の従前の方法によって提案されるような色補間は、実際には、ヒストグラム指定と同様である大域的変換であることが知られる。主な違いは、補間が空間対応から計算され、一方、ヒストグラム指定が強度累積ヒストグラムから計算される点である。

古典的なヒストグラム指定は、色調安定化の問題を解消するための有効な代替案となり得る（チャネルワイズの指定は、ｎが画像内のピクセルの数であるとして、Ｏ（ｎｌｏｇｎ）の計算しか必要としない。）。しかし、ヒストグラム指定のよく知られた制限が存在する。実際に、それは、ポストプロセッシングを必要とするコントラスト・ストレッチング及び量子化アーチファクトを生じさせることがあり、変換のレンジ外挿は、特に、色を扱う場合に、常には可能でない。図４に表されている変換を例とする。図４は、チャネルワイズのヒストグラム指定を示す。図４における赤色及び青色の変換曲線は、急上昇の影響を受けて、変換後の結果として現れる画像において強いアーチファクトを生じさせることになる点に留意されたい。

他方で、パラメトリックモデルは、所与の関数（例えば、線形、アフィン、及び多項式）によって変換がモデル化され得るとする。故に、問題は、変換の係数を推定することによって解消される。如何なる形式の変換もモデル化するほど柔軟ではないが、パラメトリックモデルは、色範囲全体についてきちんと定義された滑らか且つ規則的な関数によって表現されるという重要な利点を有している。それにより、外挿は問題にならない。更には、変換は数個のパラメータによって記述されるので、それは、時間における振動のリスクを減らす。

デジタルカメラに実装されるほとんどのホワイトバランスアルゴリズムは、ロー画像において実施されるフォン−クリース（Von Kries）対角変換である単純なパラメトリックモデルを用いてチャネルスケーリングを調整する（実際には、いくつかのカメラホワイトバランスアルゴリズムは、緑チャネルを手つかずのままとしながら、赤チャネル及び青チャネルのみを補償する。）。なお、色調変換モデルの議論の中で記載されるように、ｓＲＧＢ画像に適用される対角モデルは、カメラ応答に固有の非線形性をモデル化することができない。

パラメトリック又は非パラメトリック変換のいずれであろうとも、色安定化のための正確な色調変換モデルを得るための情報は十分でない。よって、瞬時に計算されるほど十分に単純であり、且つ、視覚的に心地良い色調安定化されたシーケンスを生成するほど十分に正確である色調変換モデルの必要性が存在する。種々のパラメトリック及び非パラメトリックモデル（ヒストグラム指定、スプライン補間、区分線形関数、対角モデル）による試みを実施した後、べき乗則（power law）変換は、上記の基準に最も良く適合することを示している。

べき乗則色変換
簡単のために、この項は、動きを含まないシーケンスにおいて色調の不安定性を補正するために使用されるとして、提案される色調変換モデルについて記載する。動きを含むシーケンスの一般的な場合は、後に提案される。

非線形な色調の不安定性を補正するための前提は、フレーム間の露出差が指数因子によって近似され得、一方、ホワイトバランス補正が対角色リスケーリングによって近似され得ることである。パラメトリックべき乗則モデルは、それらの前提をまとめて満足することができる。形式上、ｕ_ｋを参照画像であるとし、ｕ_ｔを補正される画像であるとする。それらの画像が完全に位置合わせされるとして、ｕ_ｔとｕ_ｋとの間のべき乗則関係は、次の式（７）の関数として記述される：

ここで、ｃ＝｛ｒ、ｇ、ｂ｝は、画像色チャネルを表し、ｘ∈Ωは、領域
（外２）

にわたる空間座標を表す。このとき、問題は、次の式（８）のように、平均平方誤差を最小限にするような最適な係数α_ｃ、γ_ｃを推定することである：

α_ｃ及びγ_ｃに対して非線形な式（８）の最小化は、分析的な解ｂを有さず、式（７）のべき乗則は、次の式（９）のように書き直され得る：

そして、べき乗則は、対数領域において定義されるアフィン関数として線形最小二乗フィッティングによって解かれ得る：

ここで、
（外３）

である。これより、次の式（１１）のように設定することによって、式（１０）を解く：

それにより、単変量線形回帰に対するよく知られた分析的解が得られる：

係数α_ｃ及びγ_ｃを求めるこの解は、いくつかの所望の特性を有している。すなわち、それは、計算上単純且つ正確であり、Ｏ（ｎ）の繰り返し（ｎ個の対応する点の数において線形、ｎ＝＃Ω）において収束するよう保証される。所見として、式（８）を最小化することは、式（１０）を最小化することと明らかに等価でないことに留意されたい。対数領域においてアフィン関数をフィッティングするとき、損失関数（loss function）Ｅも対数になることが知られる。これは、低い値から計算された残余が、高い値から計算された残余よりも大きい重みを有する傾向があることを意味する。色補正の我々の応用のために、これは、推定が暗色における外れ値の存在に特に敏感であり得ることを暗示する。たとえ分析的解が、線形平均二乗誤差に関するより高い回帰精度のために、高速且つ正確である（非線形誤差について。）としても、解は、代替的に、例えば最急降下法（gradient descent）のような数値法により計算され得る。

Ｒ^２（決定係数）を使用するべき乗則モデルの精度は評価され得、モデルの適合の精度に関する何らかの情報を与える。この係数は、回帰直線が実際のデータ点をどれほどよく近似するかの統計的尺度である。例えば、１のＲ^２は、回帰直線が完全にデータに適合することを示す。この場合に、回帰直線が対数領域においてどれほどよく適合されるかを評価することが望ましいので、適合の精度は、次の式（１５）によって与えられる：

べき乗則関係は、カメラ露出及びホワイトバランスが変化する、同じシーンから撮影された画像を用いて説明され得る。図５は、スマートフォンによって撮影された同じシーンの写真のシーケンスを示す。夫々の写真は、異なる露出又はホワイトバランスを有するよう（カメラ設定を用いて）調整されるので、色調変化は、最初の写真と続く写真との間の色転写関数を調べることによって解析され得る。より具体的には、基準としてマクベスカラーチャート（Macbeth）を利用することは、チャート内の各色のメジアン色値を使用してべき乗則変換を推定する。図８は、最初の写真からの色と続く写真における色との間の関数関係のグラフをプロットする。図８の左側は、通常の線形グラフをプロットし、非線形関係が観測される点に留意されたい。右側には、ｌｏｇ−ｌｏｇグラフがプロットされており、関数関係はこのとき近似的に線形である。最終的に、図６は、推定されたべき乗則色変換を用いて補正された後の同じシーケンスの写真を示す。色は、色補正後に有効に安定化されている点に留意されたい。しかし、注意深い観測において、最初の写真と続く写真との間にはいくらかの色差が存在することが依然として気付かれ得る。これは、モデルが近似であり、追加のカメラ情報の助けなしでマッピングされ得る飽和色を欠いている可能性があるという事実に起因する。加えて、この試みにおいて、ホワイトバランス及び露出の変動は極端であり、ビデオショットにおいてホワイトバランスのそのような極端な変動が観測されることはありそうもない点に留意されたい。加えて、対数領域にわたってＲ^２をフィッティングする適合性は、この例で示される全ての計算された回帰について０．９よりも大きい。これは、色強度の間の関係が対数スケールにおいて実際に近似的に線形であることを示す。

提案される色調変換モデルはまた、露出の不安定性のみを保証するよう有効に適用され得る。図９は、タイムラプス（time lapse）シーケンスのオリジナル及び補正されたバージョンからの５つのフレームを示す。例えばタイムラプスビデオのような、動きを含まないシーケンスは、動き外れ値の影響が推定される色調変換の精度に干渉しないので、色調補正モデルを確認するために興味深い。図１０には、最初のフレームとの対応に従って各フレームを変換するＲＧＢ点及びＲＧＢ推定曲線のプロットが示されている。べき乗則変換は強度分布にうまく適合する点に留意されたい。

最終的に、色変換のためのべき乗則モデルは、フィルムのポストプロダクションにおけるカラーグレーディング（color grading）において一般に使用される。ＡＳＣ ＣＤＬ（American Society of Cinematographers Color Decision List）は、異なる製造業者からの装置及びソフトウェアの間のカラーグレーディングパラメータの交換のためのフォーマットである。フォーマットは、各色チャネルについて独立して適用される勾配（slope）（α）、オフセット（offset）（β）及びパワー（power）（γ）の３つのパラメータによって定義される：

この変換は、通常、カラーグレーディングソフトウェアに特有の色空間（例えば、ＤａＶｉｎｃｉ ＲｅｓｏｌｖｅにおけるＹＲＧＢ空間）において適用される。ＡＳＣ ＣＤＬと比較して、我々のパラメトリックモデルは、オフセットなしで、パワー係数及び勾配係数に同様に基づく。これは、有利なことに、解析表現により最適なパラメータを計算すること我々に可能にする。

動き及び時間的コヒーレンスモデル
完全に位置合わせされた画像の前提は都合のよい出発点であるが、実際には、大部分のシーケンスで動きが観測されることは明らかである。動き推定は、一対のフレーム間だけでなく、シーケンス内のいくつかのフレームどうしの間でも動きを考慮に入れることによって、色調安定化を保証するよう目下のモデルによって提案される。

多数の動き推定方法が存在する。いくつかの例は、支配的な大域的動き推定（dominant global motion estimation）、密集オプティカルフロー（dense optical flow）、及び疎な特徴追跡（sparse feature tracking）である。動きに基づく対応によって決定される色調変換を推定する目下のタスクに関して、正確な色変換を推定するために一様な強度エリア間の対応が利用されるよう、対応の稠密集合を有することが望ましい。

特に、目下の技術は、トレードオフが主として動機となって、フレーム間の支配的動き推定に依存する。支配的動きは、密集オプティカルフローと比較して計算上より簡単である（潜在的にリアルタイムで計算される）が、支配的動きは、ピクセル単位の精度を提供しない。しかし、支配的動きは、通常、カメラの動きから成り、ビデオにおいて見られる色調の不安定性は、通常は、カメラの動きと相関性がある。正確な動き（すなわち、ビデオの動きの安定性）に大いに依存するタスクと対照的に、フレーム間の色調の差を保証する色変換を推定するために、大変正確な動作記述の必要性は存在しない。

ｔ＝ｋ＋１であるようにシーケンス内の２つの隣接フレームとして
（外４）

を表すとすれば、ｕ_ｔ及びｕ_ｋは、わずかな空間変位だけが異なるが、同じシーンを表すとする。次いで、それらのフレーム間の２Ｄの動きが大域的変換Ａによって記述され得る。それにより、
（外５）

は、ｕ_ｋ及びｕ_ｔの位置合わせ（動きが補償されたアライメント）を表し、このとき、
（外６）

は、ｕ_ｋにおける空間座標のサブセットである。より具体的には、Ａは、アフィンワーピングに相当する行列として表され、フレーム間のスケール、平行移動及び回転変換を考慮しながら、複雑性と代表性との間の優れたトレードオフと見なされ得る。その場合に：

ここで、ｘ＝（ｘ_１，ｘ_２）は、原ピクセル座標を表し、Ａ（ｘ）は、点ｘでモデル化されるアフィンフローベクトルであり、（ａ_{１，．．．，６}）は、推定される運動係数である。係数は、先行技術のアプローチにおけるロバストなパラメトリック動き推定方法に基づき推定される。その方法は、Ｍ推定量（M-estimator）損失関数（ＴｕｒｋｅｙのＢｉｗｅｉｇｈｔ）を用いて繰り返し加重最小二乗法（ＩＲＬＳ；Iteratively Reweighted Least Squares）によって時空間勾配に関して最適なアフィン運動係数を計算する。そのような損失関数は、通常の二次誤差（quadratic error）よりも動き外れ値に対してロバストであることが知られている。その方法はまた、シーン照度の些細な変化を扱うよう輝度不変の前提（同じオブジェクトからのピクセル強度が時間にわたって変化しないことを言う。）を緩和する簡単な方法として、輝度オフセットを考慮する。

ｔ＝ｋ＋１に関して隣接フレームｕ_ｔ及びｕ_ｋの間の動き推定の場合を検討した後、任意のｋがｔに対して複数のフレームだけ異なる場合についてのアプローチが一般化される。特に、ビデオの色調安定化に関して、より長い色調コヒーレンスを保証するために、複数のフレーム間の動き推定を利用することが望ましい。しかし、長期の動き推定は、困難な課題であり、時空間勾配に基づく方法は、フレーム間の直接的な大規模な動き推定を扱うことができない。より大きい変位を扱うための通常の次善策は、複数の画像解像度から動きを推定することであるが、とは言え、複数の解像度を用いた推定は、複数のフレーム間の大きい動きを推定することにおいて不正確である。すなわち、この従前のアプローチに基づく信頼できるパラメトリックな支配的動き推定は、フレーム間の動きのためにのみ制限される。

実際に、フレーム間の動きの簡単な蓄積は、長期の動きの近似として使用される。そして、その近似は、色調変換の推定のために使用され得る。形式上、ｔ＞＞ｋ（キーフレームは“過去”にある。）、且つ、ｓ＝（ｔ−ｋ）−１は、ｕ_ｔ及びｕ_ｋにおけるシーンが重なり合わされる時間スケールであるとすると、ｕ_ｔからｕ_ｋまでの蓄積されるアフィン運動は、次の式（１９）によって与えられる：

ここで、Ａ_ｔ，ｋは、ｕ_ｔからｕ_ｋまでのフレームから推定される運動係数を表す。Ａ_ｔ，ｋの推定を有するならば、既知の、動きを補償された対応する点とともに、位置合わせされた画像の対を得るために、ｕ_ｔはｕ_ｋへワーピングされ得る。これは、次の式（２０）によって定義される：

ここで、
（外７）

である。それでもなお、動き推定は、大まかな大域的近似であり、オクルージョン、非支配的な（対象の）動き、又は単に、Ａ_ｔ，ｋにおける不正確な係数による誤差を含む可能性がある点が留意されるべきである。よって、動き外れ値は、正確な色変換を保証するよう捨てられ得る。１つのアプローチは、アライメントされた画像間の差分マップを計算し、この差分マップ上の閾値よりも高い値が外れ値に対応すると見なすことである。しかし、差分マップは強度値の残余に基づくので、強度差は、フレーム間の輝度及び色の変化の下で信頼できない点が留意されるべきである。

よって、最初に、動き外れ値を色調の差と混同するリスクを減らす手段として、アライメントされた画像間の色調差の大まかな放射計測補償を計算する。シーケンスにおいて、動き外れ値を捨てて、色変換を推定するのに必須である比色差（colorimetric differences）を保つことで、補正されたワーピングされたフレームから差分マップを計算する。

形式上、外れ値を除外するアプローチは、次のように要約され得る。
（外８）

を、２つのフレーム
（外９）

で共有される対応する空間座標（動きオーバーラップ）の組であるとする。
（外１０）

は、フレーム間の動きを蓄積することによって計算される。すなわち、ｕ_ｔ（Ａ_ｔ，ｋ（Ω_ｔ））に位置合わせされた
（外１１）

を有するために、ｕ_ｔは、それをキーフレームｕ_ｋとアライメントするようワーピングされる。
（外１２）

は、動き外れ値を含むので、外れ値データを退けるが、最初に、アライメントされたフレーム間の起こり得る色調差を考慮して、それらの差が外れ値と見なされないようにする。
（外１３）

を考えると、アライメントされた現在のフレーム及びキーフレームの間の色調差は、簡単な平均値シフトによって補償される：

最終的に、動き外れ値によってフィルタをかけられた対応する空間座標の組は、次の式（２２）によって定義される：

ここで、σは、経験的ノイズであり、ｕ_ｔ及びｕ_ｋにおけるノイズ分散の近似又は推定（先行技術の方法によるノイズ推定法を使用する。）であることができる。

時間的に離れたフレームの間の空間対応の組Ω_ｔ，ｋに基づき、本原理は、時間的にコヒーレントな色調変換を推定することができ、それにより、色調の不安定性は補償される。長期の動きを考慮に入れることによって、それは、色調コヒーレンスがフレーム間で失われないことを強化する。

動き駆動型の色調安定化
動き駆動型の色調安定化について記載する際に、最初に、理想的な対称作用素（symmetric operator）を考える。この変換は、キーフレームの色に対するバイアスを回避しながら、時間方向に関して不変であるという所望の特性を有している。この定義は、少なくとも１つの他の方法で提案されている作用素と同様の対称スケール−時間補正を導く：

ここで、ｓは、補正の時間スケールであり、Ｔ_ｉは、λ_ｉが、ｕ_ｔに時間的に近いフレームから推定される変換を更に重視するよう意図されたガウス重み付けであるとして、λ_ｉによって重み付けされた色調変換である。この作用素は、いくつかの重み付けされた変換の結合としてｕ_ｔの色調安定化を計算する時間平滑化と見なされ得る。実際に、Ｓ_ｔ作用素は、補正されるべきフレームごとに２ｓ個の変換の推定を必要とする。これは計算上高価であり、たとえｓが小さく設定されるとしても、補正は、その場合に、十分に有効でない危険がある。このアプローチは、有限な時間スケールについて定義された作用素を用いてフリッカがフィルタ処理され得るので、高周波フリッカリングの安定化に適合する。他方で、カメラパラメータによって引き起こされる色調変動は、より大きい時間スケールが適切に補正されることを必要とする。

各フレームを補正するために必要とされる計算量が少なくなるよう、作用素Ｓ_ｔに対するより高速でありながら効率的な代替案が望まれる。特に、好ましくない推定バイアス及びドリフトの制御は、重み付けされた変換を通じて必要とされる。簡単のために、順次的な色調安定化のための出発点は、シーケンスの第１フレームであるとすると、その場合に、色調安定化のための解決法は時間予測と見なされ得る。このとき、ｕ_ｔの正確な色合いの見た目は、予め知られている色の状態に基づき予測される。これは、通常、例えば、ビデオ会議におけるライブカメラの色調変動を補償するための、順次的なオン・ザ・フライ（on-the-fly）の補正の適用に該当する。順次的な色調安定化として考えても、対称性は、前方訂正及び後方訂正を組み合わせることによって近似され得る。

アルゴリズム１は、提案される順次的な動き駆動型色調安定化を示す。夫々のフレームｕ_ｔについて、我々は、ｕ_ｔとｕ_ｋとの間の色調の差を最小限にする、Ｔ_ｔ（ｕ_ｔ）と定義されたＲＧＢ変換のトリプレット（triplet）を見つけたい。Ｍ（ｕ_ｔ，ｕ_ｋ）が２つのフレームをパラメータとしてとる関数を表すとして、それらの動き推定、ワーピング及び外れ値の排除を計算し、信頼できる空間対応を出力として生成する。故に、色調変換は、座標Ω_ｔ，ｋ＝Ｍ（ｕ_ｔ，ｕ_ｋ）によって与えられるデータ点の組にわたる回帰に基づく。

色調安定化の問題は、二乗誤差の和が最小限にされるように、ｕ_ｔの色をキーフレームｕ_ｋの色へ変換する最適な係数α_ｃ、γ_ｃを推定することによって解かれる：

ｕ_ｔを発端として、＃Ω_ｔ，ｋ≧ωｎの間、全ての後続フレームについて、図２に表されている主たるプロシージャ（動き推定、ワーピング、色変換推定、色補正）が繰り返される。なお、ωは、通常０．２５に設定される動きオーバーラップ閾値であり、ｎは、フレームｕ_ｔにおけるピクセルの数である。ｕ_ｔとｕ_ｋとの間の重なり合った領域のカーディナリティ（cardinality）＃Ω_ｔ，ｋがもはや、正確な色推定を可能にするほど十分に大きくない場合に、キーフレームｕ_ｋは、予め補正されたフレームＴ_ｔ−１（ｕ_ｔ−１）に更新される。

正則化関連として、我々は、変換フレームＴ_ｔ（ｕ_ｔ）が、時間的重みλを適用することによって、ｕ_ｔの元のコンテンツから大きく外れないことを確かにすることができる：

パラメータλは、現在のフレームとキーフレームとの間の動きの関数において指数関数的に小さくなる重みとして設定される（指数関数的忘却因子）。加えて、我々が露出変動を補償するよう我々の方法を適用する場合に、我々は、１６ビット画像に働きかけることができ、それにより、２５５よりも大きい強度は、色変換後にクリッピングされる必要がない。次いで、我々は、時間にわたって増大したダイナミックレンジを有するシーケンスを結果として有し、シーケンスは、適切な高ダイナミックレンジ表示において強度情報を失うことなしに実際に視覚化され得る。

図１３に表されているステップ（動き推定、ワーピング、色変換推定、色補正）は、＃Ω_ｔ，ｋ＜ω×ｎまで、全ての後続フレームｕ_ｔ＋ｍについて繰り返される。ここで、＃Ω_ｔ，ｋは、対応する組のカーディナリティを表す。この条件が満足されるとき、それは、ｕ_ｔとｕ_ｋとの間の重なり合った領域のカーディナリティがもはや、正確な色推定を可能にするほど十分に大きくないことを意味する。この場合に、キーフレームｕ_ｋは、ｕ_ｔ−１に更新される。

フレームからフレームへ変換を伝播する従前の方法と対照的に、提案される方法は、キーフレームの時間的近傍間のより長い色調コヒーレンスを保証する。すなわち、この方法は、キーフレームからキーフレームへ色調変換を伝播して、色調誤差の蓄積が、より大きい時間スケールを使用することによって制御されるようにする。

ビデオの色調安定化の問題の重要な局面は、色合いの見た目の完全な時間的維持が、固有のカメラダイナミックレンジ制限に起因して、常には望まれないことである。実際には、カメラの自動露出によって引き起こされる色調の不安定性は、知覚的に不穏であり得るが、大きな変化がカメラ露出において起こる場合には、色合いの見た目の変動は、露出過度を回避するよう、ある程度まで保たれるべきである。この局面を扱うために、時間的に重み付けされた色変換が実施され得、あるいは、追加的に、時間におけるシーケンスのダイナミックレンジは増大され得る。

時間的重み付け
正則化関連として、変換Ｔ_ｔ（ｕ_ｔ）がｕ_ｔの元のコンテンツから大きく外れないことを確かにするよう、重みλが適用される：

同様の重み付け補正は従前の方法で使用されており、再帰的なデフリッカリングのための忘却因子としてλ：＝０．８５を固定することが提案されている。キーフレームに対してコンテンツがより近いフレームが色調補正においてより高い重みを受けるべきであるとすると、重み付けλは、時間的距離の関数において、又はｕ_ｔとｕ_ｋとの間の動きの関数において、時間にわたって変化し得ることが提案されている。ｕ_ｔからｕ_ｋへワーピングするアフィン運動パラメータＡ_ｔ，ｋは知られているので、それら２つのフレームからの大まかな空間的距離は、計算され、次の式（２５）として記述される：

ここで、｜｜Ｖ_ｕｋ｜｜は、支配的動きベクトルＶ_ｕｋのノルムを表し、ｐは、最大空間変位（画像内の行数＋列数）であり、λ_０は、指数関数的減衰速度である（実際に、ここでは、λ_０：＝０．５を設定する。）。他の可能性は、ｕ_ｔとｕ_ｋとの間の時間的距離の関数において補正を重み付けすることである：

ここで、Ｄは、シーケンス内のフレームの数である。この場合に、考えは、現在のフレームから大きい動き変位を有しているフレームの影響を小さくすることである。関心のある所見は、色覚の分野で行われている研究によって、刺激の速度が増大する場合に指数関数的に色及びコントラストの感度特性が低減することが示されていることである。従って、ここでは、動きに依存するλが、ある程度まで、知覚的意義（perceptual motivation）を有していることが提示される。

時間的ダイナミックレンジの増大
実際に、提案される方法は、たとえ強い輝度変化が起きるとしても、シーケンス全体を通して厳格な色調安定化を保証する。結果は、輝度変動が滑らかであるシーケンスについては視覚的に好ましいが、（例えば、非常に暗い環境から非常に明るい環境への）露出における有意な変化を有しているシーケンスを補正する場合には、最終的な結果において飽和及びクリッピングが存在することが観測されている。この問題を扱うために、より高いダイナミックレンジが使用され得る。それにより、２^８−１＝２５５（８ビット画像における各色チャネルについての最大強度値）よりも大きい色強度をクリッピングすることは必要とされない。

より大きい強度は、１６ビット画像を取り扱うことによって可能である。それにより、２５５よりも大きい強度は、色変換後にクリッピングされる必要がない。これは、時間にわたって増大したダイナミックレンジを有しているシーケンスをもたらし、シーケンスは、適切な高ダイナミックレンジ表示において強度情報を失うことなしに視覚化され得る。

しかし、実際には、シーケンスは、それを標準の低レンジ表示において表示するために、８ビットに逆変換される必要がある。制限を外挿する全ての強度をクリッピングすることに代えて、代替的に、一般的に好まれるトーンマッピング作用素は、低ダイナミックレンジ画像をレンダリングするよう適用される。特に、対数トーンマップ作用素が使用され得る。強度値ｉ、及びシーケンス全体の最大強度値ｚを考えると、対数トーンマッピング作用素ｍは、次の式（２７）によって与えられる：

図１２は、色調安定化を適用する場合の強度クリッピングの潜在的な問題と、時間トーンマップ作用素により又は時間的重み付けによりそれを減衰させる効果とを表す。

更なる実施の詳細
実際に、任意の平滑化（バイラテラル・フィルタリング）は、色調変換の推定においてノイズ外れ値の影響を小さくするようｕ_ｔ及びｕ_ｋへ適用される。このステップは、色調の不安定性が主としてホワイトバランスの変動に起因するところ良好に露出されたシーケンスについては不要である点に留意されたい。それでもなお、平滑化は、ノイズによって強く影響を及ぼされるシーケンスを取り扱う場合に推奨される。

処理時間を節約するために、色調安定化の正確さにおいて顕著な損失を生じさせないように、動き推定及び色変換推定の両方のために原フレームをリスケールする（１２０ピクセルワイド）。更には、Ｎ個のピクセルから成る完全な原フレームを補正するようべき乗則色変換を適用することに代えて、色チャネルごとに１つのルックアップテーブル（ＬＵＴ）を構築し、次いで、各ＬＵＴについて独立してべき乗則を計算する。これは、べき乗則の計算を３×Ｎ（４Ｋビデオ解像度については１６００万よりも大きい。）からたった３×２５６＝７６８まで減らす。

実際に、ωがｕ_ｔとｕ_ｋとの間の幾何学的相似の閾値と見なされ得るとして、ωの最適値は、動き推定の精度に依存することが観測されている。動きが正確でない場合に、ωの値は、より大きいことが好ましく、それにより、動き推定誤差は、時間とともに小さくなる。一般に、ω：＝０．２５は、ほとんどの場合に安定した色変換をもたらすことが観測されている。

本願で記載される一般的な態様は、動き推定及びべき乗則色調変換から成ることによって支援される効率的な色調安定化を提案している。単純な６パラメータ色変換モデルは、カメラモデルに関する如何なる演繹的知識にも依存する必要性なしに、自動カメラパラメータによって引き起こされる色調安定化を提供するのに十分である。

最新の技術と対照的に、提案されるアルゴリズムは、動きを含むシーケンスについてロバストであり、それは、長期の色調伝播を用いて色調誤差の蓄積を低減し、それは、実行されるために高い空間及び時間計算複雑性を必要としない。

加えて、提案される方法の主な利点のうちの１つは、それが実際にオンラインで適用されることであり、それに、ビデオ会議又はライブ放送のための色調補償のような、リアルタイムのビデオ処理用途のための可能性を与える。

画像の色調安定化のための方法７００の一実施形態は、図７に示されている。方法は、開始ブロック７０１から開始し、動きに基づく対応を決定するブロック７１０へ進む。このブロックは、画像とキーフレームとの間の動き推定を実施すること、キーフレームとアライメントするよう画像をワーピングすること、及びそのようにしてアライメントされた画像の差分マップにおいて閾値よりも高い値を捨てることをから成ることができる。ブロック７１０は、空間対応関数を生成する。制御は、次いで、ブロック７１０から、画像間の動きに基づく対応の数が何らかの所定の閾値よりも大きいかどうかを判定するブロック７２０へ進む。所定の閾値よりも大きくない場合には、制御はブロック７２０からブロック７３０へ進み、キーフレームを更新する。制御は、次いで、ブロック７３０からブロック７１０へ進み、動きに基づく対応の決定を繰り返す。ブロック７２０で、動きに基づく対応の数が所定の閾値よりも大きい場合には、制御は、色補正を実施するブロック７４０へ進む。ブロック７４０は、空間対応関数において点の組わたって回帰を行うこと、及び画像とキーフレームとの間の色差を最小限にするよう画像に対して変換を行うことから成ることができる。ブロック７４０の後、色調を安定化された画像の夫々は、画像シーケンスに加えられ得る。

画像の色調安定化のための装置１１００の一実施形態は、図１１に示されている。装置は動き推定部１１１０から成る。動き推定部１１１０は、動き推定部１１１０の第１入力との信号接続における画像、及び動き推定部１１１０の第２入力との信号接続におけるキーフレームに対して作用する。動き推定部１１１０の第１及び第２出力は、画像処理部１１２０の２つの入力と信号接続される。動き推定部１１１０の第３出力は、動き推定の詳細を画像処理部１１２０へ供給することができる。画像処理部１１２０は、画像及びキーフレームをアライメントする。画像処理部１１２０の出力は、比較部／切り捨て機能回路１１３０と信号接続される。比較部／切り捨て機能回路１１３０は、アライメントされた画像及びキーフレームの差分マップに作用し、空間対応関数を生じさせる閾値よりも高い値を捨てる。比較部／切り捨て機能回路１１３０はまた、入力画像とキーフレームとの間の動きに基づく対応の数が所定の閾値よりも高いか又は低いかを判定する。入力画像とキーフレームとの間の動きに基づく対応の数が所定の閾値に満たない場合には、比較部／切り捨て機能回路１１３０から出力される１つは、キーフレーム更新回路１１４０の入力と信号接続される。キーフレーム更新回路１１４０は、キーフレームを更新し、制御を、キーフレーム更新回路１１４０から出力される更新したキーフレームを用いて、動き推定部１１１０へ戻させる。

しかし、比較部／切り捨て機能回路１１３０により、入力画像とキーフレームとの間の動きに基づく対応の数が所定の閾値よりも大きいと決定される場合には、第１プロセッサ１１５０は、その入力と信号接続される比較部／切り捨て機能回路１１３０の出力を受信する。第１プロセッサ１１５０は、空間対応関数において点の組にわたって回帰を実施し、その出力を第２プロセッサ１１６０の入力へ送る。第２プロセッサ１１６０は、画像とキーフレームとの間の色差を最小限にするよう画像の変換を行う。色調を安定化された画像は、次いで、安定化されている画像のシーケンスに戻され得る。第１プロセッサ１１５０及び第２プロセッサ１１６０はまた、入力として画像及びキーフレームを受信する。

本明細書は、本原理を説明する。よって、当業者は、本願で明示的に記載又は図示されていなくても、本原理を具現化し、それによって本原理に含まれる様々な配置に想到することができることが認識されるだろう。

本願で挙げられている全ての例及び条件付き言語は、当該技術の促進に対して本発明者によって寄与される概念及び本原理を読者が理解するのを助ける教育的目的を意図され、そのような具体的に挙げられている例及び条件へ制限されないと解されるべきである。

更には、本原理の原理、態様、及び実施形態、並びにそれらの具体例を挙げている本願における全ての記述は、それらの構造的及び機能的な等価物を包含するよう意図される。加えて、そのような等価物は、現在知られている等価物及び将来開発される等価物の両方、すなわち、構造にかかわらず、同じ機能を実施するよう開発されたあらゆる要素、を含むことが意図される。

よって、例えば、本願で提示されるブロック図は、本原理を具現化する実例となる回路構成の概念図を表すことが当業者によって認識されるだろう。同様に、如何なるフローチャート、フロー図、状態遷移図、擬似コード、及び同様のものも、コンピュータ可読媒体において実質的に表現され、故に、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと、実行され得る様々なプロセスを表すことが認識されるだろう。

図示されている様々な要素の機能は、専用のハードウェア、及び適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアの使用を通じて、提供され得る。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は一部が共有され得る複数の個別プロセッサによって、提供され得る。更には、語“プロセッサ”又は“コントローラ”の明示的な使用は、ソフトウェアを実行することができるハードウェアをもっぱら指すと解されるべきではなく、暗に、制限なしに、デジタル信号プロセッサ（“ＤＳＰ”）、ソフトウェアを記憶するリードオンリーメモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、及び不揮発性ストレージを含むことができる。

従来及び／又はカスタムの他のハードウェアも含まれ得る。同様に、図示されている如何なるスイッチも、単に概念的である。それらの機能は、プログラムロジックの動作を通じて、専用のロジックを通じて、プログラム制御及び専用のロジックのインタラクションを通じて、又は手動でさえ、実施され得る。特定の技術が、文脈からより具体的に理解されるように実施者によって選択され得る。

本願の特許請求の範囲において、特定の機能を実施する手段として表されている如何なる要素も、例えば、ａ）その機能を実施する回路要素の組み合わせ、又はｂ）あらゆる形態をとるソフトウェアであって、従って、機能を実施するようそのソフトウェアを実行する適切な回路構成と組み合わされる、ファームウェア、マイクロコード又は同様のものを含む前記ソフトウェアを含め、その機能を実施する如何なる方法も包含するよう意図される。そのような特許請求の範囲によって定義される本原理は、挙げられている様々な手段によって提供される機能性が組み合わされ、特許請求の範囲が要求する様態においてまとめられるという事実に存する。よって、それらの機能性を提供することができる如何なる手段も、本願で示されているものと同等であると見なされる。

本原理の“１つ実施形態”又は“実施形態”との明細書中の言及、及びそれらの他の変形は、実施形態に関連して記載される特定の特徴、構造、特性、などが、本原理の少なくとも１つの実施形態に含まれていることを意味する。よって、明細書の全体にわたって様々な箇所に現れる“一実施形態において”又は“実施形態において”との語句の出現、及び何らかの他の変形は、必ずしも全てが同じ実施形態に言及しているわけではない。

当然ながら、次の“／”、“及び／又は”及び“〜のうちの少なくとも１つ”のいずれかの使用は、例えば、“Ａ／Ｂ”、“Ａ及び／又はＢ”及び“Ａ及びbのうちの少なくとも１つ”の場合において、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、“Ａ、Ｂ、及び／又はＣ”及び“Ａ、Ｂ、及びＣのうちの少なくとも１つ”の場合において、そのような言い回しは、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、又は３番目に挙げられている選択肢（Ｃ）のみの選択、又は最初及び２番目に挙げられている選択肢（Ａ及びＢ）のみの選択、又は最初及び３番目に挙げられている選択肢（Ａ及びＣ）のみの選択、又は２番目及び３番目に挙げられている選択肢（Ｂ及びＣ）のみの選択、又は３つ全ての選択肢（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、当業者によって容易に認識されるように、挙げられている限りの多くの項目に関して、拡張され得る。

本原理のそれら及び他の利点は、本願における教示に基づき当業者によって容易に確かめられ得る。本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定目的プロセッサ、又はそれらの組み合わせの様々な形で実装され得ることが理解されるべきである。

最も望ましくは、本原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実装される。更には、ソフトウェアは、プログラム記憶ユニットにおいて有形に具現化されるアプリケーションプログラムとして実装され得る。アプリケーションプログラムは、如何なる適切なアーキテクチャも有するマシンにアップロードされて、そのマシンによって実行され得る。望ましくは、マシンは、１つ以上の中央演算処理装置（“ＣＰＵ”）、ランダムアクセスメモリ（“ＲＡＭ”）、及び入出力（“Ｉ／Ｏ”）インターフェイスのようなハードウェアを有しているコンピュータプラットフォーム上で実装される。コンピュータプラットフォームはまた、オペレーティングシステム及びマイクロ命令コードを含むことができる。本願で記載される様々なプロセス及び機能は、マイクロ命令コードの部分又はアプリケーションプログラムの部分のいずれか、あるいは、それらのあらゆる組み合わせであることができ、ＣＰＵによって実行され得る。加えて、データ記憶ユニット及び印刷機のような、様々な他の周辺機器が、コンピュータプラットフォームへ接続され得る。

添付の図面に表されている、構成するシステムコンポーネント及び方法の一部は、望ましくはソフトウェアで実装されるので、システムコンポーネント又はプロセス機能ブロック間の実際の接続は、本原理がプログラムされる様態に応じて異なり得ることが更に理解されるべきである。本願における教示を考慮して、当業者は、本原理のそれら及び同様の実装又は構成を考えることができる。

実例となる実施形態が添付の図面を参照して本明細書において記載されてきたが、本原理はそれらの厳密な実施形態に制限されず、様々な変更及び改良は、本原理の適用範囲から逸脱することなしに、当業者によってそれらの実施形態において行われ得ることが理解されるべきである。全てのそのような変更及び改良は、添付の特許請求の範囲に示されている本原理の適用範囲内に含まれているよう意図される。

実例となる実施形態が添付の図面を参照して本明細書において記載されてきたが、本原理はそれらの厳密な実施形態に制限されず、様々な変更及び改良は、本原理の適用範囲から逸脱することなしに、当業者によってそれらの実施形態において行われ得ることが理解されるべきである。全てのそのような変更及び改良は、添付の特許請求の範囲に示されている本原理の適用範囲内に含まれているよう意図される。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
画像のデータベースの色調安定化のための方法であって、
空間対応関数を生成するよう画像とキーフレームとの間の動きに基づく対応を決定することと、
更新されたキーフレームを用いて前記決定することを繰り返す前に、画像間の動きに基づく対応の数が閾値に満たない場合に前記キーフレームを更新することと、
前記動きに基づく対応の数が閾値よりも大きい場合に前記画像に対して色補正を行うことと
を有する方法。
（付記２）
前記決定することは、
前記画像と前記キーフレームとの間の動き推定を行うことと、
前記キーフレームとアライメントするよう前記画像をワーピングすることと、
前記アライメントされた画像の差分マップにおいて第２閾値よりも高い値を捨てることと
を有する、
付記１に記載の方法。
（付記３）
前記行うことは、
前記空間対応関数において点の組にわたって回帰を行うことと、
前記画像と前記キーフレームとの間の色差を最小限にするよう前記画像に対して変換を行うことと
を有する、
付記２に記載の方法。
（付記４）
べき乗則色調変換が使用される、
付記３に記載の方法。
（付記５）
６パラメータ色変換モデルが使用される、
付記３に記載の方法。
（付記６）
画像のデータベースの色調安定化のための装置であって、
画像及びキーフレームに作用する動き推定部と、
前記画像及び前記キーフレームをアライメントする画像処理部と、
空間対応関数を生じさせる閾値よりも高い値を捨てるよう前記アライメントされた画像の差分マップに作用する比較部と、
画像間の動きに基づく対応の数が閾値に満たない場合に前記キーフレームを更新し、制御に前記動き推定部、前記画像処理部及び前記比較部の動作を繰り返させる回路と、
画像間の動きに基づく対応の数が閾値よりも大きい場合に前記空間対応関数において点の組にわたって回帰を行う第１プロセッサと、
前記画像と前記キーフレームとの間の色差を最小限にするよう前記画像に対して変換を行う第２プロセッサと
を有する装置。
（付記７）
べき乗則色調変換が使用される、
付記６に記載の装置。
（付記８）
６パラメータ色変換モデルが使用される、
付記６に記載の装置。

Claims (8)

1. 画像のデータベースの色調安定化のための方法であって、
   空間対応関数を生成するよう画像とキーフレームとの間の動きに基づく対応を決定することと、
   更新されたキーフレームを用いて前記決定することを繰り返す前に、画像間の動きに基づく対応の数が閾値に満たない場合に前記キーフレームを更新することと、
   前記動きに基づく対応の数が閾値よりも大きい場合に前記画像に対して色補正を行うことと
   を有する方法。
2. 前記決定することは、
   前記画像と前記キーフレームとの間の動き推定を行うことと、
   前記キーフレームとアライメントするよう前記画像をワーピングすることと、
   前記アライメントされた画像の差分マップにおいて第２閾値よりも高い値を捨てることと
   を有する、
   請求項１に記載の方法。
3. 前記行うことは、
   前記空間対応関数において点の組にわたって回帰を行うことと、
   前記画像と前記キーフレームとの間の色差を最小限にするよう前記画像に対して変換を行うことと
   を有する、
   請求項２に記載の方法。
4. べき乗則色調変換が使用される、
   請求項３に記載の方法。
5. ６パラメータ色変換モデルが使用される、
   請求項３に記載の方法。
6. 画像のデータベースの色調安定化のための装置であって、
   画像及びキーフレームに作用する動き推定部と、
   前記画像及び前記キーフレームをアライメントする画像処理部と、
   空間対応関数を生じさせる閾値よりも高い値を捨てるよう前記アライメントされた画像の差分マップに作用する比較部と、
   画像間の動きに基づく対応の数が閾値に満たない場合に前記キーフレームを更新し、制御に前記動き推定部、前記画像処理部及び前記比較部の動作を繰り返させる回路と、
   画像間の動きに基づく対応の数が閾値よりも大きい場合に前記空間対応関数において点の組にわたって回帰を行う第１プロセッサと、
   前記画像と前記キーフレームとの間の色差を最小限にするよう前記画像に対して変換を行う第２プロセッサと
   を有する装置。
7. べき乗則色調変換が使用される、
   請求項６に記載の装置。
8. ６パラメータ色変換モデルが使用される、
   請求項６に記載の装置。

Images