JP2015220752A - ステレオソース映像の補正方法及びその装置 - Google Patents

Abstract

【課題】 ステレオソース映像の補正方法及びその装置を提供する。
【解決手段】左右ソース映像の特徴対応情報に含まれた垂直座標値差を基に、回帰分析を介して、垂直不一致マップを生成し、映像ウォーピングを介して、幾何学的誤差を補正することにより、カメラモデル最適化過程が必要なく、映像回転によるブラック領域の発生も減らすことができるステレオソース映像の補正方法及びその装置である。
【選択図】 図２

Description

本発明は、ステレオソース映像を補正する方法及びその装置に関する。

マルチビューまたはライトフィールド（light field）などの無メガネ方式３Ｄ（three dimensional）ディスプレイに、実写コンテンツまたはリアルコンテンツベースの３Ｄレンダリングを行うためには、３Ｄ情報復元が可能なステレオ、マルチビューまたはライトフィールドの３Ｄビデオが必要である。現在、多くの実写３Ｄビデオは、左目、右目で分けられたステレオスコピック（stereoscopic）形態である。無メガネ３Ｄディスプレイで最も汎用されるマルチビュー生成方式は、ステレオビデオが入力として与えられれば、深さ推定を介して深さ情報を復元し、復元された深さマップに基づいて、深さ基盤レンダリング（ＤＩＢＲ：depth image based rendering）を実施し、マルチビュービデオを合成する。「深さ基盤レンダリング」は「深さイメージに基づくレンダリング」等と言及されてもよい。

韓国特許公開第２０１０−０１３５０３２号公報 米国特許公開第２００７−０１６５９４２号公報

本発明が解決しようとする課題は、左右ソース映像の特徴対応情報に含まれた垂直座標値差を基に、回帰分析を介して、垂直不一致マップを生成し、映像ウォーピングを介して、幾何学的誤差を補正することにより、カメラモデル最適化過程が必要なく、映像回転によるブラック領域の発生も減らすことができるステレオソース映像の補正方法及びその装置を提供するものである。

本発明が解決しようとする課題はまた、特徴対応情報による特徴位置での平均または分散などを求めた後、全体的に映像に対してカラー補正を行った後、局所的にヒストグラム・マッチングを行い、ローカルエラーまで補正することができるステレオソース映像の補正方法及びその装置を提供するものである。

本発明が解決しようとする課題はまた、同一の特徴抽出及びマッチングを介して生成された特徴対応情報を利用して、幾何学的誤差及びカラー誤差を補正することができるステレオソース映像の補正方法及びその装置を提供するものである。

前記課題を解決するために、本発明の一実施形態によるステレオソース映像の補正方法は、ステレオソース映像を入力され、左右ソース映像それぞれから特徴を抽出する段階と、前記左右ソース映像それぞれから抽出された特徴を互いにマッチングさせ、特徴対応情報を生成する段階と、前記特徴対応情報に含まれた垂直座標値の差を基に、前記左右ソース映像に係わる垂直不一致マップを生成する段階と、前記生成された垂直不一致マップを利用して、前記左右ソース映像での誤差を補正する段階と、を含む。

前記垂直不一致マップは、前記垂直座標値の差を基に、回帰分析を介して生成され、前記左右ソース映像に係わる垂直座標値の差を統計的に示すことができる。

前記補正段階は、前記左右ソース映像での垂直方向の誤差を補正するために、前記左側ソース映像及び前記右側ソース映像のうち少なくとも一つを垂直方向にシフトすることができる。

前記ステレオソース映像の補正方法は、前記特徴対応情報を利用して、前記左右ソース映像に係わるフォトメトリック補正を行う段階をさらに含んでもよい。

前記フォトメトリック補正を行う段階は、前記特徴対応情報に含まれた位置での前記左右ソース映像の統計値を計算し、前記計算された統計値を基に、前記左右ソース映像に対して第１カラー補正を行う段階と、前記第１カラー補正がなされた左右ソース映像に対してヒストグラム・マッチングを行い、第２カラー補正を行う段階と、を含んでもよい。

前記統計値は、前記左右ソース映像のカラー映像強度の平均値に係わる算術平均値及び幾何平均値のうち１つの統計値を含み、前記第１カラー補正は、前記左右ソース映像の平均値を、前記統計値に相応するように補正することができる。

前記統計値は、前記左右ソース映像のカラー映像強度の分散値に係わる最小値、最大値、算術平均値及び幾何平均値のうち１つの統計値を含み、前記第１カラー補正は、前記左右ソース映像の分散値を、前記統計値に相応するように補正することができる。

前記フォトメトリック補正は、前記左右ソース映像に係わるＲＧＢカラー映像、ＣＩＥＬａｂ及びＹＣｂＣｒのうち１つのカラー空間で行われてもよい。

前記ステレオソース映像の補正方法は、多数のステレオソース映像がシーケンスで入力されてもよい。

前記ステレオソース映像の補正方法は、第１ステレオソース映像に係わる誤差補正と、第２ステレオソース映像に係わる誤差補正は、独立して行われてもよい。

前記ステレオソース映像の補正方法は、多数のステレオソース映像のうち少なくとも２以上のステレオソース映像が１つの場面である場合、前記２以上のステレオソース映像に係わる誤差補正は、同一の垂直不一致マップを利用することができる。

前記ステレオソース映像の補正方法は、補正された左右ソース映像それぞれの境界部分に発生したホール領域を充填するインペインティングを行う段階をさらに含んでもよい。

前記回帰分析は、線形回帰分析、一般化された線形回帰分析、非線形回帰分析、カーネル回帰分析、ノンパラメトリック回帰分析及びロバスト回帰分析のうち一つを含んでもよい。

前記課題を解決するために、本発明の他の実施形態によるステレオソース映像補正装置は、ステレオソース映像を入力され、左右ソース映像それぞれから特徴を抽出する特徴抽出部と、前記左右ソース映像それぞれから抽出された特徴を互いにマッチングさせ、特徴対応情報を生成する特徴マッチング部と、前記特徴対応情報に含まれた垂直座標値の差を基に、前記左右ソース映像に係わる垂直不一致マップを生成し、前記生成された垂直不一致マップを利用して、前記左右ソース映像での誤差を補正するジオメトリック補正部と、を含む。

前記垂直不一致マップは、前記垂直座標値の差を基に、回帰分析を介して生成され、前記左右ソース映像に係わる垂直座標値の差を統計的に示すことができる。

前記ジオメトリック補正部は、前記左右ソース映像での垂直方向の誤差を補正するために、前記左側ソース映像及び前記右側ソース映像のうち少なくとも一つを垂直方向にシフトすることができる。

前記ステレオソース映像補正装置は、前記特徴対応情報を利用して、前記左右ソース映像に係わるフォトメトリック補正を行うフォトメトリック補正部をさらに含んでもよい。

前記フォトメトリック補正部は、前記特徴対応情報に含まれた位置での前記左右ソース映像の統計値を計算し、前記計算された統計値を基に、前記左右ソース映像に対して第１カラー補正を行う第１カラー補正部と、前記第１カラー補正がなされた左右ソース映像に対してヒストグラム・マッチングを行い、第２カラー補正を行う第２カラー補正部と、を含んでもよい。

前記統計値は、前記左右ソース映像のカラー映像強度の平均値に係わる算術平均値及び幾何平均値のうち１つの統計値を含み、前記第１カラー補正部は、前記左右ソース映像の平均値を、前記統計値に相応するように補正することができる。

前記統計値は、前記左右ソース映像のカラー映像強度の分散値に係わる最小値、最大値、算術平均値及び幾何平均値のうち１つの統計値を含み、前記第１カラー補正部は、前記左右ソース映像の分散値を、前記統計値に相応するように補正することができる。

前記ステレオソース映像補正装置は、補正された左右ソース映像それぞれの境界部分に発生したホール領域を充填するインペインティング部をさらに含んでもよい。

前記ステレオソース映像補正装置は、多数のステレオソース映像がシーケンスで入力され、第１ステレオソース映像に係わる誤差補正と、第２ステレオソース映像に係わる誤差補正は、独立して行われてもよい。

前記課題を解決するために、本発明のさらに他の実施形態によるステレオソース映像補正装置は、ステレオソース映像を入力され、左右ソース映像それぞれから特徴を抽出する特徴抽出部と、前記左右ソース映像それぞれから抽出された特徴を互いにマッチングさせ、特徴対応情報を生成する特徴マッチング部と、前記特徴対応情報に含まれた位置での前記左右ソース映像の統計値を計算し、前記計算された統計値を基に、前記左右ソース映像に対して第１カラー補正を行う第１カラー補正部と、前記第１カラー補正がなされた左右ソース映像に対してヒストグラム・マッチングを行い、第２カラー補正を行う第２カラー補正部と、を含む。

前記課題を解決するために、本発明のさらに他の実施形態による映像処理装置は、ステレオソース映像を入力され、左右ソース映像それぞれから特徴を抽出し、前記左右ソース映像それぞれから抽出された特徴を互いにマッチングさせて特徴対応情報を生成し、前記特徴対応情報を基に、前記左右ソース映像でのカラー誤差及び幾何学的誤差のうち少なくとも一つを補正するステレオソース映像補正部と、前記補正された左右ソース映像において、深さ推定を介して、深さ情報を復元する深さ推定部と、前記復元された深さ情報を基に、マルチビュー映像を生成する深さ基盤レンダリング部と、を含む。

前記課題を解決するために、本発明のさらに他の実施形態によるステレオソース映像の補正方法をコンピュータで実行させるためのプログラムを記録した記録媒体を含む。

本発明の実施形態は、特徴に基づいて、単純でありながらも強靭にステレオソース映像を補正することが可能であり、これを介して、深さ推定を行う前に、ステレオソース映像を補正することができる。

一実施形態による映像処理装置の概路図である。 図１に図示されたソース映像補正部１１０の一実施形態によるブロック図である。 図２に図示されたジオメトリック補正部２３０の概略的なブロック図である。 一実施形態によるジオメトリック補正について説明するための例示図である。 一実施形態によるジオメトリック補正について説明するための例示図である。 一実施形態によるジオメトリック補正について説明するための例示図である。 一実施形態によるジオメトリック補正について説明するための例示図である。 図１に図示されたソース映像補正部の他の実施形態によるブロック図である。 図示されたフォトメトリック補正部７３０の概略的なブロック図である。 他の実施形態によるフォトメトリック補正について説明するための例示図である。 他の実施形態によるフォトメトリック補正について説明するための例示図である。 図１に図示されたソース映像補正部のさらに他の実施形態によるブロック図である。 図１に図示されたソース映像補正部のさらに他の実施形態によるブロック図である。 図１１に図示されたインペインティング部のインペインティング過程について説明するための例示図である。 図１１に図示されたインペインティング部のインペインティング過程について説明するための例示図である。 さらに他の実施形態によるソース映像補正方法について説明するためのフローチャートである。

本実施形態は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明において詳細に説明する。しかし、それは、特定の実施形態について範囲を限定するのではなく、開示された思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものであると理解されなければならない。実施形態についての説明において、関連公知技術に係わる具体的な説明が、要旨を不明確にするであろうと判断される場合、その詳細な説明を省略する。

第１、第２のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。

本出願で使用された用語は、ただ特定の実施形態について説明するために使用されたものに過ぎず、権利範囲を限定する意図ではない。単数の表現は、文脈上明白に取り立てて意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、一つまたはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらを組み合わせの存在または付加の可能性をあらかじめ排除するものではないということが理解されなければならない。

以下、実施形態について、添付図面を参照して詳細に説明するが、添付図面を参照して説明するにおいて、同一であるか、あるいは対応する構成要素は、同一の図面番号を付し、それらに係わる重複説明は省略する。

図１は、一実施形態による映像処理装置１００の概路図である。

図１を参照すれば、映像処理装置１００は、ステレオソース映像を入力され、左右ソース映像間のカラー誤差、幾何学的誤差を補正するソース映像補正部１１０、深さ推定部１２０及び深さ基盤レンダリング部１３０を含む。映像処理装置１００は、マルチビュー映像生成装置、ライトフィールド３Ｄ（three dimensional）ビデオ装置でもあり、無メガネ方式の３Ｄディスプレイ装置（no-glasses 3D display apparatus）を含んでもよい。映像処理装置１００は、ステレオソース映像を入力され、深さ推定アルゴリズムを介して深さ情報を復元し、復元された深さ情報または深さマップに基づいて、深さ基盤レンダリングを行い、マルチビュー映像を出力する。ステレオソース映像は、左目映像及び右目映像に分けられたステレオスコピック（stereoscopic）形態である。

深さ推定アルゴリズムは、基本的に、特定３Ｄポイントが、両眼映像で示されるとき、同じ垂直座標に位置していると仮定する。すなわち、ジオメトリック（geometric）制限条件またはエピポーラ（epipolar）制限条件を含む。それにより、アルゴリズム遂行時、水平方向だけに着目して検索する。そして、左右映像での色情報が一致すると仮定する。すなわち、フォトメトリック（photometric）制限条件またはLambertian制限条件を仮定する。特に、ジオメトリック仮定が有効ではない場合、深さ推定において、誤ったエラーが発生する。

実際の映像では、このようなジオメトリック仮定と、フォトメトリック仮定とが有効ではない場合が多い。このような仮定が有効ではない原因は、多様であるが、例えば、２台のカメラのズーム差、トーイン（Toe−in）の程度、露出時間差などである。全ての原因を除去し、仮定に完壁に合致する映像を撮影することは容易ではない。また、ステレオムービーのような場合には、極大化された３Ｄ効果のために、意図的にトーインを与える場合が多く、実写映像（real image）では、精巧な補正過程なしに撮影され、いかなるカメラ構成を介して撮影されたかということを推定し難い。

本実施形態による映像処理装置１００は、前述の深さ推定アルゴリズムで前提しているジオメトリック仮定と、フォトメトリック仮定とに符合するように、ステレオソース映像を入力され、左右ソース映像それぞれから特徴を抽出し、左右ソース映像それぞれから抽出された特徴を互いにマッチングさせて特徴対応情報を生成し、特徴対応情報を基に、左右ソース映像でのカラー誤差及び幾何学的誤差のうち少なくとも一つを補正する。「マッチング」は「照合」等と言及されてもよい。

映像処理装置１００は、特徴に基づいて、単純ながらもロバストな補正（calibration）を行うことができ、それを介して、深さ推定プロセスを遂行する前に、ステレオソース映像を補正することができる。ジオメトリック補正は、垂直不一致マップ（vertical disparity map）を生成し、特徴対応情報を基に、カメラモデル最適化過程なしに、多様な回帰分析を介して、統計的に不一致マップを生成する。垂直不一致マップを生成した後、それを反映させて映像ウォーピング（image warping）を行う。フォトメトリック補正は、特徴の位置において、平均または分散などを求めた後、グローバル観点で映像を補正し、ヒストグラム・マッチングを介して、ローカルカラーエラーに対する補正を行う。従って、補正された映像では、幾何学的エラー、カラーでのエラーが非常に少なく、深さ推定が容易に行われ、合成されたマルチビュー映像は、ジオメトリックの観点、フォトメトリックの観点でイントラビュー及びインタービューについて（すなわち、１つの画像の中で及び複数の画像同士の間で）一致する。

以下、ステレオソース映像補正に係わる多様な実施形態について詳細に説明する。

図２は、図１に図示されたソース映像補正部１１０の一実施形態によるブロック図である。図３は、図２に図示されたジオメトリック補正部２３０の概略的なブロック図である。以下、ソース映像補正部２００について説明する。

図２及び図３を参照すれば、ソース映像補正部２００は、特徴抽出部２１０、特徴マッチング部２２０及びジオメトリック補正部２３０を含み、ジオメトリック補正部２３０は、垂直不一致マップ計算部２３１及びシフト部２３２を含む。一実施形態において、特徴抽出及びマッチングは、白黒映像またはカラー映像に対して行われる。

特徴抽出部２１０は、ステレオソース映像を入力され、左右ソース映像それぞれから特徴を抽出する。図４に、左右ソース映像が図示されており、図５に図示されているように、左側ソース映像及び右側ソース映像それぞれから、特徴を抽出する。図５に図示されているように、それぞれの映像から、コーナー部分、エッジ部分、客体部分に該当する特徴点と、特徴点の位置での情報とを共に抽出することができる。このような特徴抽出は、多様な特徴抽出アルゴリズム、例えば、ＳＩＦＴ（scale invariant feature transform）、ＳＵＲＦ（speeded up robust features）などを利用することができるが、それらに限定されるものではない。また、それぞれの映像から抽出された特徴の数が、その後統計的な分析で有意味であるほどに十分であり、映像内の多様な部分から抽出されてもよい。抽出された特徴は、特徴の位置での情報、例えば、特徴ベクトルを含んでもよい。

特徴マッチング部２２０は、特徴抽出部２１０から抽出された特徴を互いにマッチングさせ、特徴対応情報を生成する。

図５に図示されているように、左側ソース映像から抽出された特徴と、右側ソース映像から抽出された特徴とを、それぞれの特徴情報を基にしてマッチングし、特徴対応情報を生成する。すなわち、抽出された特徴を基にしたジオメトリック補正、フォトメトリック補正で使用される統計的解析の信頼度を高めるために、抽出された特徴、及び特徴の位置での情報（カラー情報、位置情報）を利用する。従って、特徴対応情報を利用することにより、左右対応点がない場合、例えば、左側にはある部分が右側にはない場合のように、統計分析に歪曲を与えうる要因を除去することができる。

ジオメトリック補正部２３０は、特徴マッチング部２２０で生成された特徴対応情報に含まれた垂直座標値の差を基に、左右ソース映像に係わる垂直不一致マップを生成し、生成された垂直不一致マップを利用して、左右ソース映像での誤差を補正する。

垂直不一致マップ計算部２３１は、特徴対応情報に含まれた垂直座標値の差を基に、左右ソース映像に係わる垂直不一致マップを生成する。特徴対応情報から出てきた垂直座標値の差を分析し、左右ソース映像間の幾何学的エラー分布形態を把握することができる。このような分析のために、回帰分析を利用して、多様な位置に分布する特徴での垂直エラーを、統計的に示す垂直不一致マップを生成することができる。特徴対応情報には、左右対応する特徴の位置での特徴ベクトル間の差によるそれぞれの対応する特徴での垂直方向での差に係わる情報が含まれており、そのような垂直方向に差に係わる情報を、垂直座標値の差と定義することができる。従って、特徴対応情報での垂直座標値の差から、全体左右ソース映像における垂直座標値の差を、回帰分析を介して統計的に分析する。ここで、回帰分析は、線形回帰分析、一般化された線形回帰分析、非線形回帰分析、カーネル回帰分析、ノンパラメトリック回帰分析及びロバスト回帰分析などを使用することができるが、それらの方法に限定されるものではない。

シフト部２３２は、生成された垂直不一致マップを利用して、左右ソース映像での誤差を補正する。左右ソース映像間での垂直方向の誤差を除去するために、左側はそのままにして、右側ソース映像の各ピクセルに対して、垂直方向シフトを行うことができ、右側をそのままして、左側に対してシフトを行うこともできる。また、左側右側映像間における垂直方向のシフト量を、左右に半分ずつ分けて遂行し、イントラビューエラーを最小化することもできる。ここで、左右ソース映像のピクセル別に移動する位置を異ならせることができ、シフト、移動またはウォーピングは、同一の意味に理解されなければならない。

図６Ａを参照すれば、水平線６００に沿って、左側映像での目の位置と、右側映像での目の位置とが一致しない。すなわち、左右ソース映像間に、垂直方向の誤差が存在する場合である。

図６Ｂを参照すれば、水平線６１０に沿って、左側映像での目の位置と、右側映像での目の位置とが一致する。本実施形態によるジオメトリック補正を行い、左右ソース映像間に存在する垂直方向の誤差を補正することにより、補正後の映像において、誤差が低減されたものを得ることができる。

図６Ａに図示された左右ソース映像において、特徴対応情報を基にして、全体左右映像間の垂直不一致マップを、回帰分析を介して分析した後、垂直誤差を除去するために、左側ソース映像、右側ソース映像、または左右ソース映像を誤差ほど移動させる。

図７は、図１に図示されたソース映像補正部１１０の他の実施形態によるブロック図である。図８は、図７に図示されたフォトメトリック補正部８３０の概略的なブロック図である。以下では、ソース映像補正部７００について説明する。

図７を参照すれば、ソース映像補正部７００は、特徴抽出部７１０、特徴マッチング部７２０及びフォトメトリック補正部７３０を含む。

特徴抽出部７１０と、特徴マッチング部７２０は、図２及び図３を参照して説明したものと同様であるので、フォトメトリック補正部７３０を中心に説明する。

フォトメトリック補正部７３０は、特徴抽出部７１０及び特徴マッチング部７２０を介して生成された特徴対応情報を利用して、左右ソース映像に係わるフォトメトリック補正を行う。一実施形態でにおいて、フォトメトリック補正は、グローバルエラーを補正する第１カラー補正と、ローカルエラーを補正する第２カラー補正との大別することができる。図８を参照し、フォトメトリック補正部８３０について説明する。

フォトメトリック補正部８３０は、フォトメトリック統計値計算部８３１−１及び補正部８３２−２を含む第１カラー補正部８３１と、第２カラー補正部８３２とを含む。

フォトメトリック統計値計算部８３１−１は、特徴対応情報に含まれた位置での左右ソース映像の統計値を計算する。補正部８３１−２は、フォトメトリック統計値計算部８３１−１で計算された統計値を基に、左右ソース映像に対して、第１カラー補正を行う。

第２カラー補正部８３２は、第１カラー補正がなされた左右ソース映像に対して、ヒストグラム・マッチングを行い、第２カラー補正を行う。

第１カラー補正部８３１は、抽出された特徴の位置において、原本入力映像がいかなるカラー特性を有するかということに係わる統計的な特性を分析する。すなわち、全体映像ではない特徴位置に限定し、特性を把握することにより、左／右対応点がない場合、例えば、左側にはある部分が右側にはない場合、統計に歪曲が発生するという問題点を解決することができる。従って、信頼度の高い特徴対応情報を基に、多様な統計値の使用が可能である。例えば、ＲＧＢカラー空間において、各チャンネルに対して、左側映像の特徴位置でのカラー映像強度の平均または分散の分析が可能である。平均の場合、左右ソース映像において、それぞれ求めた平均に対して、算術平均または幾何平均を取り、新たな色分布の平均について定義し、統計値を計算することができる。また、分散の場合、左右ソース映像において、それぞれ求めた分散に対して、最小値、最大値、算術平均値または幾何平均値などを使用することができる。例えば、分散の最小値使用時、映像内のコントラストが低減し、最大値使用時、映像内のコントラストが増大する。そのように、左右ソース映像のカラー特性で把握された情報を基に定義された統計値、例えば、平均または分散に符合するように、左右ソース映像を補正し、カラー特性を一致させることができる。ここで、ＲＧＢカラー空間について説明したが、それに限定されるものではなく、ＣＩＥＬａｂ、ＹＣｂＣｒなどを含む多様なカラー空間で遂行されるということは言うまでもない。

図９Ａを参照すれば、左右ソース映像において、建物部分９００及び９１０のカラーが異なるということが分かり、本実施形態による第１カラー補正により、カラー特性を一致させた結果、図９Ｂに図示されているように、建物部分のカラーが同一になったということが分かる。

第２カラー補正部８３２は、第１カラー補正がなされた左右ソース映像に対して、ヒストグラム・マッチングを行う。ヒストグラム・マッチングを利用した第２カラー補正は、第１カラー補正が、左右ソース映像での特徴対応情報による統計的分析によって、色補正を行うにもかかわらず、ローカルカラーエラーに対する補正が不足しているという点を補うためのものである。

ヒストグラム・マッチングは、カラー映像強度を基準に、左右ソース映像についてヒストグラムを生成し、それぞれのヒストグラムビンの高さが、左右ソース映像間に類似するように色を補正するものである。

図１０は、図１に図示されたソース映像補正部１１０のさらに他の実施形態によるブロック図である。さらに他の実施形態によるソース映像補正部１０００について説明する。

図１０を参照すれば、ソース映像補正部１０００は、特徴抽出部１０１０、特徴マッチング部１０２０、ジオメトリック補正部１０３０、フォトメトリック補正部１０４０及びインペインティング部（in-painting unit）１０５０を含む。ソース映像補正部１０００は、入力されたステレオソース映像から、左右ソース映像それぞれから特徴を抽出し、抽出された特徴を互いにマッチングし、特徴対応情報を生成する。生成された特徴対応情報は、ジオメトリック補正部１０３０と、フォトメトリック補正部１０４０とにそれぞれ入力される。ジオメトリック補正部１０３０は、特徴対応情報に含まれた垂直座標値の差を基に、左右ソース映像に係わる垂直不一致マップを生成し、生成された垂直不一致マップを利用して、左右ソース映像での誤差を補正する。フォトメトリック補正部１０４０は、ジオメトリック補正部１０３０から、幾何学的誤差が補正された左右ソース映像を入力され、特徴マッチング部１０２０から入力された特徴対応情報を利用して、幾何学的誤差が補正された左右ソース映像に対してカラー補正を行い、補正されたステレオソース映像を出力する。

本実施形態によるソース映像補正は、従来幾何学的補正において必要な回転操作がなく、結果映像において、ブラック領域（black regionまたはmissing region）が非常に少ない。また、フォトメトリック補正遂行時、以前のジオメトリック補正で使用された特徴対をそのまま再使用することにより、以前過程（特徴抽出及びマッチング）を１回だけ遂行するので、計算時間を短縮させられることができ、同一の特徴を使用するために、特徴抽出及びマッチングの性能改善は、幾何学的誤差及びカラー誤差の性能を同時に改善することができる。

インペインティング部１０５０は、フォトメトリック補正を行った後、ブラック領域に対して、インペインティング過程を追加し、左右ソース映像を補正した後、補正された左右ソース映像の境界部分での空き空間を充填する。

図１０に図示されたソース映像補正部１０００に、多数のソース映像のシーケンスが入力される場合には、映像フレームごとに、ジオメトリック補正及びフォトメトリック補正を独立して行うことができる。また、選択的に、フリッカ低減のために、毎場面の変化ごとに、例えば、同一の場面を構成する複数のフレームについては、同一の特徴対応情報、垂直不一致マップ、統計値を利用して、ジオメトリック補正及びフォトメトリック補正を行うこともできる。

図１１は、図１に図示されたソース映像補正部１１０のさらに他の実施形態によるブロック図である。さらに他の実施形態によるソース映像補正部１１００について説明する。

図１１を参照すれば、ソース映像補正部１１００は、特徴抽出部１１１０、特徴マッチング部１１２０、フォトメトリック補正部１１３０、ジオメトリック補正部１１４０及びインペインティング部１１５０を含む。ソース映像補正部１１００の特徴抽出部１１１０及び特徴マッチング部１１２０は、入力されたステレオソース映像から、左右ソース映像それぞれから特徴を抽出し、抽出された特徴を互いにマッチングし、特徴対応情報を生成する。生成された特徴対応情報は、フォトメトリック補正部１１３０と、ジオメトリック補正部１１４０とにそれぞれ入力される。フォトメトリック補正部１１３０は、左右ソース映像を入力され、特徴マッチング部１１２０から入力された特徴対応情報を利用して、カラー誤差を補正する。ジオメトリック補正部１１４０は、フォトメトリック補正部１１３０で補正された左右ソース映像を入力され、特徴マッチング部１１２０から提供された特徴対応情報に含まれた垂直座標値の差を基に、左右ソース映像に係わる垂直不一致マップを生成し、生成された垂直不一致マップを利用して、補正された左右ソース映像での幾何学的誤差を補正する。

インペインティング部１１５０は、ジオメトリック補正部１１４０で、幾何学的誤差が補正された左右ソース映像を入力され、それぞれの左右ソース映像の境界近傍での空き空間を充填する。

図１２Ａに図示されているように、左右ソース映像に係わる既存幾何学的補正による結果は、左右映像の回転などによる補正の後に、ブラック領域を多数発生させるかもしれないが、図１２Ｂに図示されているように、本実施形態によるジオメトリック補正によれば、垂直方向に映像ウォーピングが行われるので、図１２Ａに図示されているようなブラック領域１２００が取り立てて生じない。また、ジオメトリック補正後、空き空間を充填するインペインティング過程を遂行することにより、映像の境界部分に発生したブラック領域１２００を除去することもできる。

図１３は、さらに他の実施形態によるステレオソース映像の補正方法について説明するためのフローチャートである。

図１３を参照すれば、段階１３００で、ステレオソース映像を入力される。

段階１３０２で、左右ソース映像から特徴を抽出する。それぞれの左右ソース映像から、コーナー部分、エッジ部分、客体部分に該当する特徴点と、特徴点の位置での情報とを特徴として抽出することができる。そのような特徴抽出は、多様な特徴抽出アルゴリズム、例えば、ＳＩＦＴ、ＳＵＲＦなどを利用することができるが、それらに限定されるものではない。また、それぞれの映像から抽出された特徴の数が、その後統計的な分析において、有意味であるほどに十分であり、映像内において多様な部分から抽出されてもよい。抽出された特徴は、特徴の位置での情報、例えば、特徴ベクトルを含んでもよい。

段階１３０４で、抽出された特徴をマッチングさせ、左右ソース映像の特徴対応情報を生成する。例えば、左側ソース映像から抽出された特徴と、右側ソース映像から抽出された特徴とを、それぞれの特徴情報を基にしてマッチングし、特徴対応情報を生成する。特徴対応情報を利用することにより、左右対応点がない場合、例えば、左側にはある部分が右側にはない場合のように、統計分析に歪曲を与えうる要因を除去することができる。

段階１３０６で、特徴対応情報に含まれた垂直座標値の差を基に、垂直不一致マップを生成する。

段階１３０８で、垂直不一致マップを利用して、左右ソース映像の誤差を補正する。段階１３０６及び段階１３０８は、左右ソース映像から生成された特徴対応情報に基づいて、幾何学的誤差を補正する過程である。幾何学的誤差補正またはジオメトリック補正は、特徴対応情報を基にして、全体左右映像間の垂直不一致マップを、回帰分析を介して分析した後、垂直誤差を除去するために、左側ソース映像、右側ソース映像または左右ソース映像を、誤差ほど移動させて補正することができる。

段階１３１０で、段階１３０４で生成された特徴対応情報を利用して、左右ソース映像に係わるフォトメトリック補正を行う。段階１３１０は、段階１３０６及び１３０８を介して、幾何学的誤差が補正された左右ソース映像に対して、カラー補正またはフォトメトリック補正を行う過程である。ここで、フォトメトリック補正は、段階１３０４で生成された特徴対応情報を利用して行われ、特徴対応情報に含まれた位置での左右ソース映像の統計値を計算し、計算された統計値を基に、左右ソース映像に対して、第１カラー補正、及び第１カラー補正がなされた左右ソース映像に対して、ヒストグラム・マッチングを行い、第２カラー補正を行うことにより、グローバルカラー補正及びローカルカラー補正を共に行う。

図１３を参照して説明した実施形態では、段階１３０６及び段階１３０８のジオメトリック補正と、段階１３１０のフォトメトリック補正とを順次行うように説明したが、ジオメトリック補正またはフォトメトリック補正がそれぞれ独立して行われるということは言うまでもない。また、ジオメトリック補正後、フォトメトリック補正が行われず、フォトメトリック補正後、ジオメトリック補正が行われるということは言うまでもない。また、ジオメトリック補正後またはジオメトリック補正後、インペインティング過程を追加して構成することができるということは言うまでもない。

以上の実施形態で、ステレオソース映像の補正方法及びその装置は、特徴に基づいて、単純でありながらも、ロバストなステレオソース映像を補正することが可能であり、それを介して、深さ推定遂行前に、ステレオソース映像を補正することができる。開示されたジオメトリック補正と、フォトメトリック補正は、同時に、順次にまたは選択的に使用可能であり、同一の特徴抽出及びマッチングを介して生成された特徴対応情報を利用して、ジオメトリック補正と、フォトメトリック補正とを同時に使用することができるという長所がある。

ジオメトリック補正は、特徴対応情報に含まれた垂直座標値差を基に、回帰分析を介して、垂直不一致マップを生成し、映像ウォーピングを介して、幾何学的誤差を補正する。従って、カメラモデル最適化過程が必要なく、映像回転によるブラック領域の発生も減らすことができる。また、フォトメトリック補正は、特徴対応情報による特徴位置での平均または分散などを求めた後、全体的に映像に対してカラー補正を行った後、局部的にヒストグラム・マッチングを行い、ローカルエラーまで補正する。

本実施形態によるジオメトリック補正と、フォトメトリック補正とを共に行う場合、補正された映像では、幾何学的エラー、カラーエラーが非常に少なく、深さ推定遂行が容易であり、それを介して合成されたマルチビュー映像は、イントラビュー、インタービューについて一致する特性を示す。

本実施形態による装置は、プロセッサ、プログラムデータを保存して実行するメモリ、ディスクドライブのような永久保存部、外部装置と通信する通信ポート、タッチパネル・キー・ボタンのようなユーザ・インターフェース装置などを含んでもよい。ソフトウェア・モジュールまたはアルゴリズムで具現される方法は、前記プロセッサ上で実行可能なコンピュータで読み取り可能なコードまたはプログラム命令でもってコンピュータで読み取り可能な記録媒体上に保存されてもよい。ここで、コンピュータで読み取り可能な記録媒体として、磁気記録媒体（例えば、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、及び光学的データストレージデバイス（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc））などがある。コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。媒体は、コンピュータによって読み取り可能であり、メモリに保存され、プロセッサで実行される。

本実施形態は、機能的なブロック構成及び多様な処理段階で示される。そのような機能ブロックは、特定機能を実行する多様な個数のハードウェアまたは／及びソフトウェアの構成によって具現されてもよい。例えば、実施形態は、１以上のマイクロプロセッサの制御または他の制御装置によって多様な機能を実行することができる、メモリ、プロセッサ、ロジック、ルックアップテーブルのような直接回路構成を採用することができる。構成要素がソフトウェア・プログラミングまたはソフトウェア要素で実行されるように、本実施形態は、データ構造、プロセス、ルーチンまたは他のプログラミング構成の組み合わせによって具現される多様なアルゴリズムを含み、Ｃ、Ｃ＋＋、Java（登録商標）、アセンブラ（assembler）のようなプログラミング言語またはスクリプティング言語によって具現されてもよい。機能的な側面は、一つ以上のプロセッサで実行されるアルゴリズムによって具現されてもよい。また、本実施形態は、電子的な環境設定、信号処理及び／またはデータ処理などのために、従来技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」のような用語は、広く使用され、機械的であって物理的な構成として限定されるものではない。前記用語は、プロセッサなどと連繋され、ソフトウェアの一連の処理（routines）の意味を含んでもよい。

本実施形態で説明する特定実行は、例示であり、いかなる方法でも技術的範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、前記システムの他の機能的な側面の記載は省略されていることもある。また、図面に図示された構成要素間の線の連結または連結部材は、機能的な連結及び／または物理的または回路的連結を例示的に示したものであり、実際の装置では、代替可能であったり、あるいは追加可能であったりする多様な機能的な連結、物理的な連結または回路連結としても示される。

本明細書及び特許請求の範囲において、「前記」の用語、及びそれと類似した指示用語の使用は、単数及び複数のいずれに使用されてもよい。また、範囲（range）を記載した場合、前記範囲に属する個別的な値が含まれてよく（それに反する記載がない限り）、範囲を構成する個別的な値は詳細な説明に例示した通りである。方法を構成する段階の順序に関し、それに反する事情がなければ、各段階は適当な異なる順序で遂行されてもよい。必ずしも段階の記載順序に限定されるものではない。全ての例または例示的であることを示す用語（「例えば」など）の使用は、単に技術的思想について詳細に説明するためのものであり、特許請求の範囲によって限定されない以上、それらの例または具体例によって範囲が限定されるものではない。また、当業者は、特許請求の範囲内またはその均等物の範疇において、設計条件その他の要因に関し、多様な修正、組み合わせ及び変更を加えることが可能であることを理解することができるであろう。

本発明のステレオソース映像の補正方法及びその装置は、例えば、３Ｄ映像関連の技術分野に効果的に適用可能である。

１００ 映像処理装置
１１０，２００，７００，１０００，１１００ ソース映像補正部
１２０ 深さ推定部
１３０ 深さ基盤レンダリング部
２１０，７１０，１０１０，１１１０ 特徴抽出部
２２０，７２０，１０２０，１１２０ 特徴マッチング部
２３０，１０３０，１１４０ ジオメトリック補正部
２３１ 垂直不一致マップ計算部
２３２ シフト部
６００，６１０ 水平線
７３０，８３０，１０４０，１１３０ フォトメトリック補正部
８３１ 第１カラー補正部
８３１−１ フォトメトリック統計値計算部
８３１−２ 補正部
８３２ 第２カラー補正部
９００ 建物の部分
１０５０，１１５０ インペインティング部
１２００ ブラック領域

Claims (25)

1. 入力されるステレオソース映像の左右ソース映像それぞれから特徴を抽出する段階と、
   前記左右ソース映像それぞれから抽出された特徴を互いにマッチングさせ、特徴対応情報を生成する段階と、
   前記特徴対応情報に含まれた垂直座標値の差を基に、前記左右ソース映像に係わる垂直不一致マップを生成する段階と、
   前記生成された垂直不一致マップを利用して、前記左右ソース映像での誤差を補正する段階と、を含むステレオソース映像の補正方法。
2. 前記垂直不一致マップは、
   前記垂直座標値の差を基に、回帰分析を介して生成され、前記左右ソース映像に係わる垂直座標値の差を統計的に示すことを特徴とする請求項１に記載のステレオソース映像の補正方法。
3. 前記補正する段階は、
   前記左右ソース映像での垂直方向の誤差を補正するために、前記左ソース映像及び前記右ソース映像のうち少なくとも一つを垂直方向にシフトすることを特徴とする請求項１または２に記載のステレオソース映像の補正方法。
4. 前記特徴対応情報を利用して、前記左右ソース映像に係わるフォトメトリック補正を行う段階をさらに含むことを特徴とする請求項１〜３のうちの何れか１項に記載のステレオソース映像の補正方法。
5. 前記フォトメトリック補正を行う段階は、
   前記特徴対応情報に含まれた位置での前記左右ソース映像の統計値を計算し、前記計算された統計値を基に、前記左右ソース映像に対して第１カラー補正を行う段階と、
   前記第１カラー補正がなされた左右ソース映像に対してヒストグラム・マッチングを行い、第２カラー補正を行う段階と、を含むことを特徴とする請求項４に記載のステレオソース映像の補正方法。
6. 前記統計値は、
   前記左右ソース映像のカラー映像強度の平均値に係わる算術平均値及び幾何平均値のうち１つの統計値を含み、
   前記第１カラー補正は、
   前記左右ソース映像の平均値を、前記統計値に相応するように補正することを特徴とする請求項５に記載のステレオソース映像の補正方法。
7. 前記統計値は、
   前記左右ソース映像のカラー映像強度の分散値に係わる最小値、最大値、算術平均値及び幾何平均値のうち１つの統計値を含み、
   前記第１カラー補正は、
   前記左右ソース映像の分散値を、前記統計値に相応するように補正することを特徴とする請求項５に記載のステレオソース映像の補正方法。
8. 前記フォトメトリック補正は、
   前記左右ソース映像に係わるＲＧＢカラー映像、ＣＩＥＬａｂ及びＹＣｂＣｒのうち１つのカラー空間で行われることを特徴とする請求項４に記載のステレオソース映像の補正方法。
9. 多数のステレオソース映像がシーケンスで入力されることを特徴とする請求項１〜８のうちの何れか１項に記載のステレオソース映像の補正方法。
10. 第１ステレオソース映像に係わる誤差補正と、第２ステレオソース映像に係わる誤差補正は、独立して行われることを特徴とする請求項９に記載のステレオソース映像の補正方法。
11. 多数のステレオソース映像のうち少なくとも２以上のステレオソース映像が、１つの場面に属する場合、前記２以上のステレオソース映像に係わる誤差補正は、同一の垂直不一致マップを利用することを特徴とする請求項９に記載のステレオソース映像の補正方法。
12. 補正された左右ソース映像それぞれの境界部分に発生したホール領域を充填するインペインティングを行う段階をさらに含むことを特徴とする請求項１〜１１のうちの何れか１項に記載のステレオソース映像の補正方法。
13. 前記回帰分析は、
    線形回帰分析、一般化された線形回帰分析、非線形回帰分析、カーネル回帰分析、ノンパラメトリック回帰分析及びロバスト回帰分析のうち一つを含むことを特徴とする請求項２に記載のステレオソース映像の補正方法。
14. 請求項１ないし１３のうちいずれか１項に記載の補正方法をコンピュータで実行させるためのプログラムを記録した記録媒体。
15. 入力されるステレオソース映像の左右ソース映像それぞれから特徴を抽出する特徴抽出部と、
    前記左右ソース映像それぞれから抽出された特徴を互いにマッチングさせ、特徴対応情報を生成する特徴マッチング部と、
    前記特徴対応情報に含まれた垂直座標値の差を基に、前記左右ソース映像に係わる垂直不一致マップを生成し、前記生成された垂直不一致マップを利用して、前記左右ソース映像での誤差を補正するジオメトリック補正部と、を含むステレオソース映像補正装置。
16. 前記垂直不一致マップは、
    前記垂直座標値の差を基に、回帰分析を介して生成され、前記左右ソース映像に係わる垂直座標値の差を統計的に示すことを特徴とする請求項１５に記載のステレオソース映像補正装置。
17. 前記ジオメトリック補正部は、
    前記左右ソース映像での垂直方向の誤差を補正するために、前記左ソース映像及び前記右ソース映像のうち少なくとも一つを垂直方向にシフトすることを特徴とする請求項１５または１６に記載のステレオソース映像補正装置。
18. 前記特徴対応情報を利用して、前記左右ソース映像に係わるフォトメトリック補正を行うフォトメトリック補正部をさらに含むことを特徴とする請求項１５〜１７のうちの何れか１項に記載のステレオソース映像補正装置。
19. 前記フォトメトリック補正部は、
    前記特徴対応情報に含まれた位置での前記左右ソース映像の統計値を計算し、前記計算された統計値を基に、前記左右ソース映像に対して第１カラー補正を行う第１カラー補正部と、
    前記第１カラー補正がなされた左右ソース映像に対してヒストグラム・マッチングを行い、第２カラー補正を行う第２カラー補正部と、を含むことを特徴とする請求項１８に記載のステレオソース映像補正装置。
20. 前記統計値は、
    前記左右ソース映像のカラー映像強度の平均値に係わる算術平均値及び幾何平均値のうち１つの統計値を含み、
    前記第１カラー補正部は、
    前記左右ソース映像の平均値を、前記統計値に相応するように補正することを特徴とする請求項１９に記載のステレオソース映像補正装置。
21. 前記統計値は、
    前記左右ソース映像のカラー映像強度の分散値に係わる最小値、最大値、算術平均値及び幾何平均値のうち１つの統計値を含み、
    前記第１カラー補正部は、
    前記左右ソース映像の分散値を、前記統計値に相応するように補正することを特徴とする請求項１９または２０に記載のステレオソース映像補正装置。
22. 補正された左右ソース映像それぞれの境界部分に発生したホール領域を充填するインペインティング部をさらに含むことを特徴とする請求項１５〜２１のうちの何れか１項に記載のステレオソース映像補正装置。
23. 多数のステレオソース映像がシーケンスで入力され、第１ステレオソース映像に係わる誤差補正と、第２ステレオソース映像に係わる誤差補正は、独立して行われることを特徴とする請求項１５〜２２のうちの何れか１項に記載のステレオソース映像補正装置。
24. 入力されるステレオソース映像の左右ソース映像それぞれから特徴を抽出する特徴抽出部と、
    前記左右ソース映像それぞれから抽出された特徴を互いにマッチングさせ、特徴対応情報を生成する特徴マッチング部と、
    前記特徴対応情報に含まれた位置での前記左右ソース映像の統計値を計算し、前記計算された統計値を基に、前記左右ソース映像に対して第１カラー補正を行う第１カラー補正部と、
    前記第１カラー補正がなされた左右ソース映像に対してヒストグラム・マッチングを行い、第２カラー補正を行う第２カラー補正部と、を含むステレオソース映像補正装置。
25. 入力されるステレオソース映像の左右ソース映像それぞれから特徴を抽出し、前記左右ソース映像それぞれから抽出された特徴を互いにマッチングさせ、特徴対応情報を生成し、前記特徴対応情報を基に、前記左右ソース映像でのカラー誤差及び幾何学的誤差のうち少なくとも一つを補正するステレオソース映像補正部と、
    前記補正された左右ソース映像において、深さを推定を介して深さ情報を復元する深さ推定部と、
    前記復元された深さ情報を基に、マルチビュー映像を生成する深さ基盤レンダリング部と、を含む映像処理装置。

Images