JP2018528733A5 - - Google Patents

Claims (15)

1. 2Dビデオ画像を3D画像に変換するためにビデオストリームから抽出した2Dビデオ画像を処理する方法であって、
   2D画像およびその2D画像に対応する深度情報とで構成される合成3D参照データベースを作成し、
   入力ビデオフレームを合成3D参照データベースに投入し、
   入力ビデオフレームの少なくとも一部を合成3D参照データベース内の2D画像の少なくとも一部とマッチングし、
   その2D画像に対応する深度情報を選択し、その深度情報は深度勾配であり、
   選択した深度情報をマッチングされた入力ビデオフレームの部分に適用して2D＋深度情報のフレームの部分を生成することから成る方法。
2. 前記部分はn×n個のピクセルで構成されるブロックであることを特徴とする請求項１に記載の方法。
3. 入力ビデオフレームの別の部分を合成3D参照データベース内の前記2D画像または別の2D画像の部分とマッチングすることから成ることを特徴とする請求項１または２に記載の方法。
4. 選択した深度情報を前記マッチングされた入力ビデオフレームに適用することは、マッチングされた2D画像の部分の深度情報を、対応するマッチングされた入力ビデオフレームの部分に適用することから成ることを特徴とする請求項１〜３のいずれかに記載の方法。
5. 選択した深度情報をマッチングされた入力ビデオフレームに適用することは、マッチングされた2D画像の部分の対応するピクセルを1個以上、マッチングされた入力ビデオフレームの部分の対応するピクセルにマッピングすることから成ることを特徴とする請求項４に記載の方法。
6. 入力ビデオフレームとマッチングする2D画像の候補をフレームのGISTおよびカラー情報を用いて特定することを特徴とする請求項１〜５のいずれかに記載の方法。
7. 深度情報を、以下の式に従いポアソン再構築を用いて再構築することからなる請求項１〜６のいずれかに記載の方法。
   ここでG = (Gx,Gy)は深度勾配、Dは深度情報、▽ GはGの発散である。
8. 入力ビデオフレーム内のオブジェクトを特定し、
   特定したオブジェクトのオブジェクトマスクを決定し、
   ポアソン方程式を修正することでオブジェクト境界での深度不連続性を許容し、決定したオブジェクトマスクおよびマッチングされた入力ビデオフレームを用いて深度情報を推定することから成ることを特徴とする請求項１〜７のいずれかに記載の方法。
9. オブジェクト境界のピクセルを有効な隣接ピクセルとして使用することを許容しないことにより、ピクセルをオブジェクト境界から切り離し、オブジェクト境界に隣接するピクセルは画像境界のピクセルと同様に処理されるために、境界ピクセルに隣接する各ピクセルに対して、Aの中の対応する連結を0に設定し、それに応じて▽ Gの値を更新することから成るAx = bと式化され、ここでb = ▽ G、x = Dであり、Aにはポアソン方程式の係数が記憶されているポアソン再構築を用いて深度情報を推定することから成る請求項８に記載の方法。
10. ポアソン再構築は一次および高次導関数から成ることを特徴とする請求項７〜９のいずれかに記載の方法。
11. 以下の式を用いて深度勾配を精細化させることを特徴とする請求項１〜１０のいずれかに記載の方法。
    
12. 連続領域で次の設定を行い、高次深度微分係数を強制的にゼロにすることを特徴とする請求項１〜１１のいずれかに記載の方法。
    
13. 2D＋深度情報フレームを用いて左側ステレオ画像および右側ステレオ画像を生成することから成ることを特徴とする請求項１〜１２のいずれかに記載の方法。
14. 2Dビデオ画像を3D画像に変換するためにビデオストリームから抽出した2Dビデオ画像を処理するシステムであって、
    2D画像およびその2D画像に対応する深度情報とで構成された、合成3D参照データベースと、
    入力ビデオフレームを合成3D参照データベースに投入するように構成された探索モジュールと、
    入力ビデオフレームの少なくとも一部と合成3D参照データベース内の2D画像の少なくとも一部とのマッチングを行うように構成されるマッチングモジュールであって、そのシステムは入力ビデオフレームの少なくとも一部を合成3D参照データベース内の2D画像の少なくとも一部とマッチングし、前記2D画像に対応する深度情報、その深度情報は深度勾配である、を選択するように構成されるマッチングモジュールと、
    選択した深度情報をマッチングされた入力ビデオフレームの部分に適用して2D＋深度情報のフレームの部分を生成するように構成された生成モジュールとから成るシステム。
15. 実行時に請求項１〜１３のいずれかに記載の方法を実行する命令でプログラミングされた、コンピュータで読み取り可能な媒体。