JP2009212728A - 立体映像処理装置及び立体映像処理方法 - Google Patents

Abstract

【課題】単一のカメラのみを用いて、高品質な多視点画像を容易に取得できる立体映像処理装置及び立体映像処理方法を提供する。
【解決手段】立体映像処理装置は、取得した動画Ｍを構成する静止画Ｓの集合である静止画群Ｓ_Ｇのうち、所定の静止画Ｓ間の対応関係を検出する。次いで、立体映像処理装置は、所定の条件に基づいて、複数の静止画からなる元画像群（例えば、静止画Ｓ１〜Ｓ４）を抽出する。さらに、立体映像処理装置は、検出された対応関係、及び抽出された元画像群に基づいて、多視点画像を生成する。
【選択図】図４

Description

本発明は、被写体を撮影する単一の撮影装置から取得した動画を用いて立体映像の表示に用いられる多視点画像を生成する立体映像処理装置及び立体映像処理方法に関する。

従来、立体映像の表示技術として、液晶ディスプレイなどの光源アレイの前面に、パララックスバリアなどの遮蔽物や、レンチキュラシートやレンズアレイなどの光学素子を設置することによって、観察者から視認可能な光源を制御する方法が知られている。このような方法では、観察者の位置に応じて観察される立体映像が変わるため、視差が生じる。すなわち、観察者が両眼を用いて当該立体映像を観察した場合、両眼視差を実現することができるため、当該方法は、三次元ディスプレイなどに応用されている。

三次元ディスプレイを用いて立体映像を表示する場合、視差を含む画像を取得する必要があるため、原理的には複数台のカメラ（撮影装置）を用いて撮影した画像、いわゆる多視点画像が必要となる（例えば、特許文献１及び特許文献２）。

また、単一（１台）のカメラのみを用いて多視点画像を生成する方法も提案されている。例えば、単一の視点のみから取得した距離画像（被写体とカメラとの距離を画像上の輝度で表した画像）と、１枚もしくは複数枚の輝度画像（通常の2次元画像）に基づいて多視点画像を生成する方法が知られている（例えば、特許文献３）。

さらに、1台のカメラを用いて撮影した動画、具体的には、カメラを固定して移動する物体を撮影する、もしくは固定された物体に対してカメラを移動させて撮影した画像を利用して、両眼間の距離と比較して大きな物体（例えば、山岳）の立体映像を表示する方法が提案されている（例えば、特許文献４）。当該方法は、航空写真として撮影された地形などを観察者に立体的に詳細に視認させることに適するとされる。
特開平１０−１９１３９６号公報 特開２００６−２１５９３９号公報 特開２００２−１５９０２２号公報（第７−８頁、第３図） 特開２００６−４１７８８号公報（第５−６頁、第１図）

しかしながら、上述した従来の方法には、次のような問題があった。具体的には、特許文献３に記載されている多視点画像の生成方法では、物体のオクルージョン、つまり、前景にあたる位置に存在する物体によって遮蔽された背景にあたる位置に存在する物体の情報による悪影響を排除できず、多視点画像を表示できる三次元ディスプレイにおける大きなメリットである運動視差を効果的に表現できないという問題がある。

また、特許文献４に記載されている立体映像を表示方法は、山岳など、基本的に規模の大きな物体を対象としているため、観視距離が数十cmから数m程度の物体を撮影する場合、移動させるカメラの制御や撮影された画像を立体表示するためのパラメータ設定が困難になる問題がある。

ところで、単一のカメラを用いて撮影された動画は、静止画の集合とみなすことができる。特に、時間の経過に連れてカメラと被写体との位置関係が変化している場合であって、かつ被写体が動かない場合には、撮影された動画は、様々な視点から撮影された多視点画像の集合とみなすことができる。

このため、単一のカメラのみを用いて多視点画像を得るには、動画に含まれる静止画群が、どこの視点における画像に対応するかを算出できればよい。このような静止画群と視点との対応は、基本行列と呼ばれる３×３の行列Ｅを求めることによって取得することができる（“3次元ビジョン”、徐剛、辻三郎著、共立出版社発行、1999年、pp.130-131参照）。

基本行列は、幾何学的な制約関係から求めることができるが、カメラの内部パラメータであるレンズの焦点距離と、撮像素子の大きさとの関係が一意に定まらない。このため、カメラの校正（例えば、予め撮像素子の大きさや形状などが既知であるパターンを撮影し、カメラの内部パラメータを推定すること）をしない場合には、撮影された動画のみに基づいて被写体の大きさやカメラの位置を正確に求めることはできない。

また、基本行列を求めることによって静止画群と視点との対応を取得する方法は、画像の特徴点の対応付けの誤りなどを原因とする視点の誤差の影響が大きい。つまり、画像のみから求めた行列Ｅは、一般に幾何学的拘束をすべて満足させることはできない。このため、近似的に当該誤差を最小に調整する手法が用いられるが、処理にかかる負荷が大きな問題がある。

そこで、本発明は、このような状況に鑑みてなされたものであり、単一のカメラのみを用いて、高品質な多視点画像を容易に取得できる立体映像処理装置及び立体映像処理方法を提供することを目的とする。

上述した問題を解決するため、本発明は、次のような特徴を有している。まず、本発明の第１の特徴は、被写体（被写体１０）を撮影する単一の撮影装置（ビデオカメラ２０）から取得した動画（動画Ｍ）を用いて立体映像（立体映像２１０）の表示に用いられる多視点画像（多視点画像Ｐ）を生成する立体映像処理装置（立体映像処理装置１００）であって、取得した前記動画を構成する静止画（静止画Ｓ）の集合である静止画群（静止画群Ｓ_Ｇ）のうち、所定の前記静止画間の対応関係を検出する対応関係検出部（対応関係検出部１０１）と、所定の条件に基づいて、複数の前記静止画からなる元画像群（例えば、静止画Ｓ１〜Ｓ４）を抽出する元画像抽出部（元画像抽出部１０３）と、前記対応関係検出部によって検出された前記対応関係、及び前記元画像抽出部によって抽出された前記元画像群に基づいて、前記多視点画像を生成する多視点画像生成部（多視点画像生成部１０５）とを備えることを要旨とする。

このような立体映像処理装置によれば、動画を構成する所定の静止画間の対応関係に基づいて多視点画像が生成される。さらに、多視点画像の生成に用いられる元画像群が、当該動画を構成する複数の静止画の中から所定の条件に基づいて抽出される。このため、画像の特徴点の対応付けの誤りなどを原因とする視点の誤差を抑制できる。つまり、近似的に当該誤差を最小に調整する手法などを用いる頻度が抑えられ、処理負荷が低減する。

すなわち、このような立体映像処理装置によれば、単一のカメラのみを用いて、高品質な多視点画像を容易に取得できる。

本発明の第２の特徴は、本発明の第１の特徴に係り、前記動画は、前記撮影装置と前記被写体との相対位置関係が時間の経過とともに変化するように前記被写体を撮影した画像データであることを要旨とする。

本発明の第３の特徴は、本発明の第１の特徴に係り、前記対応関係検出部は、前記静止画間において共通な特徴を有する共通部分を記述し、前記共通部分を構成する画素または領域における特徴量を含む前記対応関係を検出することを要旨とする。

本発明の第４の特徴は、本発明の第１の特徴に係り、前記元画像抽出部は、前記動画を構成する前記静止画の数及び前記動画の時間長と、前記多視点画像の必要数と、前記対応関係とのうち、少なくとも何れかによって規定される前記所定の条件に基づいて前記元画像群を抽出することを要旨とする。

本発明の第５の特徴は、本発明の第４の特徴に係り、前記必要数は、前記立体映像の表示に用いられる表示装置に表示される視点数であることを要旨とする。

本発明の第６の特徴は、本発明の第１の特徴に係り、前記多視点画像生成部は、前記対応関係検出部によって検出された前記対応関係に基づいて、前記元画像群に含まれる前記静止画を構成する画素を平行移動させることによって前記多視点画像を生成することを要旨とする。

本発明の第７の特徴は、本発明の第６の特徴に係り、前記多視点画像生成部は、前記元画像群に含まれる少なくとも2組以上の前記静止画に共通な特徴点が同一の座標となるように、前記静止画を構成する画素を平行移動させることを要旨とする。

本発明の第８の特徴は、本発明の第６の特徴に係り、前記多視点画像生成部は、前記元画像群に含まれる少なくとも2組以上の前記静止画に共通な特徴点（共通特徴点Ｆ）が表示装置に表示される前記立体映像の飛び出し量によって幾何学的に求めることができる座標となるように、前記静止画を構成する画素を平行移動させることを要旨とする。

本発明の第９の特徴は、本発明の第１の特徴に係り、被写体を撮影する単一の撮影装置から取得した動画を用いて立体映像の表示に用いられる多視点画像を生成する立体映像処理方法であって、取得した前記動画を構成する静止画の集合である静止画群のうち、所定の前記静止画間の対応関係を検出するステップと、所定の条件に基づいて、複数の前記静止画からなる元画像群を抽出するステップと、前記対応関係及び前記元画像群に基づいて、前記多視点画像を生成するステップとを備えることを要旨とする。

本発明の特徴によれば、単一のカメラのみを用いて、高品質な多視点画像を容易に取得できる立体映像処理装置及び立体映像処理方法を提供することができる。

次に、本発明の実施形態について説明する。具体的には、（１）立体映像システムの全体概略構成、（２）立体映像処理装置の機能ブロック構成、（３）立体映像システムの動作、（４）作用・効果、及び（５）その他の実施形態について説明する。

なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。

したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

（１）立体映像システムの全体概略構成
図１は、本実施形態に係る立体映像システム１の全体概略構成図である。図１に示すように、立体映像システム１は、ビデオカメラ２０、立体映像処理装置１００及び三次元ディスプレイ２００によって構成される。

ビデオカメラ２０は、被写体１０の撮影に用いられる。本実施形態において、ビデオカメラ２０は、撮影装置を構成する。立体映像システム１では、複数のビデオカメラ２０ではなく、単一のビデオカメラ２０のみを用いて取得された動画Ｍ（図１において不図示、図４参照）から、立体映像２１０の表示に用いられる多視点画像Ｐ（図１において不図示、図２参照）が生成される。

ビデオカメラ２０は、時間の経過に対して連続的な動画Ｍを取得できる。ユーザ（不図示）は、ビデオカメラ２０を用いて被写体１０、具体的には犬の人形を撮影する。

ユーザは、被写体１０を固定しした状態においてビデオカメラ２０を動かしながら被写体１０を撮影する。或いは、ユーザは、ビデオカメラ２０を固定しした状態において、ステージなどの上に載せられた被写体１０を動かしながら被写体１０を撮影してもよい。また、ユーザは、被写体１０及びビデオカメラ２０を動かしながら被写体１０を撮影してもよい。すなわち、動画Ｍは、ビデオカメラ２０と被写体１０との相対位置関係が時間の経過とともに変化するように被写体１０を撮影した画像データである。

一般的に、立体映像を三次元ディスプレイ２００に表示する場合、被写体１０に対して水平な方向（図中のＤ１方向）の情報が重要であるため、被写体１０に対して水平方向にビデオカメラ２０を動かしながら被写体１０を撮影することが望ましい。また、ビデオカメラ２０を動かしながら被写体１０を撮影すると、手ブレなどの影響によってビデオカメラ２０の軌跡が必ずしも直線状とはならず、ビデオカメラ２０の光軸も傾くことがある。本実施形態では、このような状態も考慮しつつ多視点画像Ｐが生成される。

立体映像処理装置１００は、ビデオカメラ２０から取得した動画Ｍを用いて立体映像２１０の表示に用いられる多視点画像Ｐを生成する。

三次元ディスプレイ２００は、立体映像処理装置１００から出力された多視点画像Ｐを用いて立体映像２１０を表示する。

（２）立体映像処理装置の機能ブロック構成
図２は、立体映像処理装置１００の機能ブロック構成図である。図２に示すように、立体映像処理装置１００は、対応関係検出部１０１、元画像抽出部１０３及び多視点画像生成部１０５を備える。

対応関係検出部１０１は、ビデオカメラ２０によって取得された動画Ｍを構成する所定の静止画間の対応関係を検出する。

ここで、図４（ａ）及び（ｂ）は、ビデオカメラ２０によって取得された動画Ｍの概念図である。図４（ａ）に示すように、被写体１０を時間の経過に対して連続的に撮影した動画Ｍには、複数の静止画Ｓが含まれる。図４（ｂ）は、動画Ｍに含まれる特定の静止画Ｓ、具体的には、静止画Ｓ１〜静止画Ｓ４を示す。

対応関係検出部１０１は、動画Ｍを構成する静止画Ｓの集合である静止画群Ｓ_Ｇのを抽出する。対応関係検出部１０１は、週出した静止画群Ｓ_Ｇのうち、所定の静止画Ｓ間、例えば、静止画Ｓ１〜静止画Ｓ４間の対応関係を検出する。具体的には、対応関係検出部１０１による当該対応関係の検出は、画像処理によって行われる。

本実施形態では、対応関係検出部１０１は、静止画Ｓ間において共通な特徴を有する共通部分を記述し、当該共通部分を構成する画素または領域における特徴量を含む対応関係を検出する。

具体的には、所定の特徴量に基づいた特徴点同士の対応が、静止画Ｓ同士の対応関係とされる。すなわち、動画Ｍから抽出された静止画群Ｓ_Ｇのうち、2枚の静止画Ｓ（例えば、静止画Ｓ１，Ｓ４）が任意に選択される。

また、図５は、本実施形態に係る特徴点の一例を示す。図５に示すように、本実施形態では、被写体１０（犬の人形）の左前足の足先が特徴点（共通特徴点Ｆ）とされる。

静止画Ｓ１の特徴点の集合S_S1={（x11,y12）,(x12,y12),…,(x1n,y1n)}と、静止画Ｓ４の特徴点の集合S_S4={(x21,x21),(x22,y22),…,(x2n,y2n)}が対応するとは、静止画Ｓ１上における座標位置（x1i,y1i）と、静止画Ｓ４上における座標位置（x2i,y2i）（i=1,2,…,n）とが対応することである。基本的には、静止画Ｓ１の特徴点の位置と、静止画Ｓ４の特徴点の位置とには、被写体１０の同じ部分（左前足の足先）が表示されるいってよい。

ここで、静止画Ｓにおける特徴量及び特徴点の決定には、一般に知られる様々な計算方法を適用できる。例えば、Scale Invaliant Feature Transform（SIFT）特徴量と呼ばれる静止画Ｓ中のある点の特徴量を128次元のベクトルとして表現する手法などを利用できる（Lowe, D. G., “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004参照）。また、SIFT以外の手法、例えば、テンプレートマッチングの手法によって特徴点対応を検出する方法も容易に利用できる。

元画像抽出部１０３は、所定の条件に基づいて、複数の静止画Ｓからなる元画像群（例えば、静止画Ｓ１〜静止画Ｓ４）を抽出する。なお、元画像群に含まれる静止画Ｓは、動画Ｍを構成するすべての静止画Ｓのうち、一部の静止画Ｓが用いられる。

具体的には、元画像抽出部１０３は、動画Ｍを構成する静止画Ｓの数及び動画Ｍの時間長によって規定される所定の条件に基づいて、複数の静止画Ｓからなる元画像群を抽出する。また、元画像抽出部１０３は、多視点画像Ｐの必要数によって規定される所定の条件に基づいて元画像群を抽出することもできる。本実施形態では、多視点画像Ｐの必要数は、立体映像２１０の表示に用いられる三次元ディスプレイ２００に表示される視点数である。

さらに、元画像抽出部１０３は、対応関係検出部１０１によって検出された対応関係によって規定される所定の条件に基づいて前記元画像群を抽出することもできる。

例えば、元画像抽出部１０３は、図４（ａ）及び（ｂ）に示すように、動画Ｍの一定の期間内｛t0, t0+T｝に含まれる複数の静止画Ｓの中から、必要数の静止画Ｓ（元画像）を抽出する。ここで、時刻t0及び時刻t0+Tは、立体映像２１０を表示に利用される動画Ｍの開始時刻から終了時刻までの時間を示す。当該時間は、多視点画像Ｐの必要数に基づいて決定することができる。また、当該時間は、多視点画像Ｐの必要数以外の方法で決定してもよい。

例えば、多視点画像Pの必要数を利用する場合、立体映像２１０の表示方式がレンチキュラーシートを用いた多視点型であり、視点数が３０である場合、最終的に３０の視点情報が必要となる。このため、画像補完などを行わないのであれば、静止画群Ｓ_Ｇに含まれる静止画Ｓの数は、少なくとも３０個必要となる。

そこで、動画Ｍに含まれるフレーム数が３０となるようにＴを決定してもよい。或いは動画Ｍに含まれるフレーム数が６０となるようにＴを決定するとともに、１個おきに静止画Ｓを抽出し、抽出した静止画Ｓを３０の視点情報として利用してもよい。

また、撮影時におけるビデオカメラ２０の動きや、被写体１０が載せられたステージの回転速度が既知であれば、当該情報を用いて所望の多視点画像Ｐを得るために適した値を設定してもよい。

さらに、対応関係検出部１０１によって検出された対応関係を利用して所定の条件を設定する場合、例えば、あるＴを仮定したときに、動画Ｍ内における任意の時刻t=t0のときにおける静止画Ｓ１と、時刻t=t0+Tのときにおける静止画Ｓ４とにおいて、共通の特徴点対応が２点以上確保されている場合、当該２点間の関係に基づいて、被写体１０の移動量を推定できる。

また、ビデオカメラ２０の移動速度は等速とは限らないため、抽出される元画像群は、必ずしも等間隔で抽出した静止画Ｓとする必要はない。そこで、ビデオカメラ２０の移動速度を対応関係検出部１０１によって検出された対応関係を用いて推定してもよい。ビデオカメラ２０の移動速度の遅い領域では静止画Ｓの抽出間隔を広げることによって抽出される静止画Ｓの時間間隔がなるべく均等になるように調整してもよい。

多視点画像生成部１０５は、対応関係検出部１０１によって検出された対応関係、及び元画像抽出部１０３によって抽出された元画像群に基づいて、多視点画像Ｐを生成する。

本実施形態では、多視点画像生成部１０５は、対応関係検出部１０１によって検出された対応関係に基づいて、元画像抽出部１０３によって抽出された元画像群における共通の特徴点の対応関係を信頼性の高い特徴点であると仮定する。

すなわち、本実施形態では、すべての静止画Ｓにおいて同様の特徴量を示すような特徴点は、誤差が発生している可能性が低いとの予想に基づく仮定である。このような特徴点を共通特徴点Ｆと呼ぶ。

図５に示すように、ｎ枚の静止画Ｓからなる元画像群において、共通特徴点Ｆの座標位置をそれぞれF1=｛x1, y1｝, F2=｛x2,y2｝, …, Fn=｛xn, yn｝とする。上述したように、本実施形態では、被写体１０（犬の人形）の左前足の足先が共通特徴点Ｆとされる。

多視点画像生成部１０５は、元画像群に含まれるすべての静止画Ｓについて、共通特徴点Ｆが同じ座標となるように全画素を水平方向及び垂直方向に平行移動することによって、立体映像２１０の表示に用いられる多視点画像Ｐを生成する。

すなわち、多視点画像生成部１０５は、対応関係検出部１０１によって検出された対応関係に基づいて、元画像群に含まれる静止画Ｓを構成する画素を平行移動させることによって多視点画像Ｐを生成する。より具体的には、多視点画像生成部１０５は、元画像群に含まれる少なくとも2組以上の静止画に共通な特徴点、つまり、共通特徴点Ｆが同一の座標となるように、静止画Ｓを構成する画素を平行移動させる。

ここで、元画像群に含まれる静止画Ｓにおいて共通特徴点Ｆが存在しなかった場合、もしくは共通特徴点Ｆの信頼性が低いと判断された場合、必ずしもすべて静止画Ｓに共通する特徴点のみを共通特徴点Ｆとする必要はない。共通特徴点Ｆが存在しなかった静止画Ｓや、共通特徴点Ｆの信頼性が低いと判断された静止画Ｓについては、該当する静止画Ｓの前後に位置する静止画Ｓに存在する共通特徴点Ｆの位置に基づいて、仮想的な共通特徴点Ｆの位置を設定してもよい。

共通特徴点Ｆが同じ座標となるように静止画Ｓを構成する画素を平行移動させることは、三次元ディスプレイ２００に表示される立体映像２１０の飛び出し量を共通特徴点Ｆについてはゼロ（飛び出しも奥行もなし）に調整することと同義である。つまり、多視点画像生成部１０５は、共通特徴点Ｆが三次元ディスプレイ２００に表示される立体映像２１０の飛び出し量によって幾何学的に求めることができる座標となるように、静止画Ｓを構成する画素を平行移動させてもよい。

このように静止画Ｓを構成する画素の平行移動量を変化させることによって、立体映像２１０の飛び出し量を調節することも可能である。すなわち、共通特徴点Ｆが同一の座標となるように調整するのではなく、立体映像２１０（多視点映像）を視聴者が観察する観察位置と、立体映像２１０を表示したい位置との関係に基づいて、共通特徴点Ｆが幾何学上どの座標にあるかを算出することによって、静止画Ｓ、具体的には、静止画Ｓを構成する画素の平行移動量を決定してもよい。

（３）立体映像システムの動作
図３は、立体映像システム１の動作フロー図である。具体的には、図３は、立体映像システム１に多視点画像Ｐの生成及び立体映像２１０の表示動作フローを示す。

図３に示すように、ステップＳ１０において、ユーザは、ビデオカメラ２０を用いて被写体１０、具体的には犬の人形を撮影し、動画Ｍを取得する。

ステップＳ２０において、立体映像処理装置１００は、取得した動画Ｍの中から、静止画Ｓの集合である静止画群Ｓ_Ｇを抽出する。

ステップＳ３０において、立体映像処理装置１００は、静止画群Ｓ_Ｇのうち、所定の静止画Ｓ間（例えば、静止画Ｓ１〜静止画Ｓ４間）の対応関係を検出する。

ステップＳ４０において、立体映像処理装置１００は、複数の静止画Ｓからなる元画像群（例えば、静止画Ｓ１〜静止画Ｓ４）を抽出する。

ステップＳ５０において、立体映像処理装置１００は、対応関係検出部１０１によって検出された対応関係、及び元画像抽出部１０３によって抽出された元画像群に基づいて、多視点画像Ｐを生成する。

ステップＳ６０において、三次元ディスプレイ２００は、立体映像処理装置１００から出力された多視点画像Ｐを用いて立体映像２１０を表示する。

（４）作用・効果
立体映像処理装置１００によれば、動画Ｍを構成する所定の静止画Ｓ間の対応関係に基づいて多視点画像Ｐが生成される。さらに、多視点画像Ｐの生成に用いられる元画像群が、動画Ｍを構成する複数の静止画Ｓの中から所定の条件に基づいて抽出される。このため、画像の特徴点（共通特徴点Ｆ）の対応付けの誤りなどを原因とする視点の誤差を抑制できる。つまり、近似的に当該誤差を最小に調整する手法などを用いる頻度が抑えられ、立体映像処理装置１００の処理負荷が低減する。

すなわち、立体映像処理装置１００によれば、単一（１台）のビデオカメラ２０のみを用いて、高品質な多視点画像Ｐを容易に取得できる。

本実施形態では、静止画Ｓ間において共通な特徴を有する共通部分を記述し、当該共通部分を構成する画素または領域における特徴量を含む対応関係に基づいて多視点画像Ｐが生成される。具体的には、１台のビデオカメラ２０のみによって取得された動画Ｍに含まれる共通特徴点Ｆに基づいて立体映像２１０の表示に用いられる多視点画像Ｐが生成される。

動画Ｍに含まれる複数の静止画Ｓにおける共通特徴点Ｆを用いることによって、誤った特徴点の対応付けが抑制されるため、視点の誤差の少ない多視点画像Ｐを生成することができる。特に、三脚などを用いずにビデオカメラ２０をユーザが把持した状態で取得された動画Ｍなどで問題となる手ブレ、つまり、ビデオカメラ２０が前後、左右、上下などのあらゆる方向に移動することに起因する立体映像２１０の歪みを抑制できる。

本実施形態では、動画Ｍに含まれる静止画群Ｓ_Ｇに対して施す処理は、特徴点の抽出を除くと、静止画Ｓ全体に対する平行移動のみである。このため、多視点画像Ｐの生成に関する処理が高速化される。また、静止画群Ｓ_Ｇを平行移動する量を調整することによって、立体映像２１０の飛び出し量を仮想的に変更することができる。このため、立体映像２１０を表示した際における臨場感なども調整できる。

なお、本実施形態に係る処理によって生成された多視点画像Ｐは、基本行列などを正確に求める従来の方法に従って生成された多視点画像と比較すると、幾何学的に完全に正しいものではない。特に、動画Ｍから多視点画像Ｐの生成に用いられる静止画群Ｓ_Ｇを抽出する際の処理において、ビデオカメラ２０の移動速度や手ブレ（前後、左右、上下のみではなく、ビデオカメラ２０の傾きにかかわる誤差）を正確に予測することは困難である。さらに、静止画群Ｓ_Ｇに対して平行移動を行うだけでは、上述の手ブレなどによる誤差を完全に考慮した多視点画像Ｐを生成するのは原理的に不可能であるといえる。

しかしながら、生成された多視点画像Ｐの用途が、三次元ディスプレイ２００での表示に限定される場合、必ずしも幾何学的に完全に正しい多視点画像を生成する必要はない。特に、携帯電話端末に搭載されたカメラや、安価なUSBカメラなどを用いて簡易かつ高速に立体映像２１０を表示させる場合、本実施形態に係る立体映像処理装置１００を有効に活用できる。

（５）その他の実施形態
上述したように、本発明の一実施形態を通じて本発明の内容を開示したが、この開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態が明らかとなろう。

例えば、上述した本発明の実施形態では、ビデオカメラ２０、立体映像処理装置１００及び三次元ディスプレイ２００が別個の独立した装置として構成されていたが、ビデオカメラ２０、立体映像処理装置１００及び三次元ディスプレイ２００を一体として構成してもよい。また、携帯電話端末に、ビデオカメラ２０、立体映像処理装置１００及び三次元ディスプレイ２００の機能を組み込むようにしてもよい。

上述した実施形態では、犬の人形を被写体として用いた例を説明したが、本発明を適用可能な被写体は、犬の人形に限定されず、様々な被写体に適用できることは勿論である。

このように、本発明は、ここでは記載していない様々な実施の形態などを含むことは勿論である。したがって、本発明の技術的範囲は、上述の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の実施形態に係る立体映像システム１の全体概略構成図である。 本発明の実施形態に係る立体映像処理装置１００の機能ブロック構成図である。 本発明の実施形態に係る立体映像システム１の動作フロー図である。 本発明の実施形態に係るビデオカメラ２０によって取得された動画Ｍの概念図である。 本発明の実施形態に係る本実施形態に係る共通特徴点Ｆの一例を示す図である。

符号の説明

１…立体映像システム、１０…被写体、２０…ビデオカメラ、１００…立体映像処理装置、１０１…対応関係検出部、１０３…元画像抽出部、１０５…多視点画像生成部、２００…三次元ディスプレイ、２１０…立体映像、Ｍ…動画、Ｐ…多視点画像、Ｓ，Ｓ１〜Ｓ４…静止画、Ｓ_Ｇ…静止画群

Claims (9)

1. 被写体を撮影する単一の撮影装置から取得した動画を用いて立体映像の表示に用いられる多視点画像を生成する立体映像処理装置であって、
   取得した前記動画を構成する静止画の集合である静止画群のうち、所定の前記静止画間の対応関係を検出する対応関係検出部と、
   所定の条件に基づいて、複数の前記静止画からなる元画像群を抽出する元画像抽出部と、
   前記対応関係検出部によって検出された前記対応関係、及び前記元画像抽出部によって抽出された前記元画像群に基づいて、前記多視点画像を生成する多視点画像生成部と
   を備える立体映像処理装置。
2. 前記動画は、前記撮影装置と前記被写体との相対位置関係が時間の経過とともに変化するように前記被写体を撮影した画像データである請求項１に記載の立体映像処理装置。
3. 前記対応関係検出部は、前記静止画間において共通な特徴を有する共通部分を記述し、前記共通部分を構成する画素または領域における特徴量を含む前記対応関係を検出する請求項１に記載の立体映像処理装置。
4. 前記元画像抽出部は、
   前記動画を構成する前記静止画の数及び前記動画の時間長と、
   前記多視点画像の必要数と、
   前記対応関係と
   のうち、少なくとも何れかによって規定される前記所定の条件に基づいて前記元画像群を抽出する請求項１に記載の立体映像処理装置。
5. 前記必要数は、前記立体映像の表示に用いられる表示装置に表示される視点数である請求項４に記載の立体映像処理装置。
6. 前記多視点画像生成部は、前記対応関係検出部によって検出された前記対応関係に基づいて、前記元画像群に含まれる前記静止画を構成する画素を平行移動させることによって前記多視点画像を生成する請求項１に記載の立体映像処理装置。
7. 前記多視点画像生成部は、前記元画像群に含まれる少なくとも2組以上の前記静止画に共通な特徴点が同一の座標となるように、前記静止画を構成する画素を平行移動させる請求項６に記載の立体映像処理装置。
8. 前記多視点画像生成部は、前記元画像群に含まれる少なくとも2組以上の前記静止画に共通な特徴点が表示装置に表示される前記立体映像の飛び出し量によって幾何学的に求めることができる座標となるように、前記静止画を構成する画素を平行移動させる請求項６に記載の立体映像処理装置。
9. 被写体を撮影する単一の撮影装置から取得した動画を用いて立体映像の表示に用いられる多視点画像を生成する立体映像処理方法であって、
   取得した前記動画を構成する静止画の集合である静止画群のうち、所定の前記静止画間の対応関係を検出するステップと、
   所定の条件に基づいて、複数の前記静止画からなる元画像群を抽出するステップと、
   前記対応関係及び前記元画像群に基づいて、前記多視点画像を生成するステップと
   を備える立体映像処理方法。

Images