JP2003209858A - 立体画像生成方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 見やすい立体画像を生成する方法 【解決手段】 立体画像形成のための仮想視点画像生成
において、奥行き量または視差値の調整を行うことよ
り、生成する仮想視点画像間の視差を調整する。複雑な
シーンを撮影した入力視差画像に対しても、各種セグメ
ンテーション手法、ユーザーからのＧＵＩを利用した入
力を用いて画像内の特定範囲を選定し、その特定領域の
視差値、もしくは奥行き量のみを調整することにより、
期待しない領域の画素の視差値、もしくは奥行き量を変
更しないようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、シーン又は被写体
の立体画像を生成する画像処理方法に関し、見やすい立
体画像を生成する方法、及び、この画像処理方法を備え
た立体写真プリントシステム等に関する。

【０００２】

【従来の技術】従来、立体画像を形成する方法として
は、インテグラルフォトグラフィ（以下ＩＰ）やレンチ
キュラ板三次元画像、ホログラフィック・ステレオグラ
ム等の多眼立体視画像が特に知られている（大越孝
敬：’三次元画像工学’，産業図書，１９７２）。

【０００３】このような多眼立体視画像の作成において
は、多視点における画像を必要とし、この多視点画像の
中から構成される多数組の視差のある画像対、つまり、
視差画像対の中から、一対の視差画像対の画像が観察者
の左右眼それぞれで独立して観察されることにより、立
体視を可能にしている。左右眼により観察される視差画
像間の視差量と表示面に対する飛び出し量、沈み込み量
の関係を図２に示す。

【０００４】図３において、ｓ１０を観察者の右目、ｓ
１１を左眼、ｓ１２を基線長Ｋ、ｓ１３をプリント面か
ら視点までの観察距離Ｄ、ｓ１４を表示面、ｓ１５を飛
び出し量Ｚ_f、ｓ１６を沈み込み量Ｚ_bとする。

【０００５】○は視差のない物体の像、△は視差画像間
で視差量を持つ物体でありそれぞれの視差画像中で、ず
れた位置に位置し、Ｒは選択的に右目ｓ１０に入射する
像、Ｌは左眼ｓ１１に入射する像であるとする。

【０００６】両目により、像が一点となる点は視差の視
差０点位置よりも手前になることから、プリント面から
視点までの観察距離をＤとおき、プリント面上での視差
量をｘ_f、飛び出し量ｓ１５をＺ_fとすると、

【０００７】

【数１】

【０００８】となる。また、左眼に（Ｌ）、右眼に
（Ｒ）の像が入ってきた場合、その像が一点となる位置
はプリント面よりも奥側になり、プリント面上での視差
量をｘ_f、、沈み込み量ｓ１６をＺ_bとすると、

【０００９】

【数２】

【００１０】であることが分かる。つまり、３Ｄプリン
トにおける、両眼視差に起因する物理的な飛び出し量、
及び沈み込み量は、単にプリント面における視差画像間
の被写体のずれ量（視差量）によって決まる。プリント
面上での視差画像対間の視差量（ずれ量）と画像データ
中での視差画像対間の視差値（画素ずれ量）との関係
は、視差画像のプリント面上での表示サイズ（拡大率）
と、データ−サイズ（画素数）、観察距離、基線長等の
幾何学的な関係から容易に変換できる。

【００１１】従来では多視点画像取得のために、多眼カ
メラや特殊な三脚を必要とし、これら多眼カメラや特殊
な三脚を利用する手法においては、撮影時の撮影カメラ
群及び、被写体の位置関係により、立体感、つまり飛び
出し量、沈み込み量が決まってしまっていた。従って、
撮影時における、立体画像の設計が重要であった。

【００１２】立体画像撮影における、立体画像設計の指
針としては、最大飛び出し量と最大沈み込み量がある
最大視差範囲内に収まるように撮影カメラの基線長を調
整する。カメラの注視点位置（視差０位置）を主被写
体上に設定する様にカメラの輻輳角を調整する。ことが
考えられる。

【００１３】まず、における最大視差範囲とは、人体
の視覚機能に起因する融像可能範囲や、最適視点位置を
外れた場合のクロストークにより感じる画像のボケが、
観察者の感じる立体画像の品質を低下を認識させない許
容範囲で決定される許容視差範囲である。

【００１４】融像可能範囲の値として、３Ｄ−ＨＤＴＶ
向けの経験的な値が論文で示唆されている（“３Ｄ映像
の設計について”，熊田典明，放送技術１９９２．１
１）が、レンチの形状精度等により、視点位置を限定で
きないレンチキュラプリントなどは、最適視点位置を外
れた場合のクロストークの影響などから、融像可能範囲
により限定されるよりも狭い値域に視差量（飛び出し
量、沈み込み量）を限定したほうが経験的に良い場合も
ある。ここではこの値域の最大値、最小値を最大視差範
囲、最小視差範囲とする。

【００１５】また、のカメラの注視点位置を主被写体
上に設定する理由には、目のレンズの焦点位置調整位置
と表示画像の奥行き位置のずれが存在すると、疲労感
や、見にくさを誘発するため、画像の主被写体にあたる
部分の視差量（飛び出し量、沈み込み量）をなるべく小
さくすることにより、疲労感のない、見やすいと感じる
立体画像が経験的に生成できることがある。

【００１６】近年ではコンピュータ技術の発達により、
少数の実写画像を元に仮想視点における画像を生成する
手法が提案されている。

【００１７】実写画像を元に仮想視点画像を生成する方
法の一つに、その仮想視点画像生成過程において被写体
の明示的な三次元幾何形状モデルを生成するＭｏｄｅｌ
Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ法と三次元幾何形状
モデルを生成しないＩｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄ
ｅｒｉｎｇ法がある。

【００１８】Ｍｏｄｅｌ Ｂａｓｅｄ Ｒｅｎｄｅｒｉ
ｎｇ法はいったん被写体シーンの三次元幾何形状モデル
を取得してしまえば、コンピュータグラフィックスの技
法を用いて任意の視点からの被写体画像を容易に観察す
ることができるようになる。しかし、現実世界の完全な
三次元幾何形状モデルを取得することは非常に困難であ
るため、写実性の高い仮想視点画像を生成することは難
しい。

【００１９】これに対し、Ｉｍａｇｅ Ｂａｓｅｄ Ｒ
ｅｎｄｅｒｉｎｇ法は、撮影された二次元画像を利用す
る手法であるため、写実性の高い仮想視点画像を生成す
ることが可能である。

【００２０】また、その一手法であるｖｉｅｗ ｍｏｒ
ｐｈｉｎｇ（Ｓｔｅｖｅｎ Ｍ．Ｓｅｉｔｚ “Ｖｉｅ
ｗ Ｍｏｒｐｈｉｎｇ”，ＳＩＧＧＲＡＰＨ，ｐ２１−
ｐ３１，１９９６）は、同一対象物を含む画像それぞれ
の視線方向と撮影カメラ間の基線とが垂直で、視線方向
同士が平行になるように画像間で変換を行うことにより
正しい投影幾何関係を実現するため、陽にシーン中の物
体の三次元幾何形状モデルを生成せず、取得画像間のピ
クセルの対応情報、もしくはそれにより算出される奥行
き情報を用いることにより、撮影カメラ視点間を結ぶ直
線上の任意視点の画像生成において、あたかも三次元モ
デルが存在するかのような、歪みの無い滑らかな変化が
得られる任意視点画像を生成する手法である。

【００２１】写実的な多視点画像を得られるため、多視
点画像により構成される立体画像には高品質なものが得
られるという利点がある。

【００２２】これらコンピュータ技術を利用して、少数
の実写画像を元に仮想視点における画像を生成する手法
においては、入力視差画像を撮影した後でも、多数の仮
想視点画像からなる多視点画像間の立体感を調整するこ
とが容易であるという利点がある。

【００２３】例えば、Ｍｏｄｅｌ Ｂａｓｅｄ Ｒｅｎ
ｄｅｒｉｎｇ法は被写体シーンの三次元幾何形状モデル
を取得するため、コンピュータグラフィックスの技法を
用いて任意の視点からの被写体画像を容易に観察するこ
とができるのはもちろん、シーン内の物体の位置関係を
容易に変更することができるため、シーン内の個々の物
体の前後方向への移動（表示面からの浮き出し量、沈み
込み量の調整に相当）など、シーンのカスタマイズが容
易ではある。

【００２４】しかし実際は、現実世界の完全な三次元幾
何形状モデルを取得することは非常に困難であるため、
写実性の高い仮想視点画像を生成することは難しく、さ
らにその上、シーン内の個々の物体について、それぞれ
の三次元幾何形状モデルを取得し、シーンのカスタマイ
ズを行い、シーン内の個々の物体についての表示面から
の飛び出し量、沈み込み量の調整を行うことは、さらに
困難なことである。

【００２５】一方、近年の仮想視点画像を生成する手法
において、Ｖｉｅｗ Ｍｏｒｐｈｉｎｇを用いた手法で
は、撮影カメラ視点間を結ぶ直線上の任意視点からの被
写体画像を容易に観察することは可能であるが、陽にシ
ーン中の物体の三次元幾何形状モデルを生成せず、当然
シーン内の個々の物体の三次元幾何形状モデルを持たな
いため、シーンのカスタマイズを行い、シーン内の個々
の物体についての表示面からの飛び出し量、沈み込み量
の調整を行うことは困難であった。

【００２６】そのため、前記立体画像設計指針のと
に相当する条件、最大飛び出し量と最大沈み込み量が
ある最大視差範囲内に収めつつ、有効に使う視点を取
る。画像内の主被写体位置の視差をできるだけ０にす
る。を同時に有効に満たすことは難しく、最大限に強い
立体感を生じさせつつ、見やすい立体画像を作成するこ
とは本手法においては困難であった。

【００２７】つまり、陽にシーン中の物体の三次元幾何
形状モデルを取得せずに、写実的な多視点画像を取得で
きる、Ｖｉｅｗ Ｍｏｒｐｈｉｎｇ手法の利点を生かし
つつ、前記多視点画像により構成される立体画像の立体
感を疲労感のない、見やすい状態に調整することは困難
であった。

【００２８】

【発明が解決しようとする課題】立体画像の飛び出し
量、沈み込み量調整を行い、表示時に、強い立体感を感
じさせながら、最適視点位置を外れた場合でも目が疲れ
にくい、違和感の少ない立体表示を容易に実現する立体
画像生成方法を提供すること。

【００２９】立体画像の飛び出し量、沈み込み量調整を
行い、複雑なシーンを撮影した入力視差画像に対して
も、期待しない画像領域を歪ませることなく、表示時
に、強い立体感を感じさせながら、最適視点位置を外れ
た場合でも目が疲れにくい、違和感の少ない立体表示を
容易に実現する、立体画像生成方法を提供すること。

【００３０】

【課題を解決するための手段】立体画像生成のための仮
想視点画像生成において、奥行き量または視差値の調整
を行うことにより、生成する仮想視点画像間の視差を調
整する。

【００３１】複雑なシーンを撮影した入力視差画像に対
しても、各種セグメンテーション手法、ユーザからのＧ
ＵＩを利用した入力を用いて画像内の特定範囲を選定
し、その特定領域の視差値、もしくは奥行き量のみを調
整することにより、期待しない領域の画素の視差値、も
しくは奥行き量を変更しないようにする。

【００３２】

【発明の実施の形態】（第１の実施例）本実施例は、２
つの視点で撮影した入力視差画像の視点間を結ぶ直線
上、若しくはその延長線上の仮想視点における仮想視点
画像を生成し、前記入力視差画像のうち、基準画像とし
て選択したどちらか片方の入力画像及び前記仮想視点画
像、もしくは仮想視点画像のみから構成される、立体画
像を作成するために用いる多視点画像を取得し、立体画
像を合成する立体画像作成方法において、仮想視点画像
生成を行う前に、入力視差画像自体もしくは他の距離画
像獲得手段から得られた仮想視点画像生成におけるワー
プ量の指標となる、奥行き画像もしくは視差値分布画像
の値を調整することにより、立体画像における立体感を
提示する多視点画像間の視差量を調整し、観察しやすい
立体画像を生成する、本発明を用いた画像生成方法であ
る。

【００３３】本実施例における仮想視点画像生成方法、
及び立体画像生成方法は特許願４２４１００４の画像処
理装置、立体写真プリントシステム、画像処理方法、立
体プリント方法及び処理プログラムを記録した媒体の一
部を基本とした仮想視点画像生成方法、及び立体画像生
成方法である。

【００３４】本発明を用いた第１の実施例の立体画像生
成方法のアルゴリズムを図１に示す。図においてｓ１は
画像データ取得部、ｓ２は対応点抽出部、ｓ３は視差分
布画像作成部、ｓ４は画像生成パラメータ取得部、ｓ５
は奥行き感調整部、ｓ６は仮想視点画像シーケンス生成
部、ｓ７は三次元ストライプ画像生成部、ｓ６は印刷部
である。

【００３５】本発明は汎用のＰＣ上、もしくは画像処理
専用ワークステーション上で動作する画像処理プログラ
ムであり、もしくは画像処理機能を含むハードに組み込
むこともできる。

【００３６】以下で上記構成の動作について説明する。
ｓ１のデータ取得部では、撮影した２つの画像データを
取り込む。撮影は撮像面の水平方向に沿ってほぼ平行に
取り付けられた２つのデジタルカメラによって行われ
る。又は、２つのデジタルカメラは主被写体物を注視点
に置いて輻輳をつけて撮影してもよい。又は、複数のデ
ジタルカメラからなるカメラ配列から、任意に２つのカ
メラを選択しても良い。又は、２つ以上の光学系および
撮像系を１つの筐体内に持ち、同時に多視点の画像を撮
影することのできる複眼カメラを用いて撮影してもよ
い。又は、光路中にプリズムやミラーなどを通すことに
より、カメラの一つの撮像面上に２視点からの像を並列
させて投影する光学系であるステレオアダプタをカメラ
に取り付けて入力視差画像の撮影をおこなってもよい。

【００３７】入力データ画像間に輻輳がついている場合
にはデータ取得部ｓ１において歪み補正処理をおこな
う。歪み補正処理においては、ステレオ画像の撮影時に
発生した台形歪みを補正する。本処理により、撮影光軸
に対して垂直な平面内において、水平方向に平行に並ん
だ画像対に視点変換する。各カメラの撮影パラメータ、
もしくは撮影画像自身から、一般的なカメラキャリブレ
ーション手法により求められた基礎行列を用いて、左右
それぞれの画像データの画像中心を中心として、台形歪
み補正後の仮想的な撮影面が互いに平行になるように台
形歪み補正を行う。

【００３８】すなわち左右の光路に所定の輻輳角がつい
ていることにより、各画像は台形歪みを必然的に有する
からである。台形歪み補正処理は良く知られた画像の三
次元の回転マトリクスによる幾何学的変換である。

【００３９】本実施例では、画像データをそれぞれの画
素値が輝度レベルを表す２次元配列のデジタルデータと
して処理を行う。

【００４０】ｓ２の対応点抽出部では、入力された視差
画像間で同一な被写体部分を点対点、画素対画素の対応
として表す対応点を抽出する。画像間の各画素の対応を
抽出する方法としては特徴ベースの手法と、領域ベース
の手法がよく知られた代表例として挙げられる。

【００４１】本実施例においては領域ベースの一手法で
ある、差分和を用いた単純なテンプレートマッチング手
法を用いて対応点抽出手段を説明する。

【００４２】ここではまず、２つの画像データのうち撮
影した視点位置が左側に相当する左画像（同様に撮影し
た視点位置が右側に相当する画像を右画像とする。）を
基準画像としてテンプレートマッチングをおこない、左
画像を基準とした対応点を求めていく。まず、左画像か
ら所定の点を中心とした所定サイズの部分領域をテンプ
レートとして切り出す。そして、テンプレートマッチン
グは所定の画素間隔でおこなう。画像中の全点について
対応点を求めても良いが、画像サイズが大きい場合は所
定時間が膨大になる。

【００４３】そして、右画像中の所定の対応点探索領域
において、対応点探索領域内の注目画素を中心としたテ
ンプレートと同一のサイズの画像領域と左画像のテンプ
レートとの相関値を求めていく。

【００４４】対応点の探索領域はステップｓ１の歪み補
正処理によりほぼ平行視のステレオ画像対が得られてい
るので、左画像の注目点位置を中心に右画像中の水平方
向の所定範囲を設定する。

【００４５】また、被写体の距離範囲等の奥行きの予備
情報があらかじめ与えられている時は、それに従い水平
方向の探索範囲をできるだけ限定することが、対応点探
索の誤対応防止のために望ましい。

【００４６】相関演算の結果は、右画像中に設定された
所定の対応点探索領域と同一サイズの一次元の相関値分
布として求まる。この一次元の相関値分布を解析する事
により対応点位置を決定する。対応点位置は差分和の最
も小さい位置に決定される。

【００４７】但し、対応点位置での差分和が所定の値よ
り大きい場合、対応点位置での差分和と２番目に小さい
差分和との差が所定の値より小さい場合、あるいは対応
点位置近傍での差分和の変化が所定の値より小さい場合
は、対応点抽出処理に関して信頼性が低いと考えられる
ので、その点に対しては未対応とする。

【００４８】また、対応の求まった対応点に関して、逆
に右画像内の対応点を中心にテンプレートを切り出し、
左画像中において、同様に、対応点探索領域を設定し、
水平方向の探索を行う。

【００４９】このテンプレートマッチング結果が、左画
像の対応点位置近傍であるかを判断し、所定位置以上離
れている場合には誤対応である可能性が高いので、その
対応点結果に関しては未対応という情報を与える。以上
の計算を左画像の画素に対して、所定の間隔でおこな
う。

【００５０】これらの処理により、左画像基準のテンプ
レートマッチングによりステレオ対応点が求められる。

【００５１】図４に左画像基準の対応点抽出の図を示
す。左画像が基準画像であり、図のドットが基準点とな
りその周辺の正方形で囲まれた領域をテンプレートとし
て参照画像となる右画像中で対応点を探索する。

【００５２】ｓ３の視差値分布画像生成部において、視
差値分布画像もしくは奥行き画像を生成する。ｓ２にお
いて求められた対応点の座標値の左右画像上での位置の
違いから、対象画素に対する視差値を求めることができ
る。

【００５３】続いて、これまで求まった視差値から、元
々対応点を求めていない点（画素）、及び、対応点が求
まらなかった未対応点（画素）に対しても視差を求め
る。近隣の既算出視差情報を用いて補間処理を行うこと
により、密な視差値分布画像を得る。本実施例において
は補間処理として、被補間未対応点と対応点抽出処理で
視差値の求まった対応点位置における距離パラメータを
重みとして加重平均し、元々対応点を求めていない点、
及び、未対応の未対応点の視差を次式（３）により求め
る。

【００５４】

【数３】

【００５５】ｎは補間結果を左右する任意に設定するパ
ラメータでありｎの値を小さくしすぎると、求める視差
は画像全域からの平均に近くなり、視差分布が一様にな
る。また、ｎの値を大きくしすぎると、知覚の対応点の
影響を大きく受ける。計算時間も考慮して、ｎ＝１程度
が望ましい。

【００５６】以上の処理により、左画像に対する密な視
差分布画像を得る。

【００５７】また、右画像に対する密な視差分布画像が
次段階ｓ６の処理において必要な場合には、以下のよう
に、ｗｉ、ｄｉを置き換えて右画像に対する密な視差分
布画像を得る。

【００５８】

【数４】

【００５９】また、視差の補間の方法として、距離パラ
メータを重みとして加重平均を行ったが、距離のほか
に、ＲＧＢ各チャンネルの画素値を加えてパラメータと
し、空間的位置、画素値の近い画素の加重を大きくして
補完しても良い。

【００６０】また、例えば、双線形補間やスプライン補
間等を用いても良い。また、カメラパラメータが前記キ
ャリブレーション手法等により求められている場合、視
差画像間の視差値分布画像をよく知られた幾何学的関係
を用いて、奥行き画像に容易に変換することが可能であ
る。視差値分布画像を奥行き画像に置換して、ｓ４以下
の処理を行っても良い。よってｓ４以下の視差値分布画
像を奥行き画像に、視差値を奥行き値に、各種視差の基
準値、閾値を各種奥行き値の基準値、閾値に、と置き換
えてｓ４以下の処理を行うことは容易であると言える。

【００６１】ｓ４の画像生成パラメータ取得部において
は、ｓ６の仮想画像シーケンス生成部において生成する
仮想画像シーケンスの像数、及び視点位置もしくは観察
位置に関するパラメータを取得する。

【００６２】本実施例においては、視点位置もしくは観
察位置に関するパラメータとして、最終的に、画像シー
ケンスに対し、何像飛ばしで画像が視差画像対として観
察されるのかという情報に関連する情報、および最大飛
び出し量と、最大沈み込み量を必要とする。

【００６３】図８に観察位置と像飛ばし数の関係を示
す。Ｋは基線長、Ｄは観察距離、ｆはレンチの焦点距
離、Δｐは１仮想視点画像のプリントピッチ、

【００６４】

【数５】

【００６５】は像飛ばし数である。また、図９において
１像飛ばしの場合の画像シーケンスにおける視差画像対
の選択の一例を示す。観察位置がプリントに対して近く
なると隣合うシーケンス画像を視差画像対として観察す
るのではなく、仮想画像シーケンス中で、像飛ばしをし
て画像を観察することになる。像飛ばし数は、観察距
離、レンチの焦点距離、１画像分のプリントピッチ、基
線長から幾何学的に求めることができる。

【００６６】また後述のｓ６の仮想視点画像シーケンス
生成部において生成する画像の視点位置は、想定する観
察位置に基づいて、画像シーケンス内で左右眼に入射さ
れうる視差画像対間に生じる視差量が、最大飛び出し視
差値と、最大沈み込み視差値によって制限される、所定
の視差量に収まるように決定される。視差量が小さくな
りすぎると立体像を観察する際の立体感が損なわれる。
逆に、視差量が大きくなりすぎると、隣接する画像との
クロストークにより観察する立体像が不鮮明になる。

【００６７】よって本パラメータ取得部において、最大
視差範囲、つまり、最大飛び出し量と最大沈み込み量を
設定し、幾何学的関係から仮想視点画像の視点間の最大
飛び出し視差値、および最大沈み込み視差値を計算し、
視点間の基準値として設定する。

【００６８】像飛ばし数により、仮想画像シーケンス中
から選択される視差画像対の組み合わせが変化するた
め、最大飛び出し視差値Ｄ´_max、最大沈み込み視差値
Ｄ´_minから計算される、ｓ５において適用する仮想画
像シーケンス中の隣接視点間に於ける最大可能視差値Ｄ
_max及び最小可能視差値Ｄ_minは次のような関係で変化す
る。

【００６９】

【数６】

【００７０】また、各仮想視点が左画像もしくは右画像
のどちらかの視点位置を基準として等間隔に並ぶように
視点位置を決める。

【００７１】これは、画像シーケンスの視点位置が等間
隔に並ぶことで視点移動に対し、自然な像変化と安定し
た立体像を提示するためと、立体感の調整を行うことに
より、入力左右視差画像の両方を画像シーケンスに含む
ことができなくなるためである。

【００７２】ｓ５の奥行き感調整部においては、視差値
分布画像に対して、見やすい立体画像となるように、視
差値分布の視差値の調整を行う。それに伴い、ｓ４で設
定した視点位置もしくは観察位置に関するパラメータを
用いて視点位置を設定する。

【００７３】前記最大飛び出し量と最大沈み込み量を
ある最大視差範囲内に収めつつ、有効に使う視点を取
る。及び、前記画像内の主被写体位置の視差をできる
だけ０にする。を満たすように、奥行き値もしくは視差
値分布の調整を行う。

【００７４】を満たすことを主目的とする場合、隣接
視点間の左右画像間で観察される視差は、最大視差値ｄ
_max、及び最小視差値ｄ_minをとるとすると、任意の視点
ｒ_xにおいて、ｄ_max≒Ｄ_max、ｄ_min≒Ｄ_minを取り、最
大視差範囲を有効に利用していることが望ましい。

【００７５】このことから、視差値分布画像全域に対し
て、オフセット加算を行い、視差値の範囲を調整する。
オフセット値ｓｈを求め、視差値分布に対して調整を行
い、最大可能視差値、及び最小可能視差値によって規定
される最大奥行き範囲を有効に利用し、主被写体の視差
量が原則的に極力０に近くなるように、視点位置の決定
を行う。

【００７６】まず、視差値分布画像中の視差値にオフセ
ット加算等の線形的な調整を行い、次に、視点位置を決
定する。視差値分布画像中の最大視差値をｄ_max、最小視
差値をｄ_minとし、入力視差画像のうち例えば左画像を
ｓ７により生成する仮想視点画像シーケンスの基準画像
（始点画像）とする。

【００７７】そして、左右ステレオ画像対間の視差に対
する各画像の比率つまり視点位置パラメータをｒとし、
入力視差画像のうち左画像の視点を取った場合はｒ＝
０、右画像の視点を取った場合はｒ＝１とする。

【００７８】そうすると次式に各最大視差値及び最小視
差値を代入することにより、視点位置ｒを取った場合
の、基準画像である左入力画像と、仮想始点画像間に生
じるｘ方向の最大視差値及び最小視差値を求めることが
できる。

【００７９】

【数７】

【００８０】最大沈み込み量、最大飛び出し量を超えな
い範囲で視点位置ｒを設定していくことになるが、最大
視差範囲を有効に利用するためには視差分布画像全域の
視差値に前述のオフセットを加える必要が生じる。次式
によりオフセットｓｈ及び基準画像に隣接する視点位置
ｒを計算する。

【００８１】

【数８】

【００８２】とする。

【００８３】また、を満たすことを主目的とする場合
には、主被写体を含む部分の代表的な視差値もしくは奥
行き値をｄ₀とすると、オフセットｓｈは、

【００８４】

【数９】

【００８５】で求められる。

【００８６】基準画像に隣接する仮想視点画像の視点位
置パラメータは

【００８７】

【数１０】

【００８８】のうち小さなｒにより求められる。

【００８９】しかしながら、オフセットを加算する本処
理のみでは及びを同時に満たし、かつ有効に最大視
差値範囲を利用することは困難である。

【００９０】そこで、視差値分布画像の視差値を非線形
に変換することにより、視差値の調整を行い、前記立体
画像の設計条件及びを同時に満たし、最大視差値範
囲を有効に利用するような多眼立体画像のデプス値構成
へと変更を行う。図５に画像のデプス値を非線形に調整
する方法を示す。

【００９１】図５は前記の指針を優先し、視差値分布
画像全域にオフセットを加算する処理を行った画像に対
する処理の様子を示している。横軸方向が修正前の視差
値の分布であり、縦軸方向が、修正後の視差値である。
黒丸が主被写体の持つ視差値の代表的な値である。

【００９２】中央の点線が修正後の視差分布における視
差０の位置を示している。上方の点線が修正後の視差分
布における最大可能視差の位置、下方の点線が修正後の
視差分布における最小可能視差の位置である。

【００９３】この図においては、主被写体の視差値の代
表的な値は負の値を持ってしまっている。そこで、制御
曲線において該黒丸を上方へ図中の点線位置まで引き上
げることにより、修正後の主被写体の代表的な値を０に
することができ、前記の条件を満たすことができる。

【００９４】また、制御曲線においてカーブの形状を滑
らかにフィッティングし、視差値の変化を滑らかにする
ことにより、仮想視点画像中における歪みを小さくす
る。

【００９５】また、図６に前記の指針を優先し、視差
値分布画像全域にオフセットを加算する処理を行った画
像に対する処理の様子を示す。

【００９６】図６と同様に、横軸方向が修正前の視差値
もしくは奥行き値の分布であり、縦軸方向が、修正後の
視差値である。黒丸が主被写体の持つ視差値の代表的な
値であり、上方の点線が修正後の視差分布における最大
可能視差の位置を、下方の点線が修正後の視差分布にお
ける最小可能視差の位置を、右上の黒丸が視差値画像中
の最大視差値を、左下の黒丸が視差値画像中の最小視差
値を示している。本調整を行った後には、視差分布画像
中の最大視差値及び最小視差値が変化していることか
ら、再度（６）式を利用し、視点位置の比率ｒを計算す
べきである。

【００９７】本実施例においては、線形的調整、非線形
的調整の順序で視差値分布画像もしくは奥行き画像の調
整を行ったが、線形的調整のみ、非線形的調整のみ、も
しくは非線形的調整、線形的調整の順で奥行き感調整の
処理を行っても良い。

【００９８】また、の方針を満たす以外にも、図７
に示すような操作を行うことにより、部分的な立体感を
強調するような他の効果を得ることもできることは明ら
かである。

【００９９】ｓ６の仮想画像シーケンス生成部において
は入力視差画像、ｓ５の奥行き感調整部において求め
た、修正された視差値分布画像、及び、視点位置、つま
り視点位置に対応する入力左右ステレオ画像対の視差に
対する各画像の比率ｒ、を用いて各視点位置の仮想視点
画像を生成する。

【０１００】まず、左画像からの新規視点画像を左画像
の画素を用いたフォワードマッピングにより生成する。
すなわち、まず左画像の各画素をマッピングする新規視
点画像中の画素位置（ｘ，ｙ）での視差ｄ、視点位置を
表す比率ｒ、修正された視差値分布画像中の、画像全体
に対する視差値のオフセットｓｈ、ｓ５の奥行き感調整
部の非線形調整により加えられた視差値変化量Δｄ_Lを
用いて次式（２）により求める。

【０１０１】

【数１１】

【０１０２】同様にして、右画像からの新規視点画像を
右画像の画素を用いたフォワードマッピングにより生成
する。すなわち、右画像の各画素をマッピングする新規
視点画像中の位置（ｘ_N，ｙ_N）を右画像の画素位置
（ｘ，ｙ）での視差ｄ、視点位置を表す比率ｒ、画像全
体に対する視差値のオフセットｓｈ、ｓ５の奥行き感調
整部においてユーザーにより加えられた視差値変化量Δ
ｄを用いて左画像と同様に次式（２’）により求める。

【０１０３】

【数１２】

【０１０４】である。

【０１０５】そして左画像の画素位置（ｘ、ｙ）での画
素を左画像からの新規視点画像の（ｘ_N，ｙ_N）へとマッ
ピングする。視点変化によるオクルージョンにより、入
力視差画像中で違う位置の画素が同一画素にマッピング
されてしまう場合、かつ大きくそれらの画素に関する視
差値の違う場合、視差値の大きい画素の画素値のみを採
用する。視差値がほぼ同じ値を持つ場合はそれらの画素
値の平均を採用する。

【０１０６】同様に右画像の画素位置（ｘ、ｙ）での画
素を右画像からの新規視点画像の（ｘ_N，ｙ_N）へとマッ
ピングする。左画像と同様に視点変化によるオクルージ
ョンにより、入力視差画像中で違う位置の画素が同一画
素にマッピングされてしまう場合、かつ大きくそれらの
画素に関する視差値の違う場合、視差値の小さい画素の
画素値のみを採用する。また、左画像と同様に視差値が
ほぼ同じ値を持つ場合はそれらの画素値の平均を採用す
る。

【０１０７】この処理を左右画像の全画素について繰り
返す。

【０１０８】そして、左画像からの新規視点画像と右画
像からの新規視点画像を合成する。左画像からのみしか
画素が割り当てられなかった画素は左画像からの画素値
を採用し、右画像からのみしか画素が割り当てられなか
った画素は右画像からの画素値を採用する。

【０１０９】左右画像の両方から画素値が割り当てられ
た画素は、視点位置を表す比率がｒ＝０近傍、もしくは
ｒ＜０であった場合は左画像により割り当てられた画素
値を採用し、ｒ＝１近傍、もしくはｒ＞１であった場合
は右画像により割り当てられた画素値を採用する。

【０１１０】これは、新規視点画像が入力視差画像の視
点位置のごく近傍、もしくは外挿視点位置である場合は
より近傍の側の入力視差画像から割り当てられた画素値
のみを採用することを表す。

【０１１１】そして、視点位置を表す比率が０＜ｒ＜１
の時には、視点位置を重みとして、左右画像から割り当
てられた画素の間で次式（３）により加重平均を行い。
合成画像の画素値を求める。

【０１１２】

【数１３】

【０１１３】ｎは所定のパラメータであり、ｎの値を大
きくしすぎると、求める画素値はより近傍の入力画像の
画素値の影響を強く受ける。計算時間も考慮して、ｎ＝
１程度が望ましい。

【０１１４】左右画像のどちらからも画素が割り当てら
れなかった画素に対しては、穴埋め処理を行う。

【０１１５】この穴埋め処理は、求める画素から所定距
離離れた有効な画素を探索し、その画素値の距離をパラ
メータとした加重平均値を割り当てる。有効な画素が存
在しないときは探索する範囲を広げて探索を繰り返す。

【０１１６】以上の処理で全画素有効な新規視点画像が
生成される。この処理を視点数分繰り返して、多視点画
像シーケンスとする。

【０１１７】ｓ７の三次元ストライプ画像合成部におい
ては、多視点画像シーケンスから三次元ストライプ画像
を合成する。

【０１１８】このとき、多視点画像シーケンス中の各画
像の同一座標の画素を画像の視点配置に従い、隣接画素
として配列するように三次元画像を合成する。

【０１１９】合成はそれぞれの視点の画像を垂直方向に
ラインごとに短冊状に分解し、視点位置の逆順に視点
数分だけ合成する。

【０１２０】ここで、視点位置の配列順を逆順にするの
はレンチキュラ板により観察する際、レンチキュラの１
ピッチ内で画像が左右逆に観察されるためである。

【０１２１】ｓ８の印刷部においては三次元ストライプ
画像の印刷を行う。印刷を行う前に前述したｓ１からｓ
７までの処理結果を表示装置に表示して確認できるよう
にしてもよい。

【０１２２】以上ｓ１からｓ８の処理により印刷した画
像にレンチキュラ板を重ね合わせると良好な立体画像が
観察できる。

【０１２３】本実施例においては、カメラ配置を水平方
向に限定し、入力視差画像対が水平方向のみに視差を有
する場合に限定して処理手法の説明を行ったが、カメラ
配置を垂直方向にして撮影した入力視差画像対に対して
も、配置を水平方向から垂直方向に置き換えて処理手法
を適用することにより、仮想視点画像シーケンスの作成
が容易であるといえる。よって、水平垂直視差を有する
ＩＰプリント作成等への処理の拡張も容易であるといえ
る。

【０１２４】また、本実施例に示したレンチキュラシー
トを用いた多眼立体プリント以外のＩＰプリント、レン
チキュラ、ＩＰを用いた多眼立体ディスプレイやホログ
ラフィック・ステレオグラムなど、同様に少しずつ視点
を変えて撮影した多数枚の画像を必要とする各種多眼立
体視表示手法に対しても、本実施例の画像生成方法によ
り多視点画像シーケンスを生成し、多視点画像シーケン
スを入力画像としてそれぞれ前記多眼立体視表示手法に
合った合成手法により、多眼立体視画像として合成し、
表示・出力しても、多視点画像間の視差を調整し、立体
画像における画像中の物体の飛び出し量、沈み込み量の
調整を行う、本発明の要素を用いることにより、見やす
い立体画像を生成することができる。

【０１２５】本手法には、従来から多視点画像を撮影す
るカメラの台数が少なくてよいというメリットがあげら
れる。そして、特にｓ５に示されるような本発明の要素
を用いることにより、多視点画像間の視差を調整し、立
体画像における画像中の物体の飛び出し量、沈み込み量
の調整を行うことにより、見やすい立体画像を生成する
ことができる。

【０１２６】（第２の実施例）本実施例は、第１の実施
例の手法を複雑なシーンを撮影した入力視差画像に適用
し、奥行き調整処理を行った場合に生じる、期待しない
領域の画素の視差値もしくは奥行き量を変更してしま
い、該期待しない画像領域の像を歪ませてしまう問題を
防止する。

【０１２７】そのために、入力ステレオ画像もしくは奥
行き画像もしくは視差値分布画像もしくはこれらの複数
画像の情報を用いて領域分割を行い、該領域分割による
領域情報を利用し、特定領域を選択して、特定領域に対
応する画素の奥行き量または視差値の調整のみを行う。

【０１２８】これにより、期待しない領域の画素の奥行
き量または視差値を変更することなく、奥行き調整を行
うことにより、該期待しない画像領域の像を歪ませるこ
となく、生成する仮想視点画像間の視差を調整し、見や
すい立体画像を生成する方法である。

【０１２９】図２に本実施例のアルゴリズムを示す。図
においてｓ２０１は画像データ取得部、ｓ２０２は対応
点抽出部、ｓ２０３は視差分布画像作成部、ｓ２０４は
画像生成パラメータ取得部、ｓ２０５は領域分割部、ｓ
２０６は奥行き感調整部、ｓ２０７は仮想視点画像シー
ケンス生成部、ｓ２０８は三次元ストライプ画像生成
部、ｓ２０９は印刷部である。

【０１３０】本実施例におけるｓ２０１の画像データ取
得部、ｓ２０２の対応点抽出部、ｓ２０３の視差分布画
像作成部、ｓ２０４の画像生成パラメータ取得部、およ
びｓ２０７の仮想視点画像シーケンス生成部、ｓ２０８
の三次元ストライプ画像生成部、ｓ２０９の印刷部は、
実施例１のｓ１の画像データ取得部、ｓ２の対応点抽出
部、ｓ３の視差分布画像作成部、ｓ４の画像生成パラメ
ータ取得部、ｓ６の仮想視点画像シーケンス生成部、ｓ
７の三次元ストライプ画像生成部、ｓ８の印刷部と同じ
動作をする。よって本実施例においては説明を省略す
る。

【０１３１】ｓ２０５の領域分割部においては、入力ス
テレオ画像、もしくは奥行き画像もしくは視差値分布画
像もしくはこれらの複数画像の複合情報を用いて、領域
分割を行い、特定領域を選択する。

【０１３２】領域分割処理に関しては、公知の手法とし
てｋ−ｍｅａｎ法等のクラスタリングによる手法、多段
階閾値による処理手法、領域成長法などが挙げられる
（画像解析ハンドブック，高木幹雄，下田陽久，東京大
学出版会（１９９１））が、本発明への適用に対して、
前述の画像情報を有効に利用し、シーン中の個々の物体
の物体輪郭にあたる画像中の境界を侵食しない手法であ
れば、その手法の差異は問わない。任意の領域分割手法
を選択してよい。

【０１３３】本実施例の説明においては、領域分割手法
のうち、単純な例として、領域成長法を用いた場合に得
られるであろう結果を用いる。

【０１３４】図１０に、ある入力視差画像を示す。この
入力画像に対して、ｓ２０５の領域分割部において領域
分割を行った結果生成されるラベル画像を図１１に示
す。

【０１３５】ｓ２０６の奥行き感調整部においては、ま
ず、第１の実施例と同様にして、視差値分布画像全域に
対して、オフセット加算等の線形的な調整をおこなう。

【０１３６】視差値分布画像中の最大視差値をｄ_max、最
小視差値をｄ_minとし、入力視差画像のうち例えば左画
像をｓ７により生成する仮想視点画像シーケンスの基準
画像（始点画像）とする。そして、左右ステレオ画像対
間の視差に対する各画像の比率つまり視点位置パラメー
タをｒとし、入力視差画像のうち左画像の視点を取った
場合はｒ＝０、右画像の視点を取った場合はｒ＝１とす
る。そうすると次式に各最大視差値及び最小視差値を代
入することにより、視点位置ｒを取った場合の、基準画
像である左入力画像と、仮想始点画像間に生じるｘ方向
の最大視差値及び最小視差値を求めることができる。

【０１３７】

【数１４】

【０１３８】最大沈み込み量、最大飛び出し量を超えな
い範囲で視点位置ｒを設定していくことになるが、最大
視差範囲を有効に利用するためには視差分布画像全域の
視差値に前述のオフセットを加える必要が生じる。

【０１３９】次式によりオフセットｓｈ及び基準画像に
隣接する視点位置ｒを計算する。

【０１４０】

【数１５】

【０１４１】とする。

【０１４２】また、を満たすことを主目的とする場合
には、主被写体を含む部分の代表的な視差値もしくは奥
行き値をｄ₀とすると、オフセットｓｈは、

【０１４３】

【数１６】

【０１４４】で求められる。基準画像に隣接する仮想視
点画像の視点位置パラメータは

【０１４５】

【数１７】

【０１４６】のうち小さなｒにより求められる。

【０１４７】しかしながら、オフセットを加算する本処
理のみでは及びを同時に満たし、かつ有効に最大視
差値範囲を利用することは困難である。

【０１４８】そこで、第１の実施例では一般的な、画像
のトーン変換を行う要領で、視差値分布画像の視差値を
非線形に変換することにより、視差値の調整を行い、前
記立体画像の設計条件及びを同時に満たし、最大視
差値範囲を有効に利用するような多眼立体画像のデプス
値構成へと変更を行う処理をおこなった。

【０１４９】しかしながら、図１０のような物体配置構
成を持つステレオ画像間から得られた視差値分布画像に
対し、第１の実施例のｓ５の奥行き感調整部の非線形的
な調整処理を行おうとした場合、期待しない領域の画素
の視差値を変更してしまい、よって、期待しない画像領
域を歪ませる結果になる問題が生じる。なぜならば、図
１０のステレオ画像対は図１２の（１）のグラフに示さ
れるような視差値分布を持つからである。

【０１５０】図１２において、Ａ、Ｂ、Ｃ、Ｄはｓ２０
５の領域分割部によって得られた領域分割情報中から背
景領域をのぞいた領域に任意につけられた領域ラベルの
記号であり、図１１中のＡ、Ｂ、Ｃ、Ｄに対応する。図
１２のグラフの縦軸は図５のグラフの縦軸と同様、視差
分布画像中の視差値の分布を示す。それぞれラベルＡ、
Ｂ、Ｃ、Ｄにおける短形は視差画像中のそれぞれの領域
における視差値の分布範囲である。短形中の黒丸は分割
領域中で任意に選択した代表値である。

【０１５１】図１１中のＡのオブジェクトを主被写体と
する場合、図１２のグラフ中からわかるように、第１の
実施例の図５の調整と同じように主被写体の代表点の視
差値が負の値を持つため、この代表点及び近傍の視差値
を、第１の実施例の図５の調整で行ったように０近づけ
る処理を行うことになる。

【０１５２】しかしながら、このステレオ画像中のＤの
ラベルを持つ物体もこの主被写体Ａ内の代表点近傍の視
差値の画素を持つため、第１の実施例のｓ５の奥行き感
調整部の非線形的な調整処理を行った場合、物体Ｄに含
まれる視差調整の効果を期待しない領域の画素の視差値
を変更してしまうことになる。

【０１５３】よって、入力視差画像の性質によっては、
仮想視点画像、しいては立体画像中において、第１の実
施例のｓ５の奥行き感調整部の非線形的な調整処理を行
おうとした場合、調整の効果を期待しない領域の画素の
視差値を変更してしまい、期待しない画像領域を歪ませ
る結果になる問題が生じるような場合が考えられるのは
明らかである。

【０１５４】そこで本発明における第２の実施例におい
ては、第１の実施例に対し、非線形的な奥行き量または
視差値の調整を行う場合には、領域分割を実装し、特定
領域を選択して、特定領域に対応する画素の奥行き量ま
たは視差値の調整を行うことにより、期待しない領域の
画素の奥行き量または視差値を変更することなく、奥行
き調整を行うことにより、期待しない画像領域を歪ませ
ることなく、生成する仮想視点画像間の視差を調整し、
見やすい立体画像を生成する。

【０１５５】第２の実施例のｓ２０６の奥行き感調整部
の非線形的な調整処理においてはｓ２０５によって生成
された図１１のような領域情報を元に、特定領域に対応
する画素の奥行き量または視差値の所望の調整を行う。
本実施例においては、一例として、図１２に示されるよ
うなグラフに視差分布画像中の視差値を整理し、対話的
に、非線形的な視差の調整を行う手法を示す。

【０１５６】図１２において、Ａ、Ｂ、Ｃ、Ｄはｓ２０
５の領域分割部によって得られた領域分割情報中から背
景領域をのぞいた領域に任意につけられた領域ラベルの
記号であり、図１１中のＡ、Ｂ、Ｃ、Ｄに対応する。図
１２のグラフの縦軸は図５のグラフの縦軸と同様、視差
分布画像中の視差値の分布を示す。それぞれラベルＡ、
Ｂ、Ｃ、Ｄにおける短形は視差画像中のそれぞれの領域
における視差値の分布範囲である。短形中の黒丸は分割
領域中で任意に選択した代表値である。

【０１５７】図１２の（１）において、ラベルＢの短形
はＤ_maxを表す点線に触れ、ラベルＤの短形はＤ_minを表
す点線に触れ、点線をはみ出す視差値を持つオブジェク
トは存在しない。この事実は前段の線形的な視差調整に
より、立体画像設計の方針が成り立っていることに他
ならない。

【０１５８】そこで、図１２の（２）のように主被写体
中の代表点を０に近づける処理を行うことになるが、第
２の実施例の領域分割による情報を利用し、特定領域に
対応する画素の奥行き量または視差値の調整のみを行う
ことにより、期待しない画像領域を歪ませることなく、
同時に立体画像設計の方針を満たすことができるよう
になる。

【０１５９】短形で示される個々の物体内の視差値の分
布範囲は処理を行っても図１２の（２）のように保存さ
れる。精度を保ちたい場合には、視差値を奥行き値に変
換して該処理を行う。

【０１６０】ｓ２０７以下の処理においては、第１の実
施例と同様の処理を行い、特定領域に対応する画素の奥
行き量または視差値の調整を行うことにより、期待しな
い領域の画素の奥行き量または視差値を変更することな
く、奥行き調整を行うことにより、生成する仮想視点画
像間の視差を調整し、見やすい立体画像を生成すること
ができる。

【０１６１】本手法には、従来から多視点画像を撮影す
るカメラの台数が少なくてよいというメリットがあげら
れる。そして、特にｓ２０５、ｓ２０６に示されるよう
な本発明の要素を用いることにより、特定領域を選択し
て、特定領域に対応する画素の奥行き量または視差値の
調整を行うことにより、期待しない領域の画素の奥行き
量または視差値を変更することなく、奥行き調整を行う
ことにより、期待しない画像領域を歪ませることなく、
生成する仮想視点画像間の視差を調整し、見やすい立体
画像を生成することができる方法である。

【０１６２】（第３の実施例）本実施例では、第２の実
施例に記述される見やすい立体画像を生成する方法にお
いて、領域分割を行う代わりに、ＧＵＩからユーザーが
対話的に領域の分割を行う方法である。

【０１６３】図２は本実施例及び第２の実施例のアルゴ
リズムである。つまり、本実施例は大局的に第２の実施
例と同じ処理アルゴリズムを取る。図においてｓ２０１
は画像データ取得部、ｓ２０２は対応点抽出部、ｓ２０
３は視差分布画像作成部、ｓ２０４は画像生成パラメー
タ取得部、ｓ２０５は領域分割部、ｓ２０６は奥行き感
調整部、ｓ２０７は仮想視点画像シーケンス生成部、ｓ
２０８は三次元ストライプ画像生成部、ｓ２０９は印刷
部である。

【０１６４】本実施例におけるｓ２０１の画像データ取
得部、ｓ２０２の対応点抽出部、ｓ２０３の視差分布画
像作成部、ｓ２０４の画像生成パラメータ取得部、およ
びｓ２０６の奥行き感調整部、ｓ２０７の仮想視点画像
シーケンス生成部、ｓ２０８の三次元ストライプ画像生
成部、ｓ２０９の印刷部は、第２の実施例のｓ２０１の
画像データ取得部、ｓ２０２の対応点抽出部、ｓ２０３
の視差分布画像作成部、ｓ２０４の画像生成パラメータ
取得部、およびｓ２０６の奥行き感調整部、ｓ２０７の
仮想視点画像シーケンス生成部、ｓ２０８の三次元スト
ライプ画像生成部、ｓ２０９の印刷部と同じ動作をす
る。よって本実施例においては説明を省略する。

【０１６５】ｓ２０５の領域分割部においては、ユーザ
ーにより、対話的かつ、高精度に領域分割に間する情報
が入力され、該領域分割に間する情報を用いて、領域分
割情報を直ちに生成する手段を備える。

【０１６６】例えば、特開平２００−３３９４８３に示
されるような、ディスプレイ上に表示された画像に対
し、ポインティングデバイスで確定した開始点もしくは
前確定点と現在マウスが指し示す点の間のエッジトレー
スをマウスの動きに追従して常時高速に行い、結果をリ
アルタイムにディスプレイに表示させることにより、修
正作業の必要性を無くし、高い操作性と高精度のエッジ
トレースの両立を可能にするような、高性能なリアルタ
イムかつ、対話的な領域分割に関する情報を生成する手
段を備える。該エッジトレース結果により、ｓ２０６に
おいて利用する、領域分割情報を直ちに生成する。

【０１６７】これにより、第２の実施例のｓ２０５の領
域分割部において、各種領域分割法を実施し、シーン中
に含まれる、個々の物体ごとに入力画像を分割するよう
な、良好な領域分割結果を得るために必要となり、かつ
微妙な設定値の誤りにより分割結果を大きく変えてしま
う、各種領域分割法に依存する領域分割パラメータの設
定が不要になる。

【０１６８】ｓ２０６以下の処理においては、第２の実
施例と同様の処理を行い、特定領域に対応する画素の奥
行き量または視差値の調整を行うことにより、期待しな
い領域の画素の奥行き量または視差値を変更することな
く、奥行き調整を行うことにより、生成する仮想視点画
像間の視差を調整し、見やすい立体画像を生成すること
ができる。

【０１６９】本手法には、従来から多視点画像を撮影す
るカメラの台数が少なくてよいというメリットがあげら
れる。そして、特にｓ２０５、ｓ２０６に示されるよう
な本発明の要素を用いることにより、領域分割におい
て、複雑な領域分割パラメータの設定を行うことなく、
ユーザーの入力により、適切な領域分割が可能であり、
分割された領域から、特定領域を選択して、特定領域に
対応する画素の奥行き量または視差値の調整を行うこと
により、期待しない領域の画素の奥行き量または視差値
を変更することなく、奥行き調整を行うことにより、期
待しない画像領域を歪ませることなく、生成する仮想視
点画像間の視差を調整し、見やすい立体画像を生成する
ことができる方法である。

【０１７０】

【発明の効果】立体画像の飛び出し量、沈み込み量調整
を行い、表示時に、強い立体感を感じさせながら、最適
視点位置を外れた場合でも目が疲れにくい、違和感の少
ない立体表示を容易に実現する立体画像生成方法を提供
すること。

【０１７１】立体画像の飛び出し量、沈み込み量調整を
行い、複雑なシーンを撮影した入力視差画像に対して
も、期待しない画像領域を歪ませることなく、表示時
に、強い立体感を感じさせながら、最適視点位置を外れ
た場合でも目が疲れにくい、違和感の少ない立体表示を
容易に実現する、立体画像生成方法を提供すること。

【図面の簡単な説明】

【図１】 本発明の第１の実施例のアルゴリズムを示す
図

【図２】 本発明の第２の実施例及び第３の実施例のア
ルゴリズムを示す図

【図３】 飛び出し量及び沈み込み量と視差量との関係
を示す図

【図４】 テンプレートマッチングを示す図

【図５】 奥行き感調整を示す図

【図６】 奥行き感調整を示す図

【図７】 奥行き感調整を示す図

【図８】 観察位置と像飛ばしの関係を示す図

【図９】 画像シーケンスにおける像飛ばしの関係を示
す図

【図１０】 ステレオ画像対を示す図

【図１１】 図１０のステレオ画像に対し領域分割を行
った結果の図

【図１２】 領域分割情報を用いた奥行き感調整を示す
図

Claims (6)

【特許請求の範囲】
1. 【請求項１】 仮想視点画像生成を用いた立体画像生成
   方法において、奥行き量または視差値の調整を行うこと
   により、生成する仮想視点画像間の視差を調整すること
   を特徴とする立体画像生成方法。
2. 【請求項２】 前記奥行き量または視差値の調整は、入
   力ステレオ画像または奥行き画像または視差値分布画像
   またはこれらの複数画像の情報を用いて、領域分割を行
   い、選択された特定領域に対して行われることを特徴と
   する、請求項１に記載の立体画像生成方法。
3. 【請求項３】 前記奥行き量または視差値の調整は、ユ
   ーザーの対話的操作により入力画像の領域分割を行い、
   選択された特定領域に対して行われることを特徴とす
   る、請求項１に記載の立体画像生成方法。
4. 【請求項４】 請求項１に記載の立体画像生成方法をプ
   ログラムにして記録した記録媒体。
5. 【請求項５】 請求項２に記載の立体画像生成方法をプ
   ログラムにして記録した記録媒体。
6. 【請求項６】 請求項３に記載の立体画像生成方法をプ
   ログラムにして記録した記録媒体。