JP2004320189A

JP2004320189A - ２次元画像の３次元化方法

Info

Publication number: JP2004320189A
Application number: JP2003108611A
Authority: JP
Inventors: Masayuki Nomura; 正幸野村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-04-14
Filing date: 2003-04-14
Publication date: 2004-11-11

Abstract

【課題】２次元画像から、違和感のない３次元画像が作成する。小型画面の画面周囲においても自然な３次元画像を高速に形成する。
【解決手段】輪郭成分を検出する輪郭成分検出手段９１と、輪郭成分のエリア内の水平方向の最大点を検出する輪郭成分最大点値検出手段９２と、エリアを設定するエリア発生手段９３と、補間ポイントを設定する補間ポイント設定手段９４と、補間ポイントからルックアップテーブルを設定するルックアップテーブル設定手段９５と、入力画像を記憶するメモリー９６、左目用画像を作成する左目用画像作成手段９７と、右目用画像を作成する右目用画像作成手段９８とを有する。輪郭成分検出手段９１は、入力２次元画像に含まれる水平方向輪郭成分を検出する。立体視においては、水平方向、すなわち左右方向の画像のずれが意味をもつので水平方向の輪郭を検出する。
【選択図】図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、２次元画像を３次元画像に変換する技術に関し、特に、画面サイズが比較的小さく、また動画像および静止画像を３次元映像に変換するに好適な高速変換が可能な技術に関する。
【０００２】
【従来の技術】
２次元画像を３次元化する技術は、今までにもいくつかの技術が提案されている。例えば、２次元画像から３次元画像用の左目画像或いは右目画像を生成する２次元画像の３次元化方法であって、背景画像から手前画像を抽出し、手前画像を移動させ、手前画像を移動させたことによって生じる無画像領域を補填するように手前画像を拡大して合成する方法が開示されている（特許文献１参照）。
【０００３】
また、２次元画像から３次元画像用の左目画像あるいは右目画像を生成する２次元画像の３次元化方法であって、２次元画像の立体化しようとする所定領域の周囲の画像を拡大あるいは縮小することにより、前記所定領域を左右に移動させて左目画像あるいは右目画像を作成する方法が開示されている（特許文献２参照）。
【０００４】
さらに、２次元の入力映像に基づいて、フィールドの左半部および右半部のうちいずれか一方がそのままで、他方が水平方向の外側に向かって引き延ばされた引き延ばし映像を生成し、引き延ばし映像および入力映像のうち、一方を左目用とし、他方を右目用とする方法が開示されている（特許文献３参照）。
【０００５】
また、２次元入力映像信号に基づいて、１フィールド画面内に設定された複数の領域で画像特徴を抽出し、抽出された画像特徴に基づいて視差情報を生成し、各所定領域内の信号から視差情報に応じた位相差を有する第１映像信号と第２映像信号を生成する方法が開示されている（特許文献４参照）。
【０００６】
【特許文献１】
特開平７―１８２５３３号公報
【特許文献２】
特開平８―６３６１５公報
【特許文献３】
特開平９―１１６９２９公報
【特許文献４】
特開平１０―５１８１２公報
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１では、手前画像の内容にもよるが、無画像領域を問題なく補填するためには、手前画像をかなりの量で変形（拡大）する必要があり、得られた３次元画像を見たときに違和感があったり、立体感が不足したりする。また、実際には、手前画像を精度よくかつ高速に抽出する手段がなく、特に、動画に対して適用することは難しい。
【０００８】
特許文献２では、２次元画像の立体化しようとする所定領域の周囲を拡大縮小することによって、周囲の部分の画像が大きく歪むことになり、立体感を強くすればするほど歪みが大きくなり、作成された３次元画像が違和感のあるものになりやすいという欠点がある。
【０００９】
特許文献３では、引き延ばした結果得られた画像はもとの画像より大きくなるため、大きくなった分は削除して表示することになるが、この部分は右目と左目で片方は画像があるが、片方は画像がない状態が発生する。従って、画面中央部は良いのだが、画像の周囲において不自然な画像、あるいは立体感のない画像になってしまい、違和感のある画像になってしまう欠点がある。特に小型のディスプレイにおいては、相対的に画面中央の面積が少なくなるし、画面全体が目に入り画面枠に近い部分も常に見えるので、この問題は、顕著に表れる。
【００１０】
特許文献４では、各領域の特徴情報から正確な視差情報を得る手段が確立されておらず、従って、これから得た情報で得た２つの画像は、各領域での視差設定に誤差を生じ違和感を生じやすい。これを改善するために、より複雑な特徴抽出と視差判別方法を採用することも考えられるが、その装置はより複雑な構成となり、高速動作が困難となる。従って、高速な変換ができなくなり、特に動画への適用が難しくなる。
【００１１】
以上のように、従来の技術では、３Ｄ変換された映像が不自然になったり、また動画に適する高速な変換ができなかったりするという問題点があった。
本発明は、２次元画像から、違和感のない３次元画像を作成するとともに、小型画面の画面周囲においても自然な３次元画像が実現でき、かつ、高速に変換できる技術を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の一観点によれば、２次元画像に基づいて右目用画像と左目用画像とを作成し前記２次元画像を３次元化する方法であって、前記２次元画像における各画素位置に対して、３次元表示をする際の奥行き方向の仮想奥行き位置情報を設定する第１のステップと、前記仮想奥行き位置情報を基に、右目用画像と左目用画像との画素移動量を決定する第２のステップと、決定された前記画素移動量を基に、右目用画像と左目用画像とを生成する第３のステップとを有することを特徴とする２次元画像の３次元化方法が提供される。
【００１３】
上記方法によれば、３次元表示をする際の奥行き方向の仮想奥行き位置情報に基づいて右目用画像と左目用画像との画素移動量を決定するため、違和感のない３次元表示が可能となる。
【００１４】
また、前記第２のステップにおいて、各画素の移動量に関するデータを記憶させたルックアップテーブルを参照するのが好ましい。ルックアップテーブルを参照して３次元化を行えば、高速に変換を行うことができる。
【００１５】
本発明の他の観点によれば、２次元画像に基づいて右目用画像と左目用画像とを作成し前記２次元画像を３次元化する装置であって、前記２次元画像における各画素位置に対して３次元表示をする際の奥行き方向の仮想奥行き位置情報を設定し、前記仮想奥行き位置情報を基に右目用画像と左目用画像との画素移動量を決定し、決定された前記画素移動量を基に右目用画像と左目用画像とを生成し、該右目用画像及び左目用画像に基に３次元表示を行うように制御する制御部を有することを特徴とする装置が提供される。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しつつ説明を行う。まず、表示面が平面であるディスプレイに立体的に表示を行う原理について図１を参照して説明する。図１において、符号１１は観察者、１２は観察者の左目、１３は観察者の右目、１４は画像を表示するディスプレイの表示面を表す。２次元画像では、ディスプレイ表示面１４上のＡ点に表示される画像について、左目用の画像はＬＡ点に、右目用画像はＲＡ点になるようずらして表示したとする。観察者１１は、これを観察するときは、Ａ点に表示される場合と比べると、目の輻輳角を調節して少し外側を向くようにし、ずれた像ではなく一つの被写体画像として認識するが、このとき像がＢ点にあるようにすなわち、Ａ点より観察者１１から遠くに存在するように認識する。
【００１７】
また、左目用の画像はＬＡ’点に、右目用画像はＲＡ’点になるようずらして表示したとすると、今度は目の輻輳角を調節して少し内側を向くようにし、一つの被写体画像として認識するが、このとき像がＢ’点にあるように、すなわちＡ点よりも観察者１１から見て近くにあるように認識する。これらのことは、実験的、経験的に確認されている。このようにして、左目用の画像と右目用の画像とを、ディスプレイ表示面１４上において表示位置をずらして表示させることにより立体視が可能となる。
【００１８】
以上に説明したような立体視を行うための、左目用の画像と右目用の画像を作成する方法としては、カメラを２台使う方法が知られている。次に、この方法について図２を参照して説明する。図２において、符号２１は左目用画像を撮影するためのカメラ、２２は左カメラの撮像面、２３は右目用画像を撮影するためのカメラ、２４は右カメラの撮像面である。２台のカメラ２１、２３の撮像方向を平行にすると、２台のカメラの中心線上無限遠にある物体が左右画面の中心に撮影される。これが左カメラではＬＣ、右カメラではＲＣである。無限遠よりもさらに近くにある物体Ｄは、画面中心からずれて撮影される（符号ＬＤ、ＲＤ）。符号２５に撮影される画面上で、ＬＣ、ＲＣ、ＬＤ，ＲＤの位置を示している。このように、左カメラ２１と右カメラ２３とでは、物体Ｄは撮影画像２５上の異なった位置、すなわち、ずれ量Ｘｍを有して撮影される。尚、Ｘｍは撮影者１１から被写体までの距離により変化する。
【００１９】
従って、左カメラ画像を左目用画像として、右カメラ画像を右目用画像としてディスプレイの表示面１４に表示し、左目用画像が左目に、右目用画像が右目に到達するように表示すれば、ずれＸｍをもとに、観察者１１は奥行き認識するので奥行きが表現でき、立体視が可能となるのである。尚、ディスプレイへの表示方法については既知の技術があり、ここでは説明は省略する。
【００２０】
ところで、３次元撮影のために２台のカメラを使うことは撮影の負担が大きく一般的でないため３次元映像技術が普及しない一因になっている。しかしながら、既に２次元画像が多く存在しており、これらの画像を３次元的に見ることができれば、新たな３次元画像を撮影する必要がなく非常に便利である。従って、かかる、２次元画像に基づき３次元画像を作成する技術が望まれている。
【００２１】
１枚の２次元画像から、上記で説明したように表示位置のずれた２枚の画像を作成すれば、３次元画像として見ることができる。このずれ量Ｘｍは、被写体の距離により変わるため、被写体距離によってずらす量を変えた画像を作成すればよい。
【００２２】
一般的に、撮影された被写体で画像の表示位置と被写体までの距離はおおむね図３に示すようになっている。図３において、符号３１は画面の領域を画定する画枠を、符号３２は画面の中心位置を示している。符号３３は画面の左端部分、３４は右端部分、３５は下端部分、３６は中央部分、３７は上端部分を示す。一般的には、左端部分３３、右端部分３４、下端部分３５には近距離の被写体が、上端部分３７には遠方の被写体が、また、中央部分３６は比較的遠方の被写体が配置されている場合が多い。従って、画面の中心が一番近くに、中央に向かって遠くになるように表示するように、仮想的な表示位置を定め、これに従って画像をずらすことで、立体視できる画像が作成できる。
【００２３】
上記一般則は、実際に撮影された画像に関する経験則に基づくものである。従って、これをもとに３次元画像を作成すれば、多くの場合には良好な３次元画像が得られる。但し、例えば、人物のポートレート撮影では人物を画面の中央に撮影するので、中央には人物、すなわち近い被写体が写ることが多い。このような場合には、その画像にあわせて、中央が近くに表示されるように仮想表示位置を定めれば良い。尚、動画像のように連続して画像内容が変わって行く場合、場面場面で仮想位置を設定することも可能であるが、簡単には最も可能性の高い構図における仮想位置を設定しておく方が全体として良好な３次元画像が得られる。
【００２４】
次に、画像の外側部分の仮想的表示位置の設定について説明する。３次元画像をディスプレイに表示し観察する場合に、ディスプレイが比較的大型であれば、画像の縁にあるディスプレイの枠は気にならないことも多いが、ディスプレイが小型になれば、ディスプレイの枠は必ず目に入ってくるようになる。この場合に、この枠は当然一つであり、実際の観察者と枠との距離が観察者に認識される。枠に隣接する画像の一番外側の部分、たとえば図３の画面左端３３、画面右端３４であるが、これは、３次元画像を作成する場合に、ディスプレイ表示面より近くに見せるか遠くに見せるかといった設定が、左目用、右目用の画像のずらし方で可能である。ところが、表示面から大きくずらしてしまうと、画像の仮想的な表示位置と、ディスプレイの枠の位置が不連続となり、違和感のある画像になったり、立体視ができなくなったりし、画面の中央部分でのみしか立体感が得られなくなる。そこで、特に小型のディスプレイを有する場合では、立体視できる大きさが非常に小さいものとなり、立体視視効果が少なくなる。
【００２５】
従って、画像の外側部分はディスプレイ表示面とほぼ同じ位置（つまり、奥行き位置が略ゼロ）に仮想的な表示位置を設定することが望ましい。このようにして、画面左端３３、画面右端３４の仮想的な表示位置が決められる。それ以外は、図３を参照して説明した相対的な位置関係に従って仮想的な表示位置が決められる。
【００２６】
次に右目用画像、左目用画像を作るための画素の移動量設定の仕方について説明する。図４は、元画像から左目画像、右目画像を作る例を示している。符号４１は元画像の２次元画像であり、中心を同じにし大きさの異なる矩形を例示している。符号４２は左目画像である。元画像の画素位置を移動しているが、小さい矩形ほど左側に大きく移動している。符号４３は右目画像である。小さい矩形ほど右側に大きく移動している。小さい矩形ほど左右画像間の中心距離が大きくなっている。図１を参照して説明したように、この左右画像を使って立体視を行うと小さい矩形ほどずれ量が大きく遠くに位置するように認識される。
【００２７】
そして、右画像、左画像、それぞれでは、大きさの異なる矩形の中心がずれているにもかかわらず、両目で立体視した場合は、それぞれの矩形の中心が一致して認識され、元画像４１のような配置で小さい矩形が奥にあるように認識されることが実験で確かめられている。すなわち、右画像、左画像、それぞれの画像位置の平均的な位置に認識されるのである。従って、右画像、左画像を作成する場合は、それぞれの画像で、元画像からの画素移動は方向が互いに逆で移動量がほぼ同じにすることが望ましい。
【００２８】
以上の説明に従って設定した仮想的な奥行き方向の表示位置設定の例と、これに基づく左目用、右目用の画素移動の例について図５（Ａ）から（Ｅ）までを参照して説明する。図５（Ａ）の符号５１は説明のための座標軸の設定について示している。符号５１１は観察者であり、符号５１２はディスプレイ表示位置である。ディスプレイ表示位置５１２の中心を座標の原点５１３とし、ディスプレイ表示位置５１２の水平方向をｘ、ディスプレイ表示位置５１２の垂直方向をｙ、奥行き方向をｚとする。またディスプレイ表示位置５１２の大きさを水平Ｈ、垂直Ｖとする。図５（Ｂ）、（Ｃ）の符号５２は仮想的な画像の表示位置の設定例を示している。これは観察者がディスプレイを見たとき、３次元画像がｚ軸上のどの位置に見えるかを表している。符号５２１はｘ−ｚ領域で表している。符号５２１１はｙ＝０の点での仮想表示位置である。ディスプレイの両端であるｘ＝−Ｈ／２、ｘ＝Ｈ／２の点ではｚ＝０でありディスプレイと同じ位置に表示し、画面中心部ｘ＝０ではｚを最大にしており表示位置が奥になるように設定している。図５（Ｃ）の符号５２２はｙ−ｚ領域で表している。符号５２２１はｙ＝０の場合、符号５２２２はｘ＝−Ｈ／２またはｘ＝Ｈ／２の場合である。
【００２９】
ここで、仮想的な表示位置の設定は、隣接する画素で極端に大きく異ならないように、隣接する画素での移動量の変化に換算し、１画素から２画素までの間に設定する必要がある。隣接する画素間に極端な差があると、変換された画像のその部分で画素の飛びまたは変形が認識され、不自然な画像になってしまうためであり、文献２で局部的な変形をしているのと同じような不具合が発生してしまうためである。図５（Ｂ）、（Ｃ）において、符号５２１及び５２２において隣接する画素での仮想的表示位置は連続的に変化するようになっており、極端な変化や飛びはないように設定されている。このようにして、各画素について仮想的な表示位置を設定する。
【００３０】
図５（Ｄ）、（Ｅ）の符号５３は、画素移動量の設定例を示す図である。符号５３１は画素移動量の表し方を示している。座標（ｘ１，ｙ１）に位置する画素を移動して新たな画像を作成する。ｘ軸の＋方向を移動の＋方向とし、その移動量をｍとする。このようにして各画素について移動量を設定する。図５（Ｅ）の符号５３２にその例としてｙ＝０の場合を示している。符号５３２１が右目用画像を作成するための移動量、符号５３２２が左目用画像を作成するための移動量である。この移動量は、仮想的な表示位置が決まれば、図１の原理図を参照して幾何的に計算可能である。すなわち、Ａ点をＢ点に表示したい場合、Ａ点の画像を左目用はＬＡまでずらし、右目用はＲＡまでずらせばよい。
【００３１】
次に、こうして得られた画素移動量から、左目用画像、右目用画像を作成する方法について説明する。右目用画像を作る場合について図６を参照して説明する。図６（Ａ）の符号６２は右目用画像の移動量を示しており、図５（Ｅ）の符号５３２における符号５３２１と同じものである。この移動量をもとに、ある画像の元画像の画素位置と右画像の画像位置との関係を図６（Ｂ）のルックアップテーブル６３に示す。ｘは元画像の水平位置でありｘｏｕｔは作成する右画像の位置である。符号６３１の直線は、画素移動がない場合のｘとｘｏｕｔの関係を示しており、この場合はｘｏｕｔ＝ｘである。符号６３２は画素移動を行った場合の例であり、ｘｏｕｔ＝ｘ＋ｍになっている。この関係を用いて右画像を作る場合、例えば、ｘｏｕｔ１の画素は元画像のｘ１にある画素を持ってくれば良い。このようにして、元画像の画素位置と右画像の画素位置との関係を各画素位置について求めたルックアップテーブルを記憶しておく。
【００３２】
右画像を作成するには、各画素位置に対して、このルックアップテーブルを参照して元画像の画素位置を求め、その場所の画素を充当する。これをすべての画素で実施すれば右目用画像が作成できる。尚、左目用画像も同様にして作成できる。このようにすれば、実際の画像作成はルックアップテーブルを参照して画素を移動させるだけの処理であり、非常に高速に変換が可能である。この例では、元画像と作成する画像での画素位置をルックアップテーブルにする例で説明したが、これ以外にも、移動量だけをルックアップテーブル化して演算を行って変換する方法なども考えられる。尚、上記の技術を実際に適用する場合は、画素移動量を定めてから仮想的な表示位置を求め、これに基づく表示が適当か否かを検証する作業を行いながら最終的な表示位置を決定しても良い。
【００３３】
次に、画像の移動例についてより具体的に説明する。ここでは画像のサイズをＨ＝６４０画素と仮定する。もちろん、これ以外の画素数の場合にも適用できる。図７に、右画像用の画素移動量の設定例である。図７において、符号６１１が、右画像用の画素の移動量の設定例である。これは図６（Ａ）の符号５３２１に対応するものであるが、処理の簡単化のために曲線５３２１を複数の直線６１１で近似している。水平サイズを６４０画素にしたので、ｘ座標は−３２０＜ｘ≦３２０となる。画像の水平方向について、−３２０＜ｘ≦−１６０の範囲を例えば２０エリアに分割すると、１エリアあたり８画素となる。−１６０＜ｘ≦０のエリアを１０エリアに分割すると、１エリアあたり１６画素となる。同様に０＜ｘ≦１６０を１０エリア、１６０＜ｘ≦３２０を２０エリアに分割する。このようにして分割されたエリアの様子を図８を参照して説明する。６４０画素中の−３２０＜ｘ≦０の範囲の各エリアについては、１エリアあたり１個の補間ポイントを設定し、この補間ポイントで１画素を補間する。補間する画素は補間ポイントの近傍の画素値に基づいて作成することができる。補間した点より右側の画像は１画素右側に移動する。
【００３４】
この様子の詳細を図９に示す。図９は図８左上部に示す符号８１の領域の拡大図である。入力２次元画像８１のうちエリア１の領域に含まれる１ライン分は１から８までの８画素で構成される。エリア２に含まれる１ライン分は９から１６まの８画素で構成される。補間ポイント１を画素４の位置に、補間ポイント２を画素１２の位置に設定すると、３次元画像の右目用画像８２を作成する場合は、画素４の部分に補間画素１を補間し、入力２次元画像８１の４から１１までの画素を１画素移動する（ｍ＝１）。さらに画素１２の部分に補間画素２を補間し、画素１２以降を２画素移動する（ｍ＝２）。
【００３５】
すなわち、これは図７の画素移動の設定の詳細６２に示すようになる。詳細６２は、右画像の画素移動設定例６１の詳細な構成を示す拡大図である。エリア１、エリア２、…、エリア６０は、前述のエリア設定である。各エリアの補間ポイントで画素補間を行うものとする。上述したように、補間ポイント１で１画素を補間し、補間ポイント１から補間ポイント２の間の画像は１画素右にずらす（ｍ＝１）。さらに、補間ポイント２で１画素を補間し、補間ポイント２から補間ポイント３までの間の画像はさらに１画素ずらし、合計２画素ずらす（ｍ＝２）。このようにして、エリア１個につき１画素ずつｍが大きくなっていき、エリア３０の補間ポイント３０からエリア３１の補間ポイント３１の間の画像は、ｍ＝３０となる。すなわち画素移動量が３０画素である。
【００３６】
一方、０＜ｘ≦３２０の範囲の各エリアについては、１エリアあたり１個の補間ポイントを設定し、この補間ポイントで１画素を間引く。尚、間引いた点の近傍の画素は、間引く画素の特性を加味する等の手法を用いて補正することにより、間引きによる不自然さを改善しても良い。間引いた点より右側の画像は、画素移動を１画素減らす。すなわち、エリア３１の補間ポイント３１からエリア３２の補間ポイント３２の間の画像は、ｍ＝２９となる。そしてエリア６０の補間ポイント６０より右側では移動量がゼロとなる（ｍ＝０）。このようにして、画素移動量として符号６１１（図７）のようなラインが得られるが、その詳細は符号６２に示すような階段状のライン６１１により構成されている。左目用画像の移動についても同様に設定することができる。この移動量のラインの形状は、エリア分割方法により異なる設定とすることが可能である。上述したエリア設定は一例であって、仮想表示位置の設定から決めた画素移動量の設定値に近似するように、エリア設定を行えばよい。
【００３７】
補間ポイントの設定については、各エリアについて予め所定の位置に設定すること、例えばエリアの左右方向の中心に設定するのが１つの設定法であり、仮想表示位置の設定に近似した表示位置の画像が得られる。しかしながら、この方法では補間ポイントが規則的に配置されるので、画像の内容がたとえば輪郭がはっきりしていたり入り組んでいたりする場合、補間ポイントが画像観察時に認識されてしまう場合がある。また、立体視をする場合に両目の視差による被写体の輪郭のずれが大きな役割をしている。このため、好ましくは、補間ポイントを画像の輪郭部分に設定する。このようにすると、変換後の画像で補間ポイントが認識されてしまう点が改善され、立体視効果も向上する。上記の点も取り入れた装置の構成例を図１０に示す。
【００３８】
図１０において、符号９１は輪郭成分を検出する輪郭成分検出手段、９２は輪郭成分のエリア内の水平方向の最大点を検出する輪郭成分最大点値検出手段、９３はエリアを設定するエリア発生手段、９４は補間ポイントを設定する補間ポイント設定手段、９５は補間ポイントからルックアップテーブルを設定するルックアップテーブル設定手段、９６は入力画像を記憶するメモリー、９７は左目用画像を作成する左目用画像作成手段、９８は右目用画像を作成する右目用画像作成手段である。
【００３９】
輪郭成分検出手段９１は、入力２次元画像に含まれる水平方向輪郭成分を検出する。立体視においては、水平方向、すなわち左右方向の画像のずれが意味をもつので水平方向の輪郭を検出する。輪郭成分は、たとえば画像に含まれる高周波成分をフィルタで抽出することにより得られるが、その手段の具体例は周知の技術であるため説明を省略する。輪郭成分検出手段９１により検出された輪郭成分は所定のレベル以上の信号を輪郭成分として検出する。レベルの小さいものは、ノイズ成分である場合が多く、また、レベルの小さい輪郭を補間ポイントに設定すると、３次元変換後の画像で画質劣化が認められるためである。入力２次元画像の例を図１１に示し、図１１に示す画像を入力したときの輪郭成分検出手段９１（図１０）の出力の輪郭成分の例を図１２に示す。図１０に示すエリア発生手段９３は、既に説明した方法に沿うように、例えば、図８に示すようにエリアを設定する。輪郭成分最大点値検出手段９２は、各エリアの水平方向における輪郭成分の最大点の値を検出する。
【００４０】
補間ポイント設定手段９４は、輪郭成分最大点値検出手段９２の出力の最大ポイントに基づいて補間ポイントを設定するが、ここで注目するラインの中に輪郭成分がない場合は、エリアの水平方向の中心に補間ポイントを設定する。このようにして設定された補間ポイントの設定例を、図１３に示す。これまでに説明してきたように、画像の輪郭が強い部分や複雑な画像部分では画像の輪郭部分に補間ポイントが設定され、画像の変化が少ない部分ではエリアの左右の中心部分に補間ポイントが設定されている。ここに示す補間ポイントで画素を補間あるいは間引くことにより画像を移動し、右目用画像、左目用画像を作成する。その方法をまとめると下表のようになる。
【００４１】
【表１】

【００４２】
以上の内容から入力画像をどれだけ移動すれば変換後の画像が得られるかを特定できるので、これを予め計算してルックアップテーブルを作成する。この処理はルックアップテーブル作成手段９５において行う。ルックアップテーブルは右目用と左目用とを作成する。入力２次元画像は、メモリー９６に一旦記憶された後、左目用画像作成手段９７は、ルックアップテーブル設定手段９５で作成された左目用ルックアップテーブルを参照してメモリー９６から画像を読み出して左目用画像を作成する。右目用画像手段９８はルックアップテーブル設定手段９５で作成された右目用ルックアップテーブルを参照してメモリー９６から画像を読み出して右目用画像を作成する。
【００４３】
補間する画像は補間ポイント近傍の画像から作成し、間引く場合は補間ポイント近傍の画像は補正されるので、左目用画像作成手段９７と右目用画像作成手段９８とは、この処理を含む。図１１を入力画像として、上記のようにして作成された左目用画像を図１４（Ａ）に、右目用画像を図１４（Ｂ）に示す。
【００４４】
図１４に示すように、左目用画像（Ａ）では、図１１に比べ中央部分の被写体が左側にずれており、左右両端の被写体位置は移動していない。また右目用画像（Ａ）では、図１１に比べ、中央部分の被写体が右側にずれており、左右両端の被写体位置は移動していない。そして、図１４（Ａ）、（Ｂ）で比較してみると、中央付近の被写体で位置がずれていることがわかる。従って、これら画像を３次元画像として立体視できる。そしてそれぞれの画像で目につくような破綻は生じていない。すなわちいままで説明したように良好な変換が行われていることがわかる。
図１０に示す構成を用いると、処理内容は容易であり、変換そのものはルックアップテーブルを参照すれば良いため、高速な立体視画像への変換が可能である。
【００４５】
上述したように、本実施の形態による２次元画像の３次元化技術によれば、違和感のない３次元画像を作成できるとともに、小型画面の画面周囲のおいても自然な３次元画像が実現でき、また高速に変換できるという効果がある。また、各画素の移動量に関するデータを記憶させたルックアップテーブルを設け、ルックアップテーブルを参照することにより高速に２次元画像から３次元画像に変換できるという効果がある。従って、２次元画像から３次元画像変換が高速となるので、特に動画処理を必要とする２次元画像からの３次元画像変換には非常に有効な技術となる。
以上、本実施の形態に沿って説明したが、本発明はこれらの例に限定されるものではなく、種々の変形が可能であるのは言うまでもない。
【００４６】
【発明の効果】
上述したように、２次元画像から、違和感のない３次元画像が作成できるとともに、小型画面の画面周囲においても自然な３次元画像が実現でき、また高速に変換できるという効果がある。また、各画素の移動量に関するデータを記憶させたルックアップテーブルを設け、ルックアップテーブルを参照することにより高速に２次元画像から３次元画像に変換できるという効果がある。従って、２次元画像から３次元画像変換が高速となるので、特に動画処理を必要とする２次元画像からの３次元画像変換には非常に有効な技術となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による立体視の原理を説明するための図である。
【図２】２台のカメラを使用した立体撮影の例を示す図である。
【図３】一般に撮影された被写体の位置と被写体までの距離との関係を示す図である。
【図４】本発明の一実施の形態による右眼用画像および左眼用画像の作成例を示す図である。
【図５】図５（Ａ）から（Ｅ）までは、本発明の一実施の形態による仮想的な奥行き方向の表示位置設定の例と、これに基づく左目用、右目用の画素移動の例について示した図である。
【図６】図６（Ａ）は、本発明の一実施の形態による画素移動の設定例を右画像について示した図であり、図６（Ｂ）は、ｘｏｕｔ＝ｘ＋ｍに基づいて作成した右画像用のルックアップテーブルの例である。
【図７】本発明の一実施の形態によるエリア分割による画素移動量の設定例を示す図である。
【図８】本発明の一実施の形態によるエリア分割例を示す図である。
【図９】本発明の一実施の形態による画素移動例の詳細を示す図である。
【図１０】本発明の一実施の形態による立体画像作成装置の構成例を示すブロック図である。
【図１１】入力する２次元画像の例を示す図である。
【図１２】図１１に示す２次元画像から輪郭成分を検出した例を示す図である。
【図１３】補間ポイント設定例を示す図である。
【図１４】図１４（Ａ）は、変換された左目用の画像例であり、図１４（Ｂ）は変換された右目用の画像例である。
【符号の説明】
３１…画枠、３２…画面中心、３３…画面左端部、３４…画面右端部、３５…画面下端部、３６…画面中心部、３７…画面上端部、４１…元画像、４２…左眼（目）用画像、４３…右眼（目）用画像、９１…輪郭成分検出手段、９２…輪郭成分最大点値検出手段、９３…エリア発生手段、９４…補間ポイント設定手段、９５…ルックアップテーブル設定手段、９６…メモリー、９７…左目用画像作成手段、９８…右目用画像作成手段、ｘｍ…ずれ量。

Claims

２次元画像に基づいて右目用画像と左目用画像とを作成し前記２次元画像を３次元化する方法であって、
前記２次元画像における各画素位置に対して、３次元表示をする際の奥行き方向の仮想奥行き位置情報を設定する第１のステップと、
前記仮想奥行き位置情報を基に、右目用画像と左目用画像との画素移動量を決定する第２のステップと、
決定された前記画素移動量を基に、右目用画像と左目用画像とを生成する第３のステップと
を有することを特徴とする２次元画像の３次元化方法。
前記第２のステップにおいて、
前記２次元画像の左右端部近傍及び下端部近傍と比べて、前記２次元画像の上端部付近傍及び画像の中心部近傍を、より大きな仮想奥行き位置に設定することを特徴とする請求項１に記載の２次元画像の３次元化方法。
前記第２のステップにおいて、前記２次元画像の左右端部近傍又は下端部近傍の仮想奥行き位置を略ゼロに設定することを特徴とする請求項１又は２に記載の２次元画像の３次元化方法。
前記第２のステップにおいて、前記仮想奥行き位置は、隣接する画素間の表示位置の差が左方向又は右方向に移動する移動量に変換した場合に隣接する画素間での移動量の変化に換算して１画素から２画素までの間に設定することを特徴とする請求項１から３までのいずれか１項に記載の２次元画像の３次元化方法。
前記第２のステップにおいて、前記各画素の移動方向は、右目用画像と左目用画像とで左右が逆方向になるように設定するとともに、前記左目用画像の画素移動量と前記右目用画像の画素移動量とは略同じになるように設定することを特徴とする請求項１から請求項４までのいずれか１項における２次元画像の３次元化方法。
前記第２のステップにおいて、各画素の移動量に関するデータを記憶させたルックアップテーブルを参照することを特徴とする請求項１から５までのいずれか１項に記載の２次元画像の３次元化方法。
前記第１のステップは、前記２次元画像を水平方向に複数のエリアに分割するステップを含み、
前記第２のステップは、それぞれの前記エリアに含まれる水平方向のライン毎に画素の間引きポイント又は補間ポイントを定め、前記間引きポイント又は補間ポイントにおいて画素の間引き又は補間を行うことにより、前記右目用画像又は左目用画像を作成するための画素の移動を行うステップを含むことを特徴とする請求項１から６までのいずれか１項に記載の２次元画像の３次元化方法。
請求項１から７までのいずれか１項に記載のステップをコンピュータに実行させるためのプログラム。
２次元画像に基づいて右目用画像と左目用画像とを作成し前記２次元画像を３次元化する装置であって、
前記２次元画像における各画素位置に対して３次元表示をする際の奥行き方向の仮想奥行き位置情報を設定し、前記仮想奥行き位置情報を基に右目用画像と左目用画像との画素移動量を決定し、決定された前記画素移動量を基に右目用画像と左目用画像とを生成し、該右目用画像及び左目用画像に基に３次元表示を行うように制御する制御部
を有することを特徴とする装置。
前記制御部は、前記２次元画像の左右端部近傍及び下端部近傍と比べて、前記２次元画像の上端部付近傍及び画像の中心部近傍を、より大きな仮想奥行き位置に設定する制御を行うことを特徴とする請求項９に記載の装置。
前記制御部は、前記２次元画像の左右端部近傍又は下端部近傍の仮想奥行き位置を略ゼロに設定する制御を行うことを特徴とする請求項９に記載の装置。
前記制御部は、前記仮想奥行き位置を、隣接する画素間の表示位置の差が左方向又は右方向に移動する移動量に変換した場合に隣接する画素間での移動量の変化に換算して略２画素以下に設定することを特徴とする請求項９から１１までのいずれか１項に記載の装置。
前記制御部は、前記各画素の移動方向は、右目用画像と左目用画像とで左右が逆方向になるように設定するとともに、前記左目用画像の画素移動量と前記右目用画像の画素移動量とは略同じになるように設定する制御を行うことを特徴とする請求項９から請求項１２までのいずれか１項における装置。
さらに、各画素の移動量に関するデータを格納するルックアップテーブルを記憶する移動量記憶部を有していることを特徴とする請求項９から１３までのいずれか１項に記載の装置。
請求項９から１４までのいずれか１項に記載の装置に加えて、３次元化された画像を表示する表示部を備えた端末。
２次元画像に基づいて右目用画像と左目用画像とを作成し前記２次元画像を３次元化する装置であって、
前記２次元画像の輪郭成分を検出する輪郭成分検出手段と、
検出された前記輪郭成分の信号レベルを検出する信号レベル検出手段と、
前記２次元画像画像の水平方向に所定の数のエリアに分割されたそれぞれのエリア内のそれぞれの水平ラインにおける輪郭成分が最大になるポイントを検出する輪郭成分最大値検出手段とを有し、
検出された輪郭成分が最大になる第１のポイントの輪郭信号レベルが所定のレベル以上の場合に、前記第１のポイントを間引き又は補間するポイントとして設定し、検出された輪郭成分が最大になるポイントの輪郭信号レベルが所定のレベル以上でない場合には、予め定められた第２のポイントを間引き又は補間するポイントとすることを特徴とする装置。