JP2005026772A - Method and apparatus of displaying stereoscopic video image - Google Patents

Method and apparatus of displaying stereoscopic video image Download PDF

Info

Publication number
JP2005026772A
JP2005026772A JP2003187197A JP2003187197A JP2005026772A JP 2005026772 A JP2005026772 A JP 2005026772A JP 2003187197 A JP2003187197 A JP 2003187197A JP 2003187197 A JP2003187197 A JP 2003187197A JP 2005026772 A JP2005026772 A JP 2005026772A
Authority
JP
Japan
Prior art keywords
image
display
lens
imaging
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003187197A
Other languages
Japanese (ja)
Inventor
Akinari Suehiro
晃也 末廣
Shinji Nakamura
伸司 中村
Original Assignee
Victor Co Of Japan Ltd
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Co Of Japan Ltd, 日本ビクター株式会社 filed Critical Victor Co Of Japan Ltd
Priority to JP2003187197A priority Critical patent/JP2005026772A/en
Publication of JP2005026772A publication Critical patent/JP2005026772A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and an apparatus of displaying a stereoscopic video image which are capable of appropriately displaying contents having a common resolution on displays having different screen sizes while using a reproducing lens array of the same lens spacing. <P>SOLUTION: An image photographed by a camera 100 (CAM 01) is displayed on a region A01 of a two-dimensional display 200, and an image photographed by a camera 100 (CAM 02) is displayed on a region A02 of the two-dimensional display 200. The display image is constituted without allowing the regions A01 and A02 or the regions A01 and A11 to be adjacent, so that interpolation regions (B01, C01, D01) are provided therebetween. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、立体映像表示方法及び立体映像表示装置に関わるものであり、裸眼による立体視が可能なIP(Integral Photography)方式の3次元ディスプレイに関する。
【0002】
【従来の技術】
近年、液晶を中心とする表示デバイスやコンピュータによるデジタル信号処理技術などの進歩により、物体を立体的に見せる三次元(3D)ディスプレイの研究開発が活発化し、パソコン対応の3Dディスプレイや立体テレビが登場するなど応用も急速に進展している。
3Dディスプレイには以前から多くの表示方式が提案されているが、特別なメガネを必要とする立体ディスプレイ方式とメガネなし3Dディスプレイに大別できる。
【0003】
特別なメガネを必要とする立体ディスプレイには、古くから立体写真や立体映画で使われている赤・青メガネをかけて見るアナグリフ方式、博覧会などでよく使われる偏光フィルタ方式や視覚のプルフリッヒ効果を利用した濃度差方式などがある。また、ゴーグル形の立体映像表示装置であるヘッドマウントディスプレイや立体テレビジョンとして液晶シャッタを用いた時分割立体テレビ方式が実用化されており、各方面で利用されている.
【0004】
一方、メガネなし3Dディスプレイ方式もこれまでに数多く提案されている。代表的な方式としては、パララックスステレオグラム、パララックスパノラマグラムのほか、レンチキュラスクリーン方式などがある。これらはいずれも立体写真の分野で使われていたが、最近では立体テレビに応用する研究が活発化し、高画質な立体動画像表示ができるようになった。
また、最近になっていくつかの新しいメガネなし3Dディスプレイ方式が提案されるようになってきた。とりわけ、Lippmannが1908年に発表したIP(Integral Photography:インテグラルフォトグラフィー、あるいはインテグラルイメージングともいう)と呼ばれる立体写真技術は、立体感を生み出す視覚的要因である「輻輳」、「調節」、「両眼視差」、「運動視差」の4要因をすべて満足し得るために、理想的な3次元ディスプレイへの応用が期待されている(例えば、非特許文献1を参照。)。IPは、2次元的に配列したレンズアレイ(フライアイレンズ、蝿の目レンズ、複眼レンズなどともいう)を利用して物体の奥行き情報を取得するものであるが、径および間隔の微小なレンズアレイの製造が困難であるために、実用化に向けた研究開発が活発化したのは1980年代以降のことである。
【0005】
IP技術を実用化する初期の提案のひとつとして、本出願人による「XYZプロッタ」を挙げることができる(例えば、特許文献1を参照。)。同提案は、記録時においては、数値データとして入力した3次元物体の光強度分布を、移動可能なXYZステージ上の点光源に出力して走査することにより、当該3次元物体を実空間上の点の軌跡として表現するとともに、当該3次元物体をフライアイレンズにより、各レンズを通して眺めた多視点の像(要素画像と呼ばれる)の群として結像させて写真乾板上に記録する。そして、再生時においては、適当な現像処理を施した、かかる要素画像群を背後から照明することにより、当該レンズアレイによる要素画像群の各々の像を、空間上に結像させる。このとき、光線の経路が可逆的であることから、もとの点光源の軌跡の位置に各光線が再現されるため、観察者は、要素画像群の各々の像を眼で積分して平滑化することにより、空間上に浮かぶ3次元物体の像として認識できることになる。同提案により得られる立体像は静止画であったが、同発明者の研究により医療応用への道が開拓され(例えば非特許文献2を参照。)、手術への応用を可能とする特許発明も提案されている(例えば、特許文献2を参照。)。
【0006】
1990年代に入ると、従来の写真乾板による記録を電子技術で置き換えることにより、IPによる動画を生成する技術が提案された(例えば特許文献3を参照。)。さらに、同発明者の手により、屈折率分布レンズアレイ(GRINレンズアレイともいう)とハイビジョンカメラとを用いて被写体を撮像して要素画像群を取得しながら、各画像を液晶ディスプレイにリアルタイムに伝送して表示して、フライアイレンズにより空間上に結像することに成功し、IP方式による3次元テレビジョン放送の実現可能性が示された(例えば、非特許文献3を参照。)。
現時点では、撮像素子や表示素子の画素間隔が粗いために、得られる立体映像の解像度が低く、実用化には至っていないが、現代のナノテクノロジーにより加速している高精細ディスプレイ技術の進歩により、遠くない将来にIP方式の3次元ディスプレイが実用化されることが予想される。
【0007】
【特許文献1】
特許第1897532号
【0008】
【特許文献2】
特許第2856052号
【0009】
【特許文献3】
特開平08−289329号公報
【0010】
【非特許文献1】
大越孝敬著「三次元画像工学」朝倉書店(1991年)
【0011】
【非特許文献2】
M. Iwahara, Y.NISHI, N.SUZUKI, Med. Imag. Tech. Vol.11 No.5 December 1993 ”Touchable Organic Image in the Air by Using 3−D Plotter”
【0012】
【非特許文献3】
B. Javidi, F. Okano Editors, ”Three−Dimensional Television, Video, and Display Technologies” Springer−Verlag (2002) , P101〜P123
【0013】
【発明が解決しようとする課題】
さて、上述した各文献によるIP方式により再生される立体映像の(横方向の)解像度は、観察者からの距離によって異なり、像がフライアイレンズの近傍にあるときに最大となる。このような最大の解像度は、図11に図示するように、フライアイレンズ300のレンズ間隔Peと視距離(すなわち、フライアイレンズと観察者の間隔)Lにより決定されるものである。これをβ(単位視野角あたりのライン数)と表すとβ=L/2Peの関係がある。この式より、解像度βが一定ならば、視距離Lとレンズ間隔Peは比例関係にあることがわかる。
【0014】
ここで、視距離Lをフライアイレンズの構造が気にならなくなるような最小距離と定義すると、視距離Lはディスプレイの画面サイズに比例する。したがって、レンズ間隔Peは画面サイズに比例することになる。すなわち、画面の高さをHとすれば、Pe∝Hという関係になり、画面サイズに応じて異なるレンズ間隔のフライアイレンズを用意しなくてはならないことになる。
【0015】
しかしながら、フライアイレンズ製造の困難性を考慮すれば、異なる画面サイズのディスプレイに対しても、フライアイレンズのレンズ間隔が共通であることが好ましい。
ところが、ディスプレイのサイズは、テレビジョン、シアターシステム、パソコン、携帯情報端末等様々なものがあり、異なる画面サイズのディスプレイに対して、共通のレンズアレイを使用すると、当然のことながら、画面サイズが小さい場合には立体映像の解像度が不十分となるといった問題があった。
【0016】
また、このような不都合を防ぐには、使用する画面サイズに応じた、解像度のコンテンツを用意すればよい。しかしながら、画面サイズに応じた解像度のコンテンツを用意するには、テレビ放送やインターネット配信等を行う際に、各家庭のディスプレイのサイズ情報を取得するための双方向接続が必要となるといった問題があった。
【0017】
本発明は、以上の点に鑑みなされたもので、異なる画面サイズのディスプレイに対して、同一のレンズ間隔の再生用レンズアレイを使用しながら、解像度が共通のコンテンツを適切に表示させることのできる立体映像表示方法及び立体映像表示装置を提供することを目的とする。
【0018】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の1)〜2)記載の手段よりなる。
すなわち、
1) 撮像の際には、複眼形状の立体像撮影用レンズの各眼の略焦点面にそれぞれ設置されたカメラにより被写体をそれぞれ分割して撮像し、当該撮像により取得した各分割画像を集合した画像群を2次元ディスプレイに表示させ、再生の際には、前記立体像撮影用レンズと同一構成の再生用レンズ、又は前記各眼と同一寸法の眼を複眼形状に配置し、撮像の際に用いる前記立体像撮影用レンズの外形寸法と同一の比率の外形を有する再生用レンズを用いて前記2次元ディスプレイ表示した前記画像群を結像させることにより、前記被写体の立体視を可能とする立体映像表示方法において、
前記立体像撮影用レンズを構成する複眼の内各眼にそれぞれ対応した撮像画像部分を撮像するステップと、
前記撮像画像部分に基づいて複数の補間画像部分を生成するステップと、
前記それぞれの眼に対応した撮像領域部分を細分割して前記撮像画像部分と前記複数の補間画像部分とを配置して表示画像を生成するステップと、
前記生成した表示画像を2次元ディスプレイに表示するステップと、
前記2次元ディスプレイに表示した前記表示画像を前記再生用レンズにより結像させる際、同一ピッチの再生用レンズを前記2次元ディスプレイのサイズに応じたサイズにして結像させるステップと、を有することを特徴とする立体映像表示方法。
2)撮像の際には、複眼形状の立体像撮影用レンズの各眼の略焦点面をカメラを移動させることにより被写体をそれぞれ分割して撮像し、当該撮像により取得した各分割画像を集合した画像群を2次元ディスプレイに表示させ、再生の際には、前記立体像撮影用レンズと同一構成の再生用レンズ、又は前記各眼と同一寸法の眼を複眼形状に配置し、撮像の際に用いる前記立体像撮影用レンズの外形寸法と同一の比率の外形を有する再生用レンズを用いて前記2次元ディスプレイ表示した前記画像群を結像させることにより、前記被写体の立体視を可能とする立体映像表示に用いる立体映像の立体映像表示装置において、
前記物体を照明する照明手段と、
前記照明手段による前記物体からの散乱光を撮像素子上に結像させる撮像手段と、
前記立体像撮影用レンズを構成する複眼の内各眼にそれぞれ対応した撮像画像部分を取得するために前記撮像手段を移動させる移動手段と、
前記撮像画像部分に基づいて複数の補間画像部分を生成する補間画像部分生成手段と、
前記それぞれの眼に対応した撮像領域部分を細分割して前記撮像画像部分と前記複数の補間画像部分を配置して表示画像を生成する信号処理手段と、
前記信号処理手段より得られた前記表示画像を表示する平面表示手段と、
前記平面表示手段が放射する前記表示画像の光線を実空間上に結像させる結像手段と、を備え、前記結像手段は、同一ピッチの再生用レンズを前記平面表示手段のサイズに応じたサイズにして結像させることを特徴とする立体映像表示装置。
【0019】
【発明の実施の形態】
以下、本発明の立体映像表示方法及び立体映像表示装置の発明の実施の形態につき、好ましい実施例により説明する。
図1は、本実施例に適用される要素画像の配置を示す図である。同図に示す2次元ディスプレイ200には、複数のカメラ100(CAMmn 但しm、n=0,1,2,3・・・)で撮像された多視点画像Amn,Bmn,Cmn,Dmn(m、n=0,1,2,3・・・)が表示されている。2次元ディスプレイ200としては、LCD、有機EL、あるいはLCOSのプロジェクター等の高精細ディスプレイを使用する。カメラ100は、実写、すなわち実空間上の3次元物体50を撮影する場合にはフライアイレンズ300とビデオカメラを組み合わせて使用するが、本実施例では、CG(コンピュータグラフィックス)による仮想空間上の3次元物体50からの光線を撮像する仮想的なカメラ100を考える。
カメラ(CAM00)が撮影した画像は、2次元ディスプレイ200の領域A00に表示する。一方、カメラ(CAM01)が撮影した画像は、2次元ディスプレイ200の領域A01に表示する。同様に、カメラ(CAMij)(但し、i,j=0,1,2,3・・・)が撮影した画像は、2次元ディスプレイ200の領域Aij(i,j=0,1,2,3・・・)に表示する。
本実施例では、領域AijとAi+1,j、あるいは領域AijとAi,j+1の間は隣接させずに、その間にAijとは異なる画像を表示する補間領域(Bij、Cij、Dij)を設ける構成としている。
【0020】
図2は、従来の要素画像の配置を示す図である。従来の要素画像の配置は、カメラ100で撮像した要素画像Aijをそのまま、2次元ディスプレイ200aに表示させていた。そうすると、図10に示すように、ディスプレイの大きさ異なる200bあるいは200cに対しては、最適な視距離において同一の解像度の立体映像を表示させるためには、要素画像Aijの大きさをディスプレイサイズに比例して変化させる必要がある。その結果、これらの要素画像Aijを結像させるフライアイレンズ300を構成する要素レンズLij(図7に図示)の大きさも変化させなくてはならないことになる。
【0021】
図3は、本実施例に適用される立体映像表示装置の構成を示す図である。同図に示す立体映像表示装置は、光源10、3次元物体50、カメラ100、2次元ディスプレイ200、フライアイレンズ300、3次元物体の再生像500から構成される。
光源10は、3次元物体50を照明し、その散乱光がカメラ100のレンズに入射する。カメラ100は、3次元物体50を複数の視点から撮影可能なカメラである。具体的には、複眼レンズを備えたカメラであっても良いし、複数の視点に移動可能な1台のカメラであってもよい。また、複数台の単眼レンズカメラであってもよい。2次元ディスプレイ200は、カメラ100が撮影した、3次元物体50を異なる角度から眺めた像(要素画像Aij)を一覧表示する素子である。フライアイレンズ300は、2次元ディスプレイ200上に表示された要素画像Aijの各々をレンズにより実空間上に投射する光学素子である。3次元物体の再生像500は、かかる光学素子により投射され、実像(または虚像)として結像した要素画像の集合体である。
【0022】
図4は、本実施例に適用される要素画像の生成のアルゴリズムを示すフローチャートである。ステップS1において、3次元物体50のモデリングを行なう。これは、モデラーと呼ばれる3次元CG作成ソフトを用いて行なうことが一般的である。次にステップS2において、シーンファイルを作成する。シーンとは3次元CGで作られる情景全体をいう。シーンには、ステップS1で作成した3次元物体50(オブジェクト)の他に、光源10、カメラ100の3つの要素が最低限必要である。これらの座標系を決定するにあたっては、3次元物体50とカメラ100の相対的な位置関係が、後述する表示系(2次元ディスプレイ200、フライアイレンズ300、3次元物体の再生像500)と同一になることに注意する必要がある。したがって、3次元物体50とカメラ100の相対的な位置関係をあまり遠くに設定してしまうと、表示の際に、3次元物体の再生像500が、フライアイレンズ300から離れて再生されることになるため、像が劣化するという問題が生じる。したがって、システム設計で決まる像の劣化のない領域の範囲内に3次元物体の再生像500が収まるように、3次元物体50の座標を決定するようにする。
【0023】
シーンファイルの作成が終了すると、ステップS3において、3次元物体50を撮影したいアングルに視点位置CAMij(ij=0,1,2・・・)にカメラを移動する。また、出力するファイルサイズや、ファイルフォーマット等のレンダリング条件の設定を行なう。
【0024】
カメラ位置その他のレンダリング条件の設定が完了すると、ステップS4において、シーンのレンダリングを開始する。具体的には、設定したカメラ位置に入射する光線をレイトレーシング(光線追跡法)により計算する。所望の画像サイズのレンダリングが終了すると、ステップS5において、要素画像Aij(ij=0,1,2・・・)をファイル出力する。ステップS3からステップS5の処理は、すべての視点において撮影が終わるまで繰り返し行なわれる(ステップS6におけるNo)。
【0025】
全視点の撮影が完了すると(ステップS6におけるYes)、取得した要素画像から、新たな要素画像Bij、Cij、Dijを画像変換Bij=MAij、Cij=MAij、Dij=MAij(Mは変換行列)により変換する。Mが単位行列の場合には、Aij=Bij=Cij=Dijとなる(ステップS7)。そして、ステップS8において、これらの要素画像のジョイント(連結)を行なう。この処理を、すべての要素画像のジョイントが終了するまで反復させる(ステップS9におけるNo)。最後に(ステップS9におけるYes)、全要素画像の連結処理が終了すると、図1に図示する要素画像の配置が得られることになる。。
【0026】
図5は、本実施例に適用される立体映像表示装置の撮像系を示す概念図である。同図に示す撮像系は、仮想的なXYZ空間上に構築されたシステムであり、光源10、3次元物体(円錐)50a、3次元物体(立方体)50b、3次元物体(球)50c、カメラ100から構成されている。
【0027】
光源10は、3次元物体50a〜50cを照明するためのものである。点光源、面光源、スポットライト等の種々のタイプの光源をつくりだすことができる。以下に述べるレイトレーシング(光線追跡法)による撮像では、カメラに入射した光線を、光源10の方向に追跡することによって行なわれる。
【0028】
3次元物体50a〜50cは、形状と質感(テクスチャ)から構成される。3次元物体(円錐)50aは、形状が円錐であって、質感が大理石である。一方、3次元物体(立方体)50bは、形状が立方体であって、質感が木材である。3次元物体(立方体)50cは、形状が球であって、質感が光沢のある金属である。これらの3次元物体のテクスチャは、物体内部にも情報を有し、中身の詰まったいわゆるソリッドモデルである。
【0029】
カメラ100は、CAM00,CAM01,CAM02,CAM10,CAM11,CAM12,CAM20,CAM21,CAM22の計9個のカメラから構成されている。ここでは、便宜上9個のカメラのみを図示しているが、実際には、もっと多くのカメラを使用する。このカメラの数は、後で表示させたい立体映像の(横方向)解像度に等しい数だけ使用すればよい。例えば、ハイビジョン放送(有効画素数:水平1920画素×垂直1080画素)と同一の解像度を表示させたい場合には、水平1920台、垂直1080台のカメラを使用する。あるいは、1台のカメラ(CAM00)を水平および垂直方向に平行移動させて、水平1920回×垂直1080回の撮影を行なうようにしてもよい。
【0030】
これらのカメラのそれぞれは、ある1点を注視点として撮像を行なう。例えば、図5では、CAM00〜CAM01のすべてのカメラが円錐の先端を注視している様子を示している。そうすると、円錐の先端を上下左右の9つの角度から眺めた像を撮影することができ、3次元物体50aの奥行き情報を取得することができる。
【0031】
撮影は、レイトレーシング(光線追跡法)により行なう。カメラに入射する光は、光源10から発せられた光線のうち、この円錐の先端で散乱され、カメラの入射瞳に入る光束である。したがって、光源10が発する光のすべてを計算する必要はなく、カメラに入射した光束を逆向きに追跡することによって行なう。追跡する光線の数は、後で表示させる表示系の解像度(特にレンズ1個あたりに表示させる要素画像の解像度)によって決定する。例えば、1つのレンズあたり100×100画素の表示が可能な2次元ディスプレイ200を使用した場合には、撮像においても、1つのカメラにつき100×100=10000本の光線を、追跡する。
【0032】
図6は、本実施例に適用される表示系を示す概念図である。同図に示す表示系は、2次元ディスプレイ200、フライアイレンズ300から構成されている。さらに同図には、この表示系により表示される3次元物体(円錐)の再生像500a、3次元物体(立方体)の再生像500b、3次元物体(球)の再生像500c、人間の眼400が図示されている。
【0033】
2次元ディスプレイ200は、上述した複数のカメラ(CAMij)が撮像した要素画像(Aij)をマトリクス状に表示する。その配列の仕方は、図1または図2に図示する規則により行なうことは先に述べた通りである。また、表示の際には、各要素画像の大きさを、レンズアレイ300の要素レンズLij(i,j=0,1,2・・・)(図7に図示)の大きさに一致させることが必要である。
【0034】
フライアイレンズ300は、2次元ディスプレイ200に表示された要素画像(Aij)のそれぞれを、実空間上の実像(あるいは虚像)として結像させるための光学素子である。結像の機能を有するものであれば、図示するような凸レンズアレイのような屈折レンズでなくとも、ピンホールアレイや、GRINレンズアレイ等を使用することができる。ピンホールアレイは、液晶ディスプレイ(LCD)などを使用すれば電子化することができるため一見有望ではあるが、光量のロスがあることと、高解像度化に課題があることが知られている。GRINレンズアレイは、正立像を結像させることができるため、実空間の3次元物体を撮像する場合に使用すれば、いわゆる偽像の問題や隣接レンズ間のクロストークを解消できる。また、屈折レンズの表面に回折光学素子を形成することにより、単一材料でありながらも、色収差を低減したレンズを製造することもできる。
【0035】
尚、2次元ディスプレイ200とフライアイレンズ300の間には、図6に示すように空気層を設けることが好ましい。これにより、両者の相対間隔を調節可能となり、3次元物体の再生像500a〜500cを同図のように実像として表示させたり(フライアイレンズ300の有効焦点距離よりも大きい場合)、あるいは、ディスプレイの向こう側に虚像として表示させることが可能となるからである(フライアイレンズ300の有効焦点距離よりも小さい大きい場合)。
【0036】
図7は、本実施例に適用されるフライアイレンズ300の斜視図である。同図に示すフライアイレンズは、便宜上5×5個の要素レンズを有するレンズアレイとして図示してあるが、実際にはもっと多数のレンズアレイを使用する。かかる要素レンズ(Lij)数は、後で表示させたい立体映像の(横方向)解像度に等しい数だけ使用すればよい。例えば、ハイビジョン放送と同一の解像度で表示させたい場合には、水平1920個、垂直1080個の要素レンズを使用する。
【0037】
本実施例においては、要素レンズの開口形状を正方形としている。これは、2次元ディスプレイ200の画素の開口形状と一致させるためである。開口形状を円形にする場合に比べて、光量のロスを減らすことができたけでなく、システム設計を単純化することができる。
フライアイレンズの表面形状は以下のようにして決定する。すなわち、要素画像Aijからの光線を光線追跡法により求め、所望の位置に集光するスポット径がなるべく小さくなるようにレンズ形状を決定する。スポット径を大きくする原因として、単色収差に関するザイデルの5収差(球面収差、コマ収差、非点収差、像面湾曲、歪曲収差)があるが、フライアイレンズの場合は、特に軸外光線に対する像面湾曲が支配的である。各々の収差がバランスされるように最適化設計を行う。
尚、色収差に関しては、屈折率の異なる材料を組み合わせるか、上述した回折光学素子の分散特性を利用して色収差を相殺させるようにしてもよい。
【0038】
図8は、本実施例に適用される仮想空間上の3次元物体を示す図である。3次元物体(円錐)50aは、大理石のテクスチャを有しており、3次元物体(立方体)50bは、木のテクスチャを有している。そして、3次元物体(球)は、金属のテクスチャを有している。これらの3次元物体は、通常のレイトレーシングのソフトウェアで、予め用意されているプリミティブと呼ばれるものである。プリミティブの組み合わせにより、様々な形状のソリッドモデルをつくることができる。
【0039】
図9は、本実施例に適用される2次元ディスプレイに表示する要素画像を示す図である。これらは、上述した3次元物体をカメラ100により撮像して得た要素画像Aijを配列したものである。本実施例では、カメラレンズのF値が約6と大きいため、視野が狭く、したがって、各要素画像の一部ずつしか撮影されていないことがわかる。レンズの焦点距離を短くする、あるいは要素レンズLijの径を大きくすることにより、F値を小さくして広角撮影を行った場合には、要素画像Aijにより多くの情報が取り込まれて、再生時の視域角も拡大することができるが、レンズの収差の影響を受けやすくなる。
【0040】
尚、本実施例では、レイトレーシングによる3次元CGに限って説明したが、これに限定されるものではなく、他のレンダリング方式の場合にも適用することができ、さらにまた実空間上の物体をビデオカメラで撮影する場合にも、かかる信号処理を適用することが可能である。
【0041】
【発明の効果】
以上詳述したように、本発明は、異なる画面サイズのディスプレイに対して、同一のレンズ間隔のレンズアレイを使用することができ、しかも、解像度が共通のコンテンツを適切に表示させることのできるという効果を奏する。
【図面の簡単な説明】
【図1】本実施例に適用される要素画像の配置を示す図である。
【図2】従来の要素画像の配置を示す図である。
【図3】本実施例に適用される立体映像表示装置の構成を示す図である。
【図4】本実施例に適用される要素画像の生成のアルゴリズムを示すフローチャートである。
【図5】本実施例に適用される立体映像表示装置の撮像系を示す概念図である。
【図6】本実施例に適用される表示系を示す概念図である。
【図7】本実施例に適用されるフライアイレンズの斜視図である。
【図8】本実施例に適用される仮想空間上の3次元物体を示す図である。
【図9】本実施例に適用される2次元ディスプレイに表示する要素画像を示す図である。
【図10】従来の要素画像の配置を示す図である。
【図11】IPの原理を説明するための図である。
【符号の説明】
10 光源
50 3次元物体
50a 3次元物体(円錐)
50b 3次元物体(立方体)
50c 3次元豚地(球)
100 カメラ
200 2次元ディスプレイ
300 フライアイレンズ(蝿の目レンズ、複眼レンズ、マイクロレンズアレイ)
400 眼
500 3次元物体の再生像
500a 3次元物体(円錐)の再生像
500b 3次元物体(立方体)の再生像
500c 3次元物体(球)の再生像
Aij 要素画像
Lij 要素レンズ
CAMij カメラ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereoscopic image display method and a stereoscopic image display device, and relates to an IP (Integral Photography) type three-dimensional display capable of stereoscopic viewing with the naked eye.
[0002]
[Prior art]
In recent years, research and development of three-dimensional (3D) displays that display objects in three dimensions has become active due to advances in display devices centered on liquid crystals and digital signal processing technology using computers, and 3D displays and 3D televisions compatible with personal computers have appeared. Applications are progressing rapidly.
Many display methods have been proposed for 3D displays, but can be broadly divided into 3D display methods that require special glasses and 3D displays without glasses.
[0003]
For 3D displays that require special glasses, the anaglyph method for viewing with 3D photographs and 3D movies and the red / blue glasses that have been used for a long time, the polarization filter method often used in expositions, and the visual Purflich effect There is a density difference method using. In addition, a head-mounted display, which is a goggle-type stereoscopic video display device, and a time-division stereoscopic television system using a liquid crystal shutter as a stereoscopic television have been put into practical use and are used in various fields.
[0004]
On the other hand, many 3D display systems without glasses have been proposed so far. Typical methods include a parallax stereogram, a parallax panoramagram, and a lenticular screen method. These were all used in the field of stereoscopic photography, but recently, research into application to stereoscopic television has become active, and high-quality stereoscopic video display has become possible.
Recently, several new 3D display systems without glasses have been proposed. In particular, stereoscopic photography technology called IP (Integral Photography: Integral Photography, or Integrated Imaging) published in 1908 by Lippmann is a visual factor that produces stereoscopic effects, such as “convergence”, “regulation”, Since all four factors of “binocular parallax” and “motion parallax” can be satisfied, application to an ideal three-dimensional display is expected (see, for example, Non-Patent Document 1). The IP acquires the depth information of an object using a two-dimensionally arranged lens array (also referred to as a fly-eye lens, eyelid lens, compound eye lens, etc.). It was after the 1980s that research and development for practical application became active due to the difficulty of manufacturing arrays.
[0005]
One of the initial proposals for putting IP technology into practical use is the “XYZ plotter” by the present applicant (see, for example, Patent Document 1). In the recording, at the time of recording, the light intensity distribution of the three-dimensional object input as numerical data is output to a point light source on a movable XYZ stage and scanned, so that the three-dimensional object is scanned in real space. While expressing as a locus of points, the three-dimensional object is imaged as a group of multi-viewpoint images (called element images) viewed through each lens by a fly-eye lens and recorded on a photographic plate. At the time of reproduction, each element image group formed by the lens array is formed in space by illuminating the element image group, which has been subjected to appropriate development processing, from behind. At this time, since the path of the light beam is reversible, each light beam is reproduced at the position of the original point light source trajectory, and the observer integrates each image of the element image group with the eye and smoothes it. As a result, it can be recognized as an image of a three-dimensional object floating in the space. The three-dimensional image obtained by the proposal was a still image, but the research of the inventor pioneered the path to medical application (see, for example, Non-Patent Document 2), and a patented invention that enables application to surgery. Has also been proposed (see, for example, Patent Document 2).
[0006]
In the 1990s, a technique for generating a moving image by IP was proposed by replacing the recording by a conventional photographic plate with electronic technology (see, for example, Patent Document 3). Furthermore, by the same inventor's hand, each image is transmitted to the liquid crystal display in real time while taking an image of the subject using a gradient index lens array (also referred to as a GRIN lens array) and a high-vision camera to obtain a group of element images. The image was successfully displayed and imaged in space with a fly-eye lens, and the feasibility of 3D television broadcasting by the IP system was shown (for example, see Non-Patent Document 3).
At present, because the pixel spacing of the image sensor and display element is coarse, the resolution of the obtained stereoscopic image is low, and it has not been put to practical use, but due to the advancement of high definition display technology accelerated by modern nanotechnology, It is expected that an IP type three-dimensional display will be put to practical use in the not too distant future.
[0007]
[Patent Document 1]
Japanese Patent No. 1897532
[0008]
[Patent Document 2]
Japanese Patent No. 2856052
[0009]
[Patent Document 3]
JP 08-289329 A
[0010]
[Non-Patent Document 1]
Takayoshi Ohkoshi, “Three Dimensional Image Engineering”, Asakura Shoten (1991)
[0011]
[Non-Patent Document 2]
M.M. Iwahara, Y .; NISHI, N.I. SUZUKI, Med. Imag. Tech. Vol. 11 No. 5 December 1993 "Touchable Organic Image in the Air by Using 3-D Plotter"
[0012]
[Non-Patent Document 3]
B. Javidi, F.A. Okano Editors, “Three-Dimensional Television, Video, and Display Technologies” Springer-Verlag (2002), P101-P123.
[0013]
[Problems to be solved by the invention]
Now, the (horizontal) resolution of the stereoscopic video reproduced by the IP method according to each of the above-mentioned documents varies depending on the distance from the observer, and becomes maximum when the image is in the vicinity of the fly-eye lens. As shown in FIG. 11, such maximum resolution is determined by the lens interval Pe of the fly-eye lens 300 and the viewing distance (that is, the distance between the fly-eye lens and the observer) L. If this is expressed as β (number of lines per unit viewing angle), there is a relationship of β = L / 2Pe. From this equation, it can be seen that if the resolution β is constant, the viewing distance L and the lens interval Pe are in a proportional relationship.
[0014]
Here, if the viewing distance L is defined as a minimum distance that does not matter about the structure of the fly-eye lens, the viewing distance L is proportional to the screen size of the display. Therefore, the lens interval Pe is proportional to the screen size. In other words, if the height of the screen is H, the relationship Pe∝H is established, and it is necessary to prepare fly-eye lenses with different lens intervals according to the screen size.
[0015]
However, in consideration of the difficulty in manufacturing a fly-eye lens, it is preferable that the lens interval of the fly-eye lens is common even for displays having different screen sizes.
However, there are various display sizes such as televisions, theater systems, personal computers, personal digital assistants, etc. If a common lens array is used for displays with different screen sizes, it is natural that the screen size is different. If it is small, there is a problem that the resolution of the stereoscopic video becomes insufficient.
[0016]
Further, in order to prevent such inconvenience, it is only necessary to prepare a content with a resolution corresponding to the screen size to be used. However, in order to prepare content with a resolution according to the screen size, there is a problem that a bidirectional connection is required to acquire the size information of the display of each home when performing television broadcasting or Internet distribution. It was.
[0017]
The present invention has been made in view of the above points, and it is possible to appropriately display content having a common resolution on a display having a different screen size while using a reproduction lens array having the same lens interval. It is an object to provide a stereoscopic video display method and a stereoscopic video display device.
[0018]
[Means for Solving the Problems]
In order to solve the above problems, the present invention comprises the following means 1) to 2).
That is,
1) At the time of imaging, the subject was divided and imaged by the cameras installed on the substantially focal planes of the eyes of the compound eye-shaped stereoscopic image capturing lens, and the divided images acquired by the imaging were assembled. An image group is displayed on a two-dimensional display, and at the time of reproduction, a reproduction lens having the same configuration as the stereoscopic image photographing lens, or an eye having the same size as each eye is arranged in a compound eye shape, and at the time of imaging. A stereoscopic image that enables stereoscopic viewing of the subject by forming an image of the image group displayed on the two-dimensional display by using a reproducing lens having an external shape with the same ratio as the external size of the stereoscopic image capturing lens to be used. In the video display method,
Capturing a captured image portion corresponding to each of the eyes of the compound eye constituting the stereoscopic image capturing lens;
Generating a plurality of interpolated image portions based on the captured image portions;
Subdividing the imaging region portion corresponding to each eye to generate the display image by arranging the captured image portion and the plurality of interpolation image portions;
Displaying the generated display image on a two-dimensional display;
And having the reproduction lens of the same pitch formed into a size corresponding to the size of the two-dimensional display when the display image displayed on the two-dimensional display is formed by the reproduction lens. A featured stereoscopic image display method.
2) At the time of imaging, the subject is divided and imaged by moving the camera on the substantially focal plane of each eye of the compound eye-shaped stereoscopic image capturing lens, and the divided images acquired by the imaging are assembled. An image group is displayed on a two-dimensional display, and at the time of reproduction, a reproduction lens having the same configuration as the stereoscopic image photographing lens, or an eye having the same size as each eye is arranged in a compound eye shape, and at the time of imaging. A stereoscopic image that enables stereoscopic viewing of the subject by forming an image of the image group displayed on the two-dimensional display by using a reproducing lens having an external shape with the same ratio as the external size of the stereoscopic image capturing lens to be used. In a stereoscopic video display device for stereoscopic video used for video display,
Illumination means for illuminating the object;
Imaging means for forming an image of scattered light from the object by the illumination means on an imaging device;
Moving means for moving the imaging means in order to obtain captured image portions corresponding to the respective eyes of the compound eye constituting the stereoscopic image photographing lens;
Interpolated image part generating means for generating a plurality of interpolated image parts based on the captured image part;
Signal processing means for generating a display image by subdividing the imaging region portion corresponding to each eye and arranging the captured image portion and the plurality of interpolation image portions;
Planar display means for displaying the display image obtained from the signal processing means;
Imaging means for imaging light rays of the display image radiated by the flat display means in real space, and the imaging means has a reproduction lens of the same pitch according to the size of the flat display means. A stereoscopic image display device characterized by forming an image with a size.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the stereoscopic image display method and stereoscopic image display apparatus according to the present invention will be described.
FIG. 1 is a diagram showing an arrangement of element images applied to the present embodiment. The two-dimensional display 200 shown in the figure has multi-viewpoint images Amn, Bmn, Cmn, Dmn (m, m) taken by a plurality of cameras 100 (CAMmn where m, n = 0, 1, 2, 3...). n = 0, 1, 2, 3,...) are displayed. As the two-dimensional display 200, a high-definition display such as an LCD, organic EL, or LCOS projector is used. The camera 100 uses a combination of a fly-eye lens 300 and a video camera when shooting a real image, that is, a three-dimensional object 50 in a real space. In this embodiment, the camera 100 is on a virtual space using CG (computer graphics). Consider a virtual camera 100 that captures light rays from the three-dimensional object 50.
An image captured by the camera (CAM00) is displayed in the area A00 of the two-dimensional display 200. On the other hand, the image captured by the camera (CAM01) is displayed in the area A01 of the two-dimensional display 200. Similarly, an image taken by a camera (CAMij) (where i, j = 0,1,2,3...) Is an area Aij (i, j = 0,1,2,3) of the two-dimensional display 200. ...) is displayed.
In this embodiment, the regions Aij and Ai + 1, j or the regions Aij and Ai, j + 1 are not adjacent to each other, and an interpolation region (Bij, Cij, Dij) for displaying an image different from Aij is provided between them. Yes.
[0020]
FIG. 2 is a diagram showing a conventional arrangement of element images. In the conventional arrangement of element images, the element image Aij captured by the camera 100 is displayed as it is on the two-dimensional display 200a. Then, as shown in FIG. 10, for 200b or 200c having different display sizes, the size of the element image Aij is set to the display size in order to display a stereoscopic image with the same resolution at the optimum viewing distance. It is necessary to change in proportion. As a result, the size of the element lens Lij (shown in FIG. 7) that constitutes the fly-eye lens 300 that forms these element images Aij must also be changed.
[0021]
FIG. 3 is a diagram illustrating a configuration of a stereoscopic video display device applied to the present embodiment. The stereoscopic image display apparatus shown in the figure includes a light source 10, a three-dimensional object 50, a camera 100, a two-dimensional display 200, a fly-eye lens 300, and a three-dimensional object reproduction image 500.
The light source 10 illuminates the three-dimensional object 50, and the scattered light enters the lens of the camera 100. The camera 100 is a camera that can photograph the three-dimensional object 50 from a plurality of viewpoints. Specifically, it may be a camera equipped with a compound eye lens or a single camera that can move to a plurality of viewpoints. Also, a plurality of monocular lens cameras may be used. The two-dimensional display 200 is an element that displays a list of images (element images Aij) obtained by viewing the three-dimensional object 50 taken from the camera 100 from different angles. The fly-eye lens 300 is an optical element that projects each of the element images Aij displayed on the two-dimensional display 200 onto a real space using a lens. A reproduced image 500 of a three-dimensional object is an aggregate of element images projected by such an optical element and formed as a real image (or a virtual image).
[0022]
FIG. 4 is a flowchart showing an algorithm for generating an element image applied to this embodiment. In step S1, modeling of the three-dimensional object 50 is performed. This is generally performed using three-dimensional CG creation software called a modeler. Next, in step S2, a scene file is created. A scene refers to the entire scene created by 3D CG. In addition to the three-dimensional object 50 (object) created in step S1, the scene requires at least three elements of the light source 10 and the camera 100. In determining these coordinate systems, the relative positional relationship between the three-dimensional object 50 and the camera 100 is the same as that of a display system (two-dimensional display 200, fly-eye lens 300, three-dimensional object reproduction image 500) described later. It should be noted that Therefore, if the relative positional relationship between the three-dimensional object 50 and the camera 100 is set too far, the reproduced image 500 of the three-dimensional object is reproduced away from the fly-eye lens 300 during display. Therefore, there arises a problem that the image is deteriorated. Therefore, the coordinates of the three-dimensional object 50 are determined so that the reproduced image 500 of the three-dimensional object is within the range of the area without image degradation determined by the system design.
[0023]
When the creation of the scene file is finished, in step S3, the camera is moved to the viewpoint position CAMij (ij = 0, 1, 2,...) At an angle at which the three-dimensional object 50 is to be photographed. Also, the rendering conditions such as the output file size and file format are set.
[0024]
When the setting of the camera position and other rendering conditions is completed, scene rendering is started in step S4. Specifically, the light ray incident on the set camera position is calculated by ray tracing (ray ray tracing method). When the rendering of the desired image size is completed, the element image Aij (ij = 0, 1, 2,...) Is output as a file in step S5. The processing from step S3 to step S5 is repeated until shooting is completed at all viewpoints (No in step S6).
[0025]
When shooting of all viewpoints is completed (Yes in step S6), new element images Bij, Cij, and Dij are converted from the acquired element images by image conversion Bij = MAij, Cij = MAij, Dij = MAij (M is a conversion matrix). Convert. When M is a unit matrix, Aij = Bij = Cij = Dij (step S7). In step S8, these element images are jointed (connected). This process is repeated until the joint of all the element images is completed (No in step S9). Finally (Yes in step S9), when all the element images are connected, the arrangement of the element images shown in FIG. 1 is obtained. .
[0026]
FIG. 5 is a conceptual diagram showing an imaging system of a stereoscopic video display apparatus applied to the present embodiment. The imaging system shown in the figure is a system constructed in a virtual XYZ space, and includes a light source 10, a three-dimensional object (cone) 50a, a three-dimensional object (cube) 50b, a three-dimensional object (sphere) 50c, and a camera. 100.
[0027]
The light source 10 is for illuminating the three-dimensional objects 50a to 50c. Various types of light sources such as point light sources, surface light sources, and spotlights can be created. Imaging by ray tracing (ray tracing method) described below is performed by tracing a light ray incident on the camera in the direction of the light source 10.
[0028]
The three-dimensional objects 50a to 50c are composed of a shape and a texture (texture). The three-dimensional object (cone) 50a has a cone shape and a marble texture. On the other hand, the three-dimensional object (cube) 50b has a cubic shape and a texture of wood. The three-dimensional object (cube) 50c is a metal having a spherical shape and a glossy texture. The textures of these three-dimensional objects are so-called solid models that have information inside and are filled with contents.
[0029]
The camera 100 is composed of a total of nine cameras: CAM00, CAM01, CAM02, CAM10, CAM11, CAM12, CAM20, CAM21, and CAM22. Here, only nine cameras are shown for convenience, but in reality, more cameras are used. It is only necessary to use the number of cameras equal to the (horizontal) resolution of the stereoscopic video to be displayed later. For example, when it is desired to display the same resolution as high-definition broadcasting (the number of effective pixels: horizontal 1920 pixels × vertical 1080 pixels), 1920 horizontal cameras and 1080 vertical cameras are used. Alternatively, one camera (CAM00) may be moved in parallel in the horizontal and vertical directions to perform shooting 1920 times horizontal × 1080 times vertical.
[0030]
Each of these cameras takes an image with a certain point as a gazing point. For example, FIG. 5 shows a state where all the cameras CAM00 to CAM01 are gazing at the tip of the cone. If it does so, the image which looked at the tip of a cone from nine angles of up and down, right and left can be photoed, and the depth information on three-dimensional object 50a can be acquired.
[0031]
Photographing is performed by ray tracing (ray tracing method). The light incident on the camera is a light beam that is scattered at the tip of the cone among the light rays emitted from the light source 10 and enters the entrance pupil of the camera. Therefore, it is not necessary to calculate all of the light emitted from the light source 10, and it is performed by tracing the light beam incident on the camera in the reverse direction. The number of rays to be traced is determined by the resolution of the display system to be displayed later (particularly, the resolution of the element image to be displayed per lens). For example, when the two-dimensional display 200 capable of displaying 100 × 100 pixels per lens is used, 100 × 100 = 10000 rays are traced per camera even in imaging.
[0032]
FIG. 6 is a conceptual diagram showing a display system applied to this embodiment. The display system shown in the figure includes a two-dimensional display 200 and a fly-eye lens 300. Further, in the figure, a reproduction image 500a of a three-dimensional object (cone) displayed by the display system, a reproduction image 500b of a three-dimensional object (cube), a reproduction image 500c of a three-dimensional object (sphere), and a human eye 400 are shown. Is shown.
[0033]
The two-dimensional display 200 displays the element images (Aij) captured by the plurality of cameras (CAMij) described above in a matrix. The arrangement is performed according to the rules shown in FIG. 1 or 2 as described above. Further, at the time of display, the size of each element image should be matched with the size of the element lens Lij (i, j = 0, 1, 2,...) (Shown in FIG. 7) of the lens array 300. is required.
[0034]
The fly-eye lens 300 is an optical element for forming each element image (Aij) displayed on the two-dimensional display 200 as a real image (or virtual image) in real space. A pinhole array, a GRIN lens array, or the like can be used as long as it has an imaging function, instead of a refractive lens such as a convex lens array as shown. The pinhole array is promising because it can be digitized if a liquid crystal display (LCD) or the like is used. However, it is known that there is a loss of light amount and there is a problem in high resolution. Since the GRIN lens array can form an erect image, if it is used for imaging a three-dimensional object in real space, the problem of so-called false images and crosstalk between adjacent lenses can be solved. Further, by forming a diffractive optical element on the surface of the refractive lens, it is possible to manufacture a lens that is made of a single material but has reduced chromatic aberration.
[0035]
Note that an air layer is preferably provided between the two-dimensional display 200 and the fly-eye lens 300 as shown in FIG. As a result, the relative distance between the two can be adjusted, and the reproduced images 500a to 500c of the three-dimensional object can be displayed as real images as shown in the figure (when it is larger than the effective focal length of the fly-eye lens 300), or the display This is because a virtual image can be displayed on the other side of the lens (in the case where it is smaller than the effective focal length of the fly-eye lens 300).
[0036]
FIG. 7 is a perspective view of a fly-eye lens 300 applied to this embodiment. The fly-eye lens shown in the figure is illustrated as a lens array having 5 × 5 element lenses for convenience, but actually, a larger number of lens arrays are used. The number of element lenses (Lij) may be the same as the number of (stereoscopic) resolutions of stereoscopic images to be displayed later. For example, when it is desired to display at the same resolution as the high-definition broadcast, 1920 horizontal and 1080 vertical element lenses are used.
[0037]
In this embodiment, the aperture shape of the element lens is a square. This is to make it coincide with the aperture shape of the pixel of the two-dimensional display 200. Compared with the case where the aperture shape is circular, not only can the loss of light amount be reduced, but also the system design can be simplified.
The surface shape of the fly-eye lens is determined as follows. That is, the light beam from the element image Aij is obtained by the ray tracing method, and the lens shape is determined so that the spot diameter focused at a desired position is as small as possible. The reasons for increasing the spot diameter include Seidel's five aberrations (spherical aberration, coma aberration, astigmatism, field curvature, distortion aberration) related to monochromatic aberration. Surface curvature is dominant. Optimization design is performed so that each aberration is balanced.
Regarding chromatic aberration, materials having different refractive indexes may be combined, or the chromatic aberration may be canceled using the dispersion characteristics of the diffractive optical element described above.
[0038]
FIG. 8 is a diagram illustrating a three-dimensional object in a virtual space applied to the present embodiment. The three-dimensional object (cone) 50a has a marble texture, and the three-dimensional object (cube) 50b has a wood texture. The three-dimensional object (sphere) has a metal texture. These three-dimensional objects are ordinary ray tracing software and are called primitives prepared in advance. Solid models with various shapes can be created by combining primitives.
[0039]
FIG. 9 is a diagram showing an element image displayed on the two-dimensional display applied to the present embodiment. These are arrangements of element images Aij obtained by imaging the above-described three-dimensional object with the camera 100. In this embodiment, since the F-number of the camera lens is as large as about 6, the field of view is narrow, so that it can be seen that only a part of each element image is captured. When the F-number is reduced and wide-angle shooting is performed by shortening the focal length of the lens or increasing the diameter of the element lens Lij, more information is captured in the element image Aij, The viewing zone angle can also be enlarged, but is more susceptible to lens aberrations.
[0040]
In the present embodiment, the description is limited to the three-dimensional CG based on ray tracing. However, the present invention is not limited to this, and can be applied to other rendering methods. Such signal processing can also be applied when shooting with a video camera.
[0041]
【The invention's effect】
As described above in detail, the present invention can use a lens array with the same lens interval for displays of different screen sizes, and can appropriately display content with a common resolution. There is an effect.
[Brief description of the drawings]
FIG. 1 is a diagram showing an arrangement of element images applied to this embodiment.
FIG. 2 is a diagram showing a conventional arrangement of element images.
FIG. 3 is a diagram illustrating a configuration of a stereoscopic video display device applied to the present embodiment.
FIG. 4 is a flowchart showing an algorithm for generating an element image applied to this embodiment.
FIG. 5 is a conceptual diagram illustrating an imaging system of a stereoscopic video display device applied to the present embodiment.
FIG. 6 is a conceptual diagram showing a display system applied to this embodiment.
FIG. 7 is a perspective view of a fly-eye lens applied to the present embodiment.
FIG. 8 is a diagram illustrating a three-dimensional object in a virtual space applied to the present embodiment.
FIG. 9 is a diagram showing an element image displayed on a two-dimensional display applied to the embodiment.
FIG. 10 is a diagram showing a conventional arrangement of element images.
FIG. 11 is a diagram for explaining the principle of IP.
[Explanation of symbols]
10 Light source
50 3D objects
50a 3D object (cone)
50b 3D object (cube)
50c 3D pig land (sphere)
100 cameras
200 2D display
300 Fly's eye lens
400 eyes
500 Reconstructed image of 3D object
500a Reconstructed image of 3D object (cone)
500b Reconstructed image of 3D object (cube)
500c Reconstructed image of 3D object (sphere)
Aij element image
Lij element lens
CAMij camera

Claims (2)

  1. 撮像の際には、複眼形状の立体像撮影用レンズの各眼の略焦点面にそれぞれ設置されたカメラにより被写体をそれぞれ分割して撮像し、当該撮像により取得した各分割画像を集合した画像群を2次元ディスプレイに表示させ、再生の際には、前記立体像撮影用レンズと同一構成の再生用レンズ、又は前記各眼と同一寸法の眼を複眼形状に配置し、撮像の際に用いる前記立体像撮影用レンズの外形寸法と同一の比率の外形を有する再生用レンズを用いて前記2次元ディスプレイ表示した前記画像群を結像させることにより、前記被写体の立体視を可能とする立体映像表示方法において、
    前記立体像撮影用レンズを構成する複眼の内各眼にそれぞれ対応した撮像画像部分を撮像するステップと、
    前記撮像画像部分に基づいて複数の補間画像部分を生成するステップと、
    前記それぞれの眼に対応した撮像領域部分を細分割して前記撮像画像部分と前記複数の補間画像部分とを配置して表示画像を生成するステップと、
    前記生成した表示画像を2次元ディスプレイに表示するステップと、
    前記2次元ディスプレイに表示した前記表示画像を前記再生用レンズにより結像させる際、同一ピッチの再生用レンズを前記2次元ディスプレイのサイズに応じたサイズにして結像させるステップと、を有することを特徴とする立体映像表示方法。
    At the time of imaging, a group of images obtained by dividing each subject by a camera installed on a substantially focal plane of each eye of the compound eye-shaped stereoscopic image capturing lens and collecting the divided images acquired by the imaging Is displayed on a two-dimensional display, and at the time of reproduction, the reproduction lens having the same configuration as that of the stereoscopic image photographing lens, or an eye having the same size as each eye is arranged in a compound eye shape and used for imaging. Stereoscopic image display that enables stereoscopic viewing of the subject by forming the image group displayed on the two-dimensional display using a reproducing lens having an external shape with the same ratio as the external dimension of the stereoscopic image capturing lens In the method
    Capturing a captured image portion corresponding to each of the eyes of the compound eye constituting the stereoscopic image capturing lens;
    Generating a plurality of interpolated image portions based on the captured image portions;
    Subdividing the imaging region portion corresponding to each eye to generate the display image by arranging the captured image portion and the plurality of interpolation image portions;
    Displaying the generated display image on a two-dimensional display;
    And having the reproduction lens of the same pitch formed into a size corresponding to the size of the two-dimensional display when the display image displayed on the two-dimensional display is formed by the reproduction lens. A featured stereoscopic image display method.
  2. 撮像の際には、複眼形状の立体像撮影用レンズの各眼の略焦点面をカメラを移動させることにより被写体をそれぞれ分割して撮像し、当該撮像により取得した各分割画像を集合した画像群を2次元ディスプレイに表示させ、再生の際には、前記立体像撮影用レンズと同一構成の再生用レンズ、又は前記各眼と同一寸法の眼を複眼形状に配置し、撮像の際に用いる前記立体像撮影用レンズの外形寸法と同一の比率の外形を有する再生用レンズを用いて前記2次元ディスプレイ表示した前記画像群を結像させることにより、前記被写体の立体視を可能とする立体映像表示に用いる立体映像の立体映像表示装置において、
    前記物体を照明する照明手段と、
    前記照明手段による前記物体からの散乱光を撮像素子上に結像させる撮像手段と、
    前記立体像撮影用レンズを構成する複眼の内各眼にそれぞれ対応した撮像画像部分を取得するために前記撮像手段を移動させる移動手段と、
    前記撮像画像部分に基づいて複数の補間画像部分を生成する補間画像部分生成手段と、
    前記それぞれの眼に対応した撮像領域部分を細分割して前記撮像画像部分と前記複数の補間画像部分を配置して表示画像を生成する信号処理手段と、
    前記信号処理手段より得られた前記表示画像を表示する平面表示手段と、
    前記平面表示手段が放射する前記表示画像の光線を実空間上に結像させる結像手段と、を備え、前記結像手段は、同一ピッチの再生用レンズを前記平面表示手段のサイズに応じたサイズにして結像させることを特徴とする立体映像表示装置。
    At the time of imaging, an image group in which the subject is divided and imaged by moving the camera on the substantially focal plane of each eye of the compound eye-shaped stereoscopic image capturing lens, and the divided images acquired by the imaging are collected. Is displayed on a two-dimensional display, and at the time of reproduction, the reproduction lens having the same configuration as that of the stereoscopic image photographing lens, or an eye having the same size as each eye is arranged in a compound eye shape and used for imaging. Stereoscopic image display that enables stereoscopic viewing of the subject by forming the image group displayed on the two-dimensional display using a reproducing lens having an external shape with the same ratio as the external dimension of the stereoscopic image capturing lens In the stereoscopic video display device for stereoscopic video used for
    Illumination means for illuminating the object;
    Imaging means for forming an image of scattered light from the object by the illumination means on an imaging device;
    Moving means for moving the imaging means in order to obtain captured image portions corresponding to the respective eyes of the compound eye constituting the stereoscopic image photographing lens;
    Interpolated image part generating means for generating a plurality of interpolated image parts based on the captured image part;
    Signal processing means for generating a display image by subdividing the imaging region portion corresponding to each eye and arranging the captured image portion and the plurality of interpolation image portions;
    Planar display means for displaying the display image obtained from the signal processing means;
    Imaging means for imaging light rays of the display image radiated by the flat display means in real space, and the imaging means has a reproduction lens of the same pitch according to the size of the flat display means. A stereoscopic image display device characterized by forming an image with a size.
JP2003187197A 2003-06-30 2003-06-30 Method and apparatus of displaying stereoscopic video image Withdrawn JP2005026772A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003187197A JP2005026772A (en) 2003-06-30 2003-06-30 Method and apparatus of displaying stereoscopic video image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003187197A JP2005026772A (en) 2003-06-30 2003-06-30 Method and apparatus of displaying stereoscopic video image

Publications (1)

Publication Number Publication Date
JP2005026772A true JP2005026772A (en) 2005-01-27

Family

ID=34186121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003187197A Withdrawn JP2005026772A (en) 2003-06-30 2003-06-30 Method and apparatus of displaying stereoscopic video image

Country Status (1)

Country Link
JP (1) JP2005026772A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293022A (en) * 2007-05-23 2008-12-04 Kwangwoon Univ Research Inst For Industry Cooperation 3d image display method, system thereof and recording medium with 3d display program recorded therein
JP2009272922A (en) * 2008-05-08 2009-11-19 Nippon Hoso Kyokai <Nhk> Stereoscopic image conversion apparatus and program thereof
JP2016045644A (en) * 2014-08-21 2016-04-04 日本放送協会 Image generation device, image generation method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293022A (en) * 2007-05-23 2008-12-04 Kwangwoon Univ Research Inst For Industry Cooperation 3d image display method, system thereof and recording medium with 3d display program recorded therein
JP4607208B2 (en) * 2007-05-23 2011-01-05 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 3D display method
US8384769B1 (en) 2007-05-23 2013-02-26 Kwangwoon University Research Institute For Industry Cooperation 3D image display method and system thereof
JP2009272922A (en) * 2008-05-08 2009-11-19 Nippon Hoso Kyokai <Nhk> Stereoscopic image conversion apparatus and program thereof
JP2016045644A (en) * 2014-08-21 2016-04-04 日本放送協会 Image generation device, image generation method, and program

Similar Documents

Publication Publication Date Title
Okano et al. Real-time integral imaging based on extremely high resolution video system
Stern et al. Three-dimensional image sensing, visualization, and processing using integral imaging
JP4440066B2 (en) Stereo image generation program, stereo image generation system, and stereo image generation method
KR20150068299A (en) Method and system of generating images for multi-surface display
US6831677B2 (en) System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
Min et al. Three-dimensional display system based on computer-generated integral photography
US20090066786A1 (en) Depth Illusion Digital Imaging
CN105637428B (en) Hologram three-dimensional display system and method
JPH06194758A (en) Method and apparatus for formation of depth image
Balram et al. Light‐field imaging and display systems
JPH11508058A (en) Method and system for obtaining automatic stereoscopic images
US9197877B2 (en) Smart pseudoscopic-to-orthoscopic conversion (SPOC) protocol for three-dimensional (3D) display
KR101600681B1 (en) Depth convertion method of 3D images interal imaging system
US9983384B2 (en) Stereoscopic lens for digital cameras
TWI489149B (en) Autostereoscopic display apparatus and storage media
JP2005026772A (en) Method and apparatus of displaying stereoscopic video image
WO2011099896A1 (en) Method for representing an initial three-dimensional scene on the basis of results of an image recording in a two-dimensional projection (variants)
JP3676916B2 (en) Stereoscopic imaging device and stereoscopic display device
US7489332B2 (en) System and method for producing a uniformly magnified three-dimensional image of a three-dimensional scene
JP3091644B2 (en) 3D image conversion method for 2D images
KR20080007451A (en) Depth illusion digital imaging
JP6166985B2 (en) Image generating apparatus and image generating program
WO2009109804A1 (en) Method and apparatus for image processing
JP2006047690A (en) Projection type ip system three-dimensional display system
KR101093929B1 (en) Method and system for displaying 3-dimensional images using depth map

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050929

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20060824