JP2004104742A - Method and apparatus for generating three-dimensional video data - Google Patents

Method and apparatus for generating three-dimensional video data Download PDF

Info

Publication number
JP2004104742A
JP2004104742A JP2002303583A JP2002303583A JP2004104742A JP 2004104742 A JP2004104742 A JP 2004104742A JP 2002303583 A JP2002303583 A JP 2002303583A JP 2002303583 A JP2002303583 A JP 2002303583A JP 2004104742 A JP2004104742 A JP 2004104742A
Authority
JP
Japan
Prior art keywords
data
eye
area
shift
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002303583A
Other languages
Japanese (ja)
Inventor
Hiroshi Tawara
田原 博史
Junichi Yamauchi
山内 順一
Masahiko Kikuchi
菊池 正彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PROCYON KK
REMEDIA KK
Original Assignee
PROCYON KK
REMEDIA KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PROCYON KK, REMEDIA KK filed Critical PROCYON KK
Priority to JP2002303583A priority Critical patent/JP2004104742A/en
Publication of JP2004104742A publication Critical patent/JP2004104742A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a soft method and an apparatus for creating three-dimensional (3D) video rich in the sense of depth simultaneously with video which jumps out forwards. <P>SOLUTION: Video for a left/right eye is alternately displayed on a display screen and an observer recognizes 3D video with eyeglasses which are opened/closed synchronously with the video. In order to create left/right video data, first of all, pixels comprising 2D video data have depth data in addition to coordinate data. A predetermined value of the depth data is set as a basic position P where optical axes of left and right eyes cross each other. An area wherein the depth data are smaller than the basic position is defined as positive areas B1 and B2 and an area where the depth data are greater than the basic position P is defined as negative areas B3 and B4. Forward proportional data L1 and L2 for the left eye are created from the positive areas by a shift device and next, data for the left eye are created from the basic area P. Further, backward inversely proportional data L3 and L4 for the left eye are created from the negative areas by the shift device. Such data are defined as data for the left eye. Data for the right eye are similarly created. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
この発明は、立体映像データの発生方法と装置に関し、特にテレビカメラで撮影したビデオ映像やコンピュータ作図により生成された映像から立体映像を発生する方法とその装置に関する。
【0002】
【従来の技術】
近年のコンピュータ作図の発展とパソコンやテレビゲームの普及により超現実の様々な映像が鑑賞できるようになった。
3Dでは交差法が多く用いられていたが、交差させる事で人間の眼で見ている映像に近づけて立体感を得ていた。しかしゲームの用に奥の物体と手前の物体を同時に見て判断する場合、従来の方式ではどちらかの物体に視点を合わせなくてはいけない為、従来の方式では片方が2重に見えたり、歪みが生じて3D酔いなどの症状がでていた。
2次元映像でも陰影や遠近表現法をふんだんに取り入れて視点を移動したり、対象映像を回転させることで、一見3次元的な映像を出現させることができる。更には左右の目に入る映像を、左右データとして分離し、交互に表示画面上に表示し、これらを左右の目で独立に見ることで、3次元の立体映像を映し出すことができるようになった。
【0003】
【発明が解決しようとする課題】
3次元の立体映像は、表示画面に関して奥行きを生成するものが主であり、表示画面に関して見る者の手前に飛び出してくる映像はそれほど多くは供給されていなかった。
手前に飛び出してくる映像を作成する従来の方法と装置ではソフト手法としての機能が充分ではなく、広く各種の映像範囲で観察者に強く訴える立体映像作成するには不十分であった。
この発明は、手前に飛び出してくる映像と同時に奥行き感が豊富な映像とを作成する機能が充分なソフト手法と装置を提供することを目的とする。
新技術は手前にでる物体と奥にある物体を同時にみたり別々に見ても焦点が合うように作られており、ゲームの3Dによる酔いを軽減する事に成功し手前には凄く飛び出し、奥行きは凄く遠くまで同時に表現する事が可能である。
【0004】
【課題を解決するための手段】
この発明は、上記問題を解決するためになされたもので、第1の発明では、電子式表示画面に左右の眼に対応した左眼用映像と右眼用映像とを交互に表示し、これらの表示と同期して開閉する眼鏡を左右の眼に掛けて前記映像をみることで、観察者が立体映像を認識する立体映像表示装置に提供される立体映像データを発生する方法において、2次元映像データを構成する各画素には、座標データに加えて近景から遠景方向に数値が変化した奥行きデータを持たせ、この奥行きデータの所定の値を左右の目の光軸が交差する基本位置として入力装置により設定し、中央演算装置がこの基本位置より前記奥行きデータが小さい領域を正領域とし、奥行きデータが一定となるこの基本位置を基本領域とし、この基本位置より前記奥行きデータが大きい領域を負領域として3分割して分割メモリに格納し、この分割メモリから前記正領域を読み出して左または右目用の正方向比例データをシフト装置で作成し、次に前記中央演算装置の指令により、前記基本領域を読み出して左または右目用のデータを作成し、更に前記負領域を読み出して左または右目用の逆方向反比例データを前記シフト装置で作成し、これら左または右目用のデータを左または右目用のメモリに格納し、前記正領域を分割メモリから再度読み出して右または左目用の正方向比例データを前記シフト装置で作成し、次に前記基本領域を読み出して右または左目用のデータを作成し、更に前記負領域を読み出して右または左目用の逆方向反比例データを前記シフト装置で作成し、これら右または左目用のデータを右または左目用のメモリにそれぞれ格納することを特徴とする。
【0005】
第2の発明では、前記正領域の左または右目用の正方向比例データは、奥行きデータが小さいほど座標データの右または左への変移量を大きくし、且つ奥行きデータが大きいほど座標データの右または左への変移量を小さくして作成し、前記基本領域の左または右目用のデータについては変移量なく作成し、前記負領域の左または右目用の逆方向反比例データは奥行きデータが小さいほど座標データの左または右への変移量を小さくし、且つ奥行きデータが大きいほど座標データの左または右への変移量を大きくするように前記シフト装置が作成するとともに、
前記正領域の右または左目用の正方向比例データは、奥行きデータが小さいほど座標データの左または右への変移量を大きくし、且つ奥行きデータが大きいほど座標データの左または右への変移量を小さくして作成し、前記基本領域の右または左目用のデータについては変移量なく作成し、前記負領域の右または左目用の逆方向反比例データは奥行きデータが小さいほど座標データの右または左への変移量を小さくし、且つ奥行きデータが大きいほど座標データの右または左への変移量を大きくするように前記シフト装置が作成したことを特徴とする。
【0006】
第3の発明では、奥行きデータの所定の値を左右の目の光軸が交差する基本位置として設定する入力装置と、この基本位置より前記奥行きデータが小さい領域を正領域とし、奥行きデータが一定となるこの基本位置を基本領域とし、この基本位置より前記奥行きデータが大きい領域を負領域として3分割する中央演算装置と、これら各領域を区別して格納する分割メモリと、前記中央演算装置の指令により、この分割メモリから前記正領域を読み出して左または右目用の正方向比例データを作成し、次に前記基本領域を読み出して左または右目用のデータを作成し、更に前記負領域を読み出して左または右目用の逆方向反比例データを作成するとともに、前記分割メモリから前記正領域を再度読み出して右または左目用の正方向比例データを作成し、次に前記基本領域を読み出して右または左目用のデータを作成し、更に前記負領域を読み出して右または左目用の逆方向反比例データを作成するシフト装置と、前記左または右目用のデータを格納する左または右目用のメモリと、前記右または左目用のデータを格納する右または左目用のメモリとからなることを特徴とする。
【0007】
第4の発明では、前記シフト装置は、前記正領域の左または右目用の正方向比例データが、奥行きデータが小さいほど座標データの右または左への変移量を大きくし且つ奥行きデータが大きいほど座標データの右または左への変移量を小さくして作成し、前記基本領域の左または右目用のデータについては変移量なく作成し、前記負領域の左または右目用の逆方向反比例データは奥行きデータが小さいほど座標データの左または右への変移量を小さくし且つ奥行きデータが大きいほど座標データの左または右への変移量を大きくするように作成するとともに、前記正領域の右または左目用の正方向比例データが、奥行きデータが小さいほど座標データの左または右への変移量を大きくし且つ奥行きデータが大きいほど座標データの左または右への変移量を小さくして作成し、前記基本領域の右または左目用のデータについては変移量なく作成し、前記負領域の右または左目用の逆方向反比例データは奥行きデータが小さいほど座標データの右または左への変移量を小さくし且つ奥行きデータが大きいほど座標データの右または左への変移量を大きくするように作成するように構成したことを特徴とする。
【0008】
【発明の実施の形態】
人間において、左右の眼に同一の物体であっても両眼の並んだ水平方向に位置がずれた視差を有して結像している。図1に示すように人間が太陽や遠くの山や川等の無限遠を見ている時には、眼球が動いて左右の眼の光軸が平行になり、左の眼に見えるものは右に移動し、右の眼に見える同一のものは左に移動した状態で見える。図2において光軸が平行な状態では、眼に近い位置の物体の視差S1は遠い物体の視差S2、S3より大きくなっている。遠くになればなるほど視差は次第に小さくなるS1>S2>S3。
【0009】
しかし目先から100メートル先までの物体を見ると、図3において眼球がその方向を向くように動き、左右の眼は、見ている物体に対して輻輳角Tを形成する。眼に近い位置の物体の輻輳角T1は遠い物体の輻輳角T2より大きくなっているT1>T2。人間の脳はこれら図3の輻輳角Tと図2の視差Sにより当該物体の立体像を認識し且つ遠近を判断している。
さて、図4において、人間の顔Fの手前から次第に離れるように、物体B1、B2、次に文字が描かれた透明板P、物体B3、B4が順に並べたものを見る場合を考察する。
【0010】
目が透明板Pの文字に焦点を合わせると、その物体(透明板)P上で左右の眼の光軸が交差するが、透明板Pの手前にある物体B1、B2では左右の視差について、左の眼に見えるものは右に移動し、右の眼に見える同一のものは左に移動した状態で見える。
図4ではその後、左目を覆い右目でこれらを見る場合の状態を示し、透明板Pの手前にある物体B1、B2では、図2の目の光軸が互いに平行の場合と同様に、右の眼に見える同一の物体B1、B2は夫々左に移動した状態で見え、且つ眼に近い位置の物体B1の変移量L1は遠い物体B2の変移量L2より大きくなっている。遠くになればなるほど変移量(視差の一要素)は次第に小さくなる(L1>L2、これを正比例と定義)。
【0011】
図4でその後、右目を覆い左目でこれらを見ると、透明板Pの手前にある物体B1、B2では、左の眼に見える同一の物体B1、B2は夫々右に移動した状態で見え、且つ眼に近い位置の物体B1の変移量は遠い物体B2の変移量より大きくなることが図示しないが容易に推測できる。
左の眼に見える同一の物体B1の変移量と、右の眼に見える同一の物体B1の変移量との和が視差となるが以後の説明では以下この変移量も視差として説明する。
【0012】
さて、図4においてこの交差点(透明板P)より以遠では、右の眼に見える同一物体B3、B4は夫々逆に右に移動した状態で見える。更に、この交差点より以遠では、逆に右眼(透明板P)に近い位置の物体B3の変移量L3は、遠い物体B4の変移量L4より小さくなっている。眼(交差点・透明板P)より遠くになればなるほど視差は次第に大きくなる(L3<L4反比例となる)。
図示しないが、同様に左の眼に見える同一物体B3、B4は夫々左に移動して見え、変移量についても反比例となることが容易に推測できる。
【0013】
即ち、交差点(透明板P)を境にして、手前と以遠とでは、変移方向と変移量が逆転するのである、なおこの以遠では輻輳角は定義できなくなる。
これはパソコン画面等を正面にして自分の指を見つめて、画面側から指を目に近づけて指に目の焦点を合わせていくと、動かないパソコン画面は焦点がぼけてくるが大きく視野一杯に広がって見えてくることで、理解できる。
【0014】
一般にコンピュータで描かれた映像は、デジタル画像データであり、このデータがパソコンの画面に表示されたとして、各画素のうち代表として図5に示す画素Pkについて考察する。
画素Pkは画面上での通常の2次元の位置データXk,Ykと、色データCk(諧調も含む)と、奥行き遠近のデータZkと、周囲画素との関連データWとから構成される。関連データWは上下左右の隣接する4方の画素との連続絵の関係を示し、例えばW=0000なら左右上下とも関係無し、W=1111なら上下左右と連続した絵素である。
【0015】
1画面のデジタル画像データは画素Pk(Xk,Yk、Ck、Zk、W)の総和と定義できる。
図7に示す遠近法で描いた2次元の自転車の映像では、座席部40を観察者から見て表示画面位置(基本位置)に、ハンドル41を手前に飛び出した映像、後輪42を画面奥の映像とした3次元の立体映像を生成するものとする。
奥行き遠近のデータZkは理論上では無限遠にとれるが、表示上意味がなく演算に時間を浪費するので、所定の有限値に制限する。日常人間が注視する領域を基本位置として所定値の例えばZk=”0“に設定し、この基本位置Zk=”0“から目前に見る映像の位置を正に、この基本位置Zk=”0“から遠ざかる奥の映像を負に設定する。手前映像の正値に対応して、映像のバランスを考慮し、奥の負値(有限値)を決定し、これを無限遠とする。
【0016】
本発明は、上記人間の目と上記デジタル画像データとの特性に着目して、2次元の映像に対して、この目の特性を生じさせるようにデータ処理を施して、3次元のデータを生成し、立体映像表示装置上で、電子的に表示映像中に輻輳角と視差とを発生させるようにして、観察者に立体映像を認識させるものである。
【0017】
実施の形態1.
以下、この発明の立体映像発生方法と装置について、使用する装置が卓上コンピュータ(パソコン)であり、パソコンが作成した立体映像を表示する映像表示装置にもなる場合を例に説明する。
映像表示装置は通常では音声を伴うが、音声信号回路については本願と直接関係しないので説明を省略する。
図6において、パソコン(立体映像表示装置)は、表示装置2と眼鏡4とキーボード5とマウス6と赤外線発光装置3と論理回路部1とから構成される。
論理回路部1は本体部であり、CD−ROM(円盤状高密度読出用記憶媒体)やFD(フロッピーディスク)やDVDやVTR等の読み取り装置である映像入力部を備え、内部には記憶装置のHD(ハードディスク)を備えている。
【0018】
これらCD−ROM等には、各種の観賞用ソフトが予め記憶されており、立体映像生成プログラムは内部HDに予め記憶されている。
2次元のソフトパックを自由に使うためにはプログラムは主に内部HDに記憶した方がよい。
さて、論理回路部1は図8においてCPU23とプログラムメモリ9と左メモリ14と右メモリ15と基本メモリ16と分割メモリ17と写しメモリ18とワークメモリ26と蓄積メモリ29を備えている。
【0019】
プログラムメモリ9と蓄積メモリ29とは内部HDを使用し、これらは読み出し頻度が少ないので、プログラムメモリ9には作業毎に繰り返し使用する立体映像生成プログラムが予め記憶されている。
左メモリ14と右メモリ15と基本メモリ16と分割メモリ17と写しメモリ18とワークメモリ26とは半導体メモリが望ましく、作業中はCPU23によりこれらの記憶内容は高速に読み出し書き込みが繰り返して行われる。蓄積メモリ29には左メモリ14と右メモリ15の内容が蓄積される。
【0020】
更に論理回路部1は、切り替えスイッチ7とデジタル画像発生部8とシフト回路20と左シフト設定器19と右シフト設定器20と分配スイッチ25と読み出しスイッチ10とタイミング発生器22と映像供給部27とデジタルアナログコンバーター(D/A)30とから構成される。
シフト回路20と左シフト設定器19と右シフト設定器20とは前述の変移量・左右の位置ズレ(シフト)を創り出すものであり、人により左右の目の間隔が多少相違するので、左右シフト設定器19、21を使用して量を調整する。
デジタル画像発生部8はアナログデジタルコンバーター(A/D)を含み、アナログビデオ映像を、上記デジタル画像データである画素Pk(Xk,Yk、Ck、Zk、W)の総和に、画面毎に変換する。
【0021】
読み出しスイッチ10はCPU23のから指令により動作するタイミング発生器22からのタイミング信号Pにより左メモリ14と右メモリ15とを切り替えて読み出す。このタイミング信号Pは同時に図6に示す赤外線発光装置3にも送られている。
映像供給力部27から切り替えスイッチ7がVTR側のデジタル画像発生部8を選択すると市販のビデオテープ等(通常の2Dの映画やスポーツ映像)からデジタル画像データが再生される。映像入力部27から切り替えスイッチ7がDVD等を選択するとそこから直接デジタル画像データが読み出される。
【0022】
1画面単位のデジタル画像データ(画素Pk(Xk,Yk、Ck、Zk、W)の総和)は基本メモリ16に一時的に移される。次にその映像データはCPU23により分割され分割メモリ17内で所定区分に分割され格納される。その後分割映像データは分割された部分データが個別に写しメモリ18に一時的に移される。
【0023】
図7に示す2次元の自転車の映像を例に立体映像データの作成方法を図9のフローに従って詳しく説明する。図7の2次元の自転車の映像はデジタル画像データにより構成されており、上記画素Pk(Xk,Yk、Ck、Zk、W)データを備えている。
ステップS1でCPU23は切り替えスイッチ7を指令して映像供給部27から最初の画面を読み出し、基本メモリ16にデータを移動して、そこから表示装置2に2次元デジタル映像を表示させる。
【0024】
この2次元デジタル映像を観察する操作人は、ステップS2ではこの映像中にマウス6やキーボード5を使用して上記基本位置を例えば座席部40に指定する。
するとCPU23はプログラムメモリ9から読み出された生成プログラムに従い、ステップS3で、前記画素Pk(Xk,Yk、Ck、Zk、W)データに関し座席部40を基準にして規格化し、即ちこのデジタル画像データに関し座席部40近傍をZk=”0“領域とし、手前のハンドル部41近傍を”正”領域とし、奥の後輪部42近傍を”負“の領域として3分割する。当然各領域例えば”正”領域でも遠近データZkは一定ではない変化量となり遠近感がある。
【0025】
ハンドル部41近傍の”正”領域と後輪部42近傍の”負“領域とは、所定の面積とともに奥行きデータとを持ち、一方座席部40近傍のZk=”0“領域は面積を持つが、奥行きデータを持たない。
3分割された1個のデジタル画像データは分割コードを伴って分割メモリ17に移される。
ステップS4では作成する映像を右又は左かに決定する(いずれが先でもよい)。
ステップS5では手前のハンドル部41近傍の”正”領域を分割メモリ17から読み出し写しメモリ18に移し、ステップS6では例えば右目用、右に変移する正方向正比例の前記変移量の算出をシフト回路20により行う。
【0026】
ハンドル部41近傍のZk=”正”領域において、右眼により近い位置の物体(映像)データに関して、図4と同様に左方への変移量L1は遠い物体の変移より大きくし、遠くになればなるほど(座席部41近くでは)変移量L2を次第に小さくしているL1>L2。なお、遠近による変移量の比例常数は左シフト設定器19により設定変更可能とし、最終的な立体効果が最良になるように経験的に設定する。ステップS7では作成した右目用手前データをCPU23は分配スイッチ25により行き先決めて右メモリ15に格納する。
ステップS8ではハンドル部41近傍の”正”領域について、全画素Pk(Xk,Yk、Ck、Zk、W)データの奥行きに関して処理が終了したか調べ、残っていたらステップS6に戻り同様な処理をする。終了していたらステップS9で座席部40近傍の個本位置Zk=”0“領域について無変移処理を行い、ステップS10でこのデータも右メモリ15に格納する。個本位置”0“領域では遠近データは一定であるが、面積データを有する。
【0027】
ステップS11では奥の後輪部42近傍のZk=”負“領域を分割メモリ17から読み出し写しメモリ18に移し、ステップS12では右目用に右方変移、逆方向反比例の前記変移量の算出をシフト回路20により行う。
後輪部42近傍の”負“領域において、右眼により近い位置の物体(映像)データに関して、右方への変移量L3は遠い物体の変移より小さくし、遠くになればなるほど(後輪の後方)変移量L4を次第に大きくしているL3<L4。ここでも、遠近による変移量の反比例常数は右シフト設定器21により設定変更可能とし、最終的な立体効果が最良になるように経験的に設定する。
【0028】
ステップS13では作成した右目用奥行き(負領域)データは分配スイッチ25を介して右メモリ15に格納する。ステップS14では後輪部42近傍の”負“領域について、全画素Pk(Xk,Yk、Ck、Zk)W)データの奥行きに関して処理が終了したか調べ、残っていたらステップS12に戻り同様な処理をする。
終了していたらステップS15に進み、今度は左目用変移データの生成処理を行う。この処理は前記ステップS5〜ステップS14までを、対応処理において、右を左(また左を右)に、変移方向を反対にし、且つデータの格納位置を左メモリ14にするだけであり、同様な処理を行うので説明を省略する。
【0029】
かくして1枚目の静止映像についての左目、右目用のデータが左メモリ14,右メモリ15にページ付けでそれぞれ格納された状態になる。ステップS16ではCPU23は左メモリ14,右メモリ15のデータを蓄積メモリ29に移す。ステップS17では次のページの映像について上記ステップS2〜ステップS16を行う。
この動作を繰り返すことで必要なページ分の立体映像データを作成し蓄積メモリ29に格納できる。動画の場合はこのページ数が物語の長さに応じて枚(ページ)数が多くなる。
蓄積メモリ29から左右の立体映像データをCD−ROMやデジタル磁気テープにデジタル信号として記録し、別の立体映像表示装置で再生して立体映像を見ることができる。
なお、左右シフト設定器19、21は論理回路部1の外表部に部品のツマミを設けて調整してもいいし、プログラム上論理で設定してもいい。
【0030】
前記作成した立体映像データを図5の卓上コンピュータ(パソコン)の表示装置2の画面に表示して立体映像を見る動作を説明する。
パソコンの画面はノンインターレース式の高解像通常スキャンであり、スキャン速度を例えば80HZに設定する。
読み出しプログラムに従い、CPU23は蓄積メモリ29から左右の立体映像データを読み出し、左・右メモリ14,15にそれぞれ転送する。次にCPU23は最初の1/80秒で例えば左映像データを左メモリ19から、次ぎの1/80秒で右映像データを右メモリ15から交互に読み出し、表示装置2に送る。
【0031】
3番目の1/80秒で左映像データを、4番目の1/80秒で右映像データを読み出し、以下同様に交互に読み出すようにする。
従って左映像データと右映像データとが入れ子式に1秒間にそれぞれ40画面づつ合計毎秒80画面(高速画像)が表示装置2に表示される。一般のCRT表示装置では表示と消去速度が速いので残像を残すことなく左右の映像が明確に切り替えて表示できる。
このように映し出された映像(図7の自転車)を裸眼の左右の目で同時に観測すると左右にずれた2重映像として見える。
左右映像データの読み出しはタイミング発生器22からのタイミング信号により行われ、このタイミング信号が表示装置2上の表示速度となる。
【0032】
かくして立体映像表示装置2の画面には、左眼用の映像と右眼用の映像とが時間的に交互に表示される。
シャッター付き眼鏡4には左右の液晶レンズ部に対応した液晶シャッターが設けられ、赤外線発光装置3からの赤外線の開閉信号Rにより左右映像データの表示と同期して、交互に開閉される。
脳ではこれらの左右の眼から入った映像を合成して表示装置2上に3D映像を認識する、左右の眼にはそれぞれ40ヘルツの左右画面が独立に見えるので、滑らかな立体映像として無理なく認識される。
【0033】
このタイミング信号に合わせてシャッター付き眼鏡4の左右の眼鏡を開閉すると、左目では奇数番目の表示画面のみの左映像を、右目では偶数番目の表示画面のみの右映像をそれぞれ独立見ることになり、人間の脳では立体映像が生成される。
3次元(3D)映像を見る際に使用するシャッター付き眼鏡4と赤外線発光装置3等については、USP5808588に詳細に、立体映像テレビの構造については、特開平8−20551と特開平9−200804とUSP5510832にそれぞれ詳しく開示されているので更なる説明は省略する。
以上静止画の場合について説明したが、動画の場合はフィルム映写機のように、互いに少しずつ変動した静止画を前述同様に処理して、これらを連続して表示することで、立体動画を生成し、且つ再生できる。
【0034】
【発明の効果】
以上説明してきたようにこの発明によれば、基本位置を基準に表示画面から思い切り手前に飛び出した部分と、表示画面からその奥に深く・遠くなった部分とが鮮やかに表示されるので、観察者には極めて強力な立体映像が認識される。
【図面の簡単な説明】
【図1】人間の目が無限縁を見た時の光軸の平衡状態を示す図である。
【図2】人間の目の光軸が平衡になった時に視差の発生状態を示す図である。
【図3】人間の目が近くの物体を見た時の光軸の交差状態を示す図である。
【図4】人間の目の光軸が交差した時に視差の発生状態を示す図である。
【図5】画像データの各画素が表示画面上で備える各種データを説明する図である。
【図6】この発明の立体映像発生装置について全体の外観を示す図である。
【図7】この発明の原理を説明するための自転車の図である。
【図8】この発明の立体映像発生装置の回路構成を示す図である。
【図9】この発明の立体映像発データを生成する過程のフローチャートである。
【符号の説明】
1 論理回路部
2 表示装置
3 赤外線発光装置
4 シャッター付き眼鏡
5 キーボード
6 マウス
7 切り替えスイッチ
8 デジタル画像発生部
9 プログラムメモリ
10 読み出しスイッチ
14 左メモリ
15 右メモリ
16 基本メモリ
17 分割メモリ
18 写しメモリ
19 左シフト設定器
20 シフト回路
21 右シフト設定器
22 タイミング発生器
23 CPU
25 分配スイッチ
26 ワークメモリ
27 映像供給部
29蓄積メモリ
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method and an apparatus for generating stereoscopic image data, and more particularly to a method and an apparatus for generating a stereoscopic image from a video image captured by a television camera or an image generated by computer drawing.
[0002]
[Prior art]
With the recent development of computer drawing and the spread of personal computers and video games, it has become possible to appreciate various surreal images.
In 3D, the crossing method is often used, but by crossing, a three-dimensional effect is obtained by approaching the image viewed by the human eye. However, when judging by observing a back object and a front object at the same time for a game, in the conventional method, the viewpoint must be adjusted to one of the objects. Distortion occurred and symptoms such as 3D sickness appeared.
Even in a two-dimensional image, it is possible to make a seemingly three-dimensional image appear by moving the viewpoint or rotating the target image by using a lot of shading and perspective expressions. Furthermore, it is possible to project a three-dimensional stereoscopic image by separating the images that enter the left and right eyes as left and right data, displaying them alternately on the display screen, and viewing these independently with the left and right eyes. Was.
[0003]
[Problems to be solved by the invention]
The three-dimensional stereoscopic video mainly generates a depth with respect to the display screen, and the video that jumps out to the viewer on the display screen is not supplied so much.
The conventional method and apparatus for creating a video projecting to the front have insufficient functions as a software method, and are insufficient for creating a stereoscopic video that appeals strongly to an observer in a wide variety of video ranges.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a software method and apparatus that have a sufficient function of creating an image with a rich sense of depth at the same time as an image that protrudes toward the user.
The new technology is designed so that the object in front and the object in the back can be focused even when viewed at the same time or separately from each other. Can be expressed very far at the same time.
[0004]
[Means for Solving the Problems]
The present invention has been made to solve the above-described problem. In the first invention, a left-eye image and a right-eye image corresponding to the left and right eyes are alternately displayed on an electronic display screen. A method of generating stereoscopic video data provided to a stereoscopic video display device in which an observer recognizes a stereoscopic video by viewing the video by putting glasses on the left and right eyes to open and close in synchronization with the display of Each pixel constituting the video data has depth data whose numerical value changes from the near view to the distant view in addition to the coordinate data, and a predetermined value of the depth data is used as a basic position where the optical axes of the left and right eyes intersect. The central processing unit sets an area in which the depth data is smaller than the basic position as a positive area, sets the basic position in which the depth data is constant as a basic area, and sets the depth data larger than the basic position. The positive region is read out of the divided memory, and the positive direction proportional data for the left or right eye is created by a shift device. By reading the basic area to create left or right eye data, further reading the negative area to create left or right eye reverse inverse proportional data with the shift device, these left or right eye data Storing in the memory for the left or right eye, reading the positive area again from the divided memory to create the right or left eye positive proportional data with the shift device, and then reading the basic area and reading the right area for the right or left eye Create data, further read the negative area, create reverse inverse proportional data for the right or left eye with the shift device, these right or left eye data to the right or left And storing, each memory for eyes.
[0005]
In the second invention, the positive-direction proportional data for the left or right eye of the positive area is such that the smaller the depth data, the larger the amount of shift of the coordinate data to the right or left, and the larger the depth data, the more the right-hand proportional data of the coordinate data. Or, the amount of shift to the left is made smaller, the data for the left or right eye of the basic area is created without the amount of shift, and the inverse inverse proportional data for the left or right eye of the negative area is smaller as the depth data is smaller. The shift device creates a small amount of displacement of the coordinate data to the left or right, and increases the amount of displacement of the coordinate data to the left or right as the depth data increases,
The right or left eye positive direction proportional data of the positive area is such that the smaller the depth data, the larger the amount of shift of the coordinate data to the left or right, and the larger the depth data, the larger the amount of shift of the coordinate data to the left or right. The data for the right or left eye of the basic area is created without a shift amount, and the inverse inverse proportional data for the right or left eye of the negative area is the right or left of the coordinate data as the depth data is smaller. The shift device is characterized in that the shift device creates the amount of shift to the right or left of the coordinate data as the depth data increases, and the amount of shift to the right or left increases as the depth data increases.
[0006]
In the third invention, an input device for setting a predetermined value of the depth data as a basic position at which the optical axes of the left and right eyes intersect, an area where the depth data is smaller than the basic position as a positive area, and the depth data is fixed. A central processing unit that divides the basic position into three as a basic region, a region where the depth data is larger than the basic position as a negative region, a divided memory that distinguishes and stores these regions, and a command from the central processing unit. By reading the positive area from this divided memory to create left or right eye positive direction proportional data, then read the basic area to create left or right eye data, and further read the negative area Along with creating reverse inverse proportional data for the left or right eye, re-reading the positive area from the divided memory and reconstructing the positive proportional data for the right or left eye. And then read the basic area to create data for the right or left eye, and further read the negative area to create reverse inverse proportional data for the right or left eye, and a shift device for the left or right eye. It is characterized by comprising a left or right eye memory for storing data and a right or left eye memory for storing the right or left eye data.
[0007]
In the fourth invention, the shift device increases the amount of displacement of the coordinate data to the right or left as the depth data is smaller, and the larger the depth data, the more the positive direction proportional data for the left or right eye of the positive region is. The coordinate data is created with a small amount of shift to the right or left, the data for the left or right eye of the basic area is created without a shift, and the inverse inverse proportional data for the left or right eye of the negative area is depth. The smaller the data, the smaller the shift amount of the coordinate data to the left or right, and the larger the depth data, the larger the shift amount of the coordinate data to the left or right. In the positive proportional data, the smaller the depth data, the larger the amount of displacement of the coordinate data to the left or right, and the larger the depth data, the more left or right the coordinate data. The amount of displacement is made smaller, the data for the right or left eye of the basic area is created without the amount of displacement, and the inverse inverse proportional data for the right or left eye of the negative area is the coordinate data as the depth data is smaller. It is characterized in that the amount of displacement to the right or left is reduced and the amount of displacement of the coordinate data to the right or left is increased as the depth data increases.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
In humans, even if the same object is present in the left and right eyes, an image is formed with a parallax in which the positions of both eyes are shifted in the horizontal direction. As shown in Fig. 1, when a human is looking at infinity such as the sun, a distant mountain, or a river, the eyeball moves and the optical axes of the left and right eyes become parallel, and what can be seen by the left eye moves to the right. And the same thing seen by the right eye is seen moving to the left. In FIG. 2, when the optical axes are parallel to each other, the parallax S1 of the object near the eye is larger than the parallaxes S2 and S3 of the distant object. S1>S2> S3 where the parallax gradually decreases as the distance increases.
[0009]
However, when looking at an object 100 meters away from the eye, the eyeball moves so as to face that direction in FIG. 3, and the left and right eyes form a convergence angle T with respect to the object being viewed. The convergence angle T1 of the object near the eye is larger than the convergence angle T2 of the distant object, T1> T2. The human brain recognizes the three-dimensional image of the object based on the convergence angle T in FIG. 3 and the parallax S in FIG. 2 and determines perspective.
Now, in FIG. 4, consider a case in which objects B1 and B2, and then a transparent plate P on which characters are drawn and objects B3 and B4 are sequentially arranged so as to gradually move away from the front of the human face F.
[0010]
When the eyes focus on the characters on the transparent plate P, the optical axes of the left and right eyes intersect on the object (transparent plate) P. However, for the objects B1 and B2 in front of the transparent plate P, the left and right parallax What you see with your left eye moves right, and what you see with your right eye looks like it moves left.
FIG. 4 shows a state in which the left eye is thereafter covered and the right eye is seen, and for the objects B1 and B2 in front of the transparent plate P, the right and left eyes are the same as in the case where the optical axes of the eyes in FIG. The same objects B1 and B2 visible to the eyes can be seen moving to the left, respectively, and the displacement L1 of the object B1 near the eye is larger than the displacement L2 of the distant object B2. As the distance increases, the amount of displacement (one element of parallax) gradually decreases (L1> L2, which is defined as direct proportion).
[0011]
In FIG. 4, after that, when the right eye is covered and the left eye looks at these, in the objects B1 and B2 in front of the transparent plate P, the same objects B1 and B2 visible to the left eye are seen moving to the right respectively, and Although not shown, it can be easily estimated that the displacement of the object B1 near the eye is larger than the displacement of the object B2 far from the eye.
The sum of the displacement of the same object B1 as seen by the left eye and the displacement of the same object B1 as seen by the right eye is the parallax. In the following description, this displacement will be described as parallax.
[0012]
Now, in FIG. 4, beyond the intersection (transparent plate P), the same objects B3 and B4 seen by the right eye can be seen to have moved to the right in opposite directions. Further, beyond the intersection, the displacement L3 of the object B3 at a position close to the right eye (transparent plate P) is smaller than the displacement L4 of the distant object B4. The parallax gradually increases as the distance from the eye (intersection / transparent plate P) increases (L3 <L4 is inversely proportional).
Although not shown, the same objects B3 and B4, which are similarly visible to the left eye, can be seen to move to the left, respectively, and the amount of displacement can be easily estimated to be inversely proportional.
[0013]
In other words, the direction of displacement and the amount of displacement are reversed before and after the intersection (transparent plate P), and the convergence angle cannot be defined beyond this point.
This is because when you look at your finger with the PC screen etc. in front and bring your finger close to your eyes from the screen side and focus your eyes on your fingers, the PC screen that does not move will be out of focus, but it will fill the field of view greatly It is understandable because it spreads out and can be seen.
[0014]
Generally, an image drawn by a computer is digital image data. Assuming that this data is displayed on a screen of a personal computer, a pixel Pk shown in FIG.
The pixel Pk is composed of normal two-dimensional position data Xk and Yk on the screen, color data Ck (including gradation), depth / far data Zk, and data W related to surrounding pixels. The related data W indicates the relationship of a continuous picture with the four adjacent pixels in the upper, lower, left, and right directions.
[0015]
The digital image data of one screen can be defined as the sum of pixels Pk (Xk, Yk, Ck, Zk, W).
In the image of the two-dimensional bicycle drawn by the perspective view shown in FIG. 7, the image in which the steering wheel 41 is protruded toward the user, the image of the rear wheel 42 being the rear of the image are displayed at the display screen position (basic position) when the seat part 40 is viewed from the observer. 3D stereoscopic video is generated.
Although the data Zk of the depth perspective can theoretically be set at infinity, it is meaningless on display and time is wasted in the calculation, so it is limited to a predetermined finite value. For example, an area watched by an ordinary human is set as a basic position at a predetermined value, for example, Zk = “0”. The position of an image viewed immediately from the basic position Zk = “0” is positive, and the basic position Zk = “0”. Set the video farther away from the camera to a negative value. A negative value (finite value) at the back is determined in consideration of the balance of the image in accordance with the positive value of the front image, and this is set to infinity.
[0016]
The present invention focuses on the characteristics of the human eye and the digital image data, performs data processing on a two-dimensional image so as to generate the characteristics of the eyes, and generates three-dimensional data. Then, on a stereoscopic video display device, a convergence angle and a parallax are generated electronically in the displayed video so that the observer can recognize the stereoscopic video.
[0017]
Embodiment 1 FIG.
Hereinafter, the stereoscopic image generation method and apparatus of the present invention will be described by taking as an example a case where the apparatus used is a desktop computer (personal computer) and also serves as an image display apparatus that displays a stereoscopic image created by the personal computer.
Although the video display device normally accompanies an audio signal, the audio signal circuit is not directly related to the present invention, and thus the description is omitted.
In FIG. 6, the personal computer (stereoscopic image display device) includes a display device 2, glasses 4, a keyboard 5, a mouse 6, an infrared light emitting device 3, and a logic circuit unit 1.
The logic circuit unit 1 is a main body unit, and includes a video input unit which is a reading device for a CD-ROM (disk-shaped high-density reading storage medium), FD (floppy disk), DVD, VTR, or the like. HD (hard disk).
[0018]
Various kinds of viewing software are stored in the CD-ROM or the like in advance, and the stereoscopic video generation program is stored in the internal HD in advance.
In order to freely use the two-dimensional software pack, it is better to store the program mainly in the internal HD.
The logic circuit section 1 includes a CPU 23, a program memory 9, a left memory 14, a right memory 15, a basic memory 16, a divided memory 17, a copy memory 18, a work memory 26, and a storage memory 29 in FIG.
[0019]
The program memory 9 and the storage memory 29 use an internal HD, and since these are read out less frequently, the program memory 9 previously stores a stereoscopic image generation program that is repeatedly used for each operation.
The left memory 14, the right memory 15, the basic memory 16, the divided memory 17, the copy memory 18 and the work memory 26 are preferably semiconductor memories, and during storage, the stored contents are repeatedly read and written by the CPU 23 at high speed. The storage memory 29 stores the contents of the left memory 14 and the right memory 15.
[0020]
Further, the logic circuit unit 1 includes a changeover switch 7, a digital image generation unit 8, a shift circuit 20, a left shift setting unit 19, a right shift setting unit 20, a distribution switch 25, a readout switch 10, a timing generator 22, and a video supply unit 27. And a digital / analog converter (D / A) 30.
The shift circuit 20, the left shift setting device 19, and the right shift setting device 20 create the above-described displacement amount and left / right position shift (shift). Adjust the volume using setters 19,21.
The digital image generator 8 includes an analog-to-digital converter (A / D), and converts an analog video image into a sum of pixels Pk (Xk, Yk, Ck, Zk, W), which is the digital image data, for each screen. .
[0021]
The read switch 10 switches between the left memory 14 and the right memory 15 in response to a timing signal P from a timing generator 22 that operates according to a command from the CPU 23 and reads the data. The timing signal P is also sent to the infrared light emitting device 3 shown in FIG.
When the changeover switch 7 selects the digital image generator 8 on the VTR side from the image supply unit 27, digital image data is reproduced from a commercially available video tape or the like (normal 2D movie or sports image). When the changeover switch 7 selects a DVD or the like from the video input unit 27, the digital image data is directly read out therefrom.
[0022]
Digital image data of one screen unit (sum of pixels Pk (Xk, Yk, Ck, Zk, W)) is temporarily moved to the basic memory 16. Next, the video data is divided by the CPU 23, divided into predetermined sections in the division memory 17, and stored. Thereafter, the divided video data is transferred to the memory 18 by copying the divided partial data individually.
[0023]
A method of creating stereoscopic video data using the two-dimensional bicycle video shown in FIG. 7 as an example will be described in detail with reference to the flow of FIG. The image of the two-dimensional bicycle shown in FIG. 7 is constituted by digital image data, and includes the pixel Pk (Xk, Yk, Ck, Zk, W) data.
In step S1, the CPU 23 instructs the changeover switch 7 to read the first screen from the image supply unit 27, moves the data to the basic memory 16, and displays the two-dimensional digital image on the display device 2 therefrom.
[0024]
In step S2, the operator who observes the two-dimensional digital image designates the above-mentioned basic position in, for example, the seat portion 40 using the mouse 6 or the keyboard 5 in the image.
Then, in step S3, the CPU 23 normalizes the pixel Pk (Xk, Yk, Ck, Zk, W) data based on the seat section 40 in accordance with the generation program read from the program memory 9, ie, this digital image data In this case, the area near the seat section 40 is set as a Zk = “0” area, the area near the front handle section 41 is set as a “positive” area, and the area near the rear rear wheel section 42 is set as a “negative” area. Of course, even in each area, for example, the “correct” area, the perspective data Zk is not constant and has a perspective.
[0025]
The “positive” region near the handle portion 41 and the “negative” region near the rear wheel portion 42 have a predetermined area and depth data, while the Zk = “0” region near the seat portion 40 has an area. Have no depth data.
One piece of digital image data divided into three is transferred to the division memory 17 with the division code.
In step S4, the video to be created is determined to be right or left (either may be first).
In step S5, the "positive" area near the front handle portion 41 is read out from the divided memory 17 and transferred to the memory 18, and in step S6, for example, the shift amount of the right-direction and direct-right proportional shift to the right is shifted by the shift circuit 20. Performed by
[0026]
In the Zk = “positive” region near the handle portion 41, with respect to the object (video) data at a position closer to the right eye, the amount of displacement L1 to the left is larger than the displacement of a distant object, as in FIG. L1> L2 in which the displacement amount L2 is gradually reduced (in the vicinity of the seat portion 41). Note that the proportional constant of the amount of displacement due to perspective can be changed by the left shift setting unit 19, and is empirically set so that the final three-dimensional effect is best. In step S7, the CPU 23 determines the destination by the distribution switch 25 and stores the created right-eye front data in the right memory 15.
In step S8, for the "positive" area near the handle portion 41, it is checked whether the processing has been completed for the depth of all pixel Pk (Xk, Yk, Ck, Zk, W) data. I do. If the processing has been completed, in step S9, non-change processing is performed on the individual position Zk = "0" area near the seat section 40, and this data is also stored in the right memory 15 in step S10. In the individual position “0” area, the perspective data is constant, but has area data.
[0027]
In step S11, the Zk = “negative” area near the rear rear wheel portion 42 is read out from the divided memory 17 and transferred to the memory 18, and in step S12, the rightward displacement for the right eye and the calculation of the reverse amount inversely proportional are shifted. This is performed by the circuit 20.
In the “negative” region near the rear wheel portion 42, with respect to the object (video) data at a position closer to the right eye, the displacement L3 to the right is smaller than the displacement of the distant object, and the further the distance, the farther (the rear wheel) (Backward) L3 <L4 in which the displacement L4 is gradually increased. Also here, the inverse proportional constant of the amount of displacement due to perspective can be changed by the right shift setting unit 21 and is set empirically so that the final three-dimensional effect is best.
[0028]
In step S13, the created right-eye depth (negative area) data is stored in the right memory 15 via the distribution switch 25. In step S14, for the "negative" area near the rear wheel portion 42, it is checked whether the processing has been completed for the depth of all pixel Pk (Xk, Yk, Ck, Zk) W) data. do.
If the processing has been completed, the process proceeds to step S15, and processing for generating left-eye transition data is performed. This processing is the same as the processing from step S5 to step S14, except that in the corresponding processing, the right is left (and the left is right), the transition direction is reversed, and the data storage position is the left memory 14. Since the processing is performed, the description is omitted.
[0029]
Thus, the left-eye and right-eye data of the first still image are stored in the left memory 14 and the right memory 15 with the respective pages. In step S16, the CPU 23 transfers the data in the left memory 14 and the right memory 15 to the storage memory 29. In step S17, the above steps S2 to S16 are performed for the video of the next page.
By repeating this operation, stereoscopic video data for a required page can be created and stored in the storage memory 29. In the case of a moving image, the number of pages (pages) increases according to the length of the story.
Left and right stereoscopic video data from the storage memory 29 is recorded as digital signals on a CD-ROM or digital magnetic tape, and can be reproduced on another stereoscopic video display device to view a stereoscopic video.
The left and right shift setting units 19 and 21 may be adjusted by providing knobs for parts on the outer surface of the logic circuit unit 1, or may be set by logic on a program.
[0030]
The operation of displaying the created stereoscopic video data on the screen of the display device 2 of the desktop computer (personal computer) in FIG. 5 to view the stereoscopic video will be described.
The screen of the personal computer is a non-interlaced high-resolution normal scan, and the scan speed is set to, for example, 80 Hz.
In accordance with the read program, the CPU 23 reads left and right stereoscopic video data from the storage memory 29 and transfers them to the left and right memories 14 and 15, respectively. Next, the CPU 23 alternately reads, for example, left video data from the left memory 19 in the first 1/80 second, and reads right video data from the right memory 15 in the next 1/80 second, and sends them to the display device 2.
[0031]
The left video data is read out in the third 1/80 second, and the right video data is read out in the fourth 1/80 second, and so on.
Therefore, the left video data and the right video data are displayed on the display device 2 in a nested manner at a total of 80 screens (high-speed images) per second, each having 40 screens per second. Since a general CRT display device has a high display and erasing speed, the left and right images can be clearly switched and displayed without leaving an afterimage.
When the image projected in this manner (the bicycle in FIG. 7) is observed simultaneously with the left and right eyes of the naked eye, it appears as a double image shifted left and right.
The reading of the left and right video data is performed by a timing signal from the timing generator 22, and this timing signal becomes the display speed on the display device 2.
[0032]
Thus, the left-eye image and the right-eye image are alternately displayed on the screen of the stereoscopic image display device 2 in time.
The glasses 4 with shutters are provided with liquid crystal shutters corresponding to the left and right liquid crystal lens units, and are opened and closed alternately in synchronism with the display of left and right video data by an infrared open / close signal R from the infrared light emitting device 3.
The brain combines these images from the left and right eyes and recognizes the 3D image on the display device 2. Since the left and right eyes respectively see the left and right screens of 40 Hz independently, it is easy to form a smooth stereoscopic image. Be recognized.
[0033]
When the left and right glasses of the glasses 4 with shutters are opened and closed in accordance with this timing signal, the left eye independently sees the left image of only the odd-numbered display screen, and the right eye independently sees the right image of only the even-numbered display screen. Stereoscopic images are generated in the human brain.
The glasses 4 with shutters and the infrared light emitting device 3 used when viewing three-dimensional (3D) images are described in detail in US Pat. No. 5,808,588, and the structure of a stereoscopic television is described in JP-A-8-20551 and JP-A-9-200804. Each of them is disclosed in detail in US Pat.
Although the case of still images has been described above, in the case of moving images, three-dimensional moving images are generated by processing still images that fluctuate little by little like a film projector and displaying them continuously as described above. And can be reproduced.
[0034]
【The invention's effect】
As described above, according to the present invention, a portion that has jumped out of the display screen and a portion that is deeper or farther from the display screen with respect to the basic position are displayed vividly. A person can recognize an extremely powerful stereoscopic image.
[Brief description of the drawings]
FIG. 1 is a diagram showing an equilibrium state of an optical axis when a human eye looks at an infinite edge.
FIG. 2 is a diagram illustrating a state of occurrence of parallax when the optical axis of a human eye is balanced.
FIG. 3 is a diagram illustrating an intersection state of optical axes when a human eye looks at a nearby object.
FIG. 4 is a diagram illustrating a state in which parallax is generated when optical axes of human eyes intersect;
FIG. 5 is a diagram illustrating various types of data included in each pixel of image data on a display screen.
FIG. 6 is a diagram showing an overall appearance of a stereoscopic video generation device of the present invention.
FIG. 7 is a diagram of a bicycle for explaining the principle of the present invention.
FIG. 8 is a diagram showing a circuit configuration of a stereoscopic video generator of the present invention.
FIG. 9 is a flowchart of a process of generating stereoscopic video emission data according to the present invention.
[Explanation of symbols]
1 Logic circuit section
2 Display device
3 Infrared light emitting device
4 glasses with shutters
5 Keyboard
6 mice
7 Changeover switch
8 Digital image generator
9 Program memory
10 Readout switch
14 Left memory
15 Right memory
16 Basic memory
17 divided memory
18 Copy memory
19 Left shift setting device
20 shift circuit
21 Right shift setting device
22 Timing generator
23 CPU
25 Distribution switch
26 Work memory
27 Video supply unit
29 storage memory

Claims (4)

電子式表示画面に左右の眼に対応した左眼用映像と右眼用映像とを交互に表示し、これらの表示と同期して開閉する眼鏡を左右の眼に掛けて前記映像をみることで、観察者が立体映像を認識する立体映像表示装置に提供される立体映像データを発生する方法において、
2次元映像データを構成する各画素には、座標データに加えて近景から遠景方向に数値が変化した奥行きデータを持たせ、この奥行きデータの所定の値を左右の目の光軸が交差する基本位置として入力装置により設定し、中央演算装置がこの基本位置より前記奥行きデータが小さい領域を正領域とし、奥行きデータが一定となるこの基本位置を基本領域とし、この基本位置より前記奥行きデータが大きい領域を負領域として3分割して分割メモリに格納し、この分割メモリから前記正領域を読み出して左または右目用の正方向比例データをシフト装置で作成し、
次に前記中央演算装置の指令により、
前記基本領域を読み出して左または右目用のデータを作成し、更に前記負領域を読み出して左または右目用の逆方向反比例データを前記シフト装置で作成し、
これら左または右目用のデータを左または右目用のメモリに格納し、
前記正領域を分割メモリから再度読み出して右または左目用の正方向比例データを前記シフト装置で作成し、次に前記基本領域を読み出して右または左目用のデータを作成し、更に前記負領域を読み出して右または左目用の逆方向反比例データを前記シフト装置で作成し、これら右または左目用のデータを右または左目用のメモリにそれぞれ格納することを特徴とする立体映像データの発生方法。
By displaying the image for the left eye and the image for the right eye corresponding to the left and right eyes alternately on the electronic display screen, putting the glasses that open and close in synchronization with these displays on the left and right eyes and viewing the image In a method for generating stereoscopic video data provided to a stereoscopic video display device in which an observer recognizes a stereoscopic video,
Each pixel constituting the two-dimensional video data is given, in addition to the coordinate data, depth data having a numerical value changed from the near view to the distant view direction, and a predetermined value of the depth data is set so that the optical axes of the left and right eyes intersect. The position is set by the input device, and the central processing unit sets an area where the depth data is smaller than the basic position as a positive area, and sets the basic position where the depth data is constant as a basic area, and the depth data is larger than the basic position. The area is divided into three as a negative area, stored in a divided memory, the positive area is read out from the divided memory, and positive direction proportional data for the left or right eye is created by a shift device.
Next, according to a command from the central processing unit,
The basic region is read to create left or right eye data, and the negative region is further read to create left or right eye reverse inverse proportional data with the shift device,
These left or right eye data are stored in left or right eye memory,
The positive area is read again from the divided memory to create right or left eye positive direction proportional data with the shift device, and then the basic area is read to create right or left eye data, and further the negative area is created. A method for generating stereoscopic video data, comprising: reading out the inverse inverse proportional data for the right or left eye by the shift device; and storing the data for the right or left eye in a memory for the right or left eye, respectively.
前記正領域の左または右目用の正方向比例データは、奥行きデータが小さいほど座標データの右または左への変移量を大きくし、且つ奥行きデータが大きいほど座標データの右または左への変移量を小さくして作成し、前記基本領域の左または右目用のデータについては変移量なく作成し、前記負領域の左または右目用の逆方向反比例データは奥行きデータが小さいほど座標データの左または右への変移量を小さくし、且つ奥行きデータが大きいほど座標データの左または右への変移量を大きくするように前記シフト装置が作成するとともに、
前記正領域の右または左目用の正方向比例データは、奥行きデータが小さいほど座標データの左または右への変移量を大きくし、且つ奥行きデータが大きいほど座標データの左または右への変移量を小さくして作成し、前記基本領域の右または左目用のデータについては変移量なく作成し、前記負領域の右または左目用の逆方向反比例データは奥行きデータが小さいほど座標データの右または左への変移量を小さくし、且つ奥行きデータが大きいほど座標データの右または左への変移量を大きくするように前記シフト装置が作成したことを特徴とする請求項1に記載の立体映像データの発生方法。
The positive direction proportional data for the left or right eye of the positive area is such that the smaller the depth data, the larger the amount of shift of the coordinate data to the right or left, and the larger the depth data, the larger the amount of shift of the coordinate data to the right or left. The data for the left or right eye of the basic area is created without a shift amount, and the inverse inverse proportional data for the left or right eye of the negative area is the left or right of the coordinate data as the depth data is smaller. The shift device creates a smaller amount of displacement, and creates a larger amount of displacement of the coordinate data to the left or right as the depth data increases,
The right or left eye positive direction proportional data of the positive area is such that the smaller the depth data, the larger the amount of shift of the coordinate data to the left or right, and the larger the depth data, the larger the amount of shift of the coordinate data to the left or right. The data for the right or left eye of the basic area is created without a shift amount, and the inverse inverse proportional data for the right or left eye of the negative area is the right or left of the coordinate data as the depth data is smaller. 2. The stereoscopic video data according to claim 1, wherein the shift device creates the amount of shift to the right or left of the coordinate data as the depth data increases, and the amount of shift to the right or left increases as the depth data increases. How it occurs.
電子式表示画面に左右の眼に対応した左眼用映像と右眼用映像とを交互に表示し、これらの表示と同期して開閉する眼鏡を左右の眼に掛けて前記映像をみることで、観察者が立体映像を認識する立体映像表示装置に提供される立体映像データを発生する装置において、
2次元映像データを構成する各画素には、座標データに加えて近景から遠景方向に数値が変化した奥行きデータを持たせ、この奥行きデータの所定の値を左右の目の光軸が交差する基本位置として設定する入力装置と、この基本位置より前記奥行きデータが小さい領域を正領域とし、奥行きデータが一定となるこの基本位置を基本領域とし、この基本位置より前記奥行きデータが大きい領域を負領域として3分割する中央演算装置と、これら各領域を区別して格納する分割メモリと、
前記中央演算装置の指令により、この分割メモリから前記正領域を読み出して左または右目用の正方向比例データを作成し、次に前記基本領域を読み出して左または右目用のデータを作成し、更に前記負領域を読み出して左または右目用の逆方向反比例データを作成するとともに、
前記分割メモリから前記正領域を再度読み出して右または左目用の正方向比例データを作成し、次に前記基本領域を読み出して右または左目用のデータを作成し、更に前記負領域を読み出して右または左目用の逆方向反比例データを作成するシフト装置と、
前記左または右目用のデータを格納する左または右目用のメモリと、
前記右または左目用のデータを格納する右または左目用のメモリとからなることを特徴とする立体映像データの発生装置。
By displaying the image for the left eye and the image for the right eye corresponding to the left and right eyes alternately on the electronic display screen, putting the glasses that open and close in synchronization with these displays on the left and right eyes and viewing the image In a device that generates stereoscopic video data provided to a stereoscopic video display device in which an observer recognizes a stereoscopic video,
Each pixel constituting the two-dimensional video data is given, in addition to the coordinate data, depth data having a numerical value changed from the near view to the distant view direction, and a predetermined value of the depth data is set so that the optical axes of the left and right eyes intersect. An input device to be set as a position, an area in which the depth data is smaller than the basic position is defined as a positive area, the basic position in which the depth data is constant is defined as a basic area, and an area in which the depth data is greater than the basic position is defined as a negative area. A central processing unit that divides the data into three, a divided memory that stores each of these areas separately,
In accordance with a command from the central processing unit, the main area is read from the divided memory to create left- or right-eye proportional data, and then the basic area is read to create left- or right-eye data. While reading the negative area and creating reverse inverse proportional data for the left or right eye,
The positive area is read out again from the divided memory to create right or left eye positive proportional data, then the basic area is read out to create right or left eye data, and the negative area is read out to create a right or left eye data. Or a shift device that creates reverse inverse proportional data for the left eye,
A left or right eye memory for storing the left or right eye data,
An apparatus for generating stereoscopic video data, comprising: a right or left eye memory for storing the right or left eye data.
前記シフト装置は、前記正領域の左または右目用の正方向比例データが、奥行きデータが小さいほど座標データの右または左への変移量を大きくし且つ奥行きデータが大きいほど座標データの右または左への変移量を小さくして作成し、前記基本領域の左または右目用のデータについては変移量なく作成し、前記負領域の左または右目用の逆方向反比例データは奥行きデータが小さいほど座標データの左または右への変移量を小さくし且つ奥行きデータが大きいほど座標データの左または右への変移量を大きくするように作成するとともに、前記正領域の右または左目用の正方向比例データが、奥行きデータが小さいほど座標データの左または右への変移量を大きくし且つ奥行きデータが大きいほど座標データの左または右への変移量を小さくして作成し、前記基本領域の右または左目用のデータについては変移量なく作成し、前記負領域の右または左目用の逆方向反比例データは奥行きデータが小さいほど座標データの右または左への変移量を小さくし且つ奥行きデータが大きいほど座標データの右または左への変移量を大きくするように作成するように構成したことを特徴とする請求項3に記載の立体映像データの発生装置。The shift device may be configured such that the positive direction proportional data for the left or right eye of the positive region increases the shift amount of the coordinate data to the right or left as the depth data decreases, and the right or left of the coordinate data increases as the depth data increases. To the left or right eye data of the basic region is created without a displacement amount, and the reverse inverse proportional data for the left or right eye of the negative region is coordinate data as the depth data is smaller. The amount of displacement to the left or right is made smaller, and the larger the depth data, the larger the amount of displacement of the coordinate data to the left or right. The smaller the depth data, the larger the amount of shift of the coordinate data to the left or right, and the larger the depth data, the smaller the amount of shift of the coordinate data to the left or right. The data for the right or left eye of the basic area is created without a shift amount, and the inverse inverse proportional data for the right or left eye of the negative area is shifted to the right or left of the coordinate data as the depth data is smaller. 4. The three-dimensional video data generating apparatus according to claim 3, wherein the amount of displacement is reduced and the amount of displacement of the coordinate data to the right or left is increased as the depth data increases.
JP2002303583A 2002-09-11 2002-09-11 Method and apparatus for generating three-dimensional video data Pending JP2004104742A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002303583A JP2004104742A (en) 2002-09-11 2002-09-11 Method and apparatus for generating three-dimensional video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002303583A JP2004104742A (en) 2002-09-11 2002-09-11 Method and apparatus for generating three-dimensional video data

Publications (1)

Publication Number Publication Date
JP2004104742A true JP2004104742A (en) 2004-04-02

Family

ID=32289289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002303583A Pending JP2004104742A (en) 2002-09-11 2002-09-11 Method and apparatus for generating three-dimensional video data

Country Status (1)

Country Link
JP (1) JP2004104742A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293792A (en) * 2005-04-13 2006-10-26 Hitachi Displays Ltd Stereoscopic image generation device
WO2010010709A1 (en) * 2008-07-24 2010-01-28 パナソニック株式会社 Playback device capable of stereoscopic playback, playback method, and program
WO2010119814A1 (en) * 2009-04-15 2010-10-21 ソニー株式会社 Data structure, recording medium, reproducing device, reproducing method, and program
JP2010246157A (en) * 2009-02-19 2010-10-28 Panasonic Corp Reproduction device, recording method, and recording medium reproduction system
WO2010131584A1 (en) * 2009-05-12 2010-11-18 ソニー株式会社 Data structure, recording medium, reproducing device, reproducing method, program, and program storage medium
WO2011039927A1 (en) * 2009-10-02 2011-04-07 パナソニック株式会社 Three-dimensional video processing device and three-dimensional video processing method
WO2012035927A1 (en) * 2010-09-14 2012-03-22 株式会社日立国際電気 Remote video monitoring system
JP2012130036A (en) * 2009-05-12 2012-07-05 Sony Corp Recording method
US9888230B2 (en) 2012-10-11 2018-02-06 Hirofumi Tahara Video observation system

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293792A (en) * 2005-04-13 2006-10-26 Hitachi Displays Ltd Stereoscopic image generation device
JP4555722B2 (en) * 2005-04-13 2010-10-06 株式会社 日立ディスプレイズ 3D image generator
US8217990B2 (en) 2005-04-13 2012-07-10 Hitachi Displays, Ltd. Stereoscopic picture generating apparatus
WO2010010709A1 (en) * 2008-07-24 2010-01-28 パナソニック株式会社 Playback device capable of stereoscopic playback, playback method, and program
AU2009275052B2 (en) * 2008-07-24 2014-05-29 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program
US8306387B2 (en) 2008-07-24 2012-11-06 Panasonic Corporation Play back apparatus, playback method and program for playing back 3D video
JP2011234382A (en) * 2008-07-24 2011-11-17 Panasonic Corp Playback system, playback method, and program for playing back stereoscopic vision
JP4792127B2 (en) * 2008-07-24 2011-10-12 パナソニック株式会社 Playback apparatus, playback method, and program capable of stereoscopic playback
CN102100076A (en) * 2008-07-24 2011-06-15 松下电器产业株式会社 Playback device capable of stereoscopic playback, playback method, and program
JP4629805B2 (en) * 2009-02-19 2011-02-09 パナソニック株式会社 Playback apparatus, recording method, and recording medium playback system
US8705935B2 (en) 2009-02-19 2014-04-22 Panasonic Corporation Recording medium, playback device, integrated circuit
US8712215B2 (en) 2009-02-19 2014-04-29 Panasonic Corporation Recording medium, playback device, integrated circuit
JP4654320B2 (en) * 2009-02-19 2011-03-16 パナソニック株式会社 Integrated circuit
JP4634534B2 (en) * 2009-02-19 2011-02-16 パナソニック株式会社 Recording medium, reproducing apparatus, recording method, and recording medium reproducing system
CN102685514B (en) * 2009-02-19 2014-02-19 松下电器产业株式会社 Reproduction device, recording method and recording medium reproduction system
JP2010246157A (en) * 2009-02-19 2010-10-28 Panasonic Corp Reproduction device, recording method, and recording medium reproduction system
JP2010288290A (en) * 2009-02-19 2010-12-24 Panasonic Corp Integrated circuit
JP2010288289A (en) * 2009-02-19 2010-12-24 Panasonic Corp Recording medium, playback device, recording method, and recording medium playback system
CN102685514A (en) * 2009-02-19 2012-09-19 松下电器产业株式会社 Recording medium, reproduction device, recording method and recording medium reproduction system
CN102282859A (en) * 2009-04-15 2011-12-14 索尼公司 Data structure, recording medium, reproducing device, reproducing method, and program
CN102282859B (en) * 2009-04-15 2014-10-29 索尼公司 Data structure, recording medium, reproducing device, reproducing method, and program
WO2010119814A1 (en) * 2009-04-15 2010-10-21 ソニー株式会社 Data structure, recording medium, reproducing device, reproducing method, and program
JP2010268431A (en) * 2009-04-15 2010-11-25 Sony Corp Data structure, recording medium, reproducing device, reproducing method, and program
WO2010131584A1 (en) * 2009-05-12 2010-11-18 ソニー株式会社 Data structure, recording medium, reproducing device, reproducing method, program, and program storage medium
US8730304B2 (en) 2009-05-12 2014-05-20 Sony Corporation Information processing apparatus, method, program and recording medium
JP2012130036A (en) * 2009-05-12 2012-07-05 Sony Corp Recording method
CN102084659A (en) * 2009-05-12 2011-06-01 索尼公司 Data structure, recording medium, reproducing device, reproducing method, program, and program storage medium
CN102625123A (en) * 2009-05-12 2012-08-01 索尼公司 Playing device
CN102625123B (en) * 2009-05-12 2015-01-07 索尼公司 Playing device
JP2011041249A (en) * 2009-05-12 2011-02-24 Sony Corp Data structure, recording medium and reproducing device, reproducing method, program, and program storage medium
JP2011082631A (en) * 2009-10-02 2011-04-21 Panasonic Corp Three-dimensional video processing device, and three-dimensional video processing method
CN102342121B (en) * 2009-10-02 2014-10-29 松下电器产业株式会社 3d Video Processing Apparatus And 3d Video Processing Method
CN102342121A (en) * 2009-10-02 2012-02-01 松下电器产业株式会社 3d Video Processing Apparatus And 3d Video Processing Method
WO2011039927A1 (en) * 2009-10-02 2011-04-07 パナソニック株式会社 Three-dimensional video processing device and three-dimensional video processing method
US8941718B2 (en) 2009-10-02 2015-01-27 Panasonic Corporation 3D video processing apparatus and 3D video processing method
WO2012035927A1 (en) * 2010-09-14 2012-03-22 株式会社日立国際電気 Remote video monitoring system
US9888230B2 (en) 2012-10-11 2018-02-06 Hirofumi Tahara Video observation system

Similar Documents

Publication Publication Date Title
JP4740135B2 (en) System and method for drawing 3D image on screen of 3D image display
TWI508519B (en) An image processing apparatus, a program, an image processing method, a recording method, and a recording medium
US7796134B2 (en) Multi-plane horizontal perspective display
JP2005295004A (en) Stereoscopic image processing method and apparatus thereof
US5847710A (en) Method and apparatus for creating three dimensional drawings
JP4903888B2 (en) Image display device, image display method, and image correction method
US9438886B2 (en) Parallax scanning methods for stereoscopic three-dimensional imaging
JP2019079552A (en) Improvements in and relating to image making
CN108769664B (en) Naked eye 3D display method, device, equipment and medium based on human eye tracking
US20080278573A1 (en) Method and Arrangement for Monoscopically Representing at Least One Area of an Image on an Autostereoscopic Display Apparatus and Information Reproduction Unit Having Such an Arrangement
Date et al. Highly realistic 3D display system for space composition telecommunication
JP5396877B2 (en) Image processing apparatus, program, image processing method, and recording method
WO2013108285A1 (en) Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method
JP6963399B2 (en) Program, recording medium, image generator, image generation method
JP3452244B2 (en) Three-dimensional display method and apparatus
JP2004104742A (en) Method and apparatus for generating three-dimensional video data
JP6166985B2 (en) Image generating apparatus and image generating program
JP2005175539A (en) Stereoscopic video display apparatus and video display method
JP2004144873A (en) Picture display device and picture display method
JP4902012B1 (en) Zoomable stereo photo viewer
Aoyama et al. 48‐5: Eye‐sensing Light Field Display for Spatial Reality Reproduction
JP4183499B2 (en) Video file processing method and video processing method
JP5222407B2 (en) Image display device, image display method, and image correction method
Wei et al. Color anaglyphs for panorama visualizations
JP7448856B2 (en) Gaze reproduction system, gaze reproduction method, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20041101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080902