JP2004274485A - Stereoscopic image generating apparatus - Google Patents

Stereoscopic image generating apparatus Download PDF

Info

Publication number
JP2004274485A
JP2004274485A JP2003063806A JP2003063806A JP2004274485A JP 2004274485 A JP2004274485 A JP 2004274485A JP 2003063806 A JP2003063806 A JP 2003063806A JP 2003063806 A JP2003063806 A JP 2003063806A JP 2004274485 A JP2004274485 A JP 2004274485A
Authority
JP
Japan
Prior art keywords
image
parallax
stereoscopic
coordinates
stereoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003063806A
Other languages
Japanese (ja)
Other versions
JP4258236B2 (en
JP2004274485A5 (en
Inventor
Shigeru Mototani
茂 本谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sega Corp
Original Assignee
Sega Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sega Corp filed Critical Sega Corp
Priority to JP2003063806A priority Critical patent/JP4258236B2/en
Publication of JP2004274485A publication Critical patent/JP2004274485A/en
Publication of JP2004274485A5 publication Critical patent/JP2004274485A5/ja
Application granted granted Critical
Publication of JP4258236B2 publication Critical patent/JP4258236B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a stereoscopic image generating apparatus which can remarkably enhance a real time property of displaying a stereoscopic image. <P>SOLUTION: The stereoscopic image generating apparatus includes a compositing means for reading and compositing the parallactic images recorded in a recording means and corresponding to n pieces of parallactic angles, a frame buffer for writing the composited image, and an output means for outputting the composite image written in the frame buffer to an n-ocular stereoscopic image display means having a stereoscopic display element for generating n-ocular parallax from the composite image via a barrier having a predetermined shape. The parallactic image has a parallactic image number indicating the corresponding parallactic angle and coordinates for specifying the image position. The compositing means selects the color components of one pixel necessary for the composite image from the n pixels for constituting the parallactic images based on a predetermined stereoscopic image format based on the barrier shape of the stereoscopic display element, and composites the selected color components so as to coincide with the coordinates on the original parallactic image. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は立体視画像生成装置に関する。特に、n眼式立体視を観察可能とする立体視画像表示装置における立体視画像生成装置に関する。
【0002】
【従来の技術】
近年、観察者が特殊な器具を用いることなく立体視観察を可能とする立体視画像表示装置の開発が進んでいる。かかる立体視画像表示装置の原理は、右目と左眼の間隔によって生じる両眼視差を利用し、レンチキュラやパララックスバリアを有する立体表示素子(ディスプレイ)に右目と左眼に対して異なる視差画像を与えることにより観察者に立体視を感覚させるものである。
【0003】
この原理を拡張して、さらに複数の視野角に対応する立体表示素子に、視野角毎に右目と左眼で異なる視差画像を与えることによりn眼式の立体視画像表示装置が得られる。
【0004】
図1は、視差画像の具体例を説明する図である。S=0〜3は三次元空間上の物体を、視線方向を変えて観察したときのそれぞれ視差角の異なる画像の集まりである。そして、それぞれの画像は光の三原色であるRGB成分によって構成された、座標x,yを有する画素の集まりである。
【0005】
かかる視差画像はコンピュータグラフィック(CG)技術により仮想的にモデリングした三次元空間を計算して映像化したり、ビデオカメラ等で撮影した映像をデジタル化したりして生成することができる。
【0006】
立体視画像表示装置において、かかる視差画像の集まりを色成分レベルで分解し、立体表示素子(ディスプレイ)のバリア形状によって異なる規則に従って合成した画像を立体表示素子に表示することにより、観測者に立体的な映像を感覚させることができる(例えば、特許文献1)。このバリア形状によって異なる規則を、以後の説明において立体画像フォーマットと呼ぶ。
【0007】
従って、立体視画像表示装置において、視差画像データを使用する立体表示素子に対応する立体画像フォーマットに変換する処理が必要である。この処理の方法として、例えば、フレームバッファに視差画像の画素を一旦、書き込み、次いで立体画像フォーマットに合致するように色成分を組み直す方法がある(例えば、特許文献2)。
【0008】
【特許文献1】
特許第3096613号公報
【0009】
【特許文献2】
特開2002−77940号
【0010】
【発明が解決しようとする課題】
しかし、特許文献2に記載されるような、従来の視差画像データを立体画像フォーマットに変換する処理方法では、フレームバッファへのアクセスが多くなり、立体画像表示のリアルタイム性を損なう恐れがあった。
【0011】
従って、本発明の目的は、フレームバッファへのアクセスを大幅に少なくし、帯域、容量ともに大幅な性能改善が得られ、この結果立体画像表示のリアルタイム性を飛躍的に高めることが可能な立体視画像生成装置を提供することにある。
【0012】
【課題を解決するための手段】
上記の課題を達成する本発明に従う立体視画像生成装置の第1の態様は、記録手段に記録され、n個の視差角に対応するn個の視差画像を、前記記録手段から読み出して合成する合成手段と、
前記合成された合成画像が書き込まれるフレームバッファと、
前記フレームバッファに書き込まれた合成画像を、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子を備えたn眼式立体視画像表示手段に出力する出力手段を有し、
前記視差画像が、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有し、
前記合成手段は、前記視差画像番号及び座標と、前記立体表示素子のバリア形状に基づく所定の立体画像フォーマットとに基づいて、各視差画像を構成するn画素分の中から前記合成画像に必要な1画素分の色成分を選択し、選択された色成分を元の視差画像上での座標と一致するように合成することを特徴とする。
【0013】
上記の課題を達成する本発明に従う立体視画像生成装置の第2の態様は、第1の態様において、前記合成手段は、前記視差画像番号と座標との組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする。
【0014】
上記の課題を達成する本発明に従う立体視画像生成装置の第3の態様は、第1の態様において、前記フレームバッファは、RGB各色対応した3つのバンクを有し、更に、前記立体表示素子の水平,垂直同期信号と、これと同期し、前記3つのバンクに共通にアクセスするアドレスを発生するディスプレイコントローラを有することを特徴とする。
【0015】
上記の課題を達成する本発明に従う立体視画像生成装置の第4の態様は、記録手段に記録され、n個の視差角に対応し、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有するn個の視差画像を、前記記録手段から読み出す読み出し手段と、
前記視差画像番号及び座標と、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子の前記バリア形状に基づく所定の立体画像フォーマットとに基づいて、前記視差画像のRGB各色毎に各視差画像を構成するn画素分の中から前記立体画像フォーマットに必要な1画素分の色成分を選択し、且つアドレスを出力する画像生成手段と、前記画像生成手段から出力されるアドレスに前記選択された視差画像が書き込まれるRGB各色対応の3つのバンクを有するフレームバッファと、前記立体表示素子の水平,垂直同期信号と、これと同期し、前記3つのバンクに共通にアクセスするアドレスを発生するディスプレイコントローラを有することを特徴とする。
【0016】
上記の課題を達成する本発明に従う立体視画像生成装置の第5の態様は、第4の態様において、前記画像生成手段は、前記視差画像番号と座標との組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする。
【0017】
上記の課題を達成する本発明に従う立体視画像生成装置の第6の態様は、記録手段に記録され、n個の視差角に対応し、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有するn個の視差画像を、前記記録手段から読み出す読み出し手段と、
前記視差画像番号及び座標と、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子の前記バリア形状に基づく所定の立体画像フォーマットとに基づいて、RGB各色毎に前記複数の視差画像の何れかを選択し、且つアドレスを出力する画像生成手段と、
前記画像生成手段から出力されるアドレスに、前記複数の視差画像の前記選択されたRGB色が書き込まれるフレームバッファと、
前記立体表示素子の水平,垂直同期信号と、これと同期し、前記立体表示素子の表示座標と、該座標に対応する前記フレームバッファのアドレスから前記書き込まれているRGB色を読み出し制御するディスプレイコントローラと、
前記ディスプレイコントローラから出力される前記立体表示素子の表示座標に基づき、前記ディスプレイコントローラから出力されるRGB色を、前記複数の視差角対応にバッファリングする手段と、
前記ディスプレイコントローラから出力される前記立体表示素子の表示座標に基づき、前記バッファリングする手段から出力されるRGB色のうち、RGB色毎に前記複数の視差角の何れかに対応するものを選択する画像再生成手段を有することを特徴とする。
【0018】
更に、上記の課題を達成する本発明に従う立体視画像生成装置の第7の態様は、第6の態様において、前記画像再生成手段は、色成分選択と前記立体表示素子の表示の組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする。
【0019】
本発明の特徴は、以下に図面に従って説明される発明の実施の形態例により更に明らかになる。
【0020】
【発明の実施の形態】
以下に、本発明の実施の形態例として、4つの視野角を用いた立体表示を行なう場合を説明する。しかし、本発明の適用は4視野角を用いる場合に限定されるものではなく、本発明原理を立体表示素子の要求する立体画像フォーマットに対応するように適用することにより、1以上のn眼式に適用可能である。
【0021】
以下の説明において、4つの視野角に対応する4つの視差画像を区別するためのパラメータとして、それぞれの視差画像番号をS=0〜3とする。また各視差画像は立体表示素子(ディスプレイ)と同じ解像度の画素数を有しているものとする。
【0022】
本発明に従う立体視画像生成装置は、かかる視差画像に基づき、立体表示素子の要求する立体画像フォーマット、例えば後に詳細に説明する、図2に示す画像フォーマットに変換する機能を有している。
【0023】
図3は本発明に従う立体視画像生成装置のブロック図である。図3において、ブロック1が本発明に従う立体視画像生成装置であって、入力として視差画像10が与えられ、図2に示す立体画像フォーマットが生成され、対応する立体表示素子11に繰り返し出力されて立体画像が表示される。図3において、ブロック間の矢印は、データの流れを示している。
【0024】
図1に示したように、4つの視野角に対応する4つの視差画像10が立体視画像生成装置1のカラーバッファ100に入力される。ここで、視差画像10は、先に説明したように、CG技術により仮想的にモデリングした三次元空間を計算して映像化し、あるいはビデオカメラ等で撮影した映像をデジタル化して作り出すことができる。従って、かかる視差画像の形成については、本発明とは直接に関係しないので形成の仕方についての説明は省略する。
【0025】
図4は、カラーバッファ100の一実施例構成である。図1に示した視差画像の各画素RGBが、パラメータとしての視差画像番号Sと視差画像上での座標x,yと共に、カラーバッファ100に入力される。
【0026】
入力された画素RGBはデコーダ101に入力し、座標xに応じて決定されるカラーバッファメモリ102の対応位置に記憶される。これにより、x方向に4画素連続した状態にパラレル変換される。なお、視差画像10が初めからこの状態で入力されるならば、カラーバッファメモリ102は省略することが可能である。
【0027】
また画素がデコーダ101によりパラレル変換される際に座標xが、4の倍数の時の座標x,yと視差画像番号Sが、それぞれ対応するバッファメモリ103,104,105にバッファされる。ここで、入力される画素の順序はパラレル変換が正常に行われる範囲内であれば、入力される画素の座標や視差画像番号の順序に制限はない。
【0028】
次いで、入力された画素はパラレル変換が完了してから色成分ごとに、カラーバッファメモリ100から座標x,yと視差画像番号Sと共に出力される。色成分ごとに分解された画素は、図4に示すように、それぞれ元の画素のx座標に対応付けて、R0〜R3, G0〜G3, B0〜B3として示されている。
【0029】
図5は立体視画像生成部110であり、本発明の中心となる部分である。立体視画像生成部110は、図4のカラーバッファメモリ100からパラレルに入力される色成分R0〜R3, G0〜G3, B0〜B3から座標x,yと視差画像番号Sによって対応する立体画像フォーマットに合致するよう色成分を選択出力する。
【0030】
その際、選択出力した色成分が表示されるまでの期間中、フレームバッファ120上に記憶されるアドレスを生成する。この処理はR,G,Bの各色成分ごとに行われる。従って、図5に示すようにR,G,Bの各色成分対応に、ピクセル生成器111,112,113を有している。ピクセル生成器111,112,113の各々は、本質的に同じ構成であるので、代表して図6に示すR成分に対応するピクセル生成器111の詳細を次に説明する。
【0031】
実際の色成分選択とアドレス生成はアドレス生成部111cにおいて、座標x,yと視差画像番号Sによって、テーブル111aに予め設定されたテーブル値を参照した値Trに基づいて行われる。
【0032】
周知の立体表示素子の原理より、選択される色成分はパラレル入力された4画素分の中から1画素分であり、フレームバッファ120上に記憶するアドレスは選択された色成分の元の視差画像上での座標と同じ座標になるように生成する。これにより他の画素の処理結果と重複することなくフレームバッファ120に記憶することができる。
【0033】
図7は、テーブル111aからの出力Trの真理値表の例である。座標yと視差画像番号Sの組み合わせに対応して、出力Trが設定されている。なお、本実施例では出力Trの決定に座標xは無関係となっているが、より一般的には座標xも関係することになる。
【0034】
また、図7では、他の色成分G,Bに対する対応するピクセル生成器112,113においても同様であり、ピクセル生成器111のテーブル111a相当のピクセル生成器112,113におけるテーブルからの出力Tg、Tbの真理値の例が同時に示されている。
【0035】
出力Trによって、R成分中の視差画像番号S=0〜3に対応する4画素分のR0,R1,R2,R3の中から1画素が4対1セレクタ111bにより選択される。図8における図8Aは、このセレクタ111bから出力される出力Rの真理値表である。同様に、図8B、図8Cは、他の色成分G,Bに対する対応するピクセル生成器112,113におけるセレクタ111b相当のセレクタからそれぞれ出力される出力G,Bの真理値表である。
【0036】
次いで、アドレス発生器111cは、x,y,Tの関数として、次の関係式によりアドレスArを生成し、出力する。
【0037】
Ar(x,y,Tr)=w×y+x+Tr
ただし、wは定数で視差画像のxサイズ、xはカラーバッファ100からの出力段階では4の倍数である。ピクセル生成器112と113についてもテーブルからの出力がTg,Tbと成るだけの違いで、同様の処理を行う。
【0038】
この段階で立体画像を表示するために画素に含まれる必要のない色成分が除去される。このためにフレームバッファ120に視差画像の画素を書き出してから立体画像フォーマットに合致するように色成分を組み直す従来のシステムに比べ、フレームバッファ120へのアクセスが大幅に少なく、帯域、容量ともに大幅な性能改善が得られることが容易に理解できる。これにより立体画像表示のリアルタイム性を飛躍的に高めることが可能である。
【0039】
また、上記のテーブル111aはメモリで構成することにより、任意に再設定が可能である。このために本発明を適用するシステムでは、採用する立体表示素子(ディスプレイ)が変更になり、それに伴って要求される立体画像フォーマットが変更になる場合や立体表示を目的としない一般的なディスプレイに対してさえも、テーブル111aを再設定することで容易に対応することが可能である。
【0040】
更に、観測者の観測位置によっては左右それぞれの目で観測されるべき視差画像が逆になってしまう逆視と呼ばれる状態になることがあるが、観測者の観測位置によってTr,Tg,Tbを出力するテーブルを動的に修正変更することによりこの逆視状態を補正することもできる。
【0041】
以上の処理を全ての視差画像の全ての画素について行った結果が、図18に示され、これがフレームバッファ120の描画状態である。
【0042】
ここで、図18において、図18A,図18B,図18Cに示すように、フレームバッファ120は、図5の立体視画像生成部110で処理したR,G,Bの各色成分を記録するためそれぞれの色成分に対応する3つのバンクから構成されている。
【0043】
このようにバンクが独立しているのは立体視画像生成部110で処理した結果、記録すべきアドレスが各色成分で異なることに対応するためである。
【0044】
図18において、各バンクから同じ座標の色成分を取り出すことにより図2に示す立体画像フォーマットと同一の状態になることがわかる。
【0045】
図2において、例えば、座標(x、y)=0,0に対応するバッファ位置には、R000、G001,B002が格納されている。これを図1の視差画像と比較すると、R000は視差番号S=0の座標(x、y)=0,0の画素に含まれるR成分であり、G001は視差番号S=1の座標(x、y)=0,0の画素に含まれるG成分であり、B002は、視差番号S=2の座標(x、y)=0,0の画素に含まれるB成分である。
【0046】
図9はディスプレイコントローラ130の実施例構成である。ディスプレイコントローラ130では水平−垂直同期信号に対応してH−Vカウンタ131が周期的にカウントアップしており、立体表示素子11の表示に必要な水平、垂直同期信号H−Sync,V−Syncと表示座標h,vはリードインターフェース132により、図2に示した3つのバンクのフレームバッファ120上のアドレス(Ar,Ag,Ab)に変換され、該当アドレスの色成分RGBを読み出す。
【0047】
ここで、Ar=Ag=Ab=w×v+h ただし、wは定数で視野座標のxサイズである。
【0048】
先に説明したようにアドレスは3つあるバンクに渉って共通である。読み出された画素RGBは同期信号と共に立体表示素子11に出力され観測者に対し立体画像を表示する。
【0049】
ここで、図5に示す立体視画像生成装置では3つの各バンクにわたって同一アドレスに記憶されている色成分は立体表示素子11上で同一座標の画素を構成する色成分であるように出力するようにしている。
【0050】
このためフレームバッファ120に記憶された段階で立体画像表示素子11が要求する立体画像フォーマットになって画素が並んでいるため、立体画像表示素子11に表示する段階ではフレームバッファ120の各バンクに対して同一のアドレスを順に与えて読み出した色成分を立体画像表示素子11に出力するだけで観測者に立体画像を観測させることができる。
【0051】
ここで、上記に述べた実施例ではフレームバッファ120が3バンク構成となっているためメモリ素子数やそれにアクセスするためのバスが増加するという問題がある。
【0052】
そこでフレームバッファ120を1つのバンクで構成する実施例を以下に検討する。このフレームバッファ120を1つのバンクとする構成の立体視画像生成装置1の構成ブロック図が図10に示される。
【0053】
周知の立体表示素子の原理から、同一視差画像に属するx方向に連続した4画素からはR,G,Bの色成分が各1つづつしか抽出されることはない。このため図3に示した立体視画像生成部110において生成されたR,G, Bの各色成分は3つまとめてフレームバッファ上の同一アドレスに記録することにする。
【0054】
具体的には、図5の立体視画像生成部110で生成した各色要素をフレームバッファ120上の同一アドレスへ3つまとめて記憶することとし、フレームバッファを1バンクとしたものが図10に示す構成である。
【0055】
図5の立体視画像生成部110に代えて、図10の立体視画像生成装置1の実施例では、図11に示すように立体視画像生成部110を構成する。図11の立体視画像生成部110は、アドレス発生器114と、R,G,Bの各色成分対応に、ピクセル生成器111,112,113を有している。
【0056】
ピクセル生成器111,112,113の各々は、本質的に同じ構成であるので、代表して図12にR成分に対応するピクセル生成器111の構成を示す。ピクセル生成器111は、基本的に図6に示した実施例構成と同様であるが、上記のように独立したアドレス発生器114があるので、それぞれのピクセル生成器には、アドレス発生器111cは不要である。また、テーブル111a及び4対1セレクタ111bは図6に関して説明したと同様である。G,B成分に関してもまた同様である。
【0057】
ここで、図11の立体視画像生成部110におけるアドレス発生器114から出力されるアドレスAは入力された画素のx座標に対して視差画像の視差画像番号によるオフセットを加えたもので次のようにして求める。
【0058】
A=wy+x+S
ただし、wは定数で視差画像のxサイズ、xはカラーバッファ100からの出力段階で4の倍数である。
【0059】
図10の立体視画像生成装置1において、全視差画像の全画素を処理した後のフレームバッファ120の描画状態が図13に示される。図13に示すようにフレームバッファ120は1バンク構成である。
【0060】
ここでx方向に連続する4画素に含まれる色成分を組み換えることにより、図2のフレームバッファと同等な状態を作りだせるようになっていることが重要な点であり、表示の段階ではこの4画素の中から立体画像フォーマットに従うように色成分を選択しながら立体表示素子11に出力する。
【0061】
図10の実施例では、かかる制御を行なうために、ディスプレイコントローラ130を図14のように構成している。図14において、ディスプレイコントローラ130ではH−Vカウンタ131が周期的にカウントアップしており、立体表示素子の表示に必要な同期信号H−Sync,V−Syncと表示座標h,vを生成している。
【0062】
この表示座標h,vはリードインターフェース132により図13に示す、1バンク構成のフレームバッファ120上のアドレスAに変換され、該当アドレスの画素RGBをフレームバッファ120から読み出す。
【0063】
ここで、A=w×v+h ただし、wは定数で視野座標のxサイズである。
【0064】
読み出された画素RGBは再びリードインターフェース132で表示座標h,vを付加されて、ディスプレイバッファ140に出力される。同期信号は画素が立体視表示素子11に出力されるまでのレイテンシを考慮して出力される。
【0065】
図15はディスプレイバッファ140の構成例である。入力された画素RGBはデコーダ141を通り、同じく入力された表示座標hに対応したバッファ142に記憶されることでh方向に4画素連続した状態にパラレル変換される。このバッファ142は複数バンクから構成され、フレームバッファ120から画素を読み出すまでの時間を緩衝し、後段に対して絶え間なく画素を出力できるようにする役目も担っている。
【0066】
また画素がパラレル変換される際に座標hが4の倍数のときの表示座標h,vもそれぞれバッファ143,144にバッファリングされる。色成分ごとに分解された画素はそれぞれ元の画素のh座標に対応してR0〜R3, G0〜G3,B0〜B3とする。
【0067】
図16は立体視画像再生成部150の構成例である。立体視画像再生成部150は、図15のディスプレイバッファ140からパラレルに入力される色成分R0〜R3, G0〜G3,B0〜B3から表示座標h,vによって立体画像フォーマットに合致するよう色成分をセレクタ151,152,153により選択しながら出力する。
【0068】
一度の入力で立体表示素子11に4画素を出力することができ、4画素出力するたびにカラーバッファ100から新たな入力を得ることを繰り返す。立体視画像再生成部150において、色成分の選択は各色成分ごとに行われる。RGB成分に対応するセレクタ151、152,153は、本質的に同じであるので、代表してR成分についてのみ図17に構成を示す。
【0069】
実際の色成分の選択は、4対1セレクタ151が色成分R0〜R3と共に入力される表示座標h,vによりテーブル151aのテーブル値を参照することによって行われる。G,B成分についてもテーブルからの出力が異なるのみで同様の処理を行う。
【0070】
これらのテーブルは任意に設定することが可能である。なお、かかるテーブルの設定により、図3の立体視画像生成装置1と同様の仕組みで、立体表示素子11が変更になった場合の対応や逆視状態の補正をおこなうことができる。
最後に立体表示素子11は、ディスプレイコントローラ130から出力される同期信号h、vと図16の立体視画像再生成部150から出力される色成分に基づき、観測者に対し立体画像を表示することができる。
【0071】
また、上記の実施の形態例において、フレームバッファへの書き込みと読み出しにおいて、それぞれアクセスするアドレスに異なるオフセットを加え、当該オフセットを適切に制御することにより、表示のための読み出しが完了するのを待たずにフレームバッファ上の他のアドレスへ次以降のフレームを描画できるような構成にすると立体画像表示のリアルタイム性を更に高めることが出来る。
【0072】
【発明の効果】
以上図面に従い実施の形態例を説明したように、本発明に従う立体視画像生成装置よりフレームバッファへのアクセスを大幅に少なくし、大幅な性能改善が得られ、この結果立体画像表示のリアルタイム性を飛躍的に高めることが可能な立体視画像表示装置が提供可能である。
【図面の簡単な説明】
【図1】視差画像の具体例を説明する図である。
【図2】立体画像フォーマットの例を説明する図である。
【図3】本発明に従う立体視画像生成装置のブロック図である。
【図4】カラーバッファ100の一実施例構成である。
【図5】立体視画像生成部110を示す図である。
【図6】R成分に対応するピクセル生成器111の構成の構成を示す図である。
【図7】ピクセル生成器111,112,113のテーブル出力の真理値表の例である。
【図8】ピクセル生成器111,112,113のセレクタ出力の真理値表の例である。
【図9】ディスプレイコントローラ130の実施例構成である。
【図10】フレームバッファを1つのバンクとする構成の立体視画像生成装置1の構成ブロック図である。
【図11】立体視画像生成部110を構成を示す図である。
【図12】R成分に対応するピクセル生成器111の構成を示す図である。
【図13】図10の立体視画像生成装置1において、全視差画像の全画素を処理した後のフレームバッファ120の描画状態を示す図である。
【図14】ディスプレイコントローラ130の構成を示す図である。
【図15】ディスプレイバッファ140の構成例である。
【図16】立体視画像再生成部150の構成例を示す図である。
【図17】R成分についてのセレクタの構成を示す図である。
【図18】全ての視差画像の全ての画素について行った結果であるフレームバッファ120の描画状態を示す図である。
【符号の説明】
10 視差画像
11 立体表示素子
100 カラーバッファ
110 立体視画像生成部
120 フレームバッファ
130 ディスプレイコントローラ
140 ディスプレイバッファ
150 立体視画像再生成部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a stereoscopic image generation device. In particular, the present invention relates to a stereoscopic image generation device in a stereoscopic image display device capable of observing n-eye stereoscopic vision.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a stereoscopic image display device that allows a viewer to perform stereoscopic observation without using a special instrument has been developed. The principle of such a stereoscopic image display device utilizes binocular parallax generated by the distance between the right eye and the left eye, and displays different parallax images for the right eye and the left eye on a stereoscopic display element (display) having a lenticular or parallax barrier. By giving it, the observer feels stereoscopic vision.
[0003]
Extending this principle, an n-eye stereoscopic image display device can be obtained by giving different parallax images for the right and left eyes for each of the viewing angles to the stereoscopic display elements corresponding to a plurality of viewing angles.
[0004]
FIG. 1 is a diagram illustrating a specific example of a parallax image. S = 0 to 3 are collections of images having different parallax angles when observing an object in a three-dimensional space while changing the viewing direction. Each image is a group of pixels having coordinates x and y, which are constituted by RGB components which are three primary colors of light.
[0005]
Such a parallax image can be generated by calculating and imaging a three-dimensional space virtually modeled by computer graphic (CG) technology, or by digitizing an image captured by a video camera or the like.
[0006]
In the stereoscopic image display device, such a group of parallax images is decomposed at the color component level, and an image synthesized according to different rules depending on the barrier shape of the stereoscopic display element (display) is displayed on the stereoscopic display element, so that the viewer can see the stereoscopic image. A typical image can be sensed (for example, Patent Document 1). The rule that varies depending on the barrier shape is referred to as a stereoscopic image format in the following description.
[0007]
Therefore, in the stereoscopic image display device, a process of converting the parallax image data into a stereoscopic image format corresponding to the stereoscopic display element using the parallax image data is required. As a method of this processing, for example, there is a method of once writing pixels of a parallax image in a frame buffer, and then reassembling color components so as to conform to a stereoscopic image format (for example, Patent Document 2).
[0008]
[Patent Document 1]
Japanese Patent No. 3096613
[Patent Document 2]
JP-A-2002-77940
[Problems to be solved by the invention]
However, in the conventional processing method of converting parallax image data into a stereoscopic image format as described in Patent Literature 2, the number of accesses to a frame buffer increases, and the real-time property of stereoscopic image display may be impaired.
[0011]
Accordingly, an object of the present invention is to significantly reduce the access to the frame buffer, to obtain a significant performance improvement in both the bandwidth and the capacity, and as a result, to improve the real-time property of the stereoscopic image display dramatically. An image generation device is provided.
[0012]
[Means for Solving the Problems]
A first aspect of a stereoscopic image generating apparatus according to the present invention that achieves the above object is to read and combine n parallax images recorded in a recording unit and corresponding to n parallax angles from the recording unit. Combining means;
A frame buffer in which the synthesized image is written;
Output means for outputting the synthesized image written in the frame buffer to an n-eye stereoscopic image display means having a stereoscopic display element for generating n-eye parallax from the synthesized image by a barrier having a predetermined shape; And
The parallax image has a parallax image number indicating a corresponding parallax angle, and coordinates specifying an image position,
The synthesizing unit includes a parallax image number and coordinates, and a predetermined stereoscopic image format based on a barrier shape of the stereoscopic display element. It is characterized in that a color component for one pixel is selected, and the selected color component is synthesized so as to match the coordinates on the original parallax image.
[0013]
According to a second aspect of the stereoscopic image generating apparatus according to the present invention that achieves the above object, in the first aspect, the synthesizing unit includes: a table in which a combination of the parallax image number and the coordinates is set; It is characterized by having means for selecting a color component necessary for the stereoscopic image format according to the obtained combination.
[0014]
According to a third aspect of the stereoscopic image generating apparatus according to the present invention that achieves the above object, in the first aspect, the frame buffer has three banks corresponding to each of RGB colors. It is characterized by having a display controller which generates horizontal and vertical synchronizing signals and addresses synchronizing therewith to access the three banks in common.
[0015]
A fourth aspect of the stereoscopic image generation apparatus according to the present invention that achieves the above object is a recording apparatus, which records a parallax image number corresponding to n parallax angles, a parallax image number indicating the corresponding parallax angle, and an image position. Reading means for reading n parallax images having coordinates to be specified from the recording means;
RGB of the parallax image based on the parallax image number and coordinates, and a predetermined stereoscopic image format based on the barrier shape of the stereoscopic display element that generates n-eye parallax from the composite image by a barrier having a predetermined shape. Image generation means for selecting a color component for one pixel required for the stereoscopic image format from among n pixels constituting each parallax image for each color, and outputting an address, and output from the image generation means A frame buffer having three banks corresponding to each color of RGB in which the selected parallax image is written at an address, horizontal and vertical synchronizing signals of the three-dimensional display element, and synchronizing therewith to access the three banks in common It has a display controller for generating an address.
[0016]
According to a fifth aspect of the stereoscopic image generation apparatus according to the present invention that achieves the above object, in the fourth aspect, the image generation unit includes: a table in which a combination of the parallax image number and coordinates is set; And a means for selecting a color component necessary for the stereoscopic image format according to a combination obtained from the above.
[0017]
A sixth aspect of the stereoscopic image generating apparatus according to the present invention that achieves the above object is a parallax image number recorded in a recording unit, corresponding to n parallax angles, and indicating a corresponding parallax image number and an image position. Reading means for reading n parallax images having coordinates to be specified from the recording means;
Based on the parallax image number and coordinates, and a predetermined stereoscopic image format based on the barrier shape of the stereoscopic display element that generates n-eye parallax from the composite image by a barrier having a predetermined shape, Image generation means for selecting any of the plurality of parallax images and outputting an address;
A frame buffer in which the selected RGB color of the plurality of parallax images is written to an address output from the image generation unit;
A horizontal / vertical synchronization signal of the stereoscopic display element, and a display controller for reading out and controlling the written RGB colors from a display coordinate of the stereoscopic display element and an address of the frame buffer corresponding to the coordinate. When,
Means for buffering RGB colors output from the display controller in correspondence with the plurality of parallax angles, based on display coordinates of the stereoscopic display element output from the display controller;
Based on display coordinates of the three-dimensional display element output from the display controller, an RGB color output from the buffering unit is selected for each of the RGB colors corresponding to any of the plurality of parallax angles. It is characterized by having image regenerating means.
[0018]
Further, in a seventh aspect of the stereoscopic image generating apparatus according to the present invention for achieving the above object, in the sixth aspect, the image regenerating means sets a combination of color component selection and display of the three-dimensional display element. And a means for selecting a color component necessary for the stereoscopic image format according to a combination obtained from the table.
[0019]
The features of the present invention will become more apparent from the embodiments of the present invention described below with reference to the drawings.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, as an embodiment of the present invention, a case where stereoscopic display using four viewing angles is performed will be described. However, the application of the present invention is not limited to the case of using four viewing angles, and the present invention is applied so as to correspond to a stereoscopic image format required by a stereoscopic display element, thereby enabling at least one n-eye type. Applicable to
[0021]
In the following description, it is assumed that the respective parallax image numbers are S = 0 to 3 as parameters for distinguishing four parallax images corresponding to four viewing angles. Each parallax image has the same number of pixels as the resolution of the stereoscopic display element (display).
[0022]
The stereoscopic image generating apparatus according to the present invention has a function of converting a stereoscopic image format required by the stereoscopic display element, for example, an image format shown in FIG.
[0023]
FIG. 3 is a block diagram of a stereoscopic image generation device according to the present invention. In FIG. 3, a block 1 is a stereoscopic image generating apparatus according to the present invention, in which a parallax image 10 is given as an input, a stereoscopic image format shown in FIG. 2 is generated, and is repeatedly output to a corresponding stereoscopic display element 11. A stereoscopic image is displayed. In FIG. 3, arrows between blocks indicate the flow of data.
[0024]
As shown in FIG. 1, four parallax images 10 corresponding to four viewing angles are input to the color buffer 100 of the stereoscopic image generation device 1. Here, as described above, the parallax image 10 can be created by calculating a three-dimensional space virtually modeled by the CG technique and converting it into an image, or by digitizing an image captured by a video camera or the like. Therefore, the formation of such a parallax image is not directly related to the present invention, and a description of a method of forming the parallax image is omitted.
[0025]
FIG. 4 shows an embodiment of the color buffer 100. Each pixel RGB of the parallax image shown in FIG. 1 is input to the color buffer 100 together with a parallax image number S as a parameter and coordinates x and y on the parallax image.
[0026]
The input pixels RGB are input to the decoder 101 and are stored at corresponding positions of the color buffer memory 102 determined according to the coordinates x. As a result, parallel conversion is performed so that four pixels continue in the x direction. If the parallax image 10 is input in this state from the beginning, the color buffer memory 102 can be omitted.
[0027]
When the pixel is subjected to parallel conversion by the decoder 101, the coordinates x and y and the parallax image number S when the coordinate x is a multiple of 4 are buffered in the corresponding buffer memories 103, 104 and 105, respectively. Here, as long as the order of the input pixels is within a range in which the parallel conversion is normally performed, there is no limitation on the coordinates of the input pixels and the order of the parallax image numbers.
[0028]
Next, the input pixels are output from the color buffer memory 100 together with the coordinates x and y and the parallax image number S for each color component after the parallel conversion is completed. The pixels separated for each color component are shown as R0 to R3, G0 to G3, and B0 to B3 in association with the x coordinates of the original pixels, respectively, as shown in FIG.
[0029]
FIG. 5 shows the stereoscopic image generation unit 110, which is a central part of the present invention. The stereoscopic image generation unit 110 uses the color components R0 to R3, G0 to G3, and B0 to B3 input in parallel from the color buffer memory 100 in FIG. Is selected and output so as to match.
[0030]
At this time, an address to be stored on the frame buffer 120 is generated until the color component selected and output is displayed. This process is performed for each of the R, G, and B color components. Therefore, as shown in FIG. 5, pixel generators 111, 112, and 113 are provided for each of the R, G, and B color components. Since each of the pixel generators 111, 112, and 113 has essentially the same configuration, the details of the pixel generator 111 corresponding to the R component shown in FIG. 6 will be described below as a representative.
[0031]
The actual color component selection and address generation are performed in the address generation unit 111c based on the coordinates Tr, the coordinates x and y and the parallax image number S, and the value Tr with reference to a table value preset in the table 111a.
[0032]
According to the well-known principle of the three-dimensional display element, the selected color component is one pixel out of four pixels input in parallel, and the address stored in the frame buffer 120 is the original parallax image of the selected color component. Generate so that the coordinates are the same as the coordinates above. Thus, the data can be stored in the frame buffer 120 without overlapping with the processing results of other pixels.
[0033]
FIG. 7 is an example of a truth table of an output Tr from the table 111a. The output Tr is set corresponding to the combination of the coordinate y and the parallax image number S. In this embodiment, the coordinate x is not related to the determination of the output Tr, but more generally, the coordinate x is also related.
[0034]
In FIG. 7, the same applies to the corresponding pixel generators 112 and 113 for the other color components G and B, and the output Tg from the table in the pixel generators 112 and 113 corresponding to the table 111a of the pixel generator 111, An example of the truth value of Tb is also shown.
[0035]
According to the output Tr, one pixel is selected by the 4-to-1 selector 111b from among R0, R1, R2, and R3 for four pixels corresponding to the parallax image numbers S = 0 to 3 in the R component. FIG. 8A in FIG. 8 is a truth table of the output R output from the selector 111b. Similarly, FIGS. 8B and 8C are truth tables of outputs G and B output from selectors corresponding to the selector 111b in the corresponding pixel generators 112 and 113 for the other color components G and B, respectively.
[0036]
Next, the address generator 111c generates and outputs an address Ar according to the following relational expression as a function of x, y, and T.
[0037]
Ar (x, y, Tr) = w × y + x + Tr
Here, w is a constant and is the x size of the parallax image, and x is a multiple of 4 at the output stage from the color buffer 100. Similar processing is performed for the pixel generators 112 and 113, except that the outputs from the table are Tg and Tb.
[0038]
At this stage, color components that do not need to be included in the pixels to display the stereoscopic image are removed. For this reason, compared to a conventional system in which pixels of a parallax image are written to the frame buffer 120 and then color components are reconfigured to match the stereoscopic image format, access to the frame buffer 120 is greatly reduced, and both bandwidth and capacity are greatly increased. It can be easily understood that the performance improvement is obtained. This makes it possible to dramatically improve the real-time property of displaying a stereoscopic image.
[0039]
The table 111a can be arbitrarily reset by configuring the table 111a with a memory. For this reason, in the system to which the present invention is applied, the adopted stereoscopic display element (display) is changed, and accordingly, the required stereoscopic image format is changed, or a general display not intended for stereoscopic display is used. Even for this, it is possible to easily cope with the situation by resetting the table 111a.
[0040]
Furthermore, depending on the observer's observation position, a parallax image to be observed by each of the left and right eyes may be in a state called reverse vision, but Tr, Tg, and Tb are changed depending on the observer's observation position. This pseudoscopic state can be corrected by dynamically modifying the output table.
[0041]
FIG. 18 shows the result of performing the above processing for all the pixels of all the parallax images, and this is the drawing state of the frame buffer 120.
[0042]
Here, in FIG. 18, as shown in FIGS. 18A, 18B, and 18C, the frame buffer 120 stores the R, G, and B color components processed by the stereoscopic image generation unit 110 in FIG. Are composed of three banks corresponding to the color components of.
[0043]
The reason why the banks are independent in this way is to cope with the fact that the address to be recorded differs for each color component as a result of processing by the stereoscopic image generation unit 110.
[0044]
In FIG. 18, it can be seen that the same state as the stereoscopic image format shown in FIG. 2 is obtained by extracting the color components of the same coordinates from each bank.
[0045]
In FIG. 2, for example, R000, G001, and B002 are stored at buffer positions corresponding to coordinates (x, y) = 0, 0. When this is compared with the parallax image of FIG. 1, R000 is the R component included in the pixel of the coordinates (x, y) = 0, 0 of the parallax number S = 0, and G001 is the coordinate (x , Y) = 0, 0, and B002 is a B component included in the pixel of coordinates (x, y) = 0, 0 of the parallax number S = 2.
[0046]
FIG. 9 shows an embodiment of the display controller 130. In the display controller 130, the HV counter 131 periodically counts up in response to the horizontal-vertical synchronization signal, and the horizontal and vertical synchronization signals H-Sync and V-Sync required for display on the stereoscopic display element 11 are displayed. The display coordinates h and v are converted by the read interface 132 into addresses (Ar, Ag, Ab) on the frame buffers 120 of the three banks shown in FIG. 2, and the color components RGB of the corresponding addresses are read.
[0047]
Here, Ar = Ag = Ab = w × v + h where w is a constant and is the x size of the visual field coordinates.
[0048]
As described above, the address is common across three banks. The read pixels RGB are output to the three-dimensional display element 11 together with the synchronization signal, and display a three-dimensional image to an observer.
[0049]
Here, in the stereoscopic image generating apparatus shown in FIG. 5, the color components stored at the same address in each of the three banks are output on the stereoscopic display element 11 as if they are the color components constituting the pixels of the same coordinates. I have to.
[0050]
For this reason, since the pixels are arranged in the stereoscopic image format required by the stereoscopic image display element 11 at the stage of storage in the frame buffer 120, each bank of the frame buffer 120 is Thus, the observer can observe the stereoscopic image only by giving the same address in order and outputting the read color component to the stereoscopic image display element 11.
[0051]
Here, in the above-described embodiment, since the frame buffer 120 has a three-bank configuration, there is a problem that the number of memory elements and a bus for accessing the memory elements increase.
[0052]
Therefore, an embodiment in which the frame buffer 120 is constituted by one bank will be discussed below. FIG. 10 is a block diagram showing a configuration of the stereoscopic image generation device 1 having a configuration in which the frame buffer 120 is used as one bank.
[0053]
From the principle of a well-known stereoscopic display element, only one R, G, and B color component is extracted from each of four consecutive pixels in the x direction belonging to the same parallax image. For this reason, three R, G, and B color components generated by the stereoscopic image generation unit 110 shown in FIG. 3 are collectively recorded at the same address on the frame buffer.
[0054]
More specifically, three color elements generated by the stereoscopic image generation unit 110 in FIG. 5 are stored together at the same address on the frame buffer 120, and FIG. Configuration.
[0055]
In the embodiment of the stereoscopic image generation device 1 in FIG. 10 instead of the stereoscopic image generation unit 110 in FIG. 5, the stereoscopic image generation unit 110 is configured as shown in FIG. The stereoscopic image generation unit 110 in FIG. 11 includes an address generator 114 and pixel generators 111, 112, and 113 corresponding to each of R, G, and B color components.
[0056]
Since each of the pixel generators 111, 112, and 113 has essentially the same configuration, the configuration of the pixel generator 111 corresponding to the R component is representatively shown in FIG. The pixel generator 111 is basically the same as that of the embodiment shown in FIG. 6, but has an independent address generator 114 as described above, so that each pixel generator has an address generator 111c. Not required. The table 111a and the 4-to-1 selector 111b are the same as those described with reference to FIG. The same applies to the G and B components.
[0057]
Here, the address A output from the address generator 114 in the stereoscopic image generation unit 110 in FIG. 11 is obtained by adding an offset based on the parallax image number of the parallax image to the x-coordinate of the input pixel as follows. Ask for.
[0058]
A = w * y + x + S
Here, w is a constant and is the x size of the parallax image, and x is a multiple of 4 at the output stage from the color buffer 100.
[0059]
FIG. 13 shows a drawing state of the frame buffer 120 after processing all the pixels of the all-parallax image in the stereoscopic image generation device 1 of FIG. As shown in FIG. 13, the frame buffer 120 has a one-bank configuration.
[0060]
Here, it is important that by rearranging the color components included in the four pixels continuous in the x direction, a state equivalent to the frame buffer in FIG. 2 can be created. The color components are selected from the four pixels so as to conform to the stereoscopic image format and output to the stereoscopic display element 11.
[0061]
In the embodiment of FIG. 10, the display controller 130 is configured as shown in FIG. 14 to perform such control. In FIG. 14, in the display controller 130, the HV counter 131 counts up periodically, and generates synchronization signals H-Sync, V-Sync and display coordinates h, v necessary for display of the three-dimensional display element. I have.
[0062]
The display coordinates h and v are converted by the read interface 132 into an address A on the frame buffer 120 having a one-bank configuration shown in FIG. 13, and the pixel RGB of the corresponding address is read from the frame buffer 120.
[0063]
Here, A = w × v + h where w is a constant and is the x size of the visual field coordinates.
[0064]
The read coordinates RGB are added again to the read pixels RGB by the read interface 132 and output to the display buffer 140. The synchronization signal is output in consideration of the latency until the pixel is output to the stereoscopic display element 11.
[0065]
FIG. 15 is a configuration example of the display buffer 140. The input pixels RGB pass through the decoder 141 and are stored in the buffer 142 corresponding to the input display coordinates h, so that four pixels are continuously converted in the h direction. The buffer 142 is composed of a plurality of banks, buffers the time required to read out the pixels from the frame buffer 120, and also has a role of continuously outputting the pixels to the subsequent stage.
[0066]
The display coordinates h and v when the coordinate h is a multiple of 4 when the pixel is parallel-converted are also buffered in the buffers 143 and 144, respectively. The pixels separated for each color component are R0 to R3, G0 to G3, and B0 to B3, respectively, corresponding to the h coordinate of the original pixel.
[0067]
FIG. 16 is a configuration example of the stereoscopic image regenerating unit 150. The stereoscopic image regenerating unit 150 converts the color components R0 to R3, G0 to G3, B0 to B3 input in parallel from the display buffer 140 of FIG. Are output while being selected by selectors 151, 152, and 153.
[0068]
Four pixels can be output to the three-dimensional display element 11 with one input, and a new input is repeatedly obtained from the color buffer 100 every time four pixels are output. In the stereoscopic image regenerating unit 150, selection of a color component is performed for each color component. Since the selectors 151, 152, and 153 corresponding to the RGB components are essentially the same, FIG. 17 shows the configuration of only the R component as a representative.
[0069]
The actual selection of the color components is performed by the 4-to-1 selector 151 referring to the table values of the table 151a by the display coordinates h and v input together with the color components R0 to R3. Similar processing is performed for the G and B components, except that the output from the table is different.
[0070]
These tables can be set arbitrarily. In addition, by setting such a table, it is possible to perform a response in the case where the stereoscopic display element 11 is changed and a correction of the reverse viewing state by the same mechanism as that of the stereoscopic image generating apparatus 1 in FIG.
Finally, the stereoscopic display element 11 displays a stereoscopic image to an observer based on the synchronization signals h and v output from the display controller 130 and the color components output from the stereoscopic image regenerating unit 150 in FIG. Can be.
[0071]
In addition, in the above-described embodiment, in writing and reading data to and from the frame buffer, different offsets are added to the addresses to be accessed, and the offsets are appropriately controlled to wait for the reading for display to be completed. If the configuration is such that the next and subsequent frames can be drawn at another address on the frame buffer without further processing, the real-time property of stereoscopic image display can be further enhanced.
[0072]
【The invention's effect】
As described above, the embodiment of the present invention has been described with reference to the drawings. Therefore, the access to the frame buffer is significantly reduced from the stereoscopic image generating apparatus according to the present invention, and a significant performance improvement is obtained. It is possible to provide a stereoscopic image display device that can dramatically improve the stereoscopic image display device.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a specific example of a parallax image.
FIG. 2 is a diagram illustrating an example of a stereoscopic image format.
FIG. 3 is a block diagram of a stereoscopic image generation device according to the present invention.
FIG. 4 is a configuration of an embodiment of a color buffer 100;
FIG. 5 is a diagram showing a stereoscopic image generation unit 110.
FIG. 6 is a diagram illustrating a configuration of a pixel generator 111 corresponding to an R component.
FIG. 7 is an example of a truth table of a table output of the pixel generators 111, 112, and 113;
FIG. 8 is an example of a truth table of selector outputs of the pixel generators 111, 112, and 113.
FIG. 9 shows an embodiment of a display controller.
FIG. 10 is a configuration block diagram of a stereoscopic image generation device 1 configured to use a frame buffer as one bank.
FIG. 11 is a diagram showing a configuration of a stereoscopic image generation unit 110.
FIG. 12 is a diagram illustrating a configuration of a pixel generator 111 corresponding to an R component.
13 is a diagram illustrating a drawing state of a frame buffer 120 after processing all pixels of an all-parallax image in the stereoscopic image generation device 1 in FIG.
FIG. 14 is a diagram showing a configuration of a display controller 130.
15 is a configuration example of a display buffer 140. FIG.
FIG. 16 is a diagram illustrating a configuration example of a stereoscopic image regenerating unit 150.
FIG. 17 is a diagram illustrating a configuration of a selector for an R component.
FIG. 18 is a diagram illustrating a drawing state of the frame buffer 120 as a result of performing the process on all pixels of all parallax images.
[Explanation of symbols]
Reference Signs List 10 parallax image 11 stereoscopic display element 100 color buffer 110 stereoscopic image generating unit 120 frame buffer 130 display controller 140 display buffer 150 stereoscopic image regenerating unit

Claims (7)

記録手段に記録され、n個の視差角に対応するn個の視差画像を、前記記録手段から読み出して合成する合成手段と、
前記合成された合成画像が書き込まれるフレームバッファと、
前記フレームバッファに書き込まれた合成画像を、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子を備えたn眼式立体視画像表示手段に出力する出力手段を有し、
前記視差画像が、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有し、
前記合成手段は、前記視差画像番号及び座標と、前記立体表示素子のバリア形状に基づく所定の立体画像フォーマットとに基づいて、各視差画像を構成するn画素分の中から前記合成画像に必要な1画素分の色成分を選択し、選択された色成分を元の視差画像上での座標と一致するように合成する
ことを特徴とする立体視画像生成装置。
Combining means for reading n parallax images recorded in the recording means and corresponding to the n parallax angles from the recording means and combining them,
A frame buffer in which the synthesized image is written;
Output means for outputting the synthesized image written in the frame buffer to an n-eye stereoscopic image display means having a stereoscopic display element for generating n-eye parallax from the synthesized image by a barrier having a predetermined shape; And
The parallax image has a parallax image number indicating a corresponding parallax angle, and coordinates specifying an image position,
The synthesizing unit includes a parallax image number and coordinates, and a predetermined stereoscopic image format based on a barrier shape of the stereoscopic display element. A stereoscopic image generation apparatus characterized in that a color component for one pixel is selected, and the selected color component is synthesized so as to match the coordinates on the original parallax image.
請求項1において、前記合成手段は、前記視差画像番号と座標との組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択することを特徴とする立体視画像生成装置。2. The method according to claim 1, wherein the synthesizing unit selects a table in which a combination of the parallax image number and coordinates is set, and a color component necessary for the stereoscopic image format according to a combination obtained from the table. Stereoscopic image generation device. 請求項1において、前記フレームバッファは、RGB各色対応した3つのバンクを有し、
更に、前記立体表示素子の水平,垂直同期信号と、これと同期し、前記3つのバンクに共通にアクセスするアドレスを発生するディスプレイコントローラを有することを特徴とする立体視画像生成装置。
2. The frame buffer according to claim 1, wherein the frame buffer has three banks corresponding to respective colors of RGB.
Further, a stereoscopic image generating apparatus is provided with a display controller for generating horizontal and vertical synchronizing signals of the stereoscopic display element and an address synchronized with the horizontal and vertical synchronizing signals to access the three banks in common.
記録手段に記録され、n個の視差角に対応し、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有するn個の視差画像を、前記記録手段から読み出す読み出し手段と、
前記視差画像番号及び座標と、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子の前記バリア形状に基づく所定の立体画像フォーマットとに基づいて、前記視差画像のRGB各色毎に各視差画像を構成するn画素分の中から前記立体画像フォーマットに必要な1画素分の色成分を選択し、且つアドレスを出力する画像生成手段と、
前記画像生成手段から出力されるアドレスに前記選択された視差画像が書き込まれるRGB各色対応の3つのバンクを有するフレームバッファと、
前記立体表示素子の水平,垂直同期信号と、これと同期し、前記3つのバンクに共通にアクセスするアドレスを発生するディスプレイコントローラを有することを特徴とする立体視画像生成装置。
Reading means for reading from the recording means n parallax images recorded in the recording means, corresponding to the n parallax angles, and having a parallax image number indicating the corresponding parallax angle and coordinates specifying the image position; ,
RGB of the parallax image based on the parallax image number and coordinates, and a predetermined stereoscopic image format based on the barrier shape of the stereoscopic display element that generates n-eye parallax from the composite image by a barrier having a predetermined shape. Image generation means for selecting a color component for one pixel required for the stereoscopic image format from among n pixels constituting each parallax image for each color, and outputting an address;
A frame buffer having three banks corresponding to each of RGB colors in which the selected parallax image is written at an address output from the image generation unit;
A stereoscopic image generation apparatus, comprising: a display controller that generates horizontal and vertical synchronization signals of the stereoscopic display element and an address synchronized with the horizontal and vertical synchronization signals to access the three banks in common.
請求項4において、
前記画像生成手段は、前記視差画像番号と座標との組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする立体視画像生成装置。
In claim 4,
The image generating means has a table in which a combination of the parallax image number and coordinates is set, and a means for selecting a color component necessary for the stereoscopic image format according to a combination obtained from the table. Stereoscopic image generation device.
記録手段に記録され、n個の視差角に対応し、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有するn個の視差画像を、前記記録手段から読み出す読み出し手段と、
前記視差画像番号及び座標と、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子の前記バリア形状に基づく所定の立体画像フォーマットとに基づいて、RGB各色毎に前記複数の視差画像の何れかを選択し、且つアドレスを出力する画像生成手段と、
前記画像生成手段から出力されるアドレスに、前記複数の視差画像の前記選択されたRGB色が書き込まれるフレームバッファと、
前記立体表示素子の水平,垂直同期信号と、これと同期し、前記立体表示素子の表示座標と、該座標に対応する前記フレームバッファのアドレスから前記書き込まれているRGB色を読み出し制御するディスプレイコントローラと、
前記ディスプレイコントローラから出力される前記立体表示素子の表示座標に基づき、前記ディスプレイコントローラから出力されるRGB色を、前記複数の視差角対応にバッファリングする手段と、
前記ディスプレイコントローラから出力される前記立体表示素子の表示座標に基づき、前記バッファリングする手段から出力されるRGB色のうち、RGB色毎に前記複数の視差角の何れかに対応するものを選択する画像再生成手段を有することを特徴とする立体視画像生成装置。
Reading means for reading from the recording means n parallax images recorded in the recording means, corresponding to the n parallax angles, and having a parallax image number indicating the corresponding parallax angle and coordinates specifying the image position; ,
Based on the parallax image number and coordinates, and a predetermined stereoscopic image format based on the barrier shape of the stereoscopic display element that generates n-eye parallax from the composite image by a barrier having a predetermined shape, Image generation means for selecting any of the plurality of parallax images and outputting an address;
A frame buffer in which the selected RGB color of the plurality of parallax images is written to an address output from the image generation unit;
A horizontal / vertical synchronization signal of the stereoscopic display element, and a display controller for reading out and controlling the written RGB colors from a display coordinate of the stereoscopic display element and an address of the frame buffer corresponding to the coordinate. When,
Means for buffering RGB colors output from the display controller in correspondence with the plurality of parallax angles, based on display coordinates of the stereoscopic display element output from the display controller;
Based on display coordinates of the three-dimensional display element output from the display controller, an RGB color output from the buffering unit is selected for each of the RGB colors corresponding to any of the plurality of parallax angles. A stereoscopic image generation device comprising an image regenerating unit.
請求項6において、
前記画像再生成手段は、色成分選択と前記立体表示素子の表示座標の組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする立体視画像生成装置。
In claim 6,
The image regenerating unit has a table in which a combination of color component selection and display coordinates of the three-dimensional display element is set, and a unit that selects a color component necessary for the three-dimensional image format according to a combination obtained from the table. A stereoscopic image generation device, characterized in that:
JP2003063806A 2003-03-10 2003-03-10 Stereoscopic image generation device Expired - Fee Related JP4258236B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003063806A JP4258236B2 (en) 2003-03-10 2003-03-10 Stereoscopic image generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003063806A JP4258236B2 (en) 2003-03-10 2003-03-10 Stereoscopic image generation device

Publications (3)

Publication Number Publication Date
JP2004274485A true JP2004274485A (en) 2004-09-30
JP2004274485A5 JP2004274485A5 (en) 2008-02-28
JP4258236B2 JP4258236B2 (en) 2009-04-30

Family

ID=33125296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003063806A Expired - Fee Related JP4258236B2 (en) 2003-03-10 2003-03-10 Stereoscopic image generation device

Country Status (1)

Country Link
JP (1) JP4258236B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008500789A (en) * 2004-06-02 2008-01-10 シャープ株式会社 Interlace device, deinterlace device, display, image compressor, and image decompressor
JP2008544679A (en) * 2005-06-23 2008-12-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Combined exchange of images and related data
JP2009526488A (en) * 2006-02-09 2009-07-16 リアル・ディ On-the-fly hardware image summary
JP2010266851A (en) * 2009-04-15 2010-11-25 Nec Lcd Technologies Ltd Display controller, display device, image processing method, and image processing program
JP2011217180A (en) * 2010-03-31 2011-10-27 Toshiba Corp Image processing circuit
US8797231B2 (en) 2009-04-15 2014-08-05 Nlt Technologies, Ltd. Display controller, display device, image processing method, and image processing program for a multiple viewpoint display

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008500789A (en) * 2004-06-02 2008-01-10 シャープ株式会社 Interlace device, deinterlace device, display, image compressor, and image decompressor
JP2010158051A (en) * 2004-06-02 2010-07-15 Sharp Corp Image forming apparatus, image compressor, and image decompressor
JP2008544679A (en) * 2005-06-23 2008-12-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Combined exchange of images and related data
CN101203881B (en) * 2005-06-23 2015-04-22 皇家飞利浦电子股份有限公司 Combined exchange of image and related data
JP2009526488A (en) * 2006-02-09 2009-07-16 リアル・ディ On-the-fly hardware image summary
JP2010266851A (en) * 2009-04-15 2010-11-25 Nec Lcd Technologies Ltd Display controller, display device, image processing method, and image processing program
US8797231B2 (en) 2009-04-15 2014-08-05 Nlt Technologies, Ltd. Display controller, display device, image processing method, and image processing program for a multiple viewpoint display
US8988312B2 (en) 2009-04-15 2015-03-24 Nlt Technologies, Ltd. Display controller, display device, image processing method, and image processing program
JP2011217180A (en) * 2010-03-31 2011-10-27 Toshiba Corp Image processing circuit

Also Published As

Publication number Publication date
JP4258236B2 (en) 2009-04-30

Similar Documents

Publication Publication Date Title
JP4740135B2 (en) System and method for drawing 3D image on screen of 3D image display
JP3230745B2 (en) Three-dimensional image generation apparatus and generation method
US7689031B2 (en) Video filtering for stereo images
JP4328311B2 (en) Method and program for creating multi-viewpoint image for 3D image display
US20090033741A1 (en) 2d-3d convertible display device and method having a background of full-parallax integral images
KR19980702317A (en) Image processing system and its processor for generating an input image into one or more output images through parallax conversion
US20020105576A1 (en) Stereoscopic image generating apparatus and game apparatus
JP2004104368A (en) Image data processing method, image data processing program, and stereoscopic image display apparatus
JP4471979B2 (en) Image composition apparatus and image composition method
WO2013108285A1 (en) Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method
JP2011082675A (en) Apparatus and method for processing image signal, apparatus and method for displaying image, program therefor, and system for displaying image
KR20200002626A (en) Data Processing Systems
US7034819B2 (en) Apparatus and method for generating an interleaved stereo image
JP4258236B2 (en) Stereoscopic image generation device
JP2006254240A (en) Stereoscopic image display apparatus, and method and program therefor
JP2004102526A (en) Three-dimensional image display device, display processing method, and processing program
US20120163700A1 (en) Image processing device and image processing method
JPH099293A (en) Three dimensional picture display method and stereoscopic picture data generating method
US6690384B2 (en) System and method for full-scene anti-aliasing and stereo three-dimensional display control
JP5700998B2 (en) 3D image display apparatus and control method thereof
CN112911268B (en) Image display method and electronic equipment
JP2011066507A (en) Image processing apparatus
JP3803442B2 (en) Stereoscopic image display device
JP2005107463A (en) Integral photography
KR100939080B1 (en) Method and Apparatus for generating composited image, Method and Apparatus for displaying using composited image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees