JP2009075869A - 多視点画像描画装置、方法及びプログラム - Google Patents

多視点画像描画装置、方法及びプログラム Download PDF

Info

Publication number
JP2009075869A
JP2009075869A JP2007244295A JP2007244295A JP2009075869A JP 2009075869 A JP2009075869 A JP 2009075869A JP 2007244295 A JP2007244295 A JP 2007244295A JP 2007244295 A JP2007244295 A JP 2007244295A JP 2009075869 A JP2009075869 A JP 2009075869A
Authority
JP
Japan
Prior art keywords
viewpoint
program
image
viewpoint image
drawn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2007244295A
Other languages
English (en)
Inventor
Yasuyuki Kokojima
快行 爰島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007244295A priority Critical patent/JP2009075869A/ja
Priority to CNA2008102134819A priority patent/CN101393649A/zh
Priority to KR1020080088224A priority patent/KR20090031230A/ko
Priority to US12/208,829 priority patent/US20090079761A1/en
Priority to EP08164208A priority patent/EP2040479A2/en
Publication of JP2009075869A publication Critical patent/JP2009075869A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】高品質な立体画像を高速に生成することが可能な多視点画像描画装置、方法及びプログラムを提供する。
【解決手段】描画対象物の形状を表す一又は複数の形状データと、描画手順を記述した一又は複数の描画プログラムと、互いに異なる複数の視点に関する情報を定義した視点データと、を少なくとも含んだCGデータから一の描画プログラムを順次選択し、一の描画プログラムの実行毎にこの描画プログラムで描画すべき描画対象物を、視点を切り替えながら連続して描画することで、視点毎の描画画像からなる多視点画像を描画する。
【選択図】 図6

Description

本発明は、立体画像の表示にかかる多視点画像を描画する多視点画像描画装置、方法及びプログラムに関する。
互いに異なる視差を有した複数の画像(視差画像)に含まれた各画素を離散的に配置して1枚の合成画像を生成し、合成画像の各画素から射出される光線の軌道を光線制御素子により制御することで、観察者に立体画像を知覚させることが可能な立体画像表示装置が知られている。
合成画像は視差画像から直接的に生成されるのではなく、各視差画像をタイル状に配置することで描画した1枚の中間画像(多視点画像)を経由して生成が行われている。例えば、特許文献1には、タイル状の描画画像からなる多視点画像に対して符号化・記憶・伝送・復号化等の各種データ処理を施した後、画素配列を並び替えて最終的な合成画像に変換する技術が開示されている。
また、コンピュータグラフィクス(Computer Graphics:CG)技術を用いて立体画像を描画する際にも、中間画像である多視点画像を描画した後、専用のハードウェアで画素配列を並び替えて最終的な合成画像に変換する方法が有効である。ステンシルバッファやポリゴンスティプル等のCG技術を用いて特定の画素への書き込みを禁止することにより、多視点画像を介さずに最終的な合成画像を直接描画することも可能であるが、多視点画像を介した場合に比べて描画速度は低下する傾向にある。なお、多視点画像は、タイル状の描画領域毎に一の視点について全ての描画対象物を描画し終えた後、異なる視点に切り替え、再度、全ての描画対象物をその異なる視点から描画するという一連の手順を繰り返すことで描画が行われている。
特許第3358466号公報
しかしながら、単一の視点を基準とした単視点画像を描画する場合と比較し、タイル状の多視点画像の描画にかかる計算量、処理量は格段に大きく、高品質な立体画像を高速に描画することが困難であるという問題がある。
本発明は上記に鑑みてなされたものであって、高品質な立体画像を高速に生成することが可能な多視点画像描画装置、方法及びプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、描画対象物の形状を表す一又は複数の形状データと、描画手順を記述した一又は複数の描画プログラムと、互いに異なる複数の視点に関する情報を定義した視点データと、を少なくとも含んだCGデータを記憶する第1記憶手段と、前記一又は複数の描画プログラムから一の描画プログラムを順次選択し、この描画プログラムにより描画する描画対象物を設定する第1設定手段と、前記視点データに定義された複数の視点から一の視点に関する情報を順次選択し、これら各情報を前記描画プログラム実行時の描画条件として各々設定する第2設定手段と、前記第1設定手段により設定された一の描画プログラムの実行毎に、この描画プログラムで描画すべき描画対象物を前記描画条件の各々で設定された各視点について連続して描画し、視点毎の描画画像からなる多視点画像を生成する描画手段と、前記多視点画像を記憶する第2記憶手段と、を備えたことを特徴とする。
また、本発明は、描画対象物の形状を表す一又は複数の形状データと、描画手順を記述した一又は複数の描画プログラムと、互いに異なる複数の視点に関する情報を定義した視点データと、を少なくとも含んだCGデータを記憶する記憶手段から、一の描画プログラムを順次選択し、この描画プログラムにより描画する描画対象物を設定する第1設定工程と、前記視点データに定義された複数の視点から一の視点に関する情報を順次選択し、これら各情報を前記描画プログラム実行時の描画条件として各々設定する第2設定工程と、前記第1設定工程で設定された一の描画プログラムの実行毎に、この描画プログラムで描画すべき描画対象物を前記描画条件の各々で設定された各視点について連続して描画し、視点毎の描画画像からなる多視点画像を生成する描画工程と、を含むことを特徴とする。
また、本発明は、コンピュータを、描画対象物の形状を表す一又は複数の形状データと、描画手順を記述した一又は複数の描画プログラムと、互いに異なる複数の視点に関する情報を定義した視点データと、を少なくとも含んだCGデータを記憶する記憶手段から、一の描画プログラムを順次選択し、この描画プログラムにより描画する描画対象物を設定する第1設定手段と、前記視点データに定義された複数の視点から一の視点に関する情報を順次選択し、これら各情報を前記描画プログラム実行時の描画条件として各々設定する第2設定手段と、前記第1設定手段により設定された一の描画プログラムの実行毎に、描画プログラムで描画すべき描画対象物を前記描画条件の各々で設定された各視点について連続して描画し、視点毎の描画画像からなる多視点画像を生成する描画手段と、して機能させることを特徴とする。
本発明によれば、単一の描画プログラムで描画すべき描画対象物のみを、視点を切り替えながら連続して描画することで、描画処理に要する各種データを効率的に読み出すことができるため、データ転送の冗長性及びオーバーヘッドを低減することができ、高品質な立体画像を高速に生成することができる。
以下に添付図面を参照して、多視点画像描画装置、方法及びプログラムの最良な実施形態を詳細に説明する。
図1は、本実施形態にかかる多視点画像描画装置のハードウェア構成を示したブロック図である。図1に示したように、多視点画像描画装置は、CPU(Central Processing Unit)/GPU(Graphics Processing Unit)1、操作部2、表示部3、ROM(Read Only Memory)4、RAM(Random Access Memory)/VRAM(Video Random Access Memory)5、記憶部6、通信部7等を備え、各部はバス8により接続されている。
CPU/GPU1は、RAM/VRAM5の所定領域を作業領域として、ROM4又は記憶部6に予め記憶された各種制御プログラムとの協働により各種処理を実行し、多視点画像描画装置100を構成する各部の動作を統括的に制御する。また、CPU/GPU1は、ROM4又は記憶部6に予め記憶された所定のプログラムとの協働により、後述する各機能部の機能を実現させる。
操作部2は、マウスやキーボード等の入力デバイスであって、ユーザから操作入力された情報を指示信号として受け付け、その指示信号をCPU/GPU1に出力する。
表示部3は、LCD(Liquid Crystal Display)等の表示デバイスと、レンチキュラーレンズ等の光線制御素子と、を有し、後述する提示部15の制御により立体画像を提示する3次元画像表示装置である。
図2は、表示部3の構造の一例を概略的に示した斜視図である。ここでは、視点数n=9として説明する。同図に示したように、表示部3は、表示デバイス31と、当該表示デバイス31の表示面の前面に配置された光線制御素子としてのレンチキュラー板34を備えている。
表示デバイス31の表示面には、縦横比が3:1のサブ画素32が横方向に直線状に1行に並び、各サブ画素32は同一行内で横方向に赤(R)、緑(G)、青(B)が交互に並ぶようにマトリクス状に配列されている。一方、垂直方向にも直線上に一列に並んでおり、これも同一列内でR、G、Bが交互に並ぶように配列されている。なお、サブ画素行の縦周期(3Pp)は、サブ画素32の横周期Ppの3倍である。
一般的なカラー画像表示装置においては、横に並んだRGBの3つのサブ画素32で1実効画素、即ち、輝度と色とが任意に設定できる最小単位が構成されることから、サブ画素は縦横比が3:1となっている。図2の表示面では、縦に並んだRGBの3つのサブ画素32で1実効画素33(黒枠で示される)が構成される。
レンチキュラー板34を構成するシリンドリカルレンズ35は、実効画素33のほぼ正面に配置される。なお、シリンドリカルレンズ35の水平ピッチ(Ps)は、表示面内に配列されたサブ画素の横周期(Pp)の9倍となっている。このような構成により、シリンドリカルレンズ越しに拡大されて見えるサブ画素32が、水平位置の観察位置の変動に応じて切り替わる。すなわち、各実効画素33に表示される合成画像の見え方が切り替わることで、観察者に立体映像を視認させることができる。なおここで、合成画像とは、後述する多視点画像変換部14により生成される合成画像に相当するものである。
図1に戻り、ROM4は、多視点画像描画装置の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。
RAM/VRAM5は、SDRAMあるいはDDRメモリ等の揮発性記憶手段であって、CPU/GPU1の作業エリアとして機能する。具体的には、後述する多視点画像描画処理時において生成される合成画像生成の際の中間画像や各種変数、パラメータの値を一時記憶するバッファ領域としての役割を果たす。なお、RAM/VRAM5は、種別の異なる複数の記憶媒体から構成する態様としてもよい。
記憶部6は、磁気的又は光学的に記録可能な記憶媒体を有し、多視点画像描画装置の制御にかかるプログラムや各種情報を書き換え可能に記憶する。具体的に、記憶部6は、後述する多視点画像描画処理の実行にかかるプログラムや各種の情報を記憶している。
通信部7は、外部装置との間で通信を行うインターフェイスであって、受信した各種情報をCPU/GPU1に出力し、また、CPU/GPU1から出力される各種情報を外部装置へと送信する。
以下、第1の実施形態にかかる多視点画像描画装置100の機能的構成について説明する。なお、多視点画像描画装置100は、図1に示したハードウェア構成を有するものとする。
図3は、CPU/GPU1とROM4又は記憶部6に予め記憶された所定のプログラムとの協働により実現される、多視点画像描画装置100の機能的構成を示した図である。同図に示したように、多視点画像描画装置100は、CGデータ記憶部11、多視点画像描画部12、多視点画像記憶部13、多視点画像変換部14、提示部15を備えている。
CGデータ記憶部11は、記憶部6に確保された記憶領域であって、視点位置に関する視点データと、描画する対象物の形状に関する形状データと、光源に関する光源データと、描画する対象物のテクスチャ画像に関するテクスチャデータと、描画処理の手順を記述したプログラム(描画プログラム)等、多視点画像の描画に必要な各種データ(以下、CGデータという)を記憶している。
上記CGデータのうち、視点データは、対象物を描画する際の総視点数や各視点の位置(視点位置)、視点間の距離、描画する対象物との距離(視距離)、各視点位置からの注視方向等に関する情報を含んでいる。なお、各視点位置には固有の視点番号が予め付与されており、この視点番号に基づいて各視点にかかる各種の情報が関連付けられているものとする。
形状データは、描画対象物(オブジェクト)の形状を表すポリゴンデータや、当該オブジェクトが配置される仮想空間等に関するデータを含んでいる。テクスチャデータは、ポリゴンデータの表面に貼り付ける画像(テクスチャ画像)に関するデータを含んでいる。光源データは、オブジェクトを照射する光源に関するデータ群であって、光源強度、光源位置、照射位置、光源ベクトル、照射範囲、光源の色等を含んでいる。
また、描画プログラムは、上記した各データに基づき、各視点位置から見た描画対象物を描画(レンダリング)するための手順を記述したプログラムである。描画プログラムは、描画対象物の特性毎に個別に用意されており、本実施形態では、各描画プログラムを識別するための描画プログラム番号P(Pは整数)が、夫々付与されているものとする。ここで描画対象物の特性とは、描画対象物の材質(マテリアル)及び反射特性の類似度や描画方法等の類似度等であって、これらの特性から同じ描画プログラム番号の描画プログラムにより描画することが可能と判断された描画対象物については、同一描画プログラム番号の描画プログラムにより描画される。なお、描画プログラムと描画対象物との関係は、予め規定されている態様としてもよいし、多視点画像描画部12が描画対象物の特性に応じて使用する描画プログラムを選定する態様としてもよい。
例えば、描画プログラム番号0の描画プログラムが描画対象物Aを描画するものであるとし、描画プログラム番号1の描画プログラムが描画対象物Bを描画するものであるとし、描画プログラム番号2の描画プログラムが描画対象物C、Dを描画するものであるとすると、これら3つの描画プログラムの実行により、図4に示したような一枚の画像(視差画像)が描画されることになる。なお、図4では、複数の視点位置のうち、特定の視点位置(単視点)から見た場合の描画対象物A、B、C、Dが表す図形を示している。
なお、本実施形態では、多視点画像を描画するために必要となる視点データを全てCGデータ記憶部11に記憶するものとするが、代表的な視点に関するデータだけをCGデータ記憶部11に記憶する態様としてもよい。この場合、残りの視点データについては、多視点画像描画部12が算出することで補完する構成としてもよい。また、CGデータ記憶部11に記憶されるCGデータは上記の形式に限定されず、所望のCGを描画するために必要となる他のデータを含んでもよい。
多視点画像描画部12は、CGデータ記憶部11のCGデータに基づいて、各描画プログラムで描画すべき対象物を、視点を切り替えながら連続して描画することで、各視点についての画像をタイル状に配置した一の多視点画像を描画する。以下、多視点画像描画部12について詳細に説明する。
図5は、多視点画像描画部12の構成を示した図である。同図に示したように、多視点画像描画部12は、複数の描画設定ユニット(描画ユニット121、122、123)と、画像描画部124とを有している。ここで、描画設定ユニットの個数はCGデータに含まれた描画プログラムの個数と対応しており、同図では、Np(Npは整数)個分の描画設定ユニットを有した構成を想定している。また、後述する第0描画プログラム設定部1211、第1描画プログラム設定部1221、第(Np−1)描画プログラム設定部1231の、「第P(0≦P≦Np−1)」部分は、描画プログラムの描画プログラム番号と対応するものである。なお、描画ユニットは、CGデータに含まれた描画プログラムの個数に応じた数だけ動的に生成する態様としてもよいし、所定数分の描画ユニットを予め用意しておき、CGデータに含まれた描画プログラムの個数分の描画ユニットを用いる態様としてもよい。
描画設定ユニット121において、第0描画プログラム設定部1211は、CGデータに含まれた描画プログラムのうち、描画プログラム番号0の描画プログラムの実行と当該描画プログラムにより描画する描画対象物を設定する等、描画プログラムの実行に必要となる各種のパラメータを設定する。
第0視点設定部1212、第1視点設定部1213、第(Ne−1)視点設定部1214は、第0描画プログラム設定部1211にかかる描画プログラム、即ち、描画プログラム番号0の描画プログラムについて多視点画像の描画時に必要となる、各視点に関するパラメータを描画条件として夫々設定する。なお、視点設定部は、CGデータの視点データに定義された視点数に応じた数だけ動的に生成する態様としてもよいし、所定数分の視点設定部を予め用意しておき、視点データに定義された視点数分の視点設定部を用いる態様としてもよい。
ここで、各視点設定部の「第E(0≦E≦Ne−1)」部分は視点番号と対応しており、この視点番号に対応する視点データからパラメータを設定する。具体的に、第0視点設定部1212は、視点番号0の視点に関するパラメータを設定し、第1視点設定部1213は、視点番号1の視点に関するパラメータを設定し、第(Ne−1)視点設定部1214は、視点番号Ne−1の視点に関するパラメータを設定する。
描画設定ユニット122において、第1描画プログラム設定部1221は、第0描画プログラム設定部1211と同様に、CGデータに含まれた描画プログラムのうち、描画プログラム番号1の描画プログラムの実行と当該描画プログラムにより描画する描画対象物を設定する等、描画プログラムの実行に必要となる各種のパラメータを設定する。
第0視点設定部1222、第1視点設定部1223、第(Ne−1)視点設定部1224は、描画設定ユニット121の各視点設定部と同様、第1描画プログラム設定部1221にかかる描画プログラム、即ち、描画プログラム番号1の描画プログラムについて多視点画像の生成時に必要となる、各視点に関するパラメータを描画条件として夫々設定する。
また、描画設定ユニット123においても、第(Np−1)描画プログラム設定部1231は、第0描画プログラム設定部1211と同様に、描画プログラム番号(Np−1)の描画プログラムの実行と当該描画プログラムにより描画する描画対象物を設定する等、描画プログラムの実行に必要となる各種のパラメータを設定する。
第0視点設定部1232、第1視点設定部1233、第(Ne−1)視点設定部1234は、描画設定ユニット121の各視点設定部と同様に、第(Np−1)描画プログラム設定部1231にかかる描画プログラム、即ち、描画プログラム番号(Np−1)の描画プログラムについて多視点画像の生成時に必要となる、各視点に関するパラメータを描画条件として夫々設定する。
画像描画部124は、描画設定ユニット121、122、123で設定された各パラメータに基づき、描画設定ユニット毎に当該描画設定ユニットにかかる一の描画プログラムを各視点について連続して実行することで、タイル状に配置した視差画像群からなる一の多視点画像を描画する。
以下、多視点画像描画部12の動作について説明する。図6は、多視点画像描画部12により実行される多視点画像描画処理の手順を示したフローチャートである。
まず、多視点画像描画部12は、描画プログラム番号Pを0に初期化する(ステップS11)。続いて、第P描画プログラム設定部は、描画プログラム番号Pの描画プログラムに関するパラメータを設定する(ステップS12)。具体的に、P=0の場合、第0描画プログラム設定部1211が、描画プログラム番号0の描画プログラムに関するパラメータを設定する。
次いで、多視点画像描画部12は、視点位置を表す視点番号Eを0に初期化する(ステップS13)。続いて、第E視点設定部は、視点番号Eの視点に関するパラメータを設定する(ステップS14)。具体的に、P=0、E=0である場合には、第0視点設定部1212が、視点番号0の視点に関するパラメータを設定する。
画像描画部124は、ステップS12でパラメータが設定された描画プログラム番号Pの描画プログラムを実行し、ステップS14で設定された視点番号Eのパラメータに基づいて、視点番号Eの視点から見た描画対象物の画像を描画する(ステップS15)。ここで描画された画像は、多視点画像記憶部13に確保された視点番号Eの視点に対応する描画領域に保持される。
図7は、多視点画像記憶部13に確保された多視点画像描画用の記憶領域(描画領域)を模式的に示した図である。同図に示したように、多視点画像描画用の描画領域は、視点毎に確保されたタイル状の複数の描画領域(以下、タイルという)から構成されており、各タイルには対応する視点(視点番号)の画像が描画されるようになっている。なお、図7では、18視点に対応する18枚のタイルから多視点画像保持用の描画領域を構成することとしたが、これに限らず、任意のタイル数(視点数)で多視点画像保持用の描画領域を構成することとしてもよい。また、18枚のタイルを3行6列で配置した態様を示したが、この配置方法に限定されないものとする。
図6に戻り、多視点画像描画部12は、視点番号Eに1を加算した後(ステップS16)、視点番号Eの値が総視点数Neより小さいか否かを判定する(ステップS17)。ここで、視点番号Eの値が総視点数Neより小さいと判定した場合には(ステップS17;Yes)、ステップS14の処理へと再び戻り、処理の対象を次の視点に切り替える。具体的に、P=0である場合にE=1となった場合には、第1視点設定部1213が視点番号1の視点に関するパラメータを設定する。
一方、ステップS17において、視点番号Eの値が総視点数Ne以上と判定した場合には(ステップS17;No)、多視点画像描画部12は、描画プログラム番号Pに1を加算した後(ステップS18)、描画プログラム番号Pの値が描画プログラムの総数Npより小さいか否かを判定する(ステップS19)。
ステップS19において、描画プログラム番号Pの値が描画プログラムの総数Npより小さいと判定した場合には(ステップS19;Yes)、ステップS12の処理へと再び戻り、次の描画プログラムに切り替える。具体的に、P=1となった場合には、第1描画プログラム設定部1221が、描画プログラム番号1の描画プログラムに関するパラメータを設定する。
一方、ステップS19において、描画プログラム番号Pの値が描画プログラムの総数Np以上と判定した場合には(ステップS19;No)、本処理を終了する。このように、多視点画像描画部12が実行する多視点画像描画処理は、ステップS14〜S17の視点に関するループ(視点ループ)と、ステップS12〜S19の描画プログラムに関するループの二重構造を有している。
図8〜10は、上記した多視点画像描画処理により多視点画像が描画されるまでの過程を説明するための図である。なお、各図においてNe=18、Np=3であるものとする。また、図中に示した図形A、B、C及びDは、描画プログラム番号1〜3の描画プログラムにより描画された描画対象物を示しており、描画プログラム番号0の描画プログラムにより描画対象物Aが、描画プログラム番号1の描画プログラムにより描画対象物Bが、描画プログラム番号2の描画プログラムにより描画対象物C、Dが描画されるものとする。
図8は、P=0での視点ループにより描画された画像の状態を示した図である。P=0での視点ループにおいて、多視点画像描画部12は、視点番号Eを0から17まで変化させながら描画プログラム番号0の描画プログラムを実行することで、視点番号0〜17の各視点から見た描画対象物Aを多視点画像記憶部13の対応するタイルに夫々描画している。
図9は、続くP=1での視点ループにより描画された画像の状態を示した図である。P=1の視点ループにおいて、多視点画像描画部12は、視点番号Eを0から17まで変化させながら描画プログラム番号1の描画プログラムを実行することで、視点番号0〜17の各視点から見た描画対象物Bを多視点画像記憶部13の対応するタイルに夫々描画している。
図10は、続くP=2での視点ループにより描画された画像の状態を示した図である。P=2の視点ループにおいて、多視点画像描画部12は、視点番号Eを0から17まで変化させながら描画プログラム番号2の描画プログラムを実行することで、視点番号0〜17の各視点から見た描画対象物C、Dを多視点画像記憶部13の対応するタイルに夫々描画している。このように、多視点画像描画部12は、CGデータに含まれた全ての描画プログラムについて、各視点から見た描画対象物を対応するタイルに描画することで、一の多視点画像が描画される。
図11、12は、図8〜10に示した多視点画像描画部12による多視点画像描画方法と対比するための図であって、従来の多視点画像描画方法を表している。図11、12に示したように、従来の多視点画像描画方法では、タイル毎に一の視点について全ての描画プログラムを実行し、描画が完了した時点で次の視点に処理を移行する視点単位での多視点描画方法となっている。この多視点描画方法の場合、描画処理に要する各種データの読み出し(アクセス)回数は、描画プログラム数×総視点数×総タイル数となり、タイル数が増加するに伴いその頻度も増加することとなる。
これに対し、多視点画像描画部12による多視点画像描画方法では、一の描画プログラムについて各視点についての描画を連続して行い、この描画プログラムでの描画が完了した時点で次の描画プログラムに処理を移行する描画プログラム単位での多視点描画方法となっている。この多視点描画方法の場合、描画処理に要する各種データのアクセス回数は、描画プログラム数×総視点数となるため、タイル数には依存しない。即ち、本実施形態の多視点画像描画方法によれば、多視点画像の描画処理に要する各種データを効率的に読み出すことができるため、データ転送の冗長性及びオーバーヘッドを低減することができる。
図3に戻り、多視点画像記憶部13は、RAM/VRAM5又は記憶部6に確保された記憶領域であって、図7に示した多視点画像描画の描画領域を有している。なお、多視点画像描画用の描画領域には、多視点画像描画部12により描画される全ての画像を保持可能な記憶容量が確保されているものとする。
多視点画像変換部14は、多視点画像記憶部13に記憶されたタイル状の多視点画像を読み込み、当該多視点画像に含まれた画素の配列を並び替えることで、立体画像提示のための合成画像を生成する。ここで、画素配列の並び替え方法は、公知の技術を用いる等特に問わないものとするが、表示部3の仕様(例えば、1実効画素33の大きさやシリンドリカルレンズ35の水平ピッチPs等)に応じて行われることが好ましい。
提示部15は、多視点画像変換部14により生成された合成画像を、表示部3の表示デバイス31に表示させることで、観察者に立体画像を提示する。
以上のように、本実施形態にかかる多視点画像描画装置100によれば、単一の描画プログラムで描画するべき対象物のみを、視点を切り替えながら連続して描画することで、描画時に必要となる各種データへのアクセスを効率的に行うことができるため、データ転送の冗長性及びオーバーヘッドを低減させることができる。これにより、高品質な立体画像を高速に生成することができるという格別の効果を奏する。
[第2の実施形態]
次に、第2の実施形態にかかる多視点画像描画装置について説明する。なお、上述した第1の実施形態と同様の構成については、同一の符号を付与しその説明を省略する。
図13は、第2の実施形態にかかる多視点画像描画装置200の機能的構成を示したブロック図である。なお、多視点画像描画装置200は、図1に示したハードウェア構成を有するものとする。
図13に示したように、多視点画像描画装置200は、上述したCGデータ記憶部11、多視点画像記憶部13、多視点画像変換部14、提示部15に加え、分割方法決定部16、多視点画像描画部17、部分多視点画像記憶部18を備えている。
一般にCGの描画処理では、メモリ帯域幅が処理速度のボトルネックになることが知られている。上述した第1の実施形態では、多視点画像記憶部13のメモリ帯域幅については言及していないが、この多視点画像記憶部13の帯域幅によっては処理速度が低下する可能性がある。そのため、本実施形態では、多視点画像記憶部13に加えて、当該多視点画像記憶部13と比較しメモリ帯域幅の広い小容量の部分多視点画像記憶部18を併用することで、処理速度の低下を抑制するようになっている。なお、部分多視点画像記憶部18としては、例えば、eDRAM(Embedded Dynamic Random Access Memory)等を用いることができる。
なお、描画される多視点画像の容量によっては、全てのタイルを部分多視点画像記憶部18に記憶することができない場合が考えられる。そのため、本実施形態では、分割方法決定部16が、多視点画像の容量と部分多視点画像記憶部18の記憶容量とに応じて、多視点画像をタイルの境界部分で複数の部分領域に分割する分割方法を決定することで、この部分領域毎に描画された多視点画像が、部分多視点画像記憶部18に保持されるようになっている。
具体的に、分割方法決定部16は、部分多視点画像記憶部18の記憶容量と、CGデータ記憶部11に記憶されたCGデータから導出される多視点画像の容量等の各種の条件とに基づき、下記式(1)により、部分多視点画像記憶部18が保持することが可能な画像(タイル)の個数、即ち、一度に描画することが可能な視点数Nfを導出する。また、分割方法決定部16は、視点数Nfに基づき、下記式(2)により部分領域の総数Nrを導出する。
Nf=M/(W×H×C+W×H×Z) (1)
Nr=Ne/Nf (2)
上記式(1)において、「M」は部分多視点画像記憶部18の記憶容量(単位はバイト)を示している。「W」、「H」はCGデータから導出される各タイルの幅と高さ(単位は画素)を示している。「C」、「Z」はCGデータから導出されるカラー値やデプス値等の1画素あたりの情報量(単位はバイト)を示している。なお、上記式(1)において、演算子「/」は小数点以下切り捨ての整数除算であるものとする。また、上記式(2)において、演算子「/」は小数点以下切り上げの整数除算であるものとする。
図14は、分割方法決定部16の動作を説明するための図であって、分割方法決定部16により分割された部分領域の例を示している。同図において、破線で囲まれたタイル(描画領域)部分が部分領域を示しており、ここでは、3つの部分領域(部分領域0〜2)に分割された例を示している。なお、図中、「W」、「H」は、上記式(1)に対応する、タイルの幅と高さを表している。
分割方法決定部16は、上記式(1)、(2)に基づき複数のタイルにより形成される多視点画像の描画領域を、複数の部分領域に分割すると、導出したNf、Nrの値とともに、各部分領域に関する情報を多視点画像描画部17に出力する。
具体的に、分割方法決定部16は、各部分領域0〜2に含まれる視点番号Eを、部分領域を基準としたE[R][V]の形式で表し、視点番号EとE[R][V]との関係を示した情報を多視点画像描画部17に出力する。ここで、「R」は何番目の部分領域かを指示する部分領域番号であり、「V」は部分領域内の視点数をカウントするための部分視点番号である。例えば、部分領域1の視点7は、E[1][1]に対応する。
また、分割方法決定部16は、各部分領域0〜2に含まれる総視点数を、部分領域を基準としたNf[R]の形式で表し、多視点画像描画部17に出力する。例えば、部分領域0〜2に含まれた総視点数は、夫々、Nf[0]=6、Nf[1]=6、Nf[2]=6と表される。
図13に戻り、多視点画像描画部17は、図5に示した構成と同様の構成を有しており、分割方法決定部16から入力された情報に基づいて、各描画プログラムで描画すべき対象物を、描画プログラム単位で視点を切り替えながら連続して描画することで、部分領域毎に多視点画像を描画する。
以下、多視点画像描画部17の動作について説明する。図15は、多視点画像描画部17により実行される多視点画像描画処理の手順を示したフローチャートである。
まず、多視点画像描画部17は、部分領域番号Rを0に初期化した後(ステップS21)、描画プログラム番号Pを0に初期化する(ステップS22)。続いて、第P描画プログラム設定部は、描画プログラム番号Pの描画プログラムに関するパラメータを設定する(ステップS23)。
続いて、多視点画像描画部17が、部分視点番号Vを0に初期化すると(ステップS24)、E[R][V]に対応する視点番号Eの第E視点設定部は、この視点番号E(E[R][V])に関するパラメータを設定する(ステップS25)。例えば、R=0、P=0、V=0の場合には、第0視点設定部1212が、E[0][0]、即ち、視点番号0の視点に関するパラメータを設定する。
画像描画部124は、ステップS23でパラメータが設定された描画プログラム番号Pの描画プログラムを実行し、ステップS25で設定された視点番号E(E[R][V])のパラメータに基づいて、視点番号E(E[R][V])の視点から見た描画対象物の画像を描画する(ステップS26)。ここで描画された画像は、部分多視点画像記憶部18に確保された当該画像の視点番号E(E[R][V])に対応する描画領域に保持される。
続いて、多視点画像描画部17は、部分視点番号Vに1を加算した後(ステップS27)、部分視点番号Vの値が視点数Nf[R]より小さいか否かを判定する(ステップS28)。ここで、部分視点番号Vの値が視点数Nf[R]より小さいと判定した場合には(ステップS28;Yes)、ステップS25の処理へと再び戻り、次の部分視点番号に切り替える。
一方、ステップS28において、部分視点番号Vの値が視点数Nf[R]以上と判定した場合には(ステップS28;No)、多視点画像描画部17は、描画プログラム番号Pに1を加算した後(ステップS29)、描画プログラム番号Pの値が描画プログラムの総数Npより小さいか否かを判定する(ステップS30)。
ステップS30において、描画プログラム番号Pの値が描画プログラムの総数Npより小さいと判定した場合には(ステップS30;Yes)、ステップS23の処理へと再び戻り、次の描画プログラムに切り替える。
一方、ステップS30において、描画プログラム番号Pの値が描画プログラムの総数Np以上と判定した場合には(ステップS30;No)、多視点画像描画部17は、部分領域番号Rに1を加算した後(ステップS31)、部分領域番号Rの値が分割領域の総数Nrより小さいか否かを判定する(ステップS32)。
ステップS32において、部分領域番号Rの値が分割領域の総数Nrより小さいと判定した場合には(ステップS32;Yes)、ステップS22の処理へと再び戻り、次の部分領域に切り替える。
一方、ステップS32において、部分領域番号Rの値が分割領域の総数Nr以上と判定した場合には(ステップS32;No)、本処理を終了する。このように、多視点画像描画部17が実行する多視点画像描画処理は、ステップS25〜S28の部分視点番号に関するループ(部分視点ループ)と、ステップS23〜S30の描画プログラムに関するループと、ステップS22〜S32の部分領域に関するループの三重構造を有している。
部分多視点画像記憶部18は、多視点画像描画部17により部分領域分の多視点画像が描画される毎に、描画された部分領域分の多視点画像を多視点画像記憶部13に出力する。また、多視点画像記憶部13は、部分多視点画像記憶部18から入力される部分領域毎の多視点画像を順次保持し、全部分領域分の多視点画像を記憶することで、全ての視点についてのタイルから構成される一の多視点画像を記憶する。
図16〜21は、上記した多視点画像描画処理により多視点画像が描画されるまでの過程を説明するための図である。なおNf[0]=Nf[1]=Nf[2]=6、Np=3、Nr=3であるものとする。
図16に示したように、最初のR=0、P=0の部分視点ループにおいて、多視点画像描画部17は、視点番号Eを0から5まで変化させながら描画プログラム番号0の描画プログラムを実行することで、視点番号0〜5の各視点から見た描画対象物Aを部分多視点画像記憶部18に描画する。
また、図17に示したように、R=0、P=1の部分視点ループにおいて、多視点画像描画部17は、視点番号Eを0から5まで変化させながら描画プログラム番号1の描画プログラムを実行することで、視点番号0〜5の各視点から見た描画対象物Bを部分多視点画像記憶部18に描画する。
また、図18に示したように、R=0、P=2の部分視点ループにおいて、多視点画像描画部17は、視点番号Eを0から5まで変化させながら描画プログラム番号2の描画プログラムを実行することで、視点番号0〜5の各視点から見た描画対象物C、Dを部分多視点画像記憶部18に描画する。この時点で、部分領域0についての描画は完了する。
部分多視点画像記憶部18は、多視点画像描画部17により描画された部分領域0についての多視点画像を、多視点画像記憶部13の視点番号0から5に対応するするタイルに複製した後、自己の記憶領域に記憶された多視点画像をクリアする。ここで図19は、部分領域0についての多視点画像を保持した多視点画像記憶部13の状態を表している。
次のR=1、P=0の部分視点ループにおいて、多視点画像描画部17は、視点番号Eを6から11まで変化させながら描画プログラム番号0の描画プログラムを実行することで、視点番号6〜11の各視点から見た描画対象物Aを部分多視点画像記憶部18に描画する。なお、描画結果は図16と同様となるため、図示は省略する。
また、R=1、P=1の部分視点ループにおいて、多視点画像描画部17は、視点番号Eを6から11まで変化させながら描画プログラム番号1の描画プログラムを実行することで、視点番号6〜11の各視点から見た描画対象物Bを部分多視点画像記憶部18に描画する。なお、描画結果は図17と同様となるため、図示は省略する。
また、R=1、P=2の部分視点ループにおいて、多視点画像描画部17は、視点番号Eを6から11まで変化させながら描画プログラム番号2の描画プログラムを実行することで、視点番号6〜11の各視点から見た描画対象物C、Dを部分多視点画像記憶部18に描画する。この時点で、部分領域1についての描画は完了する。なお、描画結果は図18と同様となるため、図示は省略する。
部分多視点画像記憶部18は、多視点画像描画部17により描画された部分領域1についての多視点画像を、多視点画像記憶部13の視点番号6から11に対応するタイルに複製した後、自己の記憶領域に記憶された多視点画像をクリアする。ここで図20は、部分領域0及び1についての多視点画像を保持した多視点画像記憶部13の状態を表している。
次のR=2、P=0の部分視点ループにおいて、多視点画像描画部17は、視点番号Eを12から17まで変化させながら描画プログラム番号0の描画プログラムを実行することで、視点番号12〜17の各視点から見た描画対象物Aを部分多視点画像記憶部18に描画する。なお、描画結果は図16と同様となるため、図示は省略する。
また、R=2、P=1の部分視点ループにおいて、多視点画像描画部17は、視点番号Eを12から17まで変化させながら描画プログラム番号1の描画プログラムを実行することで、視点番号12〜17の各視点から見た描画対象物Bを部分多視点画像記憶部18に描画する。なお、描画結果は図17と同様となるため、図示は省略する。
また、R=2、P=2のループにおいて、多視点画像描画部17は、視点番号Eを12から17まで変化させながら描画プログラム番号2の描画プログラムを実行することで、視点番号12〜17の各視点から見た描画対象物C、Dを部分多視点画像記憶部18に描画する。この時点で、部分領域2についての描画は完了する。なお、描画結果は図18と同様となるため、図示は省略する。
部分多視点画像記憶部18は、多視点画像描画部17により描画された部分領域2についての多視点画像を、多視点画像記憶部13の視点番号12から17に対応するするタイルに複製した後、自己の記憶領域に記憶された多視点画像をクリアする。ここで図21は、部分領域0、1及び2についての多視点画像を保持した多視点画像記憶部13の状態を表している。このように、部分領域毎に多視点画像を多視点画像記憶部13に順次記憶することで、一の多視点画像を得ることができる。
以上のように、本実施形態にかかる多視点画像描画装置200によれば、多視点画像をタイルの境界部分で複数の部分領域に分割し、部分領域毎に多視点画像の描画を行うことで、多視点画像記憶部13よりもメモリ帯域幅の広い部分多視点画像記憶部18を効率的に活用することができる。これにより、高品質な立体画像をより高速に生成することができるという格別の効果を奏する。
[第3の実施形態]
次に、第3の実施形態にかかる多視点画像描画装置について説明する。なお、上述した第1、2の実施形態と同様の構成については、同一の符号を付与しその説明を省略する。
図22は、第3の実施形態にかかる多視点画像描画装置300の機能的構成を示したブロック図である。なお、多視点画像描画装置300は、図1に示したハードウェア構成を有するものとする。
図22に示したように、多視点画像描画装置300は、上述したCGデータ記憶部11、多視点画像記憶部13、多視点画像変換部14、提示部15、分割方法決定部16、部分多視点画像記憶部18に加えて、シーングラフ処理部19、多視点画像描画部20を備えている。
上述した第1、第2の実施形態では、Np個の描画プログラム番号の0からNp−1番目までを順番に実行していたが、現実のCG映像においては、描画プログラムの実行順序は常に同じではなく、描画するシーンに応じて動的に変ることが多い。また、常にNp個の描画プログラムの全てが実行されるとは限らない。
そのため、本実施形態にかかる多視点画像描画装置300では、図23に示したようなシーングラフを各シーンに応じた数だけCGデータ記憶部11に記憶し、描画するシーンに応じてシーングラフを使い分けることで、シーンに応じた描画方法で多視点画像を描画する。ここで、シーングラフは、図23に示したように、シーングラフの親ノードとなるルートノードと、描画プログラム番号が規定される内部ノードと、描画対象物が規定されるリーフノードの三層からなるツリー構造を有している。
シーングラフ処理部19は、描画するシーンに応じて、CGデータ記憶部11に記憶された一のシーングラフを読み出し、深さ優先順でトラバースすることによって、実行する描画プログラム番号の順序と、各描画プログラム番号の描画プログラムで描画すべき描画対象物とを対応付けた情報(シーン情報)を多視点画像描画部20に出力する。
例えば、図23に示したシーングラフの例では、最初に描画プログラム番号2の描画プログラムで描画対象物Aを描画し、次に描画プログラム番号1の描画プログラムで描画対象物Bを描画し、次に描画プログラム番号3の描画プログラムで描画対象物Bを重ね描きするとともに描画対象物C、Dを描画し、最後に描画プログラム番号0の描画プログラムで描画対象物E、F、Gを描画することを指示したシーン情報を多視点画像描画部20に出力する。
また、シーングラフ処理部19は、シーンが切り替わる毎に、切り替え後のシーンに対応するシーングラフをCGデータ記憶部11から読み出し、このシーングラフについてのシーン情報を多視点画像描画部20に出力する。なお、シーングラフ処理部19が、描画するシーンに応じてシーングラフに定義された描画プログラムの実行順序の変更や、各描画プログラムで描画する描画対象物を変更することで、シーングラフを動的に再構築する態様としてもよい。
多視点画像描画部20は、多視点画像描画部17と同様の機能を有するとともに、前段のシーングラフ処理部19から入力されたシーン情報に基づいて、当該シーン情報で指示された描画プログラムの順序で、この描画プログラムで描画すべき描画対象物を視点を切り替えながら連続して描画する。
以下、多視点画像描画部20の動作について説明する。図24は、多視点画像描画部20により実行される多視点画像描画処理の手順を示したフローチャートである。
まず、多視点画像描画部20は、部分領域番号Rを0に初期化する(ステップS41)。次に、多視点画像描画部20は、シーン情報で指示された描画プログラムの実行順序に応じ、最初の描画プログラム番号をPに設定する(ステップS42)。例えば、図23に示したシーングラフの場合、多視点画像描画部20はP=2を設定する。
続いて、第P描画プログラム設定部は、描画プログラム番号Pの描画プログラムに関するパラメータを設定する(ステップS43)。次いで、多視点画像描画部20が、部分視点番号Vを0に初期化すると(ステップS44)、E[R][V]に対応する視点番号Eの第E視点設定部は、この視点番号E(E[R][V])に関するパラメータを設定する(ステップS45)。
画像描画部124は、ステップS43でパラメータが設定された描画プログラム番号Pの描画プログラムを実行し、ステップS45で設定された視点番号E(E[R][V])のパラメータに基づいて、視点番号E(E[R][V])の視点から見た描画対象物の画像を描画する(ステップS46)。ここで描画された画像は、部分多視点画像記憶部18に確保された当該画像の視点番号E(E[R][V])に対応する描画領域に保持される。
続いて、多視点画像描画部20は、部分視点番号Vに1を加算した後(ステップS47)、部分視点番号Vの値が視点数Nf[R]より小さいか否かを判定する(ステップS48)。ここで、部分視点番号Vの値が視点数Nf[R]より小さいと判定した場合には(ステップS48;Yes)、ステップS45の処理へと再び戻り、次の部分視点番号に切り替える。
一方、ステップS48において、部分視点番号Vの値が視点数Nf[R]以上と判定した場合には(ステップS48;No)、多視点画像描画部20は、シーン情報で指示された全ての描画プログラムを実行したか否かを判定する(ステップS49)。ここで、未実行の描画プログラムがあると判定した場合には(ステップS49;No)、シーン情報で指示された描画プログラムの実行順序に応じ、次の描画プログラム番号をPに設定した後(ステップS50)、ステップS43の処理へと再び戻る。
一方、ステップS49において、シーン情報で指示された全ての描画プログラムを実行したと判定した場合には(ステップS49;Yes)、多視点画像描画部20は、部分領域番号Rに1を加算した後(ステップS51)、部分領域番号Rの値が分割領域の総数Nrより小さいか否かを判定する(ステップS52)。
ステップS52において、部分領域番号Rの値が分割領域の総数Nrより小さいと判定した場合には(ステップS52;Yes)、ステップS42の処理へと再び戻り、次の部分領域に切り替える。
一方、ステップS52において、部分領域番号Rの値が分割領域の総数Nr以上と判定した場合には(ステップS52;No)、本処理を終了する。
以上のように、本実施形態の多視点画像描画装置300によれば、描画プログラム番号を内部ノードに持つシーングラフを用いることにより、シーンに応じて任意の描画プログラムの組み合わせを任意の順序で実行することが可能となる。その結果、シーン切り替えを含む実用的な多視点画像を描画することができる。
なお、本実施形態では、第2の実施形態の構成にシーングラフ処理部19を追加した構成を説明したが、これに限らず、第1の実施形態の構成にシーングラフ処理部19を追加する態様としてもよい。
以上、発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加などが可能である。
例えば、先に述べた多視点画像描画装置100、200、300における各処理を実行するプログラムを、インストール可能な形式又は実行可能な形式でCD−ROM、フロッピー(R)ディスク(FD)、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供する態様としてもよい。
また、多視点画像描画装置100、200、300における各処理を実行するプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、通信部7を介してネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
この場合には、プログラムは、多視点画像描画装置100、200、300において上記記録媒体から読み出して実行することによりRAM/VRAM5上にロードされ、上記ソフトウェア構成で説明した各部がRAM/VRAM5上に生成される。
多視点画像描画装置のハードウェア構成を示した図である。 表示部の構造を示した図である。 第1の実施形態にかかる多視点画像描画装置の機能的構成を示した図である。 描画プログラムにより描画された画像の一例を示した図である。 多視点画像描画部の構成を示した図である。 第1の実施形態にかかる多視点画像描画処理の手順を示したフローチャートである。 多視点画像描画用の記憶領域を模式的に示した図である。 第1の実施形態にかかる多視点画像描画処理を説明するための図である。 第1の実施形態にかかる多視点画像描画処理を説明するための図である。 第1の実施形態にかかる多視点画像描画処理を説明するための図である。 従来の多視点画像描画方法を説明するための図である。 従来の多視点画像描画方法を説明するための図である。 第2の実施形態にかかる多視点画像描画装置の機能的構成を示した図である。 部分領域の例を示した図である。 第2の実施形態にかかる多視点画像描画処理の手順を示したフローチャートである。 第2の実施形態にかかる多視点画像描画処理を説明するための図である。 第2の実施形態にかかる多視点画像描画処理を説明するための図である。 第2の実施形態にかかる多視点画像描画処理を説明するための図である。 第2の実施形態にかかる多視点画像描画処理を説明するための図である。 第2の実施形態にかかる多視点画像描画処理を説明するための図である。 第2の実施形態にかかる多視点画像描画処理を説明するための図である。 第3の実施形態にかかる多視点画像描画装置の機能的構成を示した図である。 シーングラフの一例を示した図である。 第3の実施形態にかかる多視点画像描画処理の手順を示したフローチャートである。
符号の説明
100 多視点画像描画装置
200 多視点画像描画装置
300 多視点画像描画装置
1 CPU/GPU
2 操作部
3 表示部
31 表示デバイス
32 サブ画素
33 実効画素
34 レンチキュラー板
35 シリンドリカルレンズ
4 ROM
5 RAM/VRAM
6 記憶部
7 通信部
8 バス
11 CGデータ記憶部
12 多視点画像描画部
13 多視点画像記憶部
14 多視点画像変換部
15 提示部
16 分割方法決定部
17 多視点画像描画部
18 部分多視点画像記憶部
19 シーングラフ処理部
20 多視点画像描画部
121 描画設定ユニット
1211 第0描画プログラム設定部
1212 第0視点設定部
1213 第1視点設定部
1214 第(Ne−1)視点設定部
122 描画設定ユニット
1221 第1描画プログラム設定部
1222 第0視点設定部
1223 第1視点設定部
1224 第(Ne−1)視点設定部
123 描画設定ユニット
1231 第(Np−1)描画プログラム設定部
1232 第0視点設定部
1233 第1視点設定部
1234 第(Ne−1)視点設定部
124 画像描画部

Claims (10)

  1. 描画対象物の形状を表す一又は複数の形状データと、描画手順を記述した一又は複数の描画プログラムと、互いに異なる複数の視点に関する情報を定義した視点データと、を少なくとも含んだCGデータを記憶する第1記憶手段と、
    前記一又は複数の描画プログラムから一の描画プログラムを順次選択し、この描画プログラムにより描画する描画対象物を設定する第1設定手段と、
    前記視点データに定義された複数の視点から一の視点に関する情報を順次選択し、これら各情報を前記描画プログラム実行時の描画条件として各々設定する第2設定手段と、
    前記第1設定手段により設定された一の描画プログラムの実行毎に、この描画プログラムで描画すべき描画対象物を前記描画条件の各々で設定された各視点について連続して描画し、視点毎の描画画像からなる多視点画像を生成する描画手段と、
    前記多視点画像を記憶する第2記憶手段と、
    を備えたことを特徴とする多視点画像描画装置。
  2. 前記多視点画像を複数の部分領域に分割する分割方法を決定する分割方法決定手段と、
    前記部分領域分の多視点画像を記憶する第3記憶手段と、
    を更に備え、
    前記描画手段は、前記多視点画像を部分領域毎に生成し、生成された部分領域の多視点画像を前記第3記憶手段から前記第2記憶手段に出力させることを特徴とする請求項1に記載の多視点画像描画装置。
  3. 前記分割方法決定手段は、前記多視点画像の容量と前記第3記憶手段の記憶容量に応じて前記分割方法を決定することを特徴とする請求項2に記載の多視点画像描画装置。
  4. 前記第3記憶手段のメモリ帯域幅は、前記第2記憶手段のメモリ帯域幅より広いことを特徴とする請求項2又は3に記載の多視点画像描画装置。
  5. 前記第3記憶手段の記憶容量は、前記第2記憶手段の記憶容量より小なることを特徴とする請求項4に記載の多視点画像描画装置。
  6. 前記描画プログラムの実行順序と各描画プログラムで描画する描画対象物との関係を定義した1又は複数のシーングラフを記憶する第4記憶手段と、
    描画するシーンに応じたシーングラフを前記第4記憶手段から読み出し、当該シーングラフに定義された描画プログラムの実行順序と各描画プログラムで描画する描画対象物とを指示するシーン情報を前記描画手段に出力するシーングラフ処理手段と、
    を更に備え、
    前記描画手段は前記シーン情報に基づいて、当該シーン情報で指示された描画プログラムの順序で、この描画プログラムで描画すべき描画対象物を前記描画条件の各々で設定された各視点について描画することを特徴とする請求項2に記載の多視点画像描画装置。
  7. 前記シーングラフ処理手段は、描画するシーンに応じて、前記シーングラフに定義された描画プログラムの実行順序と各描画プログラムで描画する描画対象物との関係を再構築することを特徴とする請求項6に記載の多視点画像描画装置。
  8. 前記第2記憶手段に記憶された多視点画像に含まれる画素の配列を変換し、立体画像表示のための合成画像を生成する多視点画像変換手段と、
    前記合成画像により表される立体画像を観察者に提示する提示手段と、
    を更に備えたことを特徴とする請求項1に記載の多視点画像描画装置。
  9. 描画対象物の形状を表す一又は複数の形状データと、描画手順を記述した一又は複数の描画プログラムと、互いに異なる複数の視点に関する情報を定義した視点データと、を少なくとも含んだCGデータを記憶する記憶手段から、一の描画プログラムを順次選択し、この描画プログラムにより描画する描画対象物を設定する第1設定工程と、
    前記視点データに定義された複数の視点から一の視点に関する情報を順次選択し、これら各情報を前記描画プログラム実行時の描画条件として各々設定する第2設定工程と、
    前記第1設定工程で設定された一の描画プログラムの実行毎に、この描画プログラムで描画すべき描画対象物を前記描画条件の各々で設定された各視点について連続して描画し、視点毎の描画画像からなる多視点画像を生成する描画工程と、
    を含むことを特徴とする多視点画像描画方法。
  10. コンピュータを、
    描画対象物の形状を表す一又は複数の形状データと、描画手順を記述した一又は複数の描画プログラムと、互いに異なる複数の視点に関する情報を定義した視点データと、を少なくとも含んだCGデータを記憶する記憶手段から、一の描画プログラムを順次選択し、この描画プログラムにより描画する描画対象物を設定する第1設定手段と、
    前記視点データに定義された複数の視点から一の視点に関する情報を順次選択し、これら各情報を前記描画プログラム実行時の描画条件として各々設定する第2設定手段と、
    前記第1設定手段により設定された一の描画プログラムの実行毎に、描画プログラムで描画すべき描画対象物を前記描画条件の各々で設定された各視点について連続して描画し、視点毎の描画画像からなる多視点画像を生成する描画手段と、
    して機能させることを特徴とする多視点画像描画プログラム。
JP2007244295A 2007-09-20 2007-09-20 多視点画像描画装置、方法及びプログラム Abandoned JP2009075869A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007244295A JP2009075869A (ja) 2007-09-20 2007-09-20 多視点画像描画装置、方法及びプログラム
CNA2008102134819A CN101393649A (zh) 2007-09-20 2008-09-08 多视点图像渲染装置及方法
KR1020080088224A KR20090031230A (ko) 2007-09-20 2008-09-08 다시점 영상을 렌더링하기 위한 장치 및 방법
US12/208,829 US20090079761A1 (en) 2007-09-20 2008-09-11 Apparatus, method, and computer program product for rendering multi-viewpoint images
EP08164208A EP2040479A2 (en) 2007-09-20 2008-09-12 Apparatus, method, and computer program product for rendering multi-viewpoint images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007244295A JP2009075869A (ja) 2007-09-20 2007-09-20 多視点画像描画装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2009075869A true JP2009075869A (ja) 2009-04-09

Family

ID=40110960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007244295A Abandoned JP2009075869A (ja) 2007-09-20 2007-09-20 多視点画像描画装置、方法及びプログラム

Country Status (5)

Country Link
US (1) US20090079761A1 (ja)
EP (1) EP2040479A2 (ja)
JP (1) JP2009075869A (ja)
KR (1) KR20090031230A (ja)
CN (1) CN101393649A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271271A (zh) * 2011-08-17 2011-12-07 清华大学 生成多视点视频的装置及方法
JP2013507026A (ja) * 2009-10-02 2013-02-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3dビデオにおける追加のビューを生成するための視点の選択
KR101280991B1 (ko) 2010-10-12 2013-07-08 유니크 인스트루먼츠 씨오.엘티디 3d 이미지 디스플레이장치
US8666147B2 (en) 2009-09-25 2014-03-04 Kabushiki Kaisha Toshiba Multi-view image generating method and apparatus

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502419B1 (ko) * 2008-07-11 2015-03-13 삼성디스플레이 주식회사 다시점 영상 표시방법, 이를 수행하기 위한 표시장치
JP4770948B2 (ja) * 2009-03-03 2011-09-14 ソニー株式会社 表示装置
WO2012161054A1 (ja) * 2011-05-23 2012-11-29 株式会社東芝 医用画像診断装置、画像処理装置及び超音波診断装置
CN102752537B (zh) * 2011-11-29 2017-06-13 新奥特(北京)视频技术有限公司 一种实现多种特技效果同时输出的方法
JP5818674B2 (ja) * 2011-12-21 2015-11-18 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、画像表示装置
JP6099892B2 (ja) * 2012-07-09 2017-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 映像表示装置
CN103079084B (zh) * 2013-02-21 2015-10-21 厦门市羽星智能科技有限责任公司 一种有利于实时融合播放的多视点裸眼立体片源存储方式
KR101980275B1 (ko) 2014-04-14 2019-05-20 삼성전자주식회사 다시점 영상 디스플레이 장치 및 디스플레이 방법
CN105635707A (zh) * 2014-11-06 2016-06-01 福州瑞芯微电子股份有限公司 一种图像生成方法和装置
CN104835198B (zh) * 2015-05-19 2018-09-14 网易(杭州)网络有限公司 游戏场景展示方法和装置
GB2546811B (en) 2016-02-01 2020-04-15 Imagination Tech Ltd Frustum rendering
US11412145B2 (en) * 2017-09-15 2022-08-09 Motorola Mobility Llc Electronic display and corresponding method for presenting an overlay on a display
CN109448088B (zh) * 2018-10-22 2023-02-21 广州视源电子科技股份有限公司 渲染立体图形线框的方法、装置、计算机设备和存储介质
US11605222B2 (en) * 2019-11-01 2023-03-14 Robert Bosch Gmbh Apparatus and system related to an intelligent helmet
US11943271B2 (en) * 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388206A (en) * 1992-11-13 1995-02-07 The University Of North Carolina Architecture and apparatus for image generation
JP3358466B2 (ja) 1996-10-18 2002-12-16 凸版印刷株式会社 視差画像のデータ処理方法および装置
GB0003311D0 (en) * 2000-02-15 2000-04-05 Koninkl Philips Electronics Nv Autostereoscopic display driver
AU2002245076A1 (en) * 2000-12-06 2002-07-16 Sun Microsystems, Inc. Using ancillary geometry for visibility determination

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8666147B2 (en) 2009-09-25 2014-03-04 Kabushiki Kaisha Toshiba Multi-view image generating method and apparatus
JP2013507026A (ja) * 2009-10-02 2013-02-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3dビデオにおける追加のビューを生成するための視点の選択
KR101280991B1 (ko) 2010-10-12 2013-07-08 유니크 인스트루먼츠 씨오.엘티디 3d 이미지 디스플레이장치
CN102271271A (zh) * 2011-08-17 2011-12-07 清华大学 生成多视点视频的装置及方法

Also Published As

Publication number Publication date
EP2040479A2 (en) 2009-03-25
KR20090031230A (ko) 2009-03-25
US20090079761A1 (en) 2009-03-26
CN101393649A (zh) 2009-03-25

Similar Documents

Publication Publication Date Title
JP2009075869A (ja) 多視点画像描画装置、方法及びプログラム
US7652674B2 (en) On the fly hardware based interdigitation
KR100445209B1 (ko) 시차변환을통해입력이미지를적어도하나의출력이미지로발생시키기위한이미지처리시스템및이미지변환프로세서
US9071835B2 (en) Method and apparatus for generating multiview image with hole filling
JP5342796B2 (ja) 三次元画像表示方法および装置
JP4132048B2 (ja) 波長フィルタ・アレイによる自動立体画像表示方法
JP2009077234A (ja) 三次元画像処理装置、方法及びプログラム
JP5238887B2 (ja) 多視点画像生成方法および装置
JP6060329B2 (ja) 3dディスプレイ装置で3次元映像を視覚化する方法および3dディスプレイ装置
JP2007249398A (ja) 画像処理システム、表示装置および画像処理方法
JP4523368B2 (ja) 立体視画像生成装置およびプログラム
JP2011188142A (ja) 中間画像生成方法、中間画像ファイル、中間画像生成装置、立体画像生成方法、立体画像生成装置、裸眼立体画像表示装置、立体画像生成システム
US20120223941A1 (en) Image display apparatus, method, and recording medium
KR20170044953A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP4960119B2 (ja) ポイント基盤のレンダリング装置及び方法
CN109643462B (zh) 基于渲染引擎的实时图像处理方法以及显示设备
JP4703635B2 (ja) 立体視画像生成方法、その装置、及び立体視画像表示装置
EP3270234B1 (en) Method, computer program and apparatus for processing three-dimensional image
KR102271171B1 (ko) 무안경 다시점 3d 디스플레이 장치 및 그의 영상 처리 방법
JP5993423B2 (ja) カラーフレームとオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステム
JP4107675B2 (ja) 画像表示装置、画像表示方法および記録媒体
KR20160068125A (ko) 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법
US20240071280A1 (en) Display Method of Display Panel and Display Control Apparatus Thereof, and Display Apparatus
JP6283297B2 (ja) オリジナルデプスフレームをリサイズ及び復元する方法、装置並びにシステム
US20100097387A1 (en) Rendering method to improve image resolution

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100601

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20110729