JP2008186264A - 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム - Google Patents

3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム Download PDF

Info

Publication number
JP2008186264A
JP2008186264A JP2007019654A JP2007019654A JP2008186264A JP 2008186264 A JP2008186264 A JP 2008186264A JP 2007019654 A JP2007019654 A JP 2007019654A JP 2007019654 A JP2007019654 A JP 2007019654A JP 2008186264 A JP2008186264 A JP 2008186264A
Authority
JP
Japan
Prior art keywords
virtual viewpoint
information
model
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007019654A
Other languages
English (en)
Other versions
JP4836814B2 (ja
Inventor
Norio Mihara
功雄 三原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007019654A priority Critical patent/JP4836814B2/ja
Priority to US11/902,216 priority patent/US7973791B2/en
Priority to KR1020070104121A priority patent/KR20080071475A/ko
Priority to EP07254137A priority patent/EP1953702A3/en
Priority to CNA2007101636993A priority patent/CN101236662A/zh
Publication of JP2008186264A publication Critical patent/JP2008186264A/ja
Application granted granted Critical
Publication of JP4836814B2 publication Critical patent/JP4836814B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289Switching between monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

【課題】高速かつ安価で提供可能な3Dディスプレイ用のCG画像生成を行うことが可能な装置、および、手法を提供することを目的とする。
【解決手段】3Dディスプレイ情報を基に仮想視点モデルの個数の算出を行い、この個数分だけ仮想視点モデルを生成し、3Dディスプレイ情報に含まれる生成画像情報を基に仮想視点モデル群を配置するCG空間情報を算出し、この情報から仮想視点モデル群をCG空間内に配置し、CG画像として生成すべき視点・光源の情報、および3Dディスプレイ情報を用いて、仮想視点モデル毎の仮想視点情報を算出し、得られた仮想視点モデル群に含まれる各モデルに対して、対応する仮想視点情報を適用して3Dディスプレイ情報から仮想視点モデル毎の描画領域を算出し、CG空間情報、仮想視点モデル群情報、および仮想視点モデル毎の描画領域を用いて、CGの描画処理を行う。
【選択図】 図1

Description

本発明は3Dディスプレイ用CG画像の生成装置、および、生成方法に関する。
裸眼式三次元画像表示方法として、二眼式や多眼式が知られている。いずれも表示面にレンチキュラーシート(水平方向のみレンズ特性を有するかまぼこレンズのアレイ)やパララックスバリアなどを配し、左右眼に視差をもつ二次元画像を分離して見せることで、観察者に「立体画像(一方向からのみ立体を知覚できる画像)」を知覚させる。二眼式では2つの二次元画像が1方向の視点からの立体画像を知覚させるのみだが、多眼式では例えば4つの二次元画像が3方向の視点からの立体画像を知覚させる。すなわち、不連続ではあるが運動視差(事物が身体移動の逆方向に移動して見える現象)を観察者にもたらす。
運動視差をより完全にし、「三次元画像(運動視差も備えた立体画像)」を表示できる方式として、II(インテグラルイメージング)方式がある。この方式は、1908年に提案されたインテグラルフォトグラフィー(IP)方式という立体写真の撮影・再生技術に由来する(例えば、非特許文献1を参照)。これは、立体写真の画素に相当するレンズアレイを用意し、この焦点距離にフィルムを置いて撮影を行い、撮影したフィルム上に撮影に用いたレンズアレイを置いて再生するというものである。レンズ越しに記録した光線情報を進行方向のみ逆転して再生するというこのプロセスから明らかなように、観察位置を限定することなく、フィルムの解像度が十分に高ければ、ホログラフィと同様に完全な空中像をも再生可能な、理想的な方式である。II方式三次元画像表示装置ではフィルムの代わりに代表的なフラットパネルディスプレイである液晶ディスプレイ(LCD)を用いる。画素から出た光は、レンズを経由することで進行方向が限定され、光線として射出する。レンズの背面の画素数、すなわち、視差情報(見る角度によって見え方が変わる画像情報)の数が増えると三次元画像表示装置の手前または奥側の表示範囲が広くなるが、LCDの解像度が一定とした場合にはレンズピッチが長くなることから三次元画像の解像度が低下する(例えば、非特許文献1を参照)。
特に水平方向にのみ視差情報を提示するII(1D−II)方式は、多眼式と同様にレンチキュラーシートを利用することから、その分類が混同されやすい。しかしながら、II方式の特徴は、視点画像の精細度の低下に配慮しながら可能な範囲で視差数を増やし、かつ、光線設計時に観察者の位置を仮定しない(観察時の両眼に集光点を設けない)ところにある。これは、視点画像の精細度低下を抑制するために視差数を2〜4と低く抑え、両眼に相当する位置に集光点を設けて立体画像を知覚させるという多眼式の設計とは決定的に異なる。具体的には、水平レンズピッチまたは水平レンズピッチの整数倍が、水平画素ピッチの整数倍に設計することにより、複数のレンズから出る光線が略平行の関係になるように射出させ、再生・観察空間内に光線が集光する特殊な点が発生することを防いでいる(集光点を観察距離より十分後ろに設定する方法もある)。これらの光線は、実際に物があったときの表面からの光を、離散的ではあるが抽出して再生していることから、視差数をある程度高くすることで、観察者は観察範囲の中で、略その位置から見えるべき両眼視点画像を視認できるとともに、連続的な運動視差を得ることができる。多眼式との違いをつきつめればLCDに代表されるフラットパネルの画素数が有限であるために制限される光線のレイアウトの違いに過ぎない。しかしながら視点画像の精細度を重視したために運動視差が不完全な多眼式とは異なり、特殊な集光点を設けないという1D−II方式の光線設計が、両眼視差と運動視差のバランスを考慮した、より自然で疲れにくい三次元画像をもたらす。(例えば、非特許文献2を参照)
このように、3Dディスプレイには様々な方式があり、II方式は、この中でも、より自然で疲れにくい三次元画像をもたらす優れた3Dディスプレイ方式である。
しかし、II方式は、非常に多くの視点から立体化したい対象を見た画像を用いて立体画像を作成する必要がある。特にCG画像の場合、非常に多くの視点からレンダリングした複数の画像を用いて、立体画像を生成する必要がある。(例えば、非特許文献2を参照)
これを通常のCGのレンダリング処理を用いて実現するためには、各視点からのレンダリング処理を視点数分だけ繰り返す必要があった。
また、複数の視点から生成したCGレンダリング画像を効率良く格納するためのフォーマットとして、タイル画像フォーマットと呼ばれる画像フォーマットが考案されており、複数の視点からのCGレンダリング画像群を、タイル画像フォーマットの形式にするためには、通常のCG処理であまり想定しないような処理を多く使用する必要があった。
M. G. Lippmann、 Comptes Rendus de l?Academie des Sciences、 Vol.146、 pp.446−451(1908). T. Saishu, et al., "Distortion Control in a One-Dimensional Integral Imaging Autostereoscopic Display System with Parallel Optical Beam Groups," SID 04 Digest, pp. 1438-1441, 2004.
上述のように、3Dディスプレイ用のCG画像生成、特にII方式用のCG画像の生成のためには、(1)多くの視点からのCGレンダリング処理が必要、(2)所定のフォーマットで(II方式の場合は、例えばタイル画像形式)レンダリング画像を整形する必要、があった。
(1)により、例えば、II方式では、通常20視点以上の多くの視点からのレンダリングを必要とする。レンダリング処理を繰り返すということは、その分レンダリング時間を要するということで、これにより、CG画像生成時間が非常に遅くなるという問題点があった。
また、(2)により、所定のフォーマット(例えばタイル画像)にて、レンダリング画像群を整形する必要があったが、これを効率的に行うためには、通常のCGであまり想定していない使用方法でレンダリング処理を行う必要があった。汎用のグラフィックス処理ハードウェア(GPU, Graphics Processing Unit)は、想定している範囲内で非常に高いパフォーマンスが出るように設計されている。このため、想定している使用方法を超えた使い方をした場合、GPUのパフォーマンスを十分に発揮することが出来なくなり、さらに、レンダリング速度が劣化するという問題があった。
これを解決するためには、3Dディスプレイ用のCG画像生成に特化して、このような使い方にてベストなパフォーマンスが発揮できるような専用のグラフィックス処理ハードウェアを開発する必要がある。しかし、専用ハードウェアを用いると、安価に3Dディスプレイ用のCG画像生成を提供することは困難となる。
本発明は、上記のような問題点に鑑みてなされたもので、従来のレンダリング速度低下の問題、安価な提供が困難となる問題を同時に解決し、高速かつ安価で提供可能な3Dディスプレイ用のCG画像生成を行うことが可能な装置、および、手法を提供することを目的とする。
本発明の3Dディスプレイ用CG画像生成装置は、3Dディスプレイ情報をもとに、仮想視点モデルの個数を算出するための仮想視点モデル数算出手段と、入力となるCGモデルデータをベースとして、前記仮想視点モデル数算出手段で算出したモデル数分だけ仮想視点モデルを生成するための仮想視点モデル生成手段と、3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報を算出するための配置情報算出手段と、前記配置情報算出手段で算出した情報をもとに、前記仮想視点モデル生成手段から得られる仮想視点モデル群データをCG処理空間内に配置するための仮想視点モデル配置手段と、CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける仮想視点情報を算出するための仮想視点情報算出手段と、前記仮想視点モデル配置手段から得られる仮想視点モデル群に含まれる各仮想視点モデルに対して、前記仮想視点情報算出手段で算出された対応する仮想視点情報を適用するための仮想視点情報適用手段と、3Dディスプレイ情報から各々の仮想視点モデルの描画領域を算出するための仮想視点モデル領域情報算出手段と、
前記仮想視点情報適用手段から得られるCG空間情報、仮想視点モデル群情報、および、前記仮想視点モデル領域情報算出手段から得られる各仮想視点モデルの描画される領域情報を用いて、CGの描画処理を行うためのCG描画手段を具備することを特徴とする。
また、本発明の3Dディスプレイ用CG画像生成方法は、3Dディスプレイ情報をもとに、仮想視点モデルの個数の算出を行い、入力となるCGモデルデータをベースとして、算出したモデル数分だけ仮想視点モデルを生成し、3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報の算出を行い、算出した情報をもとに、仮想視点モデル群データをCG処理空間内に配置し、CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける仮想視点情報の算出を行い、得られた仮想視点モデル群に含まれる各モデルに対して、算出された対応する仮想視点情報を適用し、3Dディスプレイ情報から各々の仮想視点モデルの描画領域の算出を行い、得られたCG空間情報、仮想視点モデル群情報、および、各仮想視点モデルの描画される領域情報を用いて、CGの描画処理を行うことを特徴とする。
本発明によれば、高速かつ安価に3Dディスプレイ用のCG画像の生成を行う装置、および、方法を提供することができる。
以下、図面を参照しながら発明の実施の形態を説明する。
[第1の実施形態]
まず、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係る3Dディスプレイ用CG画像生成装置の全体構成図である。
本実施形態の3Dディスプレイ用CG画像生成装置は、3Dディスプレイ情報をもとに、仮想視点モデルの個数を算出するための仮想視点モデル数算出部1と、入力となるCGモデルデータをベースとして、仮想視点モデルを仮想視点モデル数算出部1で算出したモデル数分だけ生成するための仮想視点モデル生成部2と、3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報を算出するための配置情報算出部3と、配置情報算出部3で算出した情報をもとに、仮想視点モデル生成部2から得られる仮想視点モデル群データをCG処理空間内に配置するための仮想視点モデル配置部4と、CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける視点・光源パラメータを算出するための仮想視点情報算出部5と、仮想視点モデル配置部4から得られるモデル群に含まれる各モデルに対して、仮想視点情報算出部5で算出された対応する仮想視点情報を適用するための仮想視点情報適用部6と、3Dディスプレイ情報から各々の仮想視点モデルの描画領域を算出するための仮想視点モデル領域情報算出部7と、仮想視点情報適用部6から得られるCG空間情報、仮想視点モデル群情報、および、仮想視点モデル領域情報算出部7から得られる各モデルの描画される領域情報を用いて、CGの描画処理を行うためのCG描画部8と、から構成される。
3Dディスプレイ用のCG画像は、通常のCG画像と異なり、異なる視点(図3)から生成した複数のCG画像を用いることで、生成した画像を立体的に表示することが可能なようにする。これは、3Dディスプレイでは、異なる視点から生成したCG画像同士に現れる視差情報を用いて立体的な画像を生成するためである。
以降、説明を簡単にするために、インテグラルイメージング方式(以降II方式と呼ぶ)の3Dディスプレイを例として説明を進めるが、これに限定されるものでは無い。2眼方式、多眼方式など他の方式においても同様である。なお、II方式に関する詳細に関しては、非特許文献1、非特許文献2などに詳しいので、そちらを別途参照して頂きたい。
II方式による3Dディスプレイでは、特許文献1に示されるような独自の画像フォーマットを用いて、異なる視点から生成した複数のCG画像群を、1枚の画像として管理している。各視点でのCG画像群をタイル状に並べてマージし、1枚の画像として管理することから、以降、この画像のことを「タイル画像」と呼ぶ。図4に視点数26の場合のタイル画像の一例の概略を示す。図4に示されたように、1枚の画像の中に所定の領域毎に各視点(視点番号N=0、 ...、 25)におけるCG描画を行った画像が格納されている。この各視点毎の領域のことを「タイル」、各タイル内に格納されている画像のことを以降、視点画像と呼ぶ。
以上のように、3Dディスプレイ用のCG画像は、複数の視点画像の組として生成されるのが特徴である。
なお、以降、便宜上、上記タイル画像を例として説明を進めるが、本発明における第1の実施形態の内容は、この配置に限定されるものでは無い。適宜、本発明を適用したい3Dディスプレイ用のフォーマットに合わせて実施することが可能である。
上述したように、3Dディスプレイ用のCG画像生成においては、複数の視点画像をまとめたもの、例えば、II方式の場合、タイル画像が必要である。
図2は、従来手法による3Dディスプレイ用CG画像生成処理の流れを示したものである。図2を参照しながら流れの概要を説明する。まず、描画したい視点位置や描画領域などの初期設定を行う(ステップS100)。次に、描画したい視点位置(視点N)で描画したい領域の設定を行う(ステップS101)。次に、視点Nにおける描画パラメータの設定を行う(ステップS102)。次に、描画Nでの描画(レンダリング)を行う(ステップS103)。ステップS104にて、全ての視点に関して処理が終了したかの判定を行い、終了していない場合には、ステップS105へ、終了した場合には、ステップS106へ進む。ステップS105では、描画対象の視点を次の視点に変更し、ステップS101に戻る。ステップS106では、描画した内容の画面、あるいはファイルへの出力を行い、処理を終了する。
以上のように、従来手法では、CGの描画処理(ステップS103)を各視点毎に繰り返し、所定のフォーマット(例えば、タイル画像フォーマット)に従って、最終的に必要な3Dディスプレイ用のCG画像(タイル画像)を生成していた。
つまり、従来の3Dディスプレイ用のCG画像生成方式では、通常のCG描画処理(レンダリング処理)を視点数だけ繰り返すという処理が必須であった。
しかし、上述のように、CG描画処理(レンダリング処理)を繰り返すという処理は、既存のCG描画ハードウェア(以降、GPU、 Graphics Processing Unit)にとっては非常に効率の悪い処理である。現在、CG描画処理をアクセラレートするため、ほとんどのCG描画処理では、GPUが用いられる。3Dディスプレイ用のCG生成を高速に行うためには、GPU、あるいは、これに相当する専用ハードウェアの使用が必須である。しかし、GPUは、通常のCG描画を想定してパフォーマンスが出るような設計となっているため、上述したようなタイル画像の生成では、ベストなパフォーマンスを出すことが出来ない。つまり、従来の方式では、高速に3Dディスプレイ用のCG画像(タイル画像)を生成することが困難であった。
本発明における第1の実施形態の狙いは、図2に示されるようなCG描画(レンダリング処理)の繰り返し処理(ステップS101からS104の繰り返し処理)を無くし、通常のCG描画処理のように、1つのカメラで1回のレンダリング処理のみで、タイル画像に相当する画像を生成しようということにある。これにより、通常のGPUが想定しているような処理となり、GPUのベストなパフォーマンスを発揮してCG描画が可能となることを狙っている。この結果、非常に高速に3Dディスプレイ用のCG画像(タイル画像)の生成が行えることが期待される。
以上で説明したように、本発明における第1の実施形態の狙いは、従来手法のように、CG描画処理を複数の視点で各々行い、それを視点を変えて繰り返すというプロセスを取ることなく、1視点で1回のレンダリング処理にて、3Dディスプレイ用のCG画像を生成することである。このため、「仮想視点モデル」という概念を導入する。
3Dディスプレイ用のCG画像とは、例えば、図4に示されるタイル画像であるが、このタイル画像に含まれる各視点におけるCG画像(各タイルにおけるCG画像)は、同じ3Dモデルデータ(CGオブジェクト)を異なる視点(視点番号N=0、 ...、 25)からレンダリングしたものである。つまり、本来は、1つの3Dモデルデータから図4のようなタイル画像が生成されている訳である。この場合、3Dモデルの描画エリアは、各タイル内であり、レンダリング処理は各タイル内の領域で閉じている。図4の場合は、タイル画像全体として見た場合には、同じ3Dモデルデータから得られる26個のモデルのレンダリング結果が観測される。
つまり、タイル画像全体を1つの描画エリアと見た場合、タイル画像内にあたかも26個の3Dモデルが存在しているかのように見える。
本発明における第1の実施形態では、この個々を仮想視点モデルと呼ぶ。本来は同3Dモデルデータが各タイル内で個別レンダリングされタイル状に並べられたものであるが、あたかも複数の3Dモデルデータを1つの画面でレンダリングしたように見えるからである。
本発明における第1の実施形態では、タイル画像を1つのCG空間として考え、タイル画像の各タイルに相当する部分に、仮想視点モデルを生成して配置し、1つの視点から1回のみのレンダリングを行うだけで、タイル画像の生成を可能とする。
以降、図1を参照しながら、各部の詳細に関して説明していく。
まず、仮想視点モデル数算出部1について説明する。
仮想視点モデル数算出部1は、視点情報、3Dディスプレイ情報をもとに、仮想視点モデルの個数を算出するためのものである。
通常、CGでは、視点と光源が定まると、CGモデルのレンダリングを行うことが可能となる。3Dディスプレイ用のレンダリングにおいても、まず、視点と光源の情報が入力される。
ここで、視点情報とは、あるCGモデルデータをレンダリングする際に置かれる視点(カメラ)が含んでいる情報である。CGモデルデータまでの視距離や、画角など、視点からCGモデルを観測する際のカメラパラメータがこれに当たる。
3Dディスプレイ用に多視点でレンダリングする場合、この視点情報を例えば中央の視点の情報として、他の視点(左右の視点)の情報を3Dディスプレイ情報から生成して用いることになる(本発明における第1の実施形態の場合、この辺りの話が仮想視点情報として、後ほど説明する仮想視点情報算出部で算出される。詳細は、後述する部分を参照のこと)。
3Dディスプレイ情報とは、生成したい3D画像(立体画像)の視差数、その3Dディスプレイで立体像として表現したい奥行き量、3Dディスプレイのパネルの情報(レンチキュラーレンズを用いている3Dディスプレイの場合は、レンチキュラーのレンズピッチ、曲率などの情報や、それに対応するパネル上の画素情報など)である。
上記の視点情報と3Dディスプレイ情報を基として、実際に3Dディスプレイとしてレンダリングを行う必要がある視点数(すなわち、タイル画像のタイル数に相当する数)を算出することが可能である。この視点数とは、上記で説明した仮想視点モデルの数に他ならない。
仮想視点モデル数算出部1は、このような視点情報、3Dディスプレイ情報をもとに、仮想視点モデルの個数を算出するためのものである。II方式の3Dディスプレイでは、表示する3D画像(立体画像)の画質を向上するために、視域制御する手法が加味されているため、視差数と仮想視点モデル数は必ずしも一致しない。(詳細に関しては、特許文献2参照のこと。)通常は、視差数よりも多くの仮想視点モデル数が得られる。以降、視差数が16で、仮想視点モデル数が26と算出された例を用いて説明を続ける。(ただし、説明のための例示であり、26に限定されるものではない。)
次に、仮想視点モデル生成部2について説明する。
仮想視点モデル生成部2は、入力となるCGモデルデータをベースとして、仮想視点モデルを仮想視点モデル数算出部1で算出したモデル数分だけ生成するためのものである。
具体的には、仮想視点モデル数が26の場合、CGモデル(3Dモデル)データを26個分複製する。CGモデルデータは、通常は、ポリゴンデータの集合として表現されていることが多いが、このポリゴンデータを複製して、26個のポリゴンモデルが存在するようにする。例えば、CGでは、頂点バッファと呼ばれるメモリエリアを用いてポリゴンデータを管理することが多いが、頂点バッファをコピーして、26個分の頂点バッファを生成する。それぞれの仮想視点モデルの区別が可能なように、例えば、仮想視点ID(=0、 ...、 26)を頂点情報に含めて管理するなど、各仮想視点における仮想視点モデルデータを区別できるような情報を付加しておく。
なお、ポリゴンモデルはあくまでも一例であり、これに限定されるものではない。
また、ここで言う複製とは、実際にデータをコピーして、新たなデータを生成することだけを意味するのではない。実際のデータを参照するポインタを26個分生成して、実態は1つ分のデータであっても、あたかも26個分として参照可能なようにしても構わない。また、ポリゴンデータに含まれる各頂点データをインデックス化して、インデックスを用いて参照するインデックスバッファと呼ばれる手法を用いることでも、実態となるデータは1つで、インデックスバッファのみを複数持つという管理方法をとることもできる。さらに、ジオメトリインスタンスと呼ばれる機能を用いて、同様に管理することも可能である。つまり、仮想視点モデル数分だけモデルがあるとみなすことができる手法を用いて生成すればよく、その手法は問わない。
次に、配置情報算出部3について説明する。
配置情報算出部3は、3Dディスプレイ情報に含まれる生成画像情報に基づいて、仮想視点モデル生成部2で得られた仮想視点モデル群をCG空間内に配置するための情報を算出するためのものである。
具体的には、II方式の場合、例えば、図4に示されるようなタイル画像フォーマットを用いて生成画像を管理する。このフォーマット情報などを用いて、各タイルの位置に応じた仮想視点モデルを配置すべき配置位置などの情報を算出する。
以降、図を参照しながら、配置情報算出部3の動作を説明する。なお、以降の表現は、説明を分かり易くするためにデフォルメした図を用いており、必ずしも正確な表現ではないことがある。
今、説明を簡略化するために、視点数(=仮想視点モデル数)が3の場合を考える。この各視点から、CGモデルとして、「正方形の板」を正面から見た場合のCGを描画するような状況を考える。図5は、この様子を模式的に描いた図である。(図6は、この様子を上面から俯瞰的に見た模式図である。)
この際、各視点(視点1、2、3)からのCGモデルの見え方は、図7の(a)、(b)、(c)で示されたようになる。視点1からは、手前の辺は距離が近いため大きく見え、奥の辺は距離が多いため小さく見える、視点2からはCGモデルは正対しているため、正方形に見え、視点3からは、視点1の逆のように見える、といった具体である。
この場合、タイル画像が、図8のようなフォーマットとして生成されるとする。図5に示すように、1つのCGモデルを3つの視点(視点1〜3)から眺めて、それぞれの視点におけるレンダリングを行って、その結果を図8のようなフォーマットとして整形していたのが従来手法である。このような画像を最終的に得れば良い訳だから、図9、図10に示すように、3つの仮想視点を考え、その前に3つの仮想視点モデルを配置して、所定の範囲のみをレンダリングしても、図8に示されるのと同様の画像を生成することが可能である。
さらには、図11に示すように、仮想視点1〜3を1つの視点として、描画範囲を限定せずに1度にレンダリングしても、図8に示されるのと同様の画像を生成することが可能である。ただし、CGのレンダリングは、通常、射影変換を伴うカメラ(視推台の領域であるビューボリューム領域をスクリーン座標系に変換する際に射影変換を行う座標系を持つカメラ)を用いるが、この場合、このカメラパラメータを用いてレンダリングしてしまうと正しい結果は得られない。この辺りの解決方法に関しては、後ほど、仮想視点情報算出部5の説明の際に詳しく述べるので、現時点では、図11のような仮想モデル1〜3が含まれるCG空間を1つの視点でレンダリングすることで、図8に示されるのと同様の画像を生成することが可能であると納得して頂きたい。
以上で説明したように、1つのCG空間に視点数と同数(=仮想視点モデル数)の仮想視点モデルを所定の位置に配置し、1つの視点を用いて1度にレンダリングすることで、タイル画像と同等のCG画像を生成することができる。
、図9、図10に示すように、各仮想視点モデルは、視点からみた見え方を図8に示されたのと同様に見せる必要があるため、各仮想視点モデル毎にジオメトリの変換(あるいは、姿勢の変更など)や変形を加える必要がある。(図10において、仮想視点モデル1と3に姿勢の変換が施されているのはこのためである。)しかし、この変形に関しては、後ほど、仮想視点情報算出部5の説明の際に詳しく述べるので、現時点では説明しない。配置情報算出部3では、仮想視点モデルの配置のみを考えているため、タイル画像のフォーマットにあうように、全ての仮想視点モデルを配置するための位置情報を算出する。図12、図13に変換や変形を考慮せずに、配置のみを考慮した場合を示した。このように、タイル画像フォーマットに適合する位置に、仮想視点モデル生成部2で生成した仮想視点モデルを配置しなければならないため、配置情報算出部3では、その位置情報を算出する。
3Dディスプレイ情報から得られるタイル画像フォーマットの情報により、各タイルにおけるレンダリングのためのローカル座標系が得られる。これをタイル座標系と呼ぶと、タイル座標系を、タイル画像を1つのCG空間と考えた場合のグローバル座標系に変換する変換式(あるいは、変換行列)は、タイル画像フォーマット情報を用いて算出することができる。この情報と、CGモデルのモデル座標系における座標値を用いて仮想視点モデルを配置する座標位置の情報を算出する。算出される座標位置の情報は、変換のための各座標のオフセット値でも良いし、変換行列でも良い。また、変換式でも構わない。
なお、以上での説明は算出の一例であり、算出手法はこれに限定されない。

次に、仮想視点モデル配置部4について説明する。
仮想視点モデル配置部4は、配置情報算出部3で算出した情報をもとに、仮想視点モデル生成部2から得られる仮想視点モデル群データをCG処理空間内に配置するためのものである。
配置情報算出部3では、上記で説明した通り、仮想視点モデル生成部2で生成された仮想視点モデルデータを1つのCG空間に配置する。つまり、図12、図13で示した状況を実際に作り出す。
具体的には、配置情報算出部3で算出された配置情報を仮想視点モデルに適用し、各仮想視点モデルがCG空間内に正しく配置されているようにする。配置情報とは、変換のためのオフセット値、変換行列、変換式、あるいはこれに準じる情報で表されており、これを各仮想視点モデルに適用する。各仮想視点モデルの区別は、仮想視点モデル生成部2で付加されたID情報などを用いて行う。適用方法としては、実際に仮想視点モデルのデータに含まれる座標値を変更しても良いし、データに変換行列や変換式などをアタッチさせておき、実際のレンダリングの際の演算(レンダリング時の頂点処理におけるトランスフォーム演算など)にて配置が行われるようにしてもよい。仮想視点モデル配置部4では、CGの実際のレンダリングの際に仮想視点モデルの位置を正しく算出できる状況を作っておくことができれば、手法は限定されず用いることができる。
次に、仮想視点情報算出部5について説明する。
仮想視点情報算出部5は、各仮想視点モデルに適用すべき頂点処理演算(トランスフォーム演算、ライティング演算など)の情報を予め算出しておくためのものである。CGでは、モデルにまず頂点処理が行われ、それがラスター変換されて、さらにピクセル処理が行われることで、レンダリング処理が完了する。つまり、レンダリングには、頂点処理のための情報が必要となる。この頂点処理のための情報を、各仮想視点モデルに対して算出する。具体的には、仮想視点情報算出部5は、CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける視点・光源パラメータ、変換式(あるいは変換行列)、変形式(あるいは変形行列)などを算出する。
上述したように、仮想視点モデル生成部2で生成した仮想視点モデル群をただ仮想視点モデル配置部4で配置しただけでは、タイル画像と同等のレンダリング結果は得られない。図12と、図9との結果の差異がこれにあたる。つまり、仮想視点モデル群を、図8で示されたように各視点においてモデルを見たのと同等となるように変換してあげる必要がある。この際に必要な各種の情報を算出する。
具体的には、各タイルにおけるレンダリングでは、各タイルに関してジオメトリデータが不変であるCGモデルに対して、各タイルに関してデータが不変である光源情報と各タイルに関してデータが逐次変化する視点情報を用いてレンダリングを行っていた(図14上図)。これと同様の効果を得るために、上述したように、視点は各仮想視点モデルで共通として、逆に仮想視点モデルを変換・変形する。また、光源も、視点と光源とモデルの相対関係が保たれるように変換する。変換した光源を、仮想視点モデルに対応する仮想光源と呼ぶ。この様子を表したのが、図14下図である。このようなことを行うためには、仮想視点モデルN(N=0、1、...)のそれぞれに対して、視点を共通とした場合の変換・変形のための情報(変換式や変換行列など)を算出する必要がある。また、光源に関しても、視点や仮想視点モデルの変換に伴って変換するための情報(変換式や変換行列など)を算出する必要がある。仮想視点情報算出部5では、これらの情報を算出する。算出は、例えば、視点番号Nの視点ベクトルから共通視点ベクトルへの変換写像を算出し、これを仮想視点モデル、仮想光源ベクトルの算出のための変換写像として用いれば良い。
ただし、単に変換写像のみを考えるだけでは駄目である。上でも簡単に述べたが、CGのレンダリングは、通常、射影変換を伴うカメラ(視推台の領域であるビューボリューム領域をスクリーン座標系に変換する際に射影変換を行う座標系を持つカメラ)を用いてレンダリングを行うが、共通の視点を用いて全ての仮想視点モデルを同時にレンダリングするためには工夫が必要であるためである。
この様子を示したのが、図15である。(a)は、視点Nでのタイルにおけるレンダリングを行う際の視点とCGモデルとビューボリュームの関係を示したものである。(b)は、同様に、視点M(≠N)での視点とCGモデルとビューボリュームの関係を示したものである。(c)は、(b)を、視点Mを共通視点と同じ方向にするようにCG空間を変換したものである。(d)は、同一のCG空間に仮想視点モデルNと仮想視点モデルMを配置し、1つの共通視点にてレンダリングする際の仮想視点モデル群と共通視点とビューボリュームの関係を示している。
通常のCGのレンダリング処理では、このような視推台の領域であるビューボリューム領域を正しくスクリーン座標系に写像するために、ビューボリュームが立方体(あるいは直方体)領域となるような射影変換を行う。図15の(d)に示したような仮想視点モデル群を用いた空間をそのままレンダリングを行うと、図16の(a)に示されるようなビューボリューム変換(この結果が射影変換に繋がる)が行われてしまう。しかし、実際には、各タイルにおけるレンダリングを模し、同様の結果を得たい訳だから、仮想視点モデルNとMに対しては、図15の(a)と(c)のようなビューボリューム変換を行う射影変換をそれぞれ行いたい訳である。これを実現するためには、図16の(b)に示すように、仮想視点モデルN、Mにそれぞれ独立した仮想的なビューボリュームを考え、それらが個々に立方体(あるは、直方体)領域となるような射影変換を行う必要がある。
つまり、仮想視点情報算出部5は(1)このような射影変換による影響が正しく反映されるように、図16の(a)のビューボリューム変換の効果を打ち消し、(2)図16の(b)に示した個々の仮想視点モデルに対応した仮想的なビューボリュームを考慮した射影変換が行えるような、(1)と(2)の両方加味した変換をさらに考慮する必要がある。
具体的には、上記(1)は、射影変換しないようなカメラを用いてレンダリングすることで実現する。通常CGでは、ある視点でレンダリングする際のカメラとして、通常の射影を考慮したカメラパラメータを持つカメラだけではなく、平行投影が可能なカメラ(Orthoカメラと呼ばれる)を用いることが可能である。このカメラパラメータを用いることで、(1)のビューボリューム変換の効果を打ち消すことができる。また、(2)は、各仮想視点モデルに、仮想ビューボリュームを考えた際、これに対応した射影変換の変換式、あるいは変換行列を算出することが可能である。これをレンダリング時の頂点処理におけるトランスフォーム演算として加味することで実現できる。
仮想視点情報算出部5では、これらの情報も、仮想視点情報としてデータにアタッチする、あるいは、実際にデータに適用するための情報として算出する。
また、スプライトなどの疑似3次元モデルを3Dディスプレイに表示したい場合、疑似3次元モデルから生成される仮想視点モデルに対して、アフィン変換といった幾何変換や様々な変形などを行うことで、同様の効果を得ることができる。疑似3次元モデルに関しては、このような変換・変形を行うこともあり得る。
以上とまとめると、仮想視点情報算出部5では、各仮想視点モデルに関して、
1)視点を共通視点にするための仮想視点モデルの変換・変形のための情報(トランスフォーム演算含む)の算出
2)視点を共通視点にするための光源を変換して仮想光源にするための情報の算出
3)共通のビューボリュームにおける変換の影響を打ち消し、仮想的なビューボリュームを考慮した射影変換を行うことを可能とするための情報の算出
4)疑似3次元モデルなど(好ましくは)に関して同様の効果を得るための変換・変形(アフィン変換など)のための情報の算出
を行う。以上1)〜4)で算出された情報を仮想視点情報と呼ぶ。
なお、以上では、通常のCGで使用することが多い視推台の領域であるビューボリューム領域を一例として説明したが、これに限定されるものではない。例えば、垂直方向には視推台形状であるが、水平方向にはOrtho形状であるカメラなどに関しても話は同様である。ビューボリュームの形状がどのような形状であっても、射影変換に関する写像が算出される空間であれば問題ない。また、視点や光源に関しても、特に上記の説明に限定されるものではなく、算出するための変換・変形が決定されるものであれば、どのようなものであっても構わない。
また、以上では、データに含まれる座標情報に関して説明したのみで、法線情報、テクスチャ座標情報、色情報など他の頂点パラメータに関するデータに関する説明はしていないが、これらに関しても同様である。タイル画像として最終的に生成されるレンダリング結果と同等の結果を仮想視点モデル群を用いて得るために必要な変換・変形に関する情報は全て仮想視点情報に含まれ、その情報の算出のための変換式や変換行列などの算出は、全て仮想視点情報算出部5で行う。
次に、仮想視点情報適用部6について説明する。

仮想視点情報適用部6は、仮想視点モデル配置部4から得られるモデル群に含まれる各モデルに対して、仮想視点情報算出部5で算出された対応する仮想視点情報を適用するためのものである。
具体的には、仮想視点情報算出部5で算出された仮想視点情報を各仮想視点モデルに適用し、CG空間内に配置された各仮想視点モデルが仮想光源、仮想ビューボリュームを考慮してライティング・トランスフォーム演算といった頂点処理が可能な状況にする。各仮想視点モデルの区別は、仮想視点モデル生成部2で付加されたID情報などを用いて行う。適用方法としては、実際に仮想視点モデルに含まれる座標値などのデータを直接変更しても良いし、データに変換行列や変換式などをアタッチさせておき、実際のレンダリングの際の演算にて計算が可能となる状況を作り出しておいてもよい。仮想視点情報適用部6では、CGの実際のレンダリングの際に仮想視点モデルの頂点処理を正しく行うことができる状況を作っておくことができれば、手法は限定されず用いることができる。
次に、仮想視点モデル領域情報算出部7について説明する。
仮想視点モデル領域情報算出部7は、3Dディスプレイ情報から各々の仮想視点モデルの描画領域を算出するためのものである。
3Dディスプレイ用の出力結果であるタイル画像では、必ずしも、各タイルに、その視点でのCGの全てのレンダリング結果が格納されているとは限らない。例えば、図17の(a)に示すようなタイル画像があり得る。(ここでは、2つのタイルから成るタイル画像を例として説明する。)これは、(b)に示されるようなCGレンダリング結果の一部(図における点線で囲まれた部分)から成るタイルと、(c)に示されるようなCGレンダリング結果の一部から成るタイルによって構成されているタイル画像の例である。このように、ビュー領域(ある視点に置かれたカメラで映される領域)の一部分のみをタイルとして抽出して、最終的なタイル画像を構成することがあり得る。
仮想視点モデル領域情報算出部7は、このような領域の制御を各仮想視点モデル毎に行うためのものである。
このような場合、仮想視点モデルは、図18(a)に示されるように、同一の3D空間内に重複部分を含んで配置されることになる。このような状況下で、図18(b)に示すように、仮想視点モデルMに関しては、その全域をレンダリングするのではなく、図の点線の内部のみをレンダリングするようにしなければならない。仮想視点モデルNに関しても同様に、図18(c)に示すように、点線内部のみをレンダリングする必要がある。仮想視点モデル領域情報算出部7は、このような、各仮想視点モデルのレンダリング領域情報を算出するためのものである。領域は、3Dディスプレイ情報に含まれるパネル情報や視差数、視距離、表現奥行き、タイル画像フォーマット情報などを用いて算出される。典型的には、各仮想視点モデルを描画するエリアの矩形位置情報を算出する。矩形位置情報は、例えば後述するCG描画部8で実際にレンダリングする際に、クリッピング領域やシザリング領域、ビューポート領域、ステンシルバッファなどの情報として用いることで、仮想視点モデルのジオメトリを変形することなく、該当矩形領域内部分のみの描画が可能となる。
ただし、必ずしも矩形に限定されるものではなく任意の領域情報を算出することができる。
最後に、CG描画部8について説明する。
CG描画部8は、仮想視点情報適用部6から得られるCG空間情報(共通視点情報を含む)、仮想視点モデル群データ、仮想視点モデル情報、および、仮想視点モデル領域情報算出部7から得られる仮想視点モデルの描画される領域情報を用いて、CGの描画処理を行うためのものである。
具体的には、以上で得られた仮想視点モデルデータを用いて、共通視点から見たシーンのレンダリングを行う。レンダリングには、汎用のGPUなどを用いる。
レンダリングにおける頂点処理では、仮想視点情報適用部6で適用された仮想視点情報を用いて、トランスフォーム演算、ライティングなどの頂点処理を行う。具体的には、例えば、GPUの頂点シェーダを用いて、仮想視点情報として得られた各仮想視点モデルにおける仮想光源情報、モデル変換・変形情報、仮想ビューボリューム情報などを仮想視点モデル別に適用した頂点処理を行っていく。この際、各仮想視点モデルの区別は、例えば、仮想視点モデル生成部2でデータ内に付加されたID情報などを用いて行う。
レンダリングにおけるピクセル処理は、例えば、GPUのピクセルシェーダを用いて行い、各仮想視点モデル毎に、該当仮想視点モデルが持っているパラメータ群に対して、仮想視点情報を用いたピクセル処理を適用する。具体的には、テクスチャ座標の補完、テクスチャ参照、色の算出などのピクセル処理を該当仮想視点モデルが持っているパラメータ群を用いて行う。該当仮想視点モデルが持っているパラメータ群は、該当仮想視点モデル頂点処理の結果がラスタライザーというGPU内の装置を通して算出されるものであり、上記頂点処理の際に算出されているものである。
この際、仮想視点モデル領域情報算出部7で算出した各仮想視点モデルの描画領域情報を考慮してピクセル処理を行う。具体的には、ステンシルバッファなどを用いたステンシル機能を用いて仮想視点モデル毎にピクセル処理領域を制御し必要な部分しか書き込まない、α値を用いて領域外の部分を透明とすることで制御する、仮想視点モデルのID情報から区別した仮想視点モデルの最大描画領域と仮想視点モデル領域情報算出部7からの領域情報の共通領域のみを書き込む、などのいずれかの手法を用いて制御する。なお、以上で説明した領域制御手法は一例であり、これらに限定されるものではない。
以上のプロセスを経ることで、レンダリングの結果得られた画像は、タイル画像そのものとなる。
ここでのポイントは、従来手法のように、CG描画部におけるレンダリング処理を各視点回繰り返し行いながらタイル画像を構成していくのではなく、仮想視点モデル、仮想視点情報、仮想視点モデル領域情報などを用いて、共通視点からの1度のレンダリングのみでタイル画像に相当するレンダリング結果が得られることである。
なお、以上では、汎用のGPUを用いる例を示したが、これに限定されるものではなく、専用のハードウェアを用いても構わないし、ソフトウェア処理で全てを行ってもよい。
ただし、汎用のGPUを用いれば、専用のハードウェアを使用することなく、安価で高速にレンダリングを行うことが可能となり、本実施形態による3Dディスプレイ用CG画像生成装置を手軽に実現することが可能となる。
以上で説明した本発明の第1の実施形態によれば、従来手法で必要とされていたレンダリング処理を視点数繰り返すことなく、1度のレンダリング処理で3Dディスプレイ用のCG画像を生成することが可能となる。これにより、汎用のGPUを用いても、非常に高速に、3Dディスプレイ用のCG画像の生成が可能となった。従来手法は、タイル画像を生成するために、特殊な状況下でレンダリング処理の繰り返しを行うという、通常のCGのレンダリング処理で想定していない状況での処理が必要であったため、GPUの性能をフルに発揮することが困難であった。この結果、非常に高速なGPUを用いても、3Dディスプレイ用のCG画像の生成を高速に行うことが困難であった。しかし、本発明の第1の実施形態によれば、レンダリング処理を1回とするための色々な処理は加わったものの、レンダリング処理は1度で済むようになった。このため、汎用のGPUが通常のCGのレンダリング処理で想定しているような状況下で使用することが可能となり、汎用のGPUを用いても、高速に3Dディスプレイ用のCG画像を生成することが可能となった。これにより、CGのレンダリングのための専用の装置を新たに持つことなく、既存のGPUを用いて処理が可能となり、本発明の第1の実施形態による3Dディスプレイ用CG画像生成装置の実現コストの低減がはかれる。また、レンダリング処理速度の向上が見込まれることから、大幅な性能アップが可能となる。
[第1の実施形態の変形例1]
図19は、本発明の第1の実施形態の変形例1に係る3Dディスプレイ用CG画像生成装置の全体構成図である。
本発明の第1の実施形態の変形例1は、第1の実施形態に係る3Dディスプレイ用CG画像生成装置に、さらに、仮想視点モデル変形部9が追加された形と成っている。また、第1の実施形態では、仮想視点モデル領域情報算出部7がCG描画部8と接続されていたが、新たに追加した仮想視点モデル変形部9と接続されている点が異なる。これ以外は、第1の実施形態と同じなので、以降、異なる部分のみ説明する。
まず、仮想視点モデル領域情報算出部7について説明する。
仮想視点モデル領域情報算出部7は、3Dディスプレイ情報から各々の仮想視点モデルの描画領域を算出するためのものであるのは、第1の実施形態と全く同様である。算出された仮想視点モデル領域情報は、仮想視点モデル変形部9に渡される。
次に、仮想視点モデル変形部9について説明する。

仮想視点モデル変形部9は、仮想視点モデル領域情報算出部7で算出された各仮想視点モデルの領域情報を用いて、仮想視点モデル配置部4でCG空間内に配置された仮想視点モデル群の変形を行うためのものである。
第1の実施形態の仮想視点モデル領域情報算出部7の節の説明で述べたとおり、仮想視点モデルの全てがレンダリングされるとは限らない。第1の実施形態では、CG描画部8にて、クリッピング、シザリング、ビューポート、ステンシルバッファなどの機能を用いてレンダリングする領域を限定していた。しかし、変形例1では、これと異なり、算出された各仮想視点モデルの領域情報を用いて、仮想視点モデルデータのジオメトリを実際に変形してしまう。この処理を仮想視点モデル変形部9で行う。例えば、図18に示される仮想視点モデルNは、円形(球形)の形状の弧の一部が欠けた形状としてレンダリングされるが、第1の実施形態では、仮想視点モデルデータとしては、円形(球形)のジオメトリデータのまま処理される。変形例1では、この仮想視点モデルデータを実際に変形し、データレベルで、円形(球形)の形状の弧の一部が欠けた形状というジオメトリデータとする。こう変形した場合、CG描画部8では、仮想視点モデルの描画範囲の制御に関しては考える必要はなく、仮想視点モデルを単にレンダリングすればよい。
なお、以上では、便宜上、II方式の3Dディスプレイ用にタイル画像を生成する例を用いて説明したが、これに限定されるものではない。2眼式、多眼式、などといったような3Dディスプレイの方式に依らず、複数の視点からのCGレンダリングを行うことで立体像を生成する3Dディスプレイに関して同様に用いることが可能である。また、生成される画像もタイル画像に限定されるものではなく、任意のフォーマットの画像に対して、同様の処理を行うことが可能である。
本発明の実施形態における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読みとり可能な記憶媒体として実現することも可能である。
なお、本願発明における記憶媒体としては、磁気ディスク、フロッピー(R)ディスク、ハードディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリ等、プログラムを記憶でき、かつコンピュータまたは組み込みシステムが読みとり可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーションシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、記憶媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
なお、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記実施形態には種々の段階の発明は含まれており、開示される複数の構成要件における適宜な組み合わせにより、種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題(の少なくとも1つ)が解決でき、発明の効果の欄で述べられている効果(の少なくとも1つ)が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
本発明の第1の実施形態に係る3Dディスプレイ用CG画像生成装置の構成例を概略的に示す図。 従来手法の処理の流れを説明するための図。 異なる視点に関して説明した図。 タイル画像に関して説明した図。 複数の視点からCGモデルを見る状況を説明した図。 複数の視点からCGモデルを見る状況を説明した図。 各視点からのCGモデルの見え方を説明した図。 タイル画像の例を説明した図。 仮想視点モデルに関して説明した図。 仮想視点モデルに関して説明した図。 共通視点から仮想視点モデルを見る状況を説明した図。 仮想視点モデルの配置に関して説明した図。 仮想視点モデルの配置に関して説明した図。 仮想視点モデルと仮想光源の変換・変形に関して説明した図。 ビューボリュームに関して説明した図。 ビューボリュームの変換に関して説明した図。 部分領域のレンダリング結果が使用されたタイル画像に関して説明した図。 仮想視点モデルの描画領域に関して説明した図。 本発明の第1の実施形態の変形例1に係る3Dディスプレイ用CG画像生成装置の構成例を概略的に示す図。
符号の説明
1・・・仮想視点モデル数算出部
2・・・仮想視点モデル生成部
3・・・配置情報算出部
4・・・仮想視点モデル配置部
5・・・仮想視点情報算出部
6・・・仮想視点情報適用部
7・・・仮想視点モデル領域情報算出部
8・・・CG描画部
9・・・仮想視点モデル変形部

Claims (6)

  1. 3Dディスプレイ情報をもとに、仮想視点モデルの個数を算出するための仮想視点モデル数算出手段と、
    入力となるCGモデルデータをベースとして、前記仮想視点モデル数算出手段で算出したモデル数分だけ仮想視点モデルを生成するための仮想視点モデル生成手段と、
    3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報を算出するための配置情報算出手段と、
    前記配置情報算出手段で算出した情報をもとに、前記仮想視点モデル生成手段から得られる仮想視点モデル群データをCG処理空間内に配置するための仮想視点モデル配置手段と、
    CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける仮想視点情報を算出するための仮想視点情報算出手段と、
    前記仮想視点モデル配置手段から得られる仮想視点モデル群に含まれる各仮想視点モデルに対して、前記仮想視点情報算出手段で算出された対応する仮想視点情報を適用するための仮想視点情報適用手段と、
    3Dディスプレイ情報から各々の仮想視点モデルの描画領域を算出するための仮想視点モデル領域情報算出手段と、
    前記仮想視点情報適用手段から得られるCG空間情報、仮想視点モデル群情報、および、前記仮想視点モデル領域情報算出手段から得られる各仮想視点モデルの描画される領域情報を用いて、CGの描画処理を行うためのCG描画手段と、
    を具備することを特徴とする3Dディスプレイ用CG画像生成装置。
  2. 3Dディスプレイ情報をもとに、仮想視点モデルの個数を算出するための仮想視点モデル数算出手段と、
    入力となるCGモデルデータをベースとして、前記仮想視点モデル数算出手段で算出したモデル数分だけ仮想視点モデルを生成するための仮想視点モデル生成手段と、
    3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報を算出するための配置情報算出手段と、
    前記配置情報算出手段で算出した情報をもとに、前記仮想視点モデル生成手段から得られる仮想視点モデル群データをCG処理空間内に配置するための仮想視点モデル配置手段と、
    3Dディスプレイ情報から各々の仮想視点モデルの描画領域を算出するための仮想視点モデル領域情報算出手段と、
    前記仮想視点モデル領域情報算出手段から得られる各仮想視点モデルの描画される領域情報を用いて、前記仮想視点モデル配置手段から得られる仮想視点モデルのジオメトリの変形を行うための仮想視点モデル変形手段と、
    CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける仮想視点情報を算出するための仮想視点情報算出手段と、
    前記仮想視点モデル変形手段から得られる仮想視点モデル群に含まれる各仮想視点モデルに対して、前記仮想視点情報算出手段で算出された対応する仮想視点情報を適用するための仮想視点情報適用手段と、
    前記仮想視点情報適用手段から得られるCG空間情報、仮想視点モデル群情報を用いて、CGの描画処理を行うためのCG描画手段と、
    を具備することを特徴とする3Dディスプレイ用CG画像生成装置。
  3. 3Dディスプレイ情報をもとに、仮想視点モデルの個数の算出を行い、
    入力となるCGモデルデータをベースとして、算出したモデル数分だけ仮想視点モデルを生成し、
    3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報の算出を行い、
    算出した情報をもとに、仮想視点モデル群データをCG処理空間内に配置し、
    CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける仮想視点情報の算出を行い、
    得られた仮想視点モデル群に含まれる各モデルに対して、算出された対応する仮想視点情報を適用し、
    3Dディスプレイ情報から各々の仮想視点モデルの描画領域の算出を行い、
    得られたCG空間情報、仮想視点モデル群情報、および、各仮想視点モデルの描画される領域情報を用いて、CGの描画処理を行うことを特徴とする3Dディスプレイ用CG画像生成方法。
  4. 3Dディスプレイ情報をもとに、仮想視点モデルの個数の算出を行い、
    入力となるCGモデルデータをベースとして、算出したモデル数分だけ仮想視点モデルを生成し、
    3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報の算出を行い、
    算出した情報をもとに、仮想視点モデル群データをCG処理空間内に配置し、
    3Dディスプレイ情報から各々の仮想視点モデルの描画領域の算出を行い、
    得られた各仮想視点モデルの描画される領域情報を用いて、仮想視点モデルのジオメトリの変形を行い、
    CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける仮想視点情報の算出を行い、
    得られた仮想視点モデル群に含まれる各仮想視点モデルに対して、算出された対応する仮想視点情報を適用し、
    得られたCG空間情報、仮想視点モデル群情報を用いて、CGの描画処理を行う
    ことを特徴とする3Dディスプレイ用CG画像生成方法。
  5. コンピュータを画像生成装置として機能させるためのプログラムであって、
    3Dディスプレイ情報をもとに、仮想視点モデルの個数の算出を行う機能と、
    入力となるCGモデルデータをベースとして、算出したモデル数分だけ仮想視点モデルを生成する機能と、
    3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報の算出を行う機能と、
    算出した情報をもとに、仮想視点モデル群データをCG処理空間内に配置する機能と、
    CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける仮想視点情報の算出を行う機能と、
    得られた仮想視点モデル群に含まれる各モデルに対して、算出された対応する仮想視点情報を適用する機能と、
    3Dディスプレイ情報から各々の仮想視点モデルの描画領域の算出を行う機能と、
    得られたCG空間情報、仮想視点モデル群情報、および、各仮想視点モデルの描画される領域情報を用いて、CGの描画処理を行う機能を含みコンピュータに実現させるためのプログラム。
  6. コンピュータを画像生成装置として機能させるためのプログラムであって、
    3Dディスプレイ情報をもとに、仮想視点モデルの個数の算出を行う機能と、
    入力となるCGモデルデータをベースとして、算出したモデル数分だけ仮想視点モデルを生成する機能と、
    3Dディスプレイ情報に含まれる生成画像情報に基づいて仮想視点モデル群をCG空間内に配置するための情報の算出を行う機能と、
    算出した情報をもとに、仮想視点モデル群データをCG処理空間内に配置する機能と、
    3Dディスプレイ情報から各々の仮想視点モデルの描画領域の算出を行う機能と、
    得られた各仮想視点モデルの描画される領域情報を用いて、仮想視点モデルのジオメトリの変形を行う機能と、
    CG画像として生成すべき視点・光源の情報、および、3Dディスプレイ情報を用いて、各々の仮想視点モデルにおける仮想視点情報の算出を行う機能と、
    得られた仮想視点モデル群に含まれる各仮想視点モデルに対して、算出された対応する仮想視点情報を適用する機能と、
    得られたCG空間情報、仮想視点モデル群情報を用いて、CGの描画処理を行う機能を含みコンピュータに実現させるためのプログラム。
JP2007019654A 2007-01-30 2007-01-30 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム Expired - Fee Related JP4836814B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007019654A JP4836814B2 (ja) 2007-01-30 2007-01-30 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム
US11/902,216 US7973791B2 (en) 2007-01-30 2007-09-20 Apparatus and method for generating CG image for 3-D display
KR1020070104121A KR20080071475A (ko) 2007-01-30 2007-10-16 3차원 디스플레이용 컴퓨터 그래픽스 화상 생성장치 및생성방법
EP07254137A EP1953702A3 (en) 2007-01-30 2007-10-18 Apparatus and method for generating CG image for 3-D display
CNA2007101636993A CN101236662A (zh) 2007-01-30 2007-10-18 生成用于3d显示的cg图像的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007019654A JP4836814B2 (ja) 2007-01-30 2007-01-30 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2008186264A true JP2008186264A (ja) 2008-08-14
JP4836814B2 JP4836814B2 (ja) 2011-12-14

Family

ID=39327268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007019654A Expired - Fee Related JP4836814B2 (ja) 2007-01-30 2007-01-30 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム

Country Status (5)

Country Link
US (1) US7973791B2 (ja)
EP (1) EP1953702A3 (ja)
JP (1) JP4836814B2 (ja)
KR (1) KR20080071475A (ja)
CN (1) CN101236662A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012234447A (ja) * 2011-05-06 2012-11-29 Toshiba Corp 医用画像処理装置
JP2018067750A (ja) * 2016-10-17 2018-04-26 日本放送協会 要素画像生成装置およびそのプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866887B2 (en) 2010-02-23 2014-10-21 Panasonic Corporation Computer graphics video synthesizing device and method, and display device
JP5306275B2 (ja) * 2010-03-31 2013-10-02 株式会社東芝 表示装置及び立体画像の表示方法
KR101073512B1 (ko) * 2010-05-20 2011-10-17 한국과학기술연구원 시역 확장을 이용한 3차원 영상 표시 장치
KR101681056B1 (ko) * 2010-10-01 2016-12-01 삼성전자주식회사 정점 처리 방법 및 장치
US8619124B2 (en) * 2010-10-14 2013-12-31 Industrial Technology Research Institute Video data processing systems and methods
US20120170841A1 (en) * 2011-01-05 2012-07-05 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9578299B2 (en) 2011-03-14 2017-02-21 Qualcomm Incorporated Stereoscopic conversion for shader based graphics content
CN102263977B (zh) * 2011-08-01 2013-06-12 清华大学 一种用于移动终端的立体视频获取的方法和装置
WO2013085513A1 (en) * 2011-12-07 2013-06-13 Intel Corporation Graphics rendering technique for autostereoscopic three dimensional display
US10019834B2 (en) 2014-09-26 2018-07-10 Microsoft Technology Licensing, Llc Real-time rendering of volumetric models with occlusive and emissive particles
CN105635707A (zh) * 2014-11-06 2016-06-01 福州瑞芯微电子股份有限公司 一种图像生成方法和装置
CN104463963A (zh) * 2014-12-10 2015-03-25 天津大学 一种控制三维模型显示的方法
US10503456B2 (en) * 2017-05-05 2019-12-10 Nvidia Corporation Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US11120619B2 (en) * 2018-11-12 2021-09-14 Nintendo Co., Ltd. Information processing apparatus, non-transitory computer-readable storage medium storing information processing program, information processing system, and information processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098779A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 立体画像用データの構造及びその記録方法並びにその表示再生方法
JP2006293931A (ja) * 2005-04-14 2006-10-26 Toshiba Corp 三次元画像表示用多視点画像の作成方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6031540A (en) * 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
JP3571859B2 (ja) * 1996-08-12 2004-09-29 富士通株式会社 画像表示制御装置および画像表示システム
US5982375A (en) * 1997-06-20 1999-11-09 Sun Microsystems, Inc. Floating point processor for a three-dimensional graphics accelerator which includes single-pass stereo capability
US6222551B1 (en) * 1999-01-13 2001-04-24 International Business Machines Corporation Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement
US6559844B1 (en) * 1999-05-05 2003-05-06 Ati International, Srl Method and apparatus for generating multiple views using a graphics engine
JP4594136B2 (ja) * 2005-03-09 2010-12-08 キヤノン株式会社 画像処理方法、画像処理装置
JP2007019654A (ja) 2005-07-05 2007-01-25 Fujitsu General Ltd プロジェクタ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098779A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 立体画像用データの構造及びその記録方法並びにその表示再生方法
JP2006293931A (ja) * 2005-04-14 2006-10-26 Toshiba Corp 三次元画像表示用多視点画像の作成方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012234447A (ja) * 2011-05-06 2012-11-29 Toshiba Corp 医用画像処理装置
JP2018067750A (ja) * 2016-10-17 2018-04-26 日本放送協会 要素画像生成装置およびそのプログラム

Also Published As

Publication number Publication date
KR20080071475A (ko) 2008-08-04
EP1953702A3 (en) 2011-06-15
EP1953702A2 (en) 2008-08-06
CN101236662A (zh) 2008-08-06
US20080180443A1 (en) 2008-07-31
US7973791B2 (en) 2011-07-05
JP4836814B2 (ja) 2011-12-14

Similar Documents

Publication Publication Date Title
JP4836814B2 (ja) 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム
US9465361B2 (en) Image based multiview multilayer holographic rendering algorithm
KR101094118B1 (ko) 3차원 프로젝션 디스플레이
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
US10237531B2 (en) Discontinuity-aware reprojection
KR101334187B1 (ko) 다시점 렌더링 장치 및 방법
JP7181233B2 (ja) テクスチャマップ及びメッシュに基づく3d画像情報の処理
KR20110116671A (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
JP2005252459A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
KR20100067656A (ko) 3차원 디스플레이에 대한 렌더링 개선
WO2015196791A1 (zh) 双目三维图形渲染方法及相关系统
JP2014199617A (ja) 画像生成システム及びプログラム
WO2012140397A2 (en) Three-dimensional display system
JPH10500498A (ja) 空間有効画像生成方法
CN101477702A (zh) 计算机显卡的植入式真三维立体驱动方法
US8786681B1 (en) Stereoscopic conversion
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
KR20120118622A (ko) 디지털 홀로그램 콘텐츠 서비스 방법 및 장치
Burnett 61‐1: Invited Paper: Light‐field Display Architecture and the Challenge of Synthetic Light‐field Radiance Image Rendering
US9118902B1 (en) Stereoscopic conversion
KR101163020B1 (ko) 3차원 모델을 스케일링하는 방법 및 스케일링 유닛
JP5565126B2 (ja) 立体印刷物制作支援装置、プラグインプログラム、立体印刷物制作方法および立体印刷物
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
US11089282B2 (en) Blended mode three dimensional display systems and methods
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees