JP2006293931A - 三次元画像表示用多視点画像の作成方法およびプログラム - Google Patents

三次元画像表示用多視点画像の作成方法およびプログラム Download PDF

Info

Publication number
JP2006293931A
JP2006293931A JP2005117341A JP2005117341A JP2006293931A JP 2006293931 A JP2006293931 A JP 2006293931A JP 2005117341 A JP2005117341 A JP 2005117341A JP 2005117341 A JP2005117341 A JP 2005117341A JP 2006293931 A JP2006293931 A JP 2006293931A
Authority
JP
Japan
Prior art keywords
projection plane
image
viewpoint
display
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005117341A
Other languages
English (en)
Other versions
JP4328311B2 (ja
Inventor
Rieko Fukushima
島 理恵子 福
Tatsuo Saishiyu
首 達 夫 最
Hitoshi Kobayashi
林 等 小
Yuzo Hirayama
山 雄 三 平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005117341A priority Critical patent/JP4328311B2/ja
Priority to EP06732109A priority patent/EP1869901A1/en
Priority to CNA2006800116247A priority patent/CN101156456A/zh
Priority to PCT/JP2006/308251 priority patent/WO2006112488A1/en
Priority to US10/581,363 priority patent/US7652665B2/en
Publication of JP2006293931A publication Critical patent/JP2006293931A/ja
Application granted granted Critical
Publication of JP4328311B2 publication Critical patent/JP4328311B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Abstract

【課題】 レンズシフトを持たないカメラを用いて歪みのない多視点画像を得る。
【解決手段】 基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を基準投影面に平行な第1の方向に一定間隔で離間させるステップと、各視点に対応して基準投影面を含む平面である投影面上に、それぞれが基準となる注視点とは異なる、複数の視点の垂線の足となる複数の個別注視点を設けるステップと、複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、複数の視点の最端に位置する2視点から取得される個別投影面のオーバーラップした領域に基準投影面が含まれるように個別投影面の形状とサイズを決定するステップと、各視点から取得された個別投影面から基準投影面の領域だけ切り出して三次元画像表示用多視点画像とするステップと、を備えている。
【選択図】 図1

Description

本発明は、三次元画像表示のための多視点画像を取得する三次元画像表示用多視点画像の作成方法に関する。
三次元画像表示方法として、二次元平面上に画素がマトリクス状に並んだ液晶ディスプレイ(LCD)に代表されるフラットディスプレイと、光線方向制御のためのレンチキュラーシート(レンズの稜線が観察者からみて垂直方向に伸張)またはスリット(同左)といった光線制御素子とを組み合わせ、観察方向の水平位置に応じた画像を観察させることにより三次元画像を認識される水平パララックス方式がある。水平パララックス方式としてインテグラルイメージング方式、多眼式、二眼式と詳細な分類があるが、水平方向の視差を与えるという意味では同一である。
これらの水平パララックス方式における三次元画像表示には、水平方向に異なる複数の視点から取得した多視点画像が必要になる。すなわち、水平方向に異なる視点から取得した画像を、水平方向に異なる観察位置(視点)に略再生することにより、三次元画像が略再生される。
方式によって、三次元画像の観察範囲も異なれば多視点画像の取得位置や数も異なるが、ディスプレイ面の水平方向をX方向、垂直方向をY方向、観察方向と多視点画像取得方向をZ方向とした場合に、複数視点の座標はX成分のみ一定間隔で変動したものとなる。これは、フラットディスプレイの画素が一定間隔であることに起因する。各視点から取得する画像の投影面は3次元画像表示装置(以下、3Dディスプレイともいう)の表示面に一致させ、注視点はディスプレイの中心に一致させる。
ところが、注視点を固定のまま各視点のx座標を異ならせると、視点と注視点を結ぶ直線と、本来3Dディスプレイの表示面に一致させるべき投影面とのなす角度が視点ごとに異なる。このような画像取得を実空間中のカメラまたは、コンピューターグラフィック(CG)で画像を作成する場合のカメラモデルで実現する場合には、レンズシフト機能を用いる必要がある。
しかしながら現状では、この機能を持たないカメラまたはカメラモデルが大半を占める。レンズシフト機能を持たないカメラまたはカメラモデルで画像を取得する場合、視点と注視点を結ぶ直線と投影面のなす角度は90度に固定されている。すなわち、各視点から取得された画像の投影面が各視点ごとに異なる結果となる。この各視点から取得した画像の投影面と3Dディスプレイの表示面に一致させるべき理想の投影面とのずれを補正するには、キーストン補正が必要になる。
このキーストン補正を行わない方法として、視点ごとに注視点(個別注視点)を用意し、視点と個別注視点を結ぶ線と投影面のなす角度を90度に維持したまま画像を取得し、個別注視点のずれ分だけシフトした投影面のオーバーラップした領域から各視点画像を切り出すことにより、レンズシフト機能がないカメラまたはカメラモデルを用いて行う方法が知られている(特許文献1参照)。
一方、水平パララックス方式の三次元画像表示方法において、飛び出し、奥行き方向に表示限界があることが知られている(非特許文献1参照)。より詳細に述べると、フラットパネルディスプレイの解像度が一定である限り、3Dディスプレイの解像度と、三次元画像が観察できる範囲、そして飛び出し奥行き限界はトレードオフの関係にある。現状のフラットパネルディスプレイの解像度とサイズからは、飛び出し奥行き限界は数cm〜数十cmに限定される。通常のテレビやパソコンのモニターと同様、3Dディスプレイの表示面を垂直に設定すると、この表示限界の制限から表示できるものが限定されてしまうという問題があった。例えば遠景や観察者の目前の物、または厚みが±数十cmのものが表示できない。
平面上に置かれたものは、その安定性から、床面積に比較して高さが制限される傾向にある。すなわち、ディスプレイの面積が制限されれば、その上に表示される物の高さも自然に制限される。
さらに、水平パララックス方式3Dディスプレイの特徴として、ディスプレイ画枠に対する不動点が画面上に固定されるという問題があり、人間は水平方向を観察するとき、無意識に無限遠を不動点と考える。すなわち、頭を動かすことで観察対象が左右に移動して見えても、無限遠にした不動点と物体が動かずに、自分が動いたと認識する。
ところが、水平パララックス方式三次元画像表示の場合、ディスプレイ筐体や印刷物なら印刷対象のエッジといった表示面上に不動点があるように認識されてしまい、手前にある物体が観察者の移動方向と逆方向に動いて見え、奥にある物体が観察者の移動方向と同じ方向に動いて見える。すなわち、遠い背景は観察者と同じ方向に大きく動くように見える。これが実空間と乖離して感じられるという問題があった。
実空間では同じような現象として、窓越しに風景を見る場合などが考えられるが、窓の中心を基準(不動点)として風景を観察するようなことはない。これに対し、水平面上の物体を見下ろして観察する場合、人間は自然に不動点を平面上に設ける。すなわち、注視点(不動点)がディスプレイ上(または印刷物の場合印刷対象上)にあっても全く違和感がない。
水平パララックス方式のディスプレイを平置きにする場合、垂直方向には視差情報がないことから、表示面の法線に対して角度を持って各視点画像を取得し、三次元画像を表示することにより自然な表示が実現できることが知られている(特許文献1参照)。以下、このような表示方法を、以後俯角をつけた撮影と呼ぶ。
ところが、既に述べたように多視点画像を取得する場合に水平方向(X方向)のレンズシフト機能が必要だったように、俯角のために視点と注視点を結ぶ線と投影面のなす角度が90度からずれることから、垂直方向(Y方向)のレンズシフト機能が望まれる。これを補正する方法として、特許文献2ではキーストン補正を採用している。
ところが、多視点画像を取得するための水平方向と、俯角を実現するための垂直方向の二軸のキーストン補正は補正そのものが困難であるとともに、補正のための拡大縮小に耐えるように、より高い解像度で画像を取得する必要がある。
H. Hoshino et al., J. Opt. Soc. Am. A., 15(8), 2059 (1998). 特開2001−227040号公報 特開2004−198971号公報
前述したように、平置き型水平パララックス方式三次元画像表示のための多視点画像の取得においては、水平および垂直の二軸のレンズシフト機能と同等の撮影方法が望まれるが、レンズシフト機能を有するカメラやカメラモデルが限定されており、一般的な方法とは言い難かった。また、二軸のキーストン補正そのものが一軸のキーストン補正に比べて補正を行うことの困難度が高いとともに、画像に歪みが発生し易い。
本発明は、上記事情を考慮してなされたものであって、レンズシフトを持たないカメラまたはカメラモデルを用いても、歪みのない多視点画像を得ることができる三次元画像表示のための多視点画像の作成方法を提供することを目的とする。
本発明の第1の態様による三次元画像表示用多視点画像の作成方法は、水平方向に視差を与えることで観察者に三次元を認識させる三次元画像表示に用いる多視点画像を取得する三次元画像表示用多視点画像の作成方法において、基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第1の方向に一定間隔で離間させるステップと、各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設けるステップと、前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する2視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定するステップと、各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とするステップと、を備えたことを特徴とする。
なお、前記基準投影面の解像度を三次元画像表示装置の解像度に略一致するように各視点画像の解像度を定めるようにしてもよい。
なお、前記基準投影面の範囲を三次元画像表示装置の表示面積に略一致するように各個別投影面の範囲を定めるようにしてもよい。
なお、前記基準となる注視点と各視点を結ぶ線の、前記第1の方向に垂直な平面への射影成分と前記投影面がなす角度である俯角が50度〜60度としてもよい。
なお、前記俯角が55度であってもよい。
なお、前記第1の方向に平行な幅と、前記基準投影面に平行でかつ前記第1の方向に垂直な第2の方向に平行な幅の両方について前記基準投影面の占有範囲を上回る占有範囲を有する前記個別投影面の範囲で画像を取得し、かつ前記基準投影面の範囲だけ切り出して各視点画像として保存してもよい。この場合、多視点画像が占めるメモリ領域を削減することができる。
なお、前記個別投影面の範囲のなかで前記基準投影面が占有する範囲以外に極力モデルを配置しないか、またはモデルがあってもレンダリング対象から極力除いてもよい。この場合、個別投影範囲の画像取得のためのレンダリング時間を削減することができる。
なお、撮像装置のフィルムの長手方向を前記基準投影面の前記第1の方向に垂直な第2の方向に一致させてもよい。この場合、低俯角を実現することができる。
なお、前記投影面を実際の床面より上方に設置することにより、三次元画像表示装置の奥行き方向の表示可能範囲を利用してもよい。
本発明の第2の態様による三次元画像表示用多視点画像の作成プログラムは、水平方向に視差を与えることで観察者に三次元を認識させる三次元画像表示に用いる多視点画像を取得する三次元画像表示用多視点画像の作成プログラムにおいて、基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第1の方向に一定間隔で離間させる手順と、各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設ける手順と、前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する2視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定する手順と、各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とする手順と、をコンピュータに実行させる。
本発明によれば、レンズシフトを持たないカメラまたはカメラモデルを用いても、歪みのない多視点画像を得ることができる。
以下に図面を参照して本発明の実施形態を詳細に説明する。
(第1実施形態)
本発明の第1実施形態による三次元画像表示のための多視点画像の作成方法を説明する。この実施形態の多視点画像作成方法は、水平パララックス方式3Dディスプレイ用の三次元画像表示のための多視点画像の作成方法であって、3D−CGモデル空間における多視点画像を取得するものである。本実施形態の多視点画像作成方法に特徴的なのは、カメラモデルが存在するだけで、フィルムサイズや解像度、焦点距離といった諸パラメータが制限されないことである。よって、後述するように、要求される個別投影面に合わせて任意の広角撮影が可能である。
本実施形態の多視点画像作成方法の概念図を図1(a)、(b)、(c)に示す。図1(a)は本実施形態の多視点画像作成方法の概念を説明する斜視図、図1(b)は図1(a)において画像取得方向と直交する方向からみたときの正面図、図1(c)は画像取得方向からみたときの側面図である。図1(a)、(b)、(c)において、符号1は視点、符号2は基準投影面、符号3は個別投影面、符号4は注視点、符号5は個別注視点、符号6はカメラ(またはカメラモデル)のフィルム面、符号7は最端の視点同士の間の距離、gは2Dディスプレイと光線制御素子の射出瞳の間隔、L1は多視点画像取得距離を示す。
ところで、図2に観察者からの視差情報のイメージを示す。図2(a)、(b)において、符号8は3Dディスプレイ、符号9は観察者、符号10は3Dディスプレイより手前に表示された三次元画像、符号11は3Dディスプレイより奥側に表示された三次元画像、符号12は観察者9がみたイメージ、符号13は3Dディスプレイの画枠をそれぞれ表す。水平パララックス方式3Dディスプレイ8は、ディスプレイ画枠13に対する不動点が画面上に固定されるという問題がある(図2(a)参照)。人間は水平方向を観察するとき、無意識に無限遠を不動点と考える。すなわち、頭を動かすことで観察対象が左右に移動して見えても、無限遠にした不動点と物体が動かずに、自分が動いたと認識する(図2(b)参照)。
次に、パラメータについて説明する。ここでは、2Dディスプレイや光線制御素子の関係で定まる、水平パララックス方式の視差数や視域角(三次元画像が観察できる角度)、観察視距離、必要な多視点画像の数、(理想的な)多視点画像の視点座標、といった関係については割愛し、以下のパラメータの値が既に求められているか決まっているものとして説明する。
視差数[視差]:Np
多視点画像取得距離[mm]:L1
2Dディスプレイと光線制御素子の射出瞳の間隔[mm]:g
多視点画像数[枚]:N_need
俯角[degrees]:φ
パラメータgは、2Dディスプレイと光線制御素子の射出瞳の空気換算ギャップであり、より具体的には2Dディスプレイの画素14の表面と光線制御素子16の射出瞳17との間の空気換算ギャップを意味する。これは、水平パララックス方式3Dディスプレイ8において、視差情報を持った多視点画像が観察できる間隔を決定するパラメータとなる(図3参照)。図3において、符号9は観察者、符号15は画素から射出し、射出瞳を経由して方向が限定された光線の主光線、Lは視距離をそれぞれ表す。
次に、水平パララックス方式3Dディスプレイに用いる多視点画像に関する基準投影面と個別投影面のパラメータを図4、5に示す。3Dディスプレイの表面に相当する投影面を含む面をxy面、観察方向または多視点画像取得方向をz方向とする。
水平パララックス方式三次元画像表示は、2Dディスプレイの水平に並んだ複数画素を用いて3Dディスプレイの1画素を構成するので、3Dディスプレイの水平解像度は2Dディスプレイの水平解像度より低下する。
図1(a)乃至図1(c)に示すように、基準投影面2とは、水平パララックス方式三次元画像表示に用いる多視点画像の投影面を意味し、等倍撮影に相当する(ズームを用いない)画像取得の場合、占有面積や解像度は3Dディスプレイの各パラメータに一致する。個別投影面3とは、本実施形態の視点1と注視点4を結ぶ線が投影面の法線に平行な関係を維持して画像を取得する多視点画像の生成において、各視点から得られる画像の位置(x座標)がずれても、基準投影面2が全ての視点から取得した画像に含まれるように広角で取得する画像を指している。この個別投影面から基準投影面の領域を切り出し、水平パララックス方式三次元画像表示のための多視点画像を生成できる。
混乱を避けるため以下、基準投影面2の注視点(レンズシフト機能がある場合に利用する注視点)を単に注視点4、本実施形態の作成方法のために、各視点毎に設ける注視点を個別注視点5と呼ぶ。個別注視点5の水平座標のずれ、最端の投影面同士の水平座標のずれ、個別投影面3のオーバーラップ領域の水平幅についてもそれぞれパラメータを設ける(図4参照)。
これらに加えて、個別投影面3のパラメータの中にある、多視点画像取得距離L1における光線間隔(P_ray)について追加説明する。これは、図3に示したように、視差情報を観察できる光線15の射出方向は、水平パララックス方式3Dディスプレイ8に用いられる2Dディスプレイの画素ピッチと光線制御子16の空気換算ギャップgで定まるので、これに基づいて、多視点画像取得距離L1における多視点画像の取得位置が定められる。よって、L1における光線間隔P_rayを個別投影面3のパラメータに含めた。
図4に示すパラメータとは別に、多視点画像の拡大縮小に関するパラメータZoom_S、zoom_Nを設ける(図5)。これは、水平パララックス方式3Dディスプレイに表示するコンテンツの大きさ、解像度に関係する。基準投影面のサイズを3Dディスプレイと同一にしておけば、3Dディスプレイに表示されるモデルの大きさはモデル空間における大きさと同一になる。基準投影面のサイズを水平方向および垂直方向ともに2倍にすれば、3Dディスプレイに表示されるモデルの大きさは、モデル空間における大きさの1/2になる。また、取得した多視点画像の基準投影面における解像度が3Dディスプレイの解像度を下回ると、3Dディスプレイの表示性能を十分に利用できない。
これらのパラメータを関係付ける関係式を図6に示す。前提として、
Np [視差]、L1 [mm]、g [mm]、N_need [視点]、φ[degree] ,D_x_h [pixel],D_p_h [pixel],
D_x_v [mm/pixel],D_p_v [mm/pixel]はそれぞれ,既定値を与えるとする。
水平パララックス方式3Dディスプレイの水平解像度は、2Dディスプレイの水平解像度を視差数(Np)で割って得られる。液晶ディスプレイをはじめとする2Dディスプレイは水平方向に3つ並んだサブピクセルにRGBを割り当て1ピクセルとしているが、ここではサブピクセルピッチで視差画像を並べるため、3Dディスプレイの水平解像度(3D_x_h [pixel])は、
3D_x_h = D_x_h×3/Np
で与えられる。
一方、垂直解像度(3D_x_v)については三次元画像表示とは独立に設定可能で、3Dディスプレイの水平解像度と垂直解像度とのバランスを基準に選んだり、解像度重視で選ぶなど、任意に設定が可能である。
次に、基準投影面2のサイズ、解像度は基本的には3Dディスプレイに一致すればよく、場合によっては多視点画像の拡大縮小に関するパラメータZoomS、ZoomNの値を反映したものとなる。個別投影面3に関するパラメータは、画像取得のための距離(L1)における視差情報を担う光線の間隔(P_ray)を反映する。すなわち,光線の間隔に合致するように個別投影画像の視点が設定される。
次に、個別投影面3のパラメータの画素ピッチを全てP_p_vに等しくしているが、これは前述したように3Dディスプレイにおける3D_p_hと3D_p_vが独立に設定され、これを反映してP_p_hとP_p_vも独立に設定されるために、個別投影面3の画素ピッチはP_p_hとP_p_vの小さいほうを充たすことが望ましいからである。
3Dディスプレイの解像度は2Dディスプレイの解像度に比較して低下することが避けられないことから、表示画像の品位を保つ目的で、3Dディスプレイの視差数と独立な3D_x_v は3D_x_hより大きく設定する場合がある。すなわち、3D_p_vは3D_p_hと同等かそれより小さくなる場合が多いことから、今回も3D_p_vが小さい場合を想定し、個別投影面3に関するパラメータの画素ピッチを全てP_p_vとした。
次に、視距離Lにおける光線間隔(P_ray)と等しくなるように、個別投影面のx座標の各視点毎のずれShift_x[pixel]を、
Shift_x = ROUND(P_ray_/P_p_v)
で与える。ここで、ROUND(w)はwの小数点1位の値を四捨五入して整数にする演算子である。四捨五入を行うするのは、個別投影面3のずれはそのまま基準投影面2の切り出し位置のずれに相当するので、個別投影画像のサンプリングピッチ(Shift_p [mm/pixel])の整数倍にすることで切り出し後の多視点画像の劣化を防止できる(リサンプリングの必要がない)ためである。
次に、必要な視点数(N_need [視点])から最端の2点の視点の間隔(Shift_all_x [pixel])を、
Shift_all_x = Shift_x*(N_need-1)
から求める。これが、最も離れた二点の視点からの個別投影面3のずれであり、このずれを吸収し、かつ基準投影面2に相当するオーバーラップ領域(Overlap_x [pixel])を追加したものが(図1(b)、図6参照)、個別投影面の水平画素数(S_x_h)と、水平幅(S_W_h[mm])になる。これらのパラメータは以下の式から求められる。
Overlap_x = P_x_h*P_p_h/P_p_v
S_x_h = Shift_all_x+Overlap_x
S_W_v = S_p_v*S_x_v
一方、垂直解像度(S_x_v[pixel])のほうは、俯角(φ[degree])から求める。すなわち、
S_x_v = ROUND(2*(L1/TAN(φ)+P_W_v/2)/P_p_v)
とすることで、基準投影面2の中心と視点を結ぶ線と、基準投影面2のなす角度の垂直成分(yz平面)をφとすることができる。ここでも、個別投影面3から基準投影面2を切り出す位置が個別投影面3のサンプリングピッチ(S_p_v [mm/pixel])の整数倍とし、切り出し後の各視点画像のリサンプリングを防ぐために,四捨五入を行う。
ここで,3Dディスプレイの水平画素ピッチ(3D_p_h)を、
3D_p_h = 3D_W_h/3D_x_h
で与えているが、これは3Dディスプレイの水平画素ピッチを2Dディスプレイの水平画素ピッチの整数倍に設定し、平行光の関係を実現するインテグラルイメージング方式のときの計算式であり、多眼式のように視距離で集光点を設ける方式では、
3D_p_h = 3D_W_h/3D_x_h*L/(L+g)
となる。
また、俯角は55度を中心として、50〜60度の間が好ましい。この理由について以下に述べる。水平パララックス方式を適用した平置き三次元表示における問題点は、垂直方向(y方向)に視差情報が無いために、観察者がy方向に移動した場合に物体が歪むことである(図7参照)。図7において、符号8は3Dディスプレイ、符号9は観察者、符号12は観察者9が見たイメージ、符号27は俯角、符号28は設定した俯角の観察方向、符号29は設定した俯角より大きい俯角の観察方向をそれぞれ表している。望ましい俯角があっても、観察者9をその位置に固定することは難しく、逆に表示された内容に興味を持てば持つほど、観察者9は正面から見ようとする(俯角が大きくなる)傾向があった。すなわち、ある程度y方向の観察位置の変動に対してロバストである必要がある。
さらに、本発明者達が検討を進めた結果、俯角が大きいほど観察位置の変動に対して違和感が少ないのに対し、俯角が大きすぎると物体の側面が殆ど観察されず、平置き表示という印象が低下するという関係があることが判明した。この主観評価を踏まえて、俯角45,50,55,60,65度で比較したところ、55度が最も好ましく、続いて50度、60度の順であることが判明した。これは次の関係式で理解できる。
平置き型3Dディスプレイ上に配置したzx面に平行な板を想定し、z軸に平行な高さをaとする(x,y軸に平行な幅は今回考慮しなくても良い)。俯角を持って観察した場合のこの高さaのxy平面(投影面)における成分(b)のaに対する割合は、次の式で示される。
b/a = 1/TAN(φ)
すなわち、図8に示す結果となる。
φ=45度の場合、b/a=1、すなわち高さが維持されたままxy平面に投影される。例えば、立方体を想定すると、x、y方向の幅と高さが同一に見える。等しいというのは人間には検出しやすい関係であることから、観察者がy方向に頭を動かし俯角が増加したときに、a = bの関係が維持されたままというのは違和感が大きい。一方、φ=65度になると、b/aは1/2を下回る(b/a<1)。例えば、x、y方向の幅の2倍の高さを有する直方体を想定すると、x、y方向の幅と高さが同一に見える。2倍の高さというのも人間には知覚しやすい関係だが、この高さが俯角を小さくしてもx、yの幅と同一のままというのはやはり違和感が大きい。よって、元の高さよりは減少するが、1/2を下回らない50度〜60度の範囲というのは、高さaがxy平面に投影されることで若干小さくなるので、俯角の変動による変化が認識されにくい。なかでも55度のb/a=0.7というのは、この中でも中間に位置し、俯角の変動に対してロバストだったと考えられる。
以上、モデル空間における平置き型3Dディスプレイのための多視点画像の作成方法の手順を図9のフローチャートに示す。使用する2Dディスプレイの諸パラメータに加え、水平パララックス方式3Dディスプレイの設計値である、視差数(Np)、観察距離(L1)、2Dディスプレイの画素部と光線制御子の空気換算ギャップ(g)を定める。そして、これらとは独立に3Dディスプレイの垂直解像度を決めると、3Dディスプレイのその他のパラメータが定まる。この3Dディスプレイの表示に用いる多視点画像の品質(解像度、サイズ)、そして俯角を決めると、基準投影面パラメータ、個別投影面パラメータが定まる。そして、これらの基準投影面パラメータ、個別投影面パラメータに基づいて、多視点画像を以下のように形成する。
まず、基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第1の方向に一定間隔で離間させ、
各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設け、
前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する2視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定し、
各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とする。
なお、前記基準投影面の解像度を三次元画像表示装置の解像度に略一致するように各視点画像の解像度を定めてもよい。
なお、前記基準投影面の範囲を三次元画像表示装置の表示面積に略一致するように各個別投影面の範囲を定めてもよい。
なお、前記基準となる注視点と各視点を結ぶ線の、前記第1の方向に垂直な平面への射影成分と前記投影面がなす角度である俯角が50度〜60度としてもよい。
なお、前記俯角が55度であってもよい。
なお、前記第1の方向に平行な幅と、前記基準投影面に平行でかつ前記第1の方向に垂直な第2の方向に平行な幅の両方について前記基準投影面の占有範囲を上回る占有範囲を有する前記個別投影面の範囲で画像を取得し、かつ前記基準投影面の範囲だけ切り出して各視点画像として保存してもよい。この場合、多視点画像が占めるメモリ領域を削減することができる。
なお、前記個別投影面の範囲のなかで前記基準投影面が占有する範囲以外に極力モデルを配置しないか、またはモデルがあってもレンダリング対象から極力除いてもよい。この場合、個別投影範囲の画像取得のためのレンダリング時間を削減することができる。
以上説明したように、本実施形態によれば、レンズシフトを持たないカメラまたはカメラモデルを用いても、歪みのない多視点画像を得ることができる。
(第2実施形態)
次に、本発明の第2実施形態による三次元画像表示用多視点画像の作成方法を説明する。この実施形態の多視点画像作成方法は、水平パララックス方式3Dディスプレイ用の三次元画像表示のための多視点画像の作成方法であって、実空間における画像取得、すなわちカメラを用いた画像取得するものである。CG空間におけるカメラモデルと実際のカメラで大きく異なるのは、フィルムサイズや解像度、焦点距離といった諸パラメータが制限されていることである。よって、これまでに第1実施形態で説明した各パラメータに加え、図10に示すカメラパラメータを追加する。
図10に示すパラメータを追加し、CGモデル空間の場合(図6参照)とは異なる部分の関係式を図11に示す。これらの式に関して説明する。実写の撮影における特徴をまとめると、
(1) 視点数(N_need)が定まった状態で、両端の視点から取得した個別投影面3のオーバーラップ領域を3Dディスプレイ幅相当に確保するためには、個別投影面3における基準投影面2の水平幅を相対的に狭くする必要がある。すなわち、視点1をある程度遠ざけて(L1を大きくする)個別投影面3を相対的に大きくする必要がある(図12で破線で表示)。
(2) カメラの焦点距離(f)が固定された状態で俯角(φ)を大きくするには、個別投影面3における基準投影面2の切り出し範囲を相対的に狭くする必要がある。すなわち、視点1をある程度遠ざけて(L1を大きくする)個別投影面3を相対的に大きくする必要がある(図13に破線で表示)。
(3) 視点−投影面距離(L1)が大きくなると、投影面における画像サンプリング間隔(P_p_h,P_p_v)が粗くなる、
という特徴がある。すなわち、(1)〜(3)の要請を全て満たす必要がある。この撮影条件を求めるための関係式を以下に説明する。
まず、カメラの焦点距離(f [mm])と、CCD(またはフィルム)のサイズ(F_W_h,F_W_v)や解像度(F_x_h,F_x_v)が定まっているので、撮影距離(L1)が決まると、基準投影面(=個別投影面)における画像の解像度(P_p_h,P_p_v)が定まる。
P_p_h = F_p_h*L1/f
P_p_v = F_p_v*L1/f
基準投影面の高さ(P_W_v)を定めることにより、
P_W_v = 3D_W_v*Zoom_S
基準投影面における解像度(P_x_h,P_x_v)が定まる。
P_x_v = ROUND(P_W_v/P_p_v)
P_x_h = ROUND(P_x_v*3D_W_h/3D_W_v)
ここで四捨五入を行うのは、これまでにも説明したように、基準投影面の切り出し時にリサンプリングを起こさないためである。
一方、(1)で述べたように実現可能な俯角(φ[degree])は、基準投影面の高さ(P_W_v [mm])と撮影距離(L1[mm])に関連する。すなわち、
L1/(F_W_v*L1/f - P_W_v )/2 = TAN(φ)
したがって、
L1=(TAN(φ)*P_W_v)/2/(TAN(φ)*F_W_v/f/2-1)
を満たすL1にすることで、φが実現できる。ただし、このとき、(2)で述べた両端の視点から取得する個別投影面のオーバーラップ領域(Overlap_W [mm])が画面幅を満たすか、投影面の解像度(P_p_v [mm/pixel])が、3Dディスプレイの解像度(3D_p_h [mm/pixel],3D_p_v[mm/pixel]の小さいほう)を満たすか、という問題がある。この値によっては、φを大きめに設定する必要が生じる。
ここで、3Dディスプレイの水平画素ピッチ(3D_p_h)を、
3D_p_h = 3D_W_h/3D_x_h
で与えているが、これは3Dディスプレイの水平画素ピッチを2Dディスプレイの水平画素ピッチの整数倍に設定し、平行光の関係を実現するインテグラルイメージング方式のときの計算式であり、多眼式のように視距離で集光点を設ける方式では、
3D_p_h = 3D_W_h/3D_x_h*L/(L+g)
となる。
以上説明した実写における平置き型3Dディスプレイのための多視点画像の作成方法の手順を図14のフローチャートに示す。使用する2Dディスプレイの諸パラメータに加え、水平パララックス方式3Dディスプレイの設計値である、視差数(Np)、観察距離(L1)、2Dディスプレイの画素部と光線制御子の空気換算ギャップ(g)を定め、かつ、これらとは独立に3Dディスプレイの垂直解像度を決めると、3Dディスプレイのその他のパラメータが定まる。そして俯角(φ)を仮定した場合に、これを実現する撮影距離(L1)が存在し、かつ、最端の二点の視点から取得した個別投影面のオーバーラップ領域の水平幅が、基準投影面の幅を充たすかどうかを判定する。この二つの関係を満たさない場合、俯角を低減し、充たすようにする。充たしたところで、基準投影面のパラメータ(P_p_h,P_p_v)と、撮影距離での光線間隔(P_ray)が定まる。これらのパラメータが、3Dディスプレイの表示性能に耐える解像度を実現しない場合、L1を小さくする(必然、φを増加させる)。すなわち、水平幅が基準幅を充たし、かつ、3Dディスプレイの表示解像度より低下しない範囲で、L1を大きく(=φを小さく)する。最後に、L1が大きすぎて撮影が困難な場合、個別投影面をディスプレイ面より小さく撮影(ZoomSを1以下にする)することができる。以上のプロセスを経て、基準投影面と個別投影面の各パラメータ画定まる(撮影条件が定まる)。これらの基準投影面パラメータ、個別投影面パラメータに基づいて、多視点画像を以下のように形成する。
まず、基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第1の方向に一定間隔で離間させ、
各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設け、
前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する2視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定し、
各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とする。
なお、前記基準投影面の解像度を三次元画像表示装置の解像度に略一致するように各視点画像の解像度を定めてもよい。
なお、前記基準投影面の範囲を三次元画像表示装置の表示面積に略一致するように各個別投影面の範囲を定めてもよい。
なお、前記基準となる注視点と各視点を結ぶ線の、前記第1の方向に垂直な平面への射影成分と前記投影面がなす角度である俯角が50度〜60度としてもよい。
なお、前記俯角が55度であってもよい。
なお、撮像装置のフィルムの長手方向を前記基準投影面の前記第1の方向に垂直な第2の方向に一致させてもよい。この場合、低俯角を実現することができる。
なお、前記投影面を実際の床面より上方に設置することにより、三次元画像表示装置の奥行き方向の表示可能範囲を利用してもよい。
最後に、広角で撮影するというのは被写体深度、または被写界深度を深くするという効果がある。水平パララックス方式三次元画像表示の場合,多視点画像からの切り出し位置を調整することで表示位置を手前,または奥に変更することができる.より具体的には,三次元空間における基準投影面がディスプレイに一致するという関係にあることから,個別投影面を広角で取得しておくと,基準投影面の選択の仕方(切り出し方)で,ディスプレイ上に固定される点が決まる。より詳しく述べると、図15(a)に示すように、基準投影面を多視点画像として利用する範囲22より広角に取得し、多視点画像として利用する範囲の水平位置をずらすことで、三次元画像としての表示位置を変動することができる。図15(a)、(b)、(c)において、符号20は視点(+n)から取得した基準投影面、符号21は視点(−n)から取得した基準投影面、符号22は基準投影面としての利用範囲、符号23は注視点を含む投影面より手前の存在した物体またはモデル、符号24は注視点を含む投影面より奥に存在した物体またはモデルをそれぞれ表す。
図15(b)では、基準投影面の注視点を基準に切り出したことから、注視点は3Dディスプレイの画面上に表示されて見える。これに対して、図15(c)のように、注視点より手前にあったモデルを基準に切り出して多視点画像として利用すると、この注視点より手前にあったはずのモデル22が3Dディスプレイの画面上に表示されてみえ、注視点より奥にあったモデル23はより奥に表示されて見える。このような操作を行うには,被写界深度の深い撮影をしておくことが前提になる。すなわち、図15(a)でいう、モデル22〜23の範囲でフォーカスしていればこのような切り出し位置の変化による表示位置の移動も可能だが、注視点からはなれるにしたがって発生するボケの程度によっては、表示面に移動することができない。その意味でも,被写界震度が限られている実写において広角撮影は有用である。
なお、第1または第2実施形態にかかる三次元画像表示のための多視点画像の作成方法を実行するプログラムは、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、HDD、CD(Compact Disc)ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えた通常のコンピュータを利用したハードウェア構成により、実施される。
第1または第2実施形態にかかる三次元画像表示のための多視点画像の作成プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、第1または第2実施形態にかかる三次元画像表示のための多視点画像の作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第1または第2実施形態にかかる三次元画像表示のための多視点画像の作成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、第1または第2実施形態の三次元画像表示のための多視点画像の作成プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
また、個別投影面から基準投影面の切り出しについては、これまでは個別投影面の画像から基準投影面を切り出すと表現してきたが、基準投影面の範囲しか利用しないことから、特にCGモデルのレンダリングの場合、基準投影面に相当する範囲のみレンダリング作業を行うことで、大幅な効率の向上が実現が可能である。
さらには、より低角の俯角を実現するには、フィルム面積のy軸に平行な方向の長さが大きいことが明らかであるが、このためには、横長のフィルムまたは受光素子アレイを用いたカメラの場合、90度回転させ、縦長のフィルムまたは受光素子アレイとして撮影することが効果的である。これについては実施例で詳しく述べる。
(実施例1)
2Dディスプレイとして、例えば、解像度(D_x_h,D_x_v)1920 [pixel]×1200[pixel]、表示領域サイズ(D_W_h×D_W_v)331.2[mm]×207.0[mm]のQUXGAディスプレイを用いた場合、画素ピッチ(D_p_h,D_p_v)は0.1725[mm]である。視差数(Np)を18とし、光線制御素子として水平方向にのみレンズ成分を有する稜線が垂直のレンチキュラーシートを用いた。インテグラルイメージング方式(水平レンズピッチを2Dディスプレイの画素ピッチの正確に整数倍に設計することで、多視点画像として平行投影画像を用いる方式)を採用したので、視域を最大に確保するために、視差数(Np)に比較して必要な視点数(N_need)が大きくなっている。水平レンズピッチ(3D_p_h)は1.035[mm/pixel]となった。3D−CGモデルから各視点画像を作成する場合のパラメータを図16に記載する。ここで、
Np = 18[視差]
L1 = 700 [mm]
g = 2 [mm]
N_need = 36 [視点]
φ = 55 [degree]
とした。
すなわち、個別投影面のサイズ(S_W_h,S_W_v)は、1037.5875 [mm]×1187.145[mm]と若干縦長の形状となり,投影面おける画像のサンフ゜リンク゛ヒ゜ッチは0.5175[mm]と、3Dディスプレイの垂直画素ピッチ(3D_p_v)に完全に一致し、個別投影面の解像度(S_x_h,S_x_v)は、2005[pixel]×2294[pixel]となった。視点同士の間隔(Shift_W)は、水平方向に20.1825[mm]となり、各視点画像の切り出し位置は視点ごとに39 [pixel]ずらして切り出すことで、水平パララックス方式の多視点画像を生成することができた。
この手法を用いて取得した多視点画像より要素画像アレイを作成、平置き型インテグラルイメージング方式3Dディスプレイに表示した三次元画像は自然で存在感の高く、また俯角を55度に設定したことから、観察者のy方向の移動に対して違和感が抑制された三次元画像となった。
(実施例2)
実施例1と同様の水平パララックス方式3Dディスプレイにおいて、インテグラルイメージング方式を採用し、擬似多眼と呼ばれる手法(要素画像アレイのを多眼に近似して作成する)を用いることで、必要な視点数(N_need)を多眼と同等にした。実写撮影にて各視点画像を作成する場合のパラメータを図17に示す。カメラは焦点距離f=18mmのカメラを利用した。ここで、
Np = 18[視差]
L1 = 921.1658667 [mm]
g = 2 [mm]
N_need = 18 [視点]
φ = 61 [degree]
とした。
カメラは、90度回転させ、撮像素子の長手方向(24mm,画素数3000)のほうを、ディスプレイのy軸に平行になるようにして用いた。投影面から920mm離間したレール上にカメラを26.6mmずつ水平方向に移動させながら個別投影画像を取得し、65[pixel]ずつずらしながら切り出して多視点画像とした。また、広角撮影のために被写界深度が深く、基準投影面(多視点画像)の切り出し位置を64〜30[pixel]と、変化させることで、三次元映像の表示位置を全体的により手前に移動させることも可能だった。
ここではインテグラルイメージング方式について説明したが、多眼式の場合の設計値もほぼ同様の値となった。
以上の条件に基づいて作成したところ、多視点画像の解像度は3Dディスプレイの解像度と同等を確保することができ、かつ61度という俯角をもって、画像を取得することができたため、実写の存在感の高い三次元画像表示を実現できた。
(比較例1)
実施例2の構成において、φ=57度を実現しようとしたところ、L1=5996.8 [mm],投影面における画像サンプリングピッチ(P_p_h,P_p_v)は 2.7[mm]となり、撮影自体が現実的でなくなるとともに、仮に画像が取得できても3Dディスプレイの解像度に対して大きく不足することから、十分な品位の三次元画像を表示することはできない。
(比較例2)
実施例2と同様の構成において、カメラのフィルム面の長手方向をx方向に一致させたまま画像を取得しようとしたところ、実現可能な俯角は70度と望ましい範囲から大きく
はずれた値となった。このときのパラメータを図18に示す。この場合、
Np = 18
L1 = 1145.8511
g= 2
φ = 70.5
N_need = 36
とした。
取得した多視点画像を用いて三次元画像表示をしたところ、側面の殆ど見えない(俯角の大きな)表示となり、存在感が著しく低下した。
本発明の一実施形態による三次元画像表示用多視点画像の作成方法を説明する概念図。 観察者が得る視差情報のイメージを説明する図。 2Dディスプレイの画素ピッチと2Dディスプレイと光線制御子の射出瞳までのギャップにより視差情報を担う光線の間隔との関係を示す図。 第1実施形態で用いるパラメータを示す図。 第1実施形態で用いるパラメータを示す図。 第1実施形態で用いるパラメータの関係式を示す図。 水平パララックス方式平置き3Dディスプレイの見え方の俯角依存性の概念を説明する図。 水平面と垂直面の比率(b/a)の俯角依存性を説明する図。 第1実施形態のCG空間における多視点画像生成の過程を示すフローチャート。 第2実施形態で用いるパラメータを示す図。 第2実施形態で用いるパラメータの関係式を示す図。 個別投影面と基準面の比率の撮影距離依存性を説明する図。 俯角の撮影距離依存性を説明する図。 第2実施形態の実写における多視点画像生成の過程を示すフローチャート。 取得した多視点画像の切り出し位置による表示位置操作の概念図。 実施例1での各パラメータの数値を示す図。 実施例2での各パラメータの数値を示す図。 比較例2での各パラメータの数値を示す図。
符号の説明
1 視点
2 基準投影面
3 個別投影面
4 注視点
5 個別注視点
6 (カメラまたはカメラモデルの)フィルム面
7 最端の視点同士の間の距離
8 3Dディスプレイ
9 観察者
10 3Dディスプレイより手前に表示された三次元画像
11 3Dディスプレイより奥側に表示された三次元画像
12 観察者が見たイメージ
13 3Dディスプレイの画枠
14 2Dディスプレイの画素部
15 画素から射出し、射出瞳を経由して方向が限定された光線の主光線
16 光線制御子
17 射出瞳
20 視点(+n)から取得した基準投影面
21 視点(−n)から取得した基準投影面
22 基準投影面としての利用範囲
23 注視点を含む投影面より手前に存在した物体またはモデル
24 注視点を含む投影面より奥に存在した物体またはモデル
27 俯角
28 設定した俯角の観察方向
29 設定した俯角より大きい俯角の観察方向

Claims (10)

  1. 水平方向に視差を与えることで観察者に三次元を認識させる三次元画像表示に用いる多視点画像を取得する三次元画像表示用多視点画像の作成方法において、
    基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第1の方向に一定間隔で離間させるステップと、
    各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設けるステップと、
    前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する2視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定するステップと、
    各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とするステップと、
    を備えたことを特徴とする三次元画像表示用多視点画像の作成方法。
  2. 前記基準投影面の解像度を三次元画像表示装置の解像度に略一致するように各視点画像の解像度を定めることを特徴とする請求項1記載の三次元画像表示用多視点画像の作成方法。
  3. 前記基準投影面の範囲を三次元画像表示装置の表示面積に略一致するように各個別投影面の範囲を定めることを特徴とする請求項1または2記載の三次元画像表示用多視点画像の作成方法。
  4. 前記基準となる注視点と各視点を結ぶ線の、前記第1の方向に垂直な平面への射影成分と前記投影面がなす角度である俯角が50度〜60度としたことを特徴とする請求項1乃至3のいずれかに記載の三次元画像表示用多視点画像の作成方法。
  5. 前記俯角が55度であることを特徴とする請求項4記載の三次元画像表示用多視点画像の作成方法。
  6. 前記第1の方向に平行な幅と、前記基準投影面に平行でかつ前記第1の方向に垂直な第2の方向に平行な幅の両方について前記基準投影面の占有範囲を上回る占有範囲を有する前記個別投影面の範囲で画像を取得し、かつ前記基準投影面の範囲だけ切り出して各視点画像として保存したことを特徴とする請求項1乃至5のいずれかに記載の三次元画像表示用多視点画像の作成方法。
  7. 前記個別投影面の範囲のなかで前記基準投影面が占有する範囲以外に極力モデルを配置しないか、またはモデルがあってもレンダリング対象から極力除くことを特徴とする請求項6記載の三次元画像表示用多視点画像の作成方法。
  8. 撮像装置のフィルムの長手方向を前記基準投影面の前記第1の方向に垂直な第2の方向に一致させたことを特徴とする三次元画像表示用実写多視点画像の作成方法。
  9. 前記投影面を実際の床面より上方に設置することにより、三次元画像表示装置の奥行き方向の表示可能範囲を利用することを特徴とする請求項1〜5、8のいずれかに記載の三次元画像表示用実写多視点画像の作成方法。
  10. 水平方向に視差を与えることで観察者に三次元を認識させる三次元画像表示に用いる多視点画像を取得する三次元画像表示用多視点画像の作成プログラムにおいて、
    基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第1の方向に一定間隔で離間させる手順と、
    各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設ける手順と、
    前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する2視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定する手順と、
    各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とする手順と、
    をコンピュータに実行させる三次元画像表示用多視点画像の作成プログラム。
JP2005117341A 2005-04-14 2005-04-14 三次元画像表示用多視点画像の作成方法およびプログラム Expired - Fee Related JP4328311B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005117341A JP4328311B2 (ja) 2005-04-14 2005-04-14 三次元画像表示用多視点画像の作成方法およびプログラム
EP06732109A EP1869901A1 (en) 2005-04-14 2006-04-13 Method for producing multi-viewpoint image for three-dimensional image display and program therefor
CNA2006800116247A CN101156456A (zh) 2005-04-14 2006-04-13 用于为三维图像显示产生多视点图像的方法及其程序
PCT/JP2006/308251 WO2006112488A1 (en) 2005-04-14 2006-04-13 Method for producing multi-viewpoint image for three-dimensional image display and program therefor
US10/581,363 US7652665B2 (en) 2005-04-14 2006-04-13 Method for producing multi-viewpoint image for three-dimensional image display and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005117341A JP4328311B2 (ja) 2005-04-14 2005-04-14 三次元画像表示用多視点画像の作成方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2006293931A true JP2006293931A (ja) 2006-10-26
JP4328311B2 JP4328311B2 (ja) 2009-09-09

Family

ID=36636979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005117341A Expired - Fee Related JP4328311B2 (ja) 2005-04-14 2005-04-14 三次元画像表示用多視点画像の作成方法およびプログラム

Country Status (5)

Country Link
US (1) US7652665B2 (ja)
EP (1) EP1869901A1 (ja)
JP (1) JP4328311B2 (ja)
CN (1) CN101156456A (ja)
WO (1) WO2006112488A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186264A (ja) * 2007-01-30 2008-08-14 Toshiba Corp 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム
JP2010538344A (ja) * 2007-08-29 2010-12-09 セトレッド エーエス 3dディスプレイのレンダリング方法の改良
US7986320B2 (en) 2006-09-28 2011-07-26 Kabushiki Kaisha Toshiba 3D image displaying method and apparatus
CN110099260A (zh) * 2018-01-31 2019-08-06 精工爱普生株式会社 投射系统、投射系统的控制方法以及投影仪

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
AU2007238391B2 (en) 2006-04-19 2011-03-10 Setred As Bandwidth improvement for 3D display
WO2009101558A1 (en) * 2008-02-11 2009-08-20 Koninklijke Philips Electronics N.V. Autostereoscopic image output device
US8508550B1 (en) * 2008-06-10 2013-08-13 Pixar Selective rendering of objects
CN101527865B (zh) * 2009-01-05 2010-09-01 清华大学 一种投影式高分辨率多视点自由立体显示系统
JP5306275B2 (ja) * 2010-03-31 2013-10-02 株式会社東芝 表示装置及び立体画像の表示方法
CN102860017B (zh) * 2010-04-28 2015-06-10 富士胶片株式会社 立体摄像装置及其制造方法
US8890941B2 (en) 2010-04-29 2014-11-18 Virginia Venture Industries, Llc Methods and apparatuses for viewing three dimensional images
US8933996B2 (en) * 2010-06-30 2015-01-13 Fujifilm Corporation Multiple viewpoint imaging control device, multiple viewpoint imaging control method and computer readable medium
WO2012037129A2 (en) * 2010-09-13 2012-03-22 Barry Lynn Jenkins System and method of delivering and controlling streaming interactive media comprising predetermined packets of geometric, texture, lighting and other data which are rendered on a reciving device
EP2589023B1 (en) * 2010-06-30 2021-05-19 Barry Lynn Jenkins System and method of from-region visibility determination and delta-pvs based content streaming using conservative linearized umbral event surfaces
KR101660411B1 (ko) 2010-07-22 2016-09-28 삼성전자주식회사 초다시점 3차원 영상 디스플레이 장치
US8446461B2 (en) * 2010-07-23 2013-05-21 Superd Co. Ltd. Three-dimensional (3D) display method and system
CN102103459B (zh) * 2010-10-29 2013-01-09 广东威创视讯科技股份有限公司 一种三维图片的浏览方法
CN103329549B (zh) 2011-01-25 2016-03-09 富士胶片株式会社 立体视频处理器、立体成像装置和立体视频处理方法
CN102184572B (zh) * 2011-05-19 2017-07-21 威盛电子股份有限公司 三维图形裁剪方法、呈现方法及其图形处理装置
JP2013026808A (ja) * 2011-07-21 2013-02-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN102938845B (zh) * 2012-11-26 2015-04-01 四川长虹电器股份有限公司 基于透视投影的实时虚拟视点生成方法
AU2015320698A1 (en) 2014-09-23 2017-04-13 Icahn School Of Medicine At Mount Sinai Systems and methods for treating a psychiatric disorder
EP3651119A1 (en) * 2018-11-06 2020-05-13 Koninklijke Philips N.V. Disparity estimation from a wide angle image
US11375178B2 (en) * 2019-03-04 2022-06-28 Dolby Laboratories Licensing Corporation Multi-resolution multi-view video rendering

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW262541B (ja) * 1994-05-09 1995-11-11 Image Technology Internat Inc
JP3476114B2 (ja) 1996-08-13 2003-12-10 富士通株式会社 立体表示方法及び装置
US6693666B1 (en) * 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
JP3830782B2 (ja) 2001-07-27 2006-10-11 株式会社東芝 立体像表示装置
JP2003107603A (ja) 2001-09-28 2003-04-09 Namco Ltd 立体視画像生成装置、立体視画像生成情報および情報記憶媒体
JP3579683B2 (ja) 2002-11-12 2004-10-20 株式会社ナムコ 立体視用印刷物の製造方法、立体視用印刷物
JP4218937B2 (ja) 2002-12-20 2009-02-04 株式会社バンダイナムコゲームス 立体視用表示装置及び立体視用表示方法
US7538774B2 (en) * 2003-06-20 2009-05-26 Nippon Telegraph And Telephone Corporation Virtual visual point image generating method and 3-d image display method and device
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7986320B2 (en) 2006-09-28 2011-07-26 Kabushiki Kaisha Toshiba 3D image displaying method and apparatus
JP2008186264A (ja) * 2007-01-30 2008-08-14 Toshiba Corp 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム
JP2010538344A (ja) * 2007-08-29 2010-12-09 セトレッド エーエス 3dディスプレイのレンダリング方法の改良
CN110099260A (zh) * 2018-01-31 2019-08-06 精工爱普生株式会社 投射系统、投射系统的控制方法以及投影仪
CN110099260B (zh) * 2018-01-31 2022-07-01 精工爱普生株式会社 投射系统、投射系统的控制方法以及投影仪

Also Published As

Publication number Publication date
EP1869901A1 (en) 2007-12-26
WO2006112488A1 (en) 2006-10-26
US20090079762A1 (en) 2009-03-26
JP4328311B2 (ja) 2009-09-09
US7652665B2 (en) 2010-01-26
CN101156456A (zh) 2008-04-02

Similar Documents

Publication Publication Date Title
JP4328311B2 (ja) 三次元画像表示用多視点画像の作成方法およびプログラム
JP4488996B2 (ja) 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム
JP3944188B2 (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP4468341B2 (ja) 三次元画像表示方法および三次元画像表示装置
US7557824B2 (en) Method and apparatus for generating a stereoscopic image
JP4476905B2 (ja) 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム
Dodgson Analysis of the viewing zone of multiview autostereoscopic displays
Nakanuma et al. Natural 3D display with 128 directional images used for human-engineering evaluation
Lipton et al. New autostereoscopic display technology: the synthaGram
US9684946B2 (en) Image making
Schmidt et al. Multiviewpoint autostereoscopic dispays from 4D-Vision GmbH
RU2453922C2 (ru) Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты)
JP2006212056A (ja) 撮影装置及び立体画像生成装置
JP2007533022A (ja) 2.5dグラフックスをレンダリングするためのゴースト・アーチファクト削減
US20080239482A1 (en) Apparatus and method of displaying the three-dimensional image
JP2014522591A (ja) 角スライス実像3dディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
JP2007538427A (ja) 三次元表示方法および装置
US8094148B2 (en) Texture processing apparatus, method and program
US20120229610A1 (en) Stereoscopic image display method and stereoscopic image display apparatus
JP2010226500A (ja) 立体画像表示装置および立体画像表示方法
JP2006115198A (ja) 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
JP2006211291A (ja) 立体視可能な表示装置および方法
CN111212219B (zh) 使用虚拟相机生成多面图像的方法和系统
JP2007336002A (ja) 多視点映像表示装置
JP6166985B2 (ja) 画像生成装置および画像生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090612

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees