JP2016224656A - 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム - Google Patents
視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム Download PDFInfo
- Publication number
- JP2016224656A JP2016224656A JP2015109716A JP2015109716A JP2016224656A JP 2016224656 A JP2016224656 A JP 2016224656A JP 2015109716 A JP2015109716 A JP 2015109716A JP 2015109716 A JP2015109716 A JP 2015109716A JP 2016224656 A JP2016224656 A JP 2016224656A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- viewpoint position
- element image
- image
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 27
- 238000009877 rendering Methods 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
このインテグラル立体方式は、撮像装置によって、図10に示すように、二次元配列された複数の要素レンズLpからなるレンズアレーLaを介して、被写体Oから出た光を撮像する。このとき、要素レンズLpの焦点距離だけ離間した撮像面Eにおいて、要素レンズLpのレンズ間隔で、要素画像Gが撮像されることになる。
そして、インテグラル立体方式は、図11に示すように、撮像時と同じ仕様のレンズアレーLaを介して、表示装置(ディスプレイ)の表示面Dに図10で撮像した要素画像Gを表示する。このとき、撮像された被写体空間と同様の光線が再生され、観察者Mは、被写体O(図10参照)を、立体像Tとして視認することができる。
このインテグラル立体方式では、実体のある被写体を撮像して要素画像を生成する以外にも、仮想空間中の三次元モデルから要素画像を生成する手法が提案されている(特許文献1、非特許文献1参照)。
この手法は、仮想空間中の三次元モデルから、高精細な表示装置とレンズアレーの仕様に対応して、要素レンズに対応するすべての要素画像を生成している。
しかし、表示装置の画素間隔等は、メーカの設計によって決まるため、調査したいパラメータ仕様に合致した表示装置を揃えることは難しく、インテグラル立体像の画質を調査することは困難である。
また、この場合、大容量の要素画像群から表示用の画像を生成するため、表示装置の画面や要素画像が高解像度化すればするほど生成時間を要し、動画像を表示することは困難になる。
このとき、仮想空間撮影手段によってレンダリングされた画像は、視点対応位置の周辺画像を含んでいる。そのため、フィルタリング手段は、理想的な視点位置の周辺の画像を加味して画素値を計算することになり、立体像において、ボケを再現することが可能になる。
これによって、視点位置用要素画像生成装置は、観察者の視点位置に対応し、観察者が立体像を視認するために必要となる要素画像の一部のみを生成することができる。
そして、インテグラル立体シミュレーションシステムは、視点位置用要素画像生成装置によって、観察者の視点位置に対応して立体像を表示する部分的な要素画像である視点位置用要素画像を生成する。
そして、インテグラル立体シミュレーションシステムは、要素画像表示装置によって、視点位置用要素画像生成装置で生成された視点位置用要素画像を、レンズアレーを介して表示する。
このように、インテグラル立体シミュレーションシステムは、すべての要素画像を生成しなくても、観察者の視点位置から視認される要素画像の一部のみを生成することで、使用するメモリ量を抑えて、インテグラル立体方式の表示装置(対象表示装置)が表示する立体像をシミュレーションすることができる。
本発明の視点位置用要素画像生成装置および視点位置用要素画像生成プログラムによれば、観察者の視点位置に対応する部分的な要素画像のみを生成するため、すべての要素画像を生成する場合に比べ、高速に、かつ、メモリ使用量を抑えて、立体像を表示するために必要な要素画像を生成することができる。
〔インテグラル立体シミュレーションシステムの構成〕
まず、図1を参照して、本発明の実施形態に係るインテグラル立体シミュレーションシステムSの構成について説明する。
このインテグラル立体シミュレーションシステムSは、図1に示すように、視点位置用要素画像生成装置1と、視点位置検出装置2と、要素画像表示装置3と、を備える。
なお、以下では、シミュレーション対象の仮想の表示装置を対象表示装置と表記し、観察者が現実に視認する表示装置(他の表示装置)である要素画像表示装置3と区別することとする。
この視点位置用要素画像生成装置1は、観察者Mの視点位置を視点位置検出装置2から入力し、生成した視点位置用要素画像を要素画像表示装置3に出力する。
なお、この視点位置用要素画像生成装置1については、後で詳細に説明する。
次に、図3を参照して、本発明の実施形態に係る視点位置用要素画像生成装置1の構成について説明する。
図3に示すように、視点位置用要素画像生成装置1は、視点対応位置特定手段10と、仮想空間撮影手段11と、フィルタリング手段12と、要素画像再構成手段13と、を備える。
この視点対応位置特定手段10は、左右二眼のそれぞれの視点位置において、すべての要素レンズに対応する視点対応位置(三次元座標)を計算し、仮想空間撮影手段11と要素画像再構成手段13とに出力する。
図4に示すように、視点対応位置特定手段10は、パラメータで指定された画素間隔Pb、レンズ間隔Lbおよび焦点距離Fで、表示面DとレンズアレーLa(要素レンズLp群)とを、パラメータで指定された画素数およびレンズ数分、仮想空間上に配置し、視点位置Vpから、それぞれの要素レンズLpのレンズ中心Lcを通過して、表示面Dに到達する視線bの表示面Dとの交点を視点対応位置Rとする。この視点対応位置Rは、例えば、視点位置Vpに対して、被写体が表示面Dよりも近い位置に存在する場合の視線b上の被写体点O1、あるいは、被写体が表示面Dより遠い位置に存在する場合の視線b上の被写体点O2が対応する表示面D上の理想位置である。
仮想空間撮影手段11は、視点対応位置特定手段10で特定された視点対応位置に対応する画素を含んだ所定範囲の画像を仮想的に撮影するものである。なお、仮想的に撮影する対象は、外部に予め記憶されているCG等の三次元空間データである。
また、仮想空間を仮想的に撮影(透視投影)するための対象となるサブピクセルは、図5に示すように、視点対応位置Rを含む画素P内のサブピクセルとする。
ここで、図8を参照して、透視投影行列について説明する。図8に示すように、投影対象の範囲をz軸方向の−near面から−far面とし、−near面の投影範囲をx座標の最大値をright、最小値をleft、y座標の最大値をtop、最小値をbottomとする。このとき、三次元空間中の座標点X(Px Py Pz 1)T(Tは転置)が、錐台の−near面に投影され、(sx sy sz)T(ただし、−1≦sx,sy,sz≦1)へ写像されるとすると、透視投影行列は、同次座標(sx sy sz w)Tを用いて、以下の式(2)で表される。
図3に戻って、視点位置用要素画像生成装置1の構成について説明を続ける。
これによって、仮想空間撮影手段11は、左右二眼のそれぞれについて、視点位置から観測される2つの撮影画像を生成する。この仮想空間撮影手段11は、生成した撮影画像をフィルタリング手段12に出力する。
このように、仮想空間撮影手段11は、視点対応位置の近傍の位置まで範囲を広げて透視投影を行うことで、表示する立体像において、ボケを再現することができる。
これによって、フィルタリング手段12は、左右二眼ごとに、要素レンズに対応する要素画像の一部(1画素)の値を計算する。
また、フィルタリング手段12は、フィルタ領域内の画素値を、例えば、レンズ中心に近いほど重み(フィルタ係数ai)を大きくして加重平均を行うこととしてもよい。
このフィルタリング手段12は、左右二眼ごとに、撮影画像をフィルタリングし、そのフィルタリング画像を要素画像再構成手段13に出力する。
次に、図9を参照(構成については適宜図3参照)して、本発明の実施形態に係る視点位置用要素画像生成装置1の動作について説明する。
その後、視点位置用要素画像生成装置1は、視点対応位置特定手段10によって、視点位置検出装置2から出力される左右二眼の視点位置を入力する(ステップS2)。
すなわち、視点対応位置特定手段10は、図4に示すように、パラメータで指定された対象表示装置の画素間隔Pb、要素レンズLpのレンズ間隔Lbおよび焦点距離Fで、要素画像の表示面DとレンズアレーLaとを仮想空間上に配置する。そして、視点対応位置特定手段10は、視点位置Vpから、要素レンズLpのレンズ中心Lcを通過する視線bの表示面Dとの交点を視点対応位置Rとして算出する。ここでは、視点対応位置特定手段10は、左右二眼のそれぞれの視点位置Vpについて、すべての要素レンズに対応する視点対応位置Rを算出する。
これによって、視点位置用要素画像生成装置1は、従来の手法に比べて、使用するメモリ容量を抑えて、高速に視点位置用要素画像を生成することができる。
例えば、ここでは、仮想空間撮影手段11およびフィルタリング手段12において、レンダリング対象を、図6に示すようなひし形領域としたが、これは、要素レンズの配列に応じた形の領域とすればよい。例えば、要素レンズの水平間隔と垂直間隔が同じであれば、レンダリング対象の領域を正方形領域とすればよい。
1 視点位置用要素画像生成装置
10 視点対応位置特定手段
11 仮想空間撮影手段
12 フィルタリング手段
13 要素画像再構成手段
2 視点位置検出装置
3 要素画像表示装置
Claims (5)
- インテグラル立体方式のシミュレーション対象となる対象表示装置が表示する立体像を他の表示装置でシミュレーションするために、観察者の視点位置に対応して前記立体像を表示する部分的な要素画像である視点位置用要素画像を生成する視点位置用要素画像生成装置であって、
前記他の表示装置と同じ座標系上に前記対象表示装置を仮想的に配置し、視点位置検出装置で検出された前記観察者の視点位置から、前記対象表示装置における各要素レンズのレンズ中心を通過して前記対象表示装置の表示面に到達する前記要素レンズごとの視点対応位置を計算する視点対応位置特定手段と、
前記視点対応位置から、当該視点対応位置に対応する前記要素レンズのレンズ中心を通過して、前記観察者までの視距離位置に配置した仮想カメラで、三次元空間データを透視投影により予め定めた投影面に仮想撮影し、前記要素レンズごとの予め定めた範囲でレンダリングする仮想空間撮影手段と、
この仮想空間撮影手段で前記要素レンズごとにレンダリングされた画像をフィルタリングして、当該要素レンズに対応する画素値を計算するフィルタリング手段と、
このフィルタリング手段で計算された前記要素レンズごとの画素値を、前記他の表示装置の要素レンズごとの前記視点対応位置に対応する画素に割り当てることで、前記視点位置用要素画像を生成する要素画像再構成手段と、
を備えることを特徴とする視点位置用要素画像生成装置。 - 前記仮想空間撮影手段は、前記視点対応位置を含んだ予め定めた視点近接領域内の複数の位置から、当該視点対応位置に対応する要素レンズのレンズ中心を通過して、前記観察者までの視距離位置に配置した仮想カメラで、前記三次元空間データを複数撮影し、前記視点対応位置と前記複数の位置との距離に応じて重み付け加算することでレンダリングすることを特徴とする請求項1に記載の視点位置用要素画像生成装置。
- 前記フィルタリング手段は、前記対象表示装置の要素レンズごとにレンダリングされた画像をそのレンダリング範囲内で平均化することで当該要素レンズに対応する画素値を計算することを特徴とする請求項1または請求項2に記載の視点位置用要素画像生成装置。
- コンピュータを、請求項1から請求項3のいずれか一項に記載の視点位置用要素画像生成装置として機能させるための視点位置用要素画像生成プログラム。
- インテグラル立体方式のシミュレーション対象となる対象表示装置が表示する立体像を他の表示装置でシミュレーションするインテグラル立体シミュレーションシステムであって、
観察者の視点位置を検出する視点位置検出装置と、
前記観察者の視点位置に対応して立体像を表示する視点位置用要素画像を生成する請求項1から請求項3のいずれか一項に記載の視点位置用要素画像生成装置と、
この視点位置用要素画像生成装置で生成された視点位置用要素画像を表示する前記他の表示装置である要素画像表示装置と、
を備えることを特徴とするインテグラル立体シミュレーションシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015109716A JP6543096B2 (ja) | 2015-05-29 | 2015-05-29 | 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015109716A JP6543096B2 (ja) | 2015-05-29 | 2015-05-29 | 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016224656A true JP2016224656A (ja) | 2016-12-28 |
JP6543096B2 JP6543096B2 (ja) | 2019-07-10 |
Family
ID=57748464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015109716A Active JP6543096B2 (ja) | 2015-05-29 | 2015-05-29 | 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6543096B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019149777A (ja) * | 2018-02-28 | 2019-09-05 | 日本放送協会 | 画像処理装置および画像処理プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09238369A (ja) * | 1996-02-29 | 1997-09-09 | Mitsubishi Electric Corp | 3次元像表示装置 |
JP2009175866A (ja) * | 2008-01-22 | 2009-08-06 | Nippon Hoso Kyokai <Nhk> | 立体像生成装置、その方法およびそのプログラム |
JP2013003396A (ja) * | 2011-06-17 | 2013-01-07 | National Institute Of Information & Communication Technology | 3次元画像の提示方法 |
JP2013196532A (ja) * | 2012-03-22 | 2013-09-30 | Nippon Hoso Kyokai <Nhk> | 3次元モデル−インテグラル画像変換装置およびそのプログラム |
-
2015
- 2015-05-29 JP JP2015109716A patent/JP6543096B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09238369A (ja) * | 1996-02-29 | 1997-09-09 | Mitsubishi Electric Corp | 3次元像表示装置 |
JP2009175866A (ja) * | 2008-01-22 | 2009-08-06 | Nippon Hoso Kyokai <Nhk> | 立体像生成装置、その方法およびそのプログラム |
JP2013003396A (ja) * | 2011-06-17 | 2013-01-07 | National Institute Of Information & Communication Technology | 3次元画像の提示方法 |
JP2013196532A (ja) * | 2012-03-22 | 2013-09-30 | Nippon Hoso Kyokai <Nhk> | 3次元モデル−インテグラル画像変換装置およびそのプログラム |
Non-Patent Citations (2)
Title |
---|
岩舘祐一, 外1名: ""斜投影によるインテグラル立体像の生成手法"", 映像情報メディア学会技術報告, vol. 第34巻, 第43号, JPN6019018211, 15 October 2010 (2010-10-15), JP, pages 17 - 20, ISSN: 0004037667 * |
片山美和, 外2名: ""視点追従を行うインテグラル立体二眼シミュレーションシステム"", 映像情報メディア学会 2014年冬季大会講演予稿集, JPN6019018210, 26 November 2014 (2014-11-26), pages 1 - 2, ISSN: 0004037666 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019149777A (ja) * | 2018-02-28 | 2019-09-05 | 日本放送協会 | 画像処理装置および画像処理プログラム |
JP7141833B2 (ja) | 2018-02-28 | 2022-09-26 | 日本放送協会 | 画像処理装置および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6543096B2 (ja) | 2019-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4764305B2 (ja) | 立体画像生成装置、方法およびプログラム | |
KR101629479B1 (ko) | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 | |
CN107105213B (zh) | 立体图像显示装置 | |
KR101675961B1 (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
JP4928476B2 (ja) | 立体像生成装置、その方法およびそのプログラム | |
KR101289544B1 (ko) | 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체 | |
KR101852209B1 (ko) | 자동입체 디스플레이 및 그 제조방법 | |
JP5522794B2 (ja) | 立体像生成装置およびそのプログラム | |
CN105611278A (zh) | 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 | |
KR20140056748A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
JP6018468B2 (ja) | 奥行き範囲算出装置及びそのプログラム | |
JP2006162945A (ja) | 立体視表示装置 | |
JPWO2019198784A1 (ja) | ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法 | |
JP5452801B2 (ja) | 立体像生成装置およびそのプログラム | |
CN107948631A (zh) | 一种基于集群和渲染的裸眼3d系统 | |
JPH07240945A (ja) | 仮想空間生成提示装置 | |
JP7141833B2 (ja) | 画像処理装置および画像処理プログラム | |
US20130342536A1 (en) | Image processing apparatus, method of controlling the same and computer-readable medium | |
KR101208767B1 (ko) | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 | |
WO2014119555A1 (ja) | 画像処理装置、表示装置及びプログラム | |
JP6543096B2 (ja) | 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム | |
Hasmanda et al. | The modelling of stereoscopic 3D scene acquisition | |
JP6076083B2 (ja) | 立体画像補正装置及びそのプログラム | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6543096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |