JP2015119208A - 画像生成方法および画像生成装置ならびにプログラム - Google Patents
画像生成方法および画像生成装置ならびにプログラム Download PDFInfo
- Publication number
- JP2015119208A JP2015119208A JP2013259365A JP2013259365A JP2015119208A JP 2015119208 A JP2015119208 A JP 2015119208A JP 2013259365 A JP2013259365 A JP 2013259365A JP 2013259365 A JP2013259365 A JP 2013259365A JP 2015119208 A JP2015119208 A JP 2015119208A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- image data
- minute
- eye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 abstract description 16
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 239000004744 fabric Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
ここで、観察対象物体表面のパターンとは、物体表面の反射率分布や構造などによって生じる、物体表面に観察される幾何学的パターンをいう。
観察対象物体表面のパターンとの相関が小さい微小領域とは、観察対象物体表面のパターンと幾何学的に対応付けられない、例えば、任意数の格子状やランダムノイズ状の分割によって定義された領域を言う。
微小領域の形状の視認性は、観察対象物体の表示サイズや観察距離に加え、観察対象物体表面のパターンの形状やコントラストなどのパラメータに影響されるため、微小領域の大きさはこれらの要因を加味して決定してもよい。
前記パラメータには、観察対象物体の表示サイズや観察距離のほか、観察対象物体表面のパターンの形状やコントラストなど、提示される視差画像に含まれる当該微小領域の視認性に影響を及ぼす要因を含んでもよい。
また、ディスプレイとミラーの配置を変更することで視差角が変化し、画像までの距離感が変化する。また、ディスプレイとミラーの配置を変更することなく、双方のディスプレイに表示されている画像に対して、それぞれに異なる量の平行移動を加えることによっても視差角が変化し距離感が変化する。
同様にして、画像の部分ごとに異なる平行移動量を与えることで、当該部分ごとに異なる距離感を与え、奥行きを持った画像、すなわち立体画像を提示することができる。
例えば、布地表面(50)には、繊維や織目に起因する微小な起伏があり、立体視環境ではその起伏が両眼視差として知覚されるために、起毛感や体積感などの質感が強調されると考えられる。
微小な起伏はその形状や正確な高さ変化までは観察者に知覚されず、2次元の原画像に、実物被写体とは異なる起伏を与えた立体映像でも、類似した質感が表現されることが、試作実験の結果確認された。
本発明の実施形態では、布地表面の微小で複雑な起伏を、単純化された複数の微小凹凸(51)で表現することで起毛感や体積感などの質感を表現する。単純化された微小凹凸(51)とは、繊維や織目に起因する微小で複雑な起伏の高低や位置関係を正確に再現した凹凸ではなく、繊維や織目に起因する質感を、微小領域の簡単化した高低の差(すなわち奥行き差)や位置関係で表すための凹凸を意味する。ここで簡単化とは、例えば、起伏の高低を高い場合と低い場合との2段階で表したり、高くする領域と低くする領域とを一定のパターンや関数に従って設定したりというように、複数の微小凹凸(51)を比較的簡易な処理や操作で設定することを意味する。
この例では、マップ画像の明るい領域(すなわち画素値が比較的大きい領域)(60a)は、高さが高い(視点に近い)領域を、マップ画像の暗い領域(すなわち画素値が比較的小さい領域)(60b)は、高さが低い(視点から遠い)領域を示す。
また、このマップ画像の明暗は、微小凹凸を視差画像で表現する場合の視差量(すなわち図3および図4を参照して説明した視差量)に対応付けられるため、以下同マップを視差マップと記述する。
所望の微小凹凸を表す視差マップを生成あるいは選択し、この視差マップに基づいた画像操作により視差画像を生成する手順を例として、本発明の一実施形態について図7から図15の図面等を参照して詳細に説明する。
画像処理装置(80)は、原画像をもとに厚み感や起毛感などの質感が操作された視差画像を生成し、視差画像提示装置(1)に表示可能な映像信号を出力する。画像処理装置(80)は、外部記憶部(81)と、記憶部(82)と、操作部(83)と、演算部(84)と、画像出力部(85)とを備える。
外部記憶部(81)には、原画像データが格納される。
記憶部(82)には、処理対象となる原画像データと、処理プログラムと、処理結果である視差画像と、処理過程で生成あるいは使用される中間データが記憶される。
操作部(83)は、操作者の操作に関する情報を受け、その情報を演算部(84)に送る。
演算部(84)は、処理プログラムに基づき、画像処理装置(80)全体の制御と演算処理とを行う。
画像出力部(85)は、フレームバッファ(86)に書き込まれた画像データを、映像信号に変換して出力する。
(ステップS1)操作者が操作部(83)を操作することによって、外部記憶部(81)から所望の原画像データが演算部(84)を介して記憶部(82)に読み込まれる。以下では一例として原画像データが布地表面を撮影した画像データである場合について説明する。布地表面の原画像データの例を図9に示す。
原画像データは実写画像に限らず、コンピュータグラフィックなどの手法を用いて合成されたものでも良い。
観察対象物体の表示サイズが大きい場合には、操作者は分割数を増やして微小領域の大きさを観察対象物体に対して相対的に小さくしてもよい。
あるいは、観察対象物体の表示サイズから自動的に最適分割数を与える演算式を組み込むなどの方法を用いてもよい。
ディスプレイのサイズが小さい場合、あるいは、観視距離が遠い場合には、操作者は分割数を減らして微小領域の大きさを大きくしてもよい。
ディスプレイのサイズが大きい場合、あるいは、観視距離が近い場合には、操作者は分割数を増やして微小領域の大きさを小さくしてもよい。
あるいは、ディスプレイのサイズや観視距離から自動的に最適分割数を与える演算式を組み込むなどの方法を用いてもよい。
また、微小領域の大きさは、観察対象物体の表示サイズや観察距離を含む微小領域の視認性に影響を及ぼすパラメータに基づいて自動的に調節されることが可能である。また、パラメータには、観察対象物体の表示サイズや観察距離のほか、観察対象物体表面のパターンの形状やコントラストなど、提示される視差画像に含まれる当該微小領域の視認性に影響を及ぼす要因を含んでもよい。
図10に示す視差マップ(100)は微小領域ごとに2種類の画素値の何れかを設定する場合を例としているが、3種類以上の画素値や連続的に変化する画素値を与えてもよい。
図3に示したように、左眼に提示される画像では右に画素を平行移動することで距離感は減少される(すなわち近づく)。一方、図4に示すように、左に画素を平行移動することで距離感は増大される(すなわち遠ざかる)。図11は、視差マップの画素値と、左眼画像の画素の平行移動量110および右眼画像の画素の平行移動量111との関係を表している。距離感と画素の移動量との関係は、左眼画像と右眼画像とで逆転している。
生成された左眼用画像(145)は、記憶部(82)に格納される。
図3に示したように、右眼に提示される画像では左に画素を平行移動することで距離感は減少される。一方、図4に示すように、右に画素を平行移動することで距離感は増大される。
図15は、演算部(84)の処理で、右眼用画像が生成される様子を、図12および図13に示した視差マップ(100)と原画像(90)の中心付近の画素値を用いて説明したものである。図15において、原画像(156)が原画像(90)の一部であり、視差マップ(152)が視差マップ(100)中の原画像(156)に対応する一部分である。本例では、原画像(156)上で、視差マップ(152)の画素値が小さい部分(152b)に対応する領域(150)の距離感を増大し、視差マップの画素値が大きい部分(152a)に対応する領域(151)の距離感を減少することが求められている。そのため、左眼用画像とは逆に、視差マップの画素値が大きい領域に対応する原画像領域(151)を切り出して左に移動して前景画像とし、残りの原画像領域は右に移動し背景画像(154)とする。両者を重ね合わせることにより、視差マップに対応する視差量分布を持つ右眼用画像(155)が生成される。
生成された右眼用画像(155)は、記憶部(82)に格納される。
また、3種類以上の視差や連続的に変化する視差を用いてもよい。
ディスプレイに表示される観察対象物体画像の微小領域には二種類の異なる視差が与えられているため、視差画像提示装置(1)に立体画像として表示された観察対象物表面には厚みを持った体積感のある面が知覚される。
また、観察対象物体画像の微小領域は、当該領域の存在を観察者に知覚させない程度に小さなものであるため、本来観察対象物体表面に観察されるべきパターンの再現には影響を与えない。
所望の質感が得られなかった場合には、微小領域への分割条件と、分割された各微小領域の視差量の設定に戻り操作を繰り返す。
運動視差の提示が可能な提示装置や3視点以上の多視点画像の提示が可能な提示装置を用いる場合においては、視差量を多段階あるいは連続的に変化させた視差画像を必要とするため、左右眼を想定して求めた視差量から補間するなどの方法により、任意の視点位置に対応した視差画像を得ることができる。
これにより、操作者の作業負荷が軽減される。
すなわち、本発明の効果は、実施形態において説明した厚み感と起毛感の表現に限定されるものではなく、観察対象物体の両眼視差の提示が可能な視差画像提示装置において、原画像を観察対象物体表面のパターンとは相関しない微小領域に分割し、微小領域ごとの視差量を操作することにより生成可能な質感の表現に広く適用できる。
10・・・左眼用ディスプレイ
11・・・右眼用ディスプレイ
12・・・融像用ミラー
20・・・仮想的ディスプレイ
21・・・視差角
30・・・左眼に提示される画像
31・・・右眼に提示される画像
32・・・視差角
33・・・仮想的ディスプレイ
40・・・左眼に提示される画像
41・・・右眼に提示される画像
42・・・視差角
43・・・仮想的ディスプレイ
50・・・原画像
51・・・微小凹凸
60・・・視差マップ
80・・・画像処理装置
81・・・外部記憶部
82・・・記憶部
83・・・操作部
84・・・演算部
85・・・画像出力部
86・・・フレームバッファ
90・・・原画像
100・・・視差マップ
100a、100b・・・微小領域
110・・・視差マップの画素値と距離感と左眼画像の移動量の関係
111・・・視差マップの画素値と距離感と右眼画像の移動量の関係
121・・・視差マップの中心部分
122・・・視差マップの中心部分の拡大図
131・・・原画像の中心部分
132・・・原画像の中心部分の画素値の変化
140・・・視差マップの画素値が大きい部分に対応する原画像領域
141・・・視差マップの画素値が小さい部分に対応する原画像領域
142・・・視差マップ
143・・・前景画像
144・・・背景画像
145・・・左眼用画像
146・・・原画像(の一部)
150・・・視差マップの画素値が大きい部分に対応する原画像領域
151・・・視差マップの画素値が小さい部分に対応する原画像領域
152・・・視差マップ
153・・・前景画像
154・・・背景画像
155・・・右眼用画像
156・・・原画像(の一部)
Claims (6)
- 両眼視差を用いた観察対象物体の立体画像を生成する場合において、原画像を所定の微小領域に分割し、分割された微小領域ごとの視差量を操作することにより、知覚される該観察対象物体の質感を制御すること、
を特徴とする画像生成方法。 - 複数の前記微小領域が形成するパターンと前記観察対象物体表面のパターンとの相関が小さくなるように、各前記微小領域の形状や大きさが設定されたものである
ことを特徴とする請求項1に記載の画像生成方法。 - 前記微小領域の大きさが、提示される視差画像上に存在する当該微小領域の存在を観察者に知覚させない程度に小さなものであること、
を特徴とする請求項1又は2に記載の画像生成方法。 - 前項微小領域の大きさが、観察対象物体の表示サイズや観察距離を含む当該微小領域の視認性に影響を及ぼすパラメータに基づいて自動的に調節されること、
を特徴とする請求項3に記載の画像生成方法。 - 両眼視差を用いた観察対象物体の立体画像を生成する画像生成装置であって、
原画像を所定の微小領域に分割し、その分割した微小領域ごとに視差量を変化させた左眼用画像データを生成する左眼用画像データ生成部と、
前記分割した微小領域ごとに視差量を変化させた右眼用画像データを生成する右眼用画像データ生成部と
を備えることを特徴とする画像生成装置。 - 両眼視差を用いた観察対象物体の立体画像を生成するためのプログラムであって、
原画像を所定の微小領域に分割し、その分割した微小領域ごとに視差量を変化させた左眼用画像データを生成する左眼用画像データ生成段階と、
前記分割した微小領域ごとに視差量を変化させた右眼用画像データを生成する右眼用画像データ生成段階と
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013259365A JP6330310B2 (ja) | 2013-12-16 | 2013-12-16 | 画像生成方法および画像生成装置ならびにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013259365A JP6330310B2 (ja) | 2013-12-16 | 2013-12-16 | 画像生成方法および画像生成装置ならびにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015119208A true JP2015119208A (ja) | 2015-06-25 |
JP6330310B2 JP6330310B2 (ja) | 2018-05-30 |
Family
ID=53531611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013259365A Active JP6330310B2 (ja) | 2013-12-16 | 2013-12-16 | 画像生成方法および画像生成装置ならびにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6330310B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0955962A (ja) * | 1995-08-15 | 1997-02-25 | Sony Corp | 立体視化装置及び立体視化方法 |
JPH09327045A (ja) * | 1996-06-07 | 1997-12-16 | Sanyo Electric Co Ltd | 3次元映像のスクランブル方法 |
JPH1051812A (ja) * | 1996-08-07 | 1998-02-20 | Sanyo Electric Co Ltd | 2次元映像を3次元映像に変換する装置および方法 |
JP2010239177A (ja) * | 2009-03-30 | 2010-10-21 | Toppan Printing Co Ltd | 画像生成方法 |
JP2011182366A (ja) * | 2010-03-04 | 2011-09-15 | Toppan Printing Co Ltd | 画像処理方法、画像処理装置および画像処理プログラム |
-
2013
- 2013-12-16 JP JP2013259365A patent/JP6330310B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0955962A (ja) * | 1995-08-15 | 1997-02-25 | Sony Corp | 立体視化装置及び立体視化方法 |
JPH09327045A (ja) * | 1996-06-07 | 1997-12-16 | Sanyo Electric Co Ltd | 3次元映像のスクランブル方法 |
JPH1051812A (ja) * | 1996-08-07 | 1998-02-20 | Sanyo Electric Co Ltd | 2次元映像を3次元映像に変換する装置および方法 |
JP2010239177A (ja) * | 2009-03-30 | 2010-10-21 | Toppan Printing Co Ltd | 画像生成方法 |
JP2011182366A (ja) * | 2010-03-04 | 2011-09-15 | Toppan Printing Co Ltd | 画像処理方法、画像処理装置および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6330310B2 (ja) | 2018-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
JP5160741B2 (ja) | 3dグラフィック処理装置及びこれを利用した立体映像表示装置 | |
US9485497B2 (en) | Systems and methods for converting two-dimensional images into three-dimensional images | |
EP2051533B1 (en) | 3D image rendering apparatus and method | |
US20220237872A1 (en) | Multi-Resolution Voxel Meshing | |
KR101334187B1 (ko) | 다시점 렌더링 장치 및 방법 | |
JP5055214B2 (ja) | 画像処理装置、画像処理方法 | |
CN103337095A (zh) | 一种真实空间三维地理实体的立体虚拟显示方法 | |
JP2012079291A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
US20170109920A1 (en) | Method and apparatus rendering caustics | |
JP2008243046A (ja) | テクスチャ処理装置、方法およびプログラム | |
CN107390379A (zh) | 一种近眼全息三维显示系统和显示方法 | |
KR20120104071A (ko) | 입체영상 시각효과 처리 방법 | |
WO2012140397A2 (en) | Three-dimensional display system | |
JP3126575B2 (ja) | 立体視用3次元画像生成装置 | |
KR101919077B1 (ko) | 증강 현실 표시 방법 및 장치 | |
KR20200131817A (ko) | 여러 장치에 대한 3d 개체 시각화 및 조작을 용이하게 하는 방법 및 장치 | |
JP5428454B2 (ja) | 画像生成方法 | |
JP5428409B2 (ja) | 画像生成方法 | |
JP6330310B2 (ja) | 画像生成方法および画像生成装置ならびにプログラム | |
TW202240547A (zh) | 採用傾斜多視像影像匯聚平面的多視像顯示系統和方法 | |
WO2018013373A1 (en) | Preserving scene lighting effects across viewing perspectives | |
KR101567002B1 (ko) | 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템 | |
KR101425321B1 (ko) | 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법 | |
JP2015103960A (ja) | 画像奥行き指定方法、プログラム、および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6330310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |