JP2012155624A - 画像出力装置、画像表示装置、画像出力方法、プログラム及び記憶媒体 - Google Patents
画像出力装置、画像表示装置、画像出力方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2012155624A JP2012155624A JP2011015705A JP2011015705A JP2012155624A JP 2012155624 A JP2012155624 A JP 2012155624A JP 2011015705 A JP2011015705 A JP 2011015705A JP 2011015705 A JP2011015705 A JP 2011015705A JP 2012155624 A JP2012155624 A JP 2012155624A
- Authority
- JP
- Japan
- Prior art keywords
- display device
- image
- image output
- light source
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Abstract
【解決手段】表示装置から該表示装置の外部に存在する光源へと向かう第1の方向と、表示装置から表示装置の観察者へと向かう第2の方向と、光源から表示装置へと照射される光の強度値と、輝度値と、の間の関連付けを示す入力データを入力する。既知の位置に配置された撮像装置を用いて撮像された光源の画像と、撮像装置と表示装置との位置姿勢関係とから、第1の方向と、第1の方向に存在する光源から表示装置に照射される光の強度と、を推定する。第2の方向を推定する。入力データを用いて、第1の推定手段が推定した第1の方向及び光の強度値並びに第2の推定手段が推定した第2の方向に対応する、輝度値を取得する。取得した輝度値に従う画像を生成して表示装置に出力する。
【選択図】図3
Description
表示装置から該表示装置の外部に存在する光源へと向かう第1の方向と、該表示装置から該表示装置の観察者へと向かう第2の方向と、前記光源から前記表示装置へと照射される光の強度値と、輝度値と、の間の関連付けを示す入力データを入力する入力手段と、
既知の位置に配置された撮像装置を用いて撮像された前記光源の画像と、該撮像装置と前記表示装置との位置姿勢関係とから、前記第1の方向と、当該第1の方向に存在する前記光源から前記表示装置に照射される光の強度と、を検出する第1の検出手段と、
前記第2の方向を検出する第2の検出手段と、
前記入力データを用いて、前記第1の検出手段が推定した第1の方向及び光の強度値並びに前記第2の検出手段が検出した第2の方向に対応する、輝度値を取得する取得手段と、
前記取得手段が取得した輝度値に従う画像を生成して前記表示装置に出力する出力手段と、を備える。
以下、本発明に係る一実施例である実施例1について、図面を参照して詳細に説明する。本実施例においては、上述した光沢成分、干渉色、及び構造色などに起因する色の変化が、表示装置上で再現される(以下、偏角色再現と呼ぶ)。
本実施例ではオブジェクトデータは、各ピクセルのRGB各色について、以下の関連付け情報を示す。画像表示装置101から画像表示装置101の外部に存在する光源へと向かう第1の方向と、画像表示装置101から画像表示装置101の観察者へと向かう第2の方向と、光源から表示装置へと照射される光の照度値と、輝度値と、の間の関連付けである。具体的には本実施例においては、偏角色再現を行うために、各ピクセルについて第1の方向(光の入射方向)と第2の方向(光の出射方向)とに応じた反射特性(以下、偏角反射特性)を示す平面画像データを用いる。
図4は本実施例において説明のために使用するXYZ軸の向きを示した図である。本実施例ではイメージセンサ104の位置を原点とし、イメージセンサ104の光学軸(画像表示装置101の表面に対して垂直な方向)をZ軸とする。また、イメージセンサ104が向いている方向をZ軸正方向とする。また、イメージセンサ104と表示部102の中心とを結んだ直線をY軸とし、イメージセンサ側をY軸正方向とする。さらにZ軸およびY軸と垂直な軸をX軸とし、Y軸正方向からみて時計回りにある方向をX軸正方向とする。表示部102はZ=0となるXY平面上に位置する。
続いて、画像処理アプリケーション301において実施される画像処理について説明する。図5は本実施例における画像処理の流れを示したフローチャートである。もっとも、並列に実行可能なステップは並列に実行されてもよいし、逆の順序で実行されてもよい。
図10は、ステップS505における偏角色再現画像を生成する処理の詳細を示すフローチャートである。ステップS1001でレンダリング部306は、オブジェクトの位置を決定し、仮想空間内にオブジェクトを配置する。本実施例において仮想空間は、上述の現実空間と座標系を共有する。すなわち、仮想空間のXYZ軸は、上述したイメージセンサ104を原点とする現実空間のXYZ軸と一致する。
O(x,y) = O0 − P(x,y) …(1)
I(x,y) = I0 − P(x,y) …(2)
(表示部およびUI部について)
実施例1では、表示部102およびUI部103として、タッチパネル機能付きカラー液晶ディスプレイを使用した。しかしながら、本発明を構成する上で表示部102とUI部103が一体化されている必要はない。また、表示部102とUI部103とは異なる装置を用いて実装することもできる。例えばUI部103として、各種のボタン又はポインティングデバイスを用いてもよい。また、通信部108に接続された外部入力デバイスを、UI部103として使用してもよい。
実施例1では、イメージセンサ104は、表示部102の表示面側を撮影した。しかしながらイメージセンサ104の撮像系の光学軸は、正確に表示部102の法線方向になくてもよい。またイメージセンサ104は画像表示装置101に固定されている必要はなく、画像表示装置101に対して可動であってもよいし、画像表示装置101から分離可能であってもよい。
オブジェクトデータの形式は、上述の偏角反射データには限定されない。例えば、表示部102又は画像処理アプリケーション301の性能および処理形態に応じて、より簡略化されたデータをオブジェクトデータとして用いてもよいし、より詳細なデータをオブジェクトデータとして用いてもよい。例えばオブジェクトデータは偏角反射を表現可能な関数そのものであっても、関数の係数であってもよい。また例えばオブジェクトデータは、オブジェクトの拡散反射特性と鏡面反射特性を個別に記録するものであってもよく、これらの特性は個別にモデル化されていてもよい。またオブジェクトデータは、角度ごとの分光反射率データを記録した分光偏角反射データであってもよい。
観察者の位置を取得する方法は、顔検出に限られない。任意の手法を用いて、画像表示装置と観察者との位置関係を取得しうる。例えば、観察者が頭部にマーカーを装着してもよい。このマーカーは、画像処理によって識別可能であってもよいし、他の位置検出方法によって識別可能であってもよい。この場合、マーカーを検出することにより、観察者の位置を取得することができる。あるいは、画像表示装置101は複数のイメージセンサを備えていてもよい。この場合、視差を用いて観察者の位置を算出することができる。
上述の撮像入射光マップ801の形状は平面には限られない。また、拡張入射光マップ901の形状も、直方体には限られない。例えば撮像入射光マップ801は円形であってもよく、拡張入射光マップ901はこの撮像入射光マップ801を上底面の一部として有する円柱状であってもよい。また、イメージセンサ104が魚眼レンズを備えてもよい。この場合、拡張入射光マップ901は表示部102の表面側を覆う半球状であってもよく、拡張入射光マップ901の一部または全部が撮像入射光マップ801であってもよい。
実施例1では、表示部102の表面にはノングレア処理が施されている。しかしながら、表面処理によって外光の反射を完全に抑えることは困難である。そのため、表示画像に適切な画像補正を行うことにより、外光の反射を相殺してもよい。このためには例えば、予め取得された表示部102表面のBRDF又は偏角反射データを用いることができる。この場合レンダリング部306は、拡張入射光マップ901からの入射光に対する、表示部102表面での反射光量を算出しうる。そして出力部307は、算出された反射光量を相殺するような画像補正を、表示部102に表示されるデータに対して行ってもよい。
実施例1では、図1に示される画像表示装置101が処理を行った。しかしながら、本発明は他の装置を用いて実現することも可能である。例えば、CPUとメモリとを備える一般的なコンピュータを、実施例1の画像表示装置101として用いることもできる。また実施例1においては、画像表示装置101上で動作する画像処理アプリケーション301が処理を行うものとして説明した。しかしながら、実施例1に示した処理は、専用の装置を用いて実現することもできる。このような専用の装置は例えば、画像処理アプリケーション301の論理構成302〜307のそれぞれを実現する、1以上のハードウェア要素を備えてもよい。また、本発明に係る画像処理装置は、複数の機器から構成されるシステムであってもよい。
Claims (9)
- 表示装置から該表示装置の外部に存在する光源へと向かう第1の方向と、該表示装置から該表示装置の観察者へと向かう第2の方向と、前記光源から前記表示装置へと照射される光の強度値と、輝度値と、の間の関連付けを示す入力データを入力する入力手段と、
既知の位置に配置された撮像装置を用いて撮像された前記光源の画像と、該撮像装置と前記表示装置との位置姿勢関係とから、前記第1の方向と、当該第1の方向に存在する前記光源から前記表示装置に照射される光の強度と、を推定する第1の推定手段と、
前記第2の方向を推定する第2の推定手段と、
前記入力データを用いて、前記第1の推定手段が推定した第1の方向及び光の強度値並びに前記第2の推定手段が推定した第2の方向に対応する、輝度値を取得する取得手段と、
前記取得手段が取得した輝度値に従う画像を生成して前記表示装置に出力する出力手段と、
を備えることを特徴とする画像出力装置。 - 前記第2の推定手段は、前記撮像装置を用いて撮像された画像に対して顔検出を行い、前記表示装置から前記検出された顔へと向かう方向を前記第2の方向とすることを特徴とする請求項1に記載の画像出力装置。
- 前記第2の推定手段は、前記撮像装置を用いて撮像された画像から2つ以上の顔を検出した場合、前記表示装置から前記検出された顔のうち最も大きい顔へと向かう方向を前記第2の方向とすることを特徴とする請求項2に記載の画像出力装置。
- 前記第1の推定手段は、複数の前記第1の方向のそれぞれについて前記輝度値を取得し、
前記出力手段は、複数の前記第1の方向のそれぞれについての前記輝度値の合計値に従う画像を生成して前記表示装置に出力することを特徴とする、請求項1乃至3の何れか1項に記載の画像出力装置。 - 前記入力データは、前記第1の方向と前記表示装置の表示面の法線とがなす角度、前記第2の方向と前記表示装置の表示面の法線とがなす角度、前記表示装置の表示面に投影された前記第1の方向と前記第2の方向とがなす角度、及び、前記第1の方向から照射される光の強度値と前記輝度値との比、の間の関連付けを示すことを特徴とする、請求項1乃至4の何れか1項に記載の画像出力装置。
- 請求項1乃至5の何れか1項に記載の画像出力装置と、該画像出力装置に接続された表示装置とを備えることを特徴とする、画像表示装置。
- 画像出力装置が行う画像出力方法であって、
前記画像出力装置の入力手段が、表示装置から該表示装置の外部に存在する光源へと向かう第1の方向と、該表示装置から該表示装置の観察者へと向かう第2の方向と、前記光源から前記表示装置へと照射される光の強度値と、輝度値と、の間の関連付けを示す入力データを入力する入力工程と、
前記画像出力装置の第1の推定手段が、既知の位置に配置された撮像装置を用いて撮像された前記光源の画像と、該撮像装置と前記表示装置との位置姿勢関係とから、前記第1の方向と、当該第1の方向に存在する前記光源から前記表示装置に照射される光の強度と、を推定する第1の推定工程と、
前記画像出力装置の第2の推定手段が、前記第2の方向を推定する第2の推定工程と、
前記画像出力装置の取得手段が、前記入力データを用いて、前記第1の推定工程で推定した第1の方向及び光の強度値並びに前記第2の推定工程で推定した第2の方向に対応する、輝度値を取得する取得工程と、
前記画像出力装置の出力手段が、前記取得工程で取得した輝度値に従う画像を生成して前記表示装置に出力する出力工程と、
を含むことを特徴とする画像出力方法。 - コンピュータを、請求項1乃至6の何れか1項に記載の画像出力装置が有する各手段として機能させるための、コンピュータプログラム。
- 請求項8に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015705A JP5762015B2 (ja) | 2011-01-27 | 2011-01-27 | 画像処理装置、画像処理方法、及びプログラム |
US13/348,300 US8878786B2 (en) | 2011-01-27 | 2012-01-11 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015705A JP5762015B2 (ja) | 2011-01-27 | 2011-01-27 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012155624A true JP2012155624A (ja) | 2012-08-16 |
JP2012155624A5 JP2012155624A5 (ja) | 2014-03-13 |
JP5762015B2 JP5762015B2 (ja) | 2015-08-12 |
Family
ID=46576938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011015705A Active JP5762015B2 (ja) | 2011-01-27 | 2011-01-27 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8878786B2 (ja) |
JP (1) | JP5762015B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017154046A1 (ja) * | 2016-03-10 | 2017-09-14 | パナソニックIpマネジメント株式会社 | 表示装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140176548A1 (en) * | 2012-12-21 | 2014-06-26 | Nvidia Corporation | Facial image enhancement for video communication |
JPWO2015163169A1 (ja) * | 2014-04-23 | 2017-04-13 | ソニー株式会社 | 画像処理装置および方法 |
JPWO2016181804A1 (ja) * | 2015-05-08 | 2018-03-08 | ソニー株式会社 | 画像処理装置および方法 |
US10395421B2 (en) | 2015-07-21 | 2019-08-27 | Dolby Laboratories Licensing Corporation | Surround ambient light sensing, processing and adjustment |
US10354573B2 (en) * | 2017-07-25 | 2019-07-16 | Lenovo (Singapore) Pte Ltd | Screen color calibration |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0749964A (ja) * | 1993-08-06 | 1995-02-21 | Matsushita Electric Ind Co Ltd | 3次元動画像生成装置 |
JP2007052304A (ja) * | 2005-08-19 | 2007-03-01 | Mitsubishi Electric Corp | 映像表示システム |
JP2007094680A (ja) * | 2005-09-28 | 2007-04-12 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法等 |
JPWO2005041167A1 (ja) * | 2003-10-28 | 2007-04-26 | 松下電器産業株式会社 | 画像表示装置、画像表示システム、撮影装置、画像表示方法、およびプログラム |
JP2011076167A (ja) * | 2009-09-29 | 2011-04-14 | Casio Computer Co Ltd | 画像表示装置及び方法並びにプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064749A (en) * | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
US6018350A (en) * | 1996-10-29 | 2000-01-25 | Real 3D, Inc. | Illumination and shadow simulation in a computer graphics/imaging system |
JPH10255069A (ja) * | 1997-03-10 | 1998-09-25 | Canon Inc | 画像処理システム |
US6798390B1 (en) * | 1997-08-29 | 2004-09-28 | Canon Kabushiki Kaisha | 3D image reconstructing apparatus and 3D object inputting apparatus |
EP1074943A3 (en) * | 1999-08-06 | 2004-03-24 | Canon Kabushiki Kaisha | Image processing method and apparatus |
US7123257B2 (en) * | 2001-07-31 | 2006-10-17 | Canon Kabushiki Kaisha | Coloring information adding method and apparatus, and image processing method and apparatus |
JP2003099801A (ja) | 2001-09-25 | 2003-04-04 | Toyota Motor Corp | 三次元モデルの画像表示方法、装置、プログラム及び記録媒体 |
JP2004252603A (ja) * | 2003-02-18 | 2004-09-09 | Canon Inc | 三次元データ処理方法 |
JP2006106950A (ja) | 2004-10-01 | 2006-04-20 | Tokyo Univ Of Science | 画像表示装置、画像表示方法、及びプログラム |
JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP4710016B2 (ja) | 2006-03-01 | 2011-06-29 | 国立大学法人神戸大学 | ディスプレイ上での光沢表現方法 |
JP5517685B2 (ja) * | 2009-04-14 | 2014-06-11 | キヤノン株式会社 | 画像処理装置および方法 |
US8371693B2 (en) * | 2010-03-30 | 2013-02-12 | National University Corporation Shizuoka University | Autism diagnosis support apparatus |
-
2011
- 2011-01-27 JP JP2011015705A patent/JP5762015B2/ja active Active
-
2012
- 2012-01-11 US US13/348,300 patent/US8878786B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0749964A (ja) * | 1993-08-06 | 1995-02-21 | Matsushita Electric Ind Co Ltd | 3次元動画像生成装置 |
JPWO2005041167A1 (ja) * | 2003-10-28 | 2007-04-26 | 松下電器産業株式会社 | 画像表示装置、画像表示システム、撮影装置、画像表示方法、およびプログラム |
JP2007052304A (ja) * | 2005-08-19 | 2007-03-01 | Mitsubishi Electric Corp | 映像表示システム |
JP2007094680A (ja) * | 2005-09-28 | 2007-04-12 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法等 |
JP2011076167A (ja) * | 2009-09-29 | 2011-04-14 | Casio Computer Co Ltd | 画像表示装置及び方法並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017154046A1 (ja) * | 2016-03-10 | 2017-09-14 | パナソニックIpマネジメント株式会社 | 表示装置 |
Also Published As
Publication number | Publication date |
---|---|
US20120194433A1 (en) | 2012-08-02 |
JP5762015B2 (ja) | 2015-08-12 |
US8878786B2 (en) | 2014-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9459820B2 (en) | Display processing apparatus, display processing method, and computer program product | |
JP7007348B2 (ja) | 画像処理装置 | |
Maimone et al. | General-purpose telepresence with head-worn optical see-through displays and projector-based lighting | |
US11189043B2 (en) | Image reconstruction for virtual 3D | |
US9865032B2 (en) | Focal length warping | |
JP5762015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN110738736B (zh) | 图像处理装置、图像处理方法和存储介质 | |
US20130120451A1 (en) | Image processing device, image processing method, and program | |
KR102049456B1 (ko) | 광 필드 영상을 생성하는 방법 및 장치 | |
JP2013003848A (ja) | 仮想物体表示装置 | |
US20160063765A1 (en) | Image processing apparatus and image processing method | |
KR20170013704A (ko) | 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 | |
JP6028527B2 (ja) | 表示処理装置、表示処理方法、及びプログラム | |
CN107077719B (zh) | 数码照片中基于深度图的透视校正 | |
CN111095348A (zh) | 基于摄像头的透明显示器 | |
US20220222842A1 (en) | Image reconstruction for virtual 3d | |
JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
US11636578B1 (en) | Partial image completion | |
JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20230056459A1 (en) | Image processing device, method of generating 3d model, learning method, and program | |
US11431955B1 (en) | Systems and methods for temporal anti-aliasing | |
JP2015045958A (ja) | 表示処理装置、表示処理方法、及びプログラム | |
KR20190056694A (ko) | 디지털 소묘 요소가 태깅된 2.5차원 오브젝트를 활용한 가상 전시 공간 제공 방법 | |
US20230177744A1 (en) | Augmented reality system and method for substrates, coated articles, insulating glass units, and/or the like | |
JP2021081940A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150609 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5762015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |