JP2023104315A - キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法 - Google Patents
キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法 Download PDFInfo
- Publication number
- JP2023104315A JP2023104315A JP2022005228A JP2022005228A JP2023104315A JP 2023104315 A JP2023104315 A JP 2023104315A JP 2022005228 A JP2022005228 A JP 2022005228A JP 2022005228 A JP2022005228 A JP 2022005228A JP 2023104315 A JP2023104315 A JP 2023104315A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- color conversion
- conversion matrix
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 136
- 239000011159 matrix material Substances 0.000 claims abstract description 125
- 230000007246 mechanism Effects 0.000 claims description 63
- 210000001747 pupil Anatomy 0.000 claims description 33
- 238000010586 diagram Methods 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 description 40
- 238000012545 processing Methods 0.000 description 28
- 239000003086 colorant Substances 0.000 description 20
- 210000001508 eye Anatomy 0.000 description 20
- 239000000203 mixture Substances 0.000 description 19
- 239000000654 additive Substances 0.000 description 13
- 230000000996 additive effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 235000019646 color tone Nutrition 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】高精細、広視野の画像を、違和感なく容易に視認させる。【解決手段】ヘッドマウントディスプレイ100は、表示画像のうち中心部の画像を表示する第1表示部132と、その外側の画像を表示する第2表示部134を備え、ハーフミラー96により合成して視認させる。キャリブレーション装置10は、ユーザの視点と同様の位置から色度計92により測定した、第1表示部132と第2表示部134の色度に基づき、共通した色域での色が視認されるような色変換マトリクスを算出し、表示部に対応づけて出力する。【選択図】図7
Description
本発明は、表示装置のキャリブレーション装置、キャリブレーションにより得られた情報を用いて画像を表示する表示装置、キャリブレーション方法、および画像表示方法に関する。
対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
映像体験の質を高めるには、広い視野の画像を高精細に表現することが求められる。ところが解像度や視野角を拡張するほど処理すべき画像のデータサイズが増大し、処理や転送に時間を要する結果、表示までの遅延が生じやすくなる。そこで、視野の中心から端に至るほど視力が低下する人の視覚特性を利用し、中心領域とその外側で画像の解像度に差を設け、視認上の画質を維持しつつ処理の無駄を軽減させる技術が提案されている(例えば特許文献1参照)。
ヘッドマウントディスプレイに限らず画像表示技術の分野において、広い視野で精細な画像を低遅延に表示できるようにすることは常に共通の課題である。例えば特許文献1の技術の場合、中心領域とそれ以外の領域で個別にディスプレイを設け、表示解像度に明確な差を与えることにより、処理リソースの適切な分配が容易になる。一方で、個別のディスプレイパネルに表された画像は、その色特性の微妙な差であっても、境界線が不自然に見えユーザに違和感を与えてしまう問題が生じ得る。
本発明はこうした課題に鑑みてなされたものであり、その目的は、高精細、広視野の画像を、違和感なく容易に視認させることのできる技術を提供することにある。
本発明のある態様はキャリブレーション装置に関する。このキャリブレーション装置は、表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うキャリブレーション装置であって、部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得する色度情報取得部と、色度の情報に基づき、複数の表示機構の色域に包含される共通色域を決定し、部分画像が共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、複数の表示機構のそれぞれに対し取得する色変換マトリクス取得部と、色変換マトリクスを前記表示機構と対応づけて出力する出力部と、を備えたことを特徴とする。
本発明の別の態様は表示装置に関する。この表示装置は、表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置であって、部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、表示機構と対応づけて記憶する色変換マトリクス記憶部と、表示先の表示機構に対応づけられた色変換マトリクスを用いて、部分画像のデータの画素値を変換する色変換部と、画素値が変換された部分画像のデータを、対応する表示機構に表示させる画像出力部と、を備えたことを特徴とする。
本発明のさらに別の態様はキャリブレーション方法に関する。このキャリブレーション方法は、表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うキャリブレーション装置が、部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得するステップと、色度の情報に基づき、複数の表示機構の色域に包含される共通色域を決定し、部分画像が共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、複数の表示機構のそれぞれに対し取得するステップと、色変換マトリクスを前記表示機構と対応づけて出力するステップと、を含むことを特徴とする。
本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置が、部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、表示機構と対応づけて記憶する記憶部から、表示先の表示機構に対応づけられた色変換マトリクスを読み出し、それを用いて、部分画像のデータの画素値を変換するステップと、画素値が変換された部分画像のデータを、対応する表示機構に表示させるステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によると、高精細、広視野の画像を、違和感なく容易に視認させることができる。
本実施の形態は、異なる表示機構で表示させた部分的な画像を組み合わせて1つの画像を視認させる表示システムに関する。このような例として、特許文献1に開示されるようなヘッドマウントディスプレイのほか、複数の平板型ディスプレイを並べて1つの大画面とする態様や、複数のプロジェクタを用いて大規模なプロジェクションマッピングを実現する態様などが挙げられる。このように本実施の形態を適用できる表示形式は限定されないが、以後は主にヘッドマウントディスプレイを例に説明する。
図1は、本実施の形態を適用できる画像の表示態様を例示している。この例で画像2は、動画像の1フレームを表す。中心画像4は、画像2のうち画像平面の中心を含む所定サイズの領域を表し、周辺画像6は、中心画像4の外側の領域を表す。本実施の形態では中心画像4と周辺画像6を異なる表示機構、例えば2つのディスプレイパネルに個別に表示する。
例えば中心画像4を表示するディスプレイパネルは、周辺画像6を表示するディスプレイパネルより高い解像度のものとする。両画像が組み合わされ画像2として視認されるようにディスプレイパネルを配置することにより、中心部分で高精細であるとともに広い視野の画像を見せることができる。
一般的な人の視覚特性として、瞳孔から注視点へ向かう視線を中心軸として5°以内に対応する領域は弁別視野と呼ばれ、視力などの視機能が優れている。また水平方向に約30°、垂直方向に約20°以内の領域は有効視野と呼ばれ、眼球運動だけで瞬時に情報を受容できる。さらに水平方向に60~90°、垂直方向に45~70°以内に対応する領域は安定注視野、水平方向に100~200°、垂直方向に85~130°以内に対応する領域は補助視野、というように、注視点から離れるほど情報の識別能力が低くなる。
ヘッドマウントディスプレイの場合、注視点は画像中央近傍に集まりやすい。したがって中心領域を優先して高精細に表すことにより、全領域を高精細に表すのと比較し視認上の画質を大きく損なうことなく、データ処理の負荷や必要なリソース量を軽減でき、低遅延で広い画角の画像を表示できることになる。またディスプレイパネルを分けることにより、それぞれの画像の表示に必要十分な性能の製品を選択でき、ヘッドマウントディスプレイ全体での製造コストを適正化できる。ただし本実施の形態における画像分割の規則や分割数、解像度の与え方はこれに限らない。
図2は、図1の態様において中心画像と周辺画像を組み合わせて視認させる仕組みの例を示す斜視図である。この例では、中心画像を表示する第1のディスプレイパネル160と、周辺画像を表示する第2のディスプレイパネル162とを、画面のなす角度が90°となるように配置したうえ、その中間に、それぞれと45°をなすようにハーフミラー164を配置した構成としている。ハーフミラー164は、入射光のうち所定割合の光を透過させ、残りの光を反射させる一般的なものでよい。
第1のディスプレイパネル160からの光の一部は、ハーフミラー164で反射され、接眼レンズ166を介してユーザの目168に入射する。第2のディスプレイパネル162からの光の一部は、ハーフミラー164を透過し、接眼レンズ166を介してユーザの目168に入射する。第1のディスプレイパネル160を適切に位置合わせすることにより、ユーザには両者が合成され1つの画像として視認される。
上述のとおり、この態様において画像を分割する主たる目的は、中心画像を周辺画像より高い解像度で表示(あるいはユーザに視認)させることにある。この限りにおいて第1のディスプレイパネル160と第2のディスプレイパネル162の表示方式は特に限定されないが、例えば前者を、小型で解像度の高いマイクロ有機ELディスプレイ(MOLED:Micro Organic Light Emitting Display)とすることが考えられる。また後者を、大型で比較的安価な液晶パネルや、アクティブマトリクス有機ELディスプレイ(AMOLED:Active Matrix Organic Light Emitting Display)とすることが考えられる。
このように解像度の異なるディスプレイパネルを組み合わせる場合、中心画像と周辺画像の境界において解像度が滑らかにつながるように、画像のデータ上で加工を施すことにより、境界線を目立たなくさせることができる。一方、2つの画像の境界に係る問題は、各ディスプレイパネルで表現される色味の差によっても生じ得る。
図3は、本実施の形態で利用できる、有機ELディスプレイの発光方式の差を説明するための図である。(a)、(b)の上段は、それぞれMOLED、AMOLEDの1画素分の素子の上面図、下段はその断面図を模式的に示している。(a)に示すMOLEDの場合、白色有機発光層74からの光を、赤(R)、緑(G)、青(B)の3原色のカラーフィルタ76を介すことにより、1画素70aを構成するRGBの発光を実現する。(b)に示すAMOLEDの場合、各原色での自発光層72からの光により、1画素70bの発光を実現する。
このような発光方式の違いにより、画像データ上の画素値が同じであっても、表現される色味に差が生じ得る。これにより、組み合わせた画像の境界が目立ち、1つの連続した像が境界を跨ぐときなどは特に、色味の差が境界線として視認されてしまう可能性がある。この問題は、発光方式が同じディスプレイパネルであっても、またプロジェクタやレーザ走査方式のディスプレイなどであっても、製造段階や経年変化の個体差によって起こり得る。そこで本実施の形態では、組み合わせて用いる複数の表示機構による表示画像の色味の差を軽減させ、違和感なく1つの画像として視認されるようにする。
色味を定量化するための指標の一つとしてxy色度図が知られている。図4は、本実施の形態の作用をxy色度図により説明するための図である。xy色度図は、表示装置に依存しないXYZ表色系における混色比のうち、(x,y)の2次元座標により色を表したデータである。つまり色度図において異なる座標は、視覚的に異なる色を表す。(a)、(b)に示したxy色度図のうち、馬蹄形の領域は人が認識できる色度の領域であり、その内部に表した複数の三角形の領域は、それぞれ異なるディスプレイパネルが表すことのできる色域である。
三角形の頂点(例えば頂点78)は、原色を表したときの色度を示し、三角形の重心付近が、白色を表したときの色度である白色点(例えば白色点80)である。(a)に示すように色域がずれたディスプレイパネルでは、混色により表現される全ての色で多少なりとも差が生じる。そこで本実施の形態では、ディスプレイパネルごとに求めた色変換マトリクスにより、画像のデータ上で色変換を行うことにより、(b)に示すように表示結果の色域を共通化する。具体的にはキャリブレーション段階において、まず、組み合わせて用いる複数のディスプレイパネルの全ての色域に含まれる、共通の色域を設定する。
そして、各ディスプレイパネルの本来の色域と共通色域との関係に基づき色変換マトリクスを算出し、各ディスプレイパネルに対応づけて記憶させておく。画像表示時は、画像のデータであるRGBの値を、ディスプレイパネルごとの色変換マトリクスによって変換したうえでパネル駆動の入力値とする。例えば第1ディスプレイパネルおよび第2ディスプレイパネルの赤色を、それぞれの色変換マトリクスにより共通色域の赤色に変換することにより、両者は同じ赤色を表現できることになる。
図5は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ100は、出力機構部102および装着機構部104で構成される。装着機構部104は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド106を含む。出力機構部102は、ヘッドマウントディスプレイ100をユーザが装着した状態において左右の目を覆うような形状の筐体108を含み、内部には画像を個別に表示できる複数の表示機構を備える。
筐体108内部にはさらに、表示された複数の画像を合成して見せる機構、および、視野角を拡大する接眼レンズを備える。左右の目のそれぞれに、視差を有するステレオ画像を表示することにより立体視を実現してもよい。筐体108内部にはさらに、表示された画像に対するユーザの注視点を検出する注視点検出器を備えてよい。
ヘッドマウントディスプレイ100はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ100は、筐体108の前面にステレオカメラ110を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。さらにヘッドマウントディスプレイ100は筐体108の内部あるいは外部に、加速度センサ、ジャイロセンサ、地磁気センサ、GPSなど、ヘッドマウントディスプレイ100の動き、姿勢、位置などを導出するための各種センサのいずれかを備えてよい。
図6は、ヘッドマウントディスプレイ100の内部回路構成を示している。ヘッドマウントディスプレイ100は、CPU(Central Processing Unit)120、GPU(Graphics Processing Unit)122、メインメモリ124を含む。これらの各部は、バス140を介して相互に接続されている。バス140にはさらに入出力インターフェース138が接続されている。入出力インターフェース138には、通信部126、モーションセンサ128、ステレオカメラ110、注視点検出器130、第1表示部132、第2表示部134、および音声出力部136が接続される。
CPU120は、メインメモリ124に格納されているオペレーティングシステムを実行することによりヘッドマウントディスプレイ100の全体を制御する。CPU120はまた、通信部126を介してダウンロードされた各種プログラムを実行したり、電子コンテンツを再生したりする。GPU122は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU120からの描画命令に従って表示画像を描画し、第1表示部132、第2表示部134に出力する。
メインメモリ124はRAM(Random Access Memory)により構成され、CPU120などの処理に必要なプログラムやデータを記憶する。通信部126は、有線又は無線LANやBluetooth(登録商標)などのネットワークインターフェースであり、外部の装置との通信を実現する。モーションセンサ128は加速度センサ、ジャイロセンサ、地磁気センサ、GPSなどのセンサの少なくともいずれかで構成され、ヘッドマウントディスプレイ100、ひいてはそれを装着しているユーザの頭部の位置、姿勢、動きを計測する。
ステレオカメラ110は図5で示したとおり、ユーザの視点に対応する視野で、周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ110が撮影した動画像を領域分割し、第1表示部132、第2表示部134に即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば、拡張現実を実現できる。またステレオカメラ110が撮影した画像を、Visual SLAM(Simultaneous Localization and Mapping)など公知の技術で解析することにより、ヘッドマウントディスプレイ100、ひいてはユーザの頭部の位置や姿勢を追跡できる。
撮影画像の解析結果とモーションセンサ128の計測結果を統合することにより、より高い精度でユーザ頭部の動きを取得してもよい。これにより、頭部の動きに応じた視野での表示画像を高精度に生成でき、映像世界への没入感を高められる。また、ユーザの頭部の動きを、コンテンツに対するユーザ操作として受け付け、それに応じて処理を分岐させることもできる。
注視点検出器130は、第1表示部132、第2表示部134により表される画像を見ているユーザの注視点の位置座標を所定のレートで検出する。注視点検出器130は例えば、眼球に赤外線を照射する機構と、その反射光を撮影するカメラで構成され、撮影画像から瞳孔の向きを特定することにより、画像上でユーザが注視しているポイントを追跡する。その他、注視点を検出する手段としては様々な技術が実用化されており、本実施の形態ではそのいずれを採用してもよい。
第1表示部132は、画像平面の中心を含む所定サイズの領域の画像、すなわち中心画像を表示する。第2表示部134は、中心画像の外側の領域の画像、すなわち周辺画像を表示する。なお第1表示部132、第2表示部134の表示手段は発光素子を備えたディスプレイパネルに限らず、後述するようにレーザ走査などを利用してもよい。また上述のとおり、本実施の形態において組み合わせる表示部の数、位置関係、解像度の大小関係は限定されない。
以後、組み合わせて用いるディスプレイパネルなどの表示機構のそれぞれを、単に「表示部」と呼ぶ場合がある。第1表示部132、第2表示部134はそれぞれ、GPU122が生成した中心画像と周辺画像を所定のレートで表示する。第1表示部132、第2表示部134が表示した画像は、図2で例示したような合成機構により合成され、1つの表示画像としてユーザに視認される。
上述のとおりヘッドマウントディスプレイ100は、左右の目に対しステレオ画像を表示することにより立体視を実現してもよい。この場合、ステレオ画像は、中心画像と周辺画像を合成した画像の対となる。つまり第1表示部132は中心画像の対を表示し、第2表示部134は周辺画像の対を表示する。音声出力部136は、ヘッドマウントディスプレイ100の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。
なお図示するヘッドマウントディスプレイ100の機能の一部は、ヘッドマウントディスプレイ100と通信を確立した外部の装置に設けてもよい。例えば、表示すべき画像の内容や適切な視野を決定する処理、それに応じて中心画像と周辺画像のデータを生成したり、表示部ごとに色変換を行ったりする処理、などの少なくとも一部は、外部の画像生成装置やネットワークを介して接続した画像提供サーバが行ってもよい。
図7は、本実施の形態において色変換マトリクスを取得するキャリブレーションシステムの構成を示している。キャリブレーションシステム90は、色度計92およびキャリブレーション装置10を備える。色度計92は、キャリブレーション対象のヘッドマウントディスプレイ100に表示された画像を、運用時のユーザの視点と同一と見なせる所定範囲内の位置から観測し、色度を測定する。
図示する例でヘッドマウントディスプレイ100は、図2で示したのと同様の構造を有するとしている。したがって色度計92は、第1表示部132からハーフミラー96を反射し接眼レンズ94を透過した光の色度を測定する。色度計92はまた、第2表示部134からハーフミラー96および接眼レンズ94を透過した光の色度を測定する。このためキャリブレーションシステム90は、ヘッドマウントディスプレイ100の適切な位置に色度計92を固定する治具を含んでよい。
キャリブレーション装置10は、第1表示部132、第2表示部134のそれぞれに、3原色および白色の単色塗りつぶし画像を順次表示させたうえ、各状態で色度が測定されるように色度計92を制御する。キャリブレーション装置10はまた、測定された色度に基づき、第1表示部132、第2表示部134のそれぞれについて色変換マトリクスを算出する。当該色変換マトリクスは、第1表示部132、第2表示部134の識別情報と対応づけて出力される。
このデータを、ヘッドマウントディスプレイ100の図示しない不揮発性メモリなどに格納しておくことにより、運用時に読み出され、画素値の変換に用いられるようにする。キャリブレーションシステム90によるキャリブレーションは、ヘッドマウントディスプレイ100の製造時や出荷前などに実施する。あるいは色度計92の機能を有するカメラをヘッドマウントディスプレイ100に設け、ユーザが個別の環境でキャリブレーションを行えるようにしてもよい。これにより、経年変化により生じた表示部間の色味の差を、個々の使用状況に応じて是正できる。
図8はキャリブレーション装置10の内部回路構成を示している。キャリブレーション装置10は、CPU(Central Processing Unit)22、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、USBやIEEE1394などの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなる通信部32が接続される。
キャリブレーション装置10は通信部32を介してヘッドマウントディスプレイ100と通信を確立し、色度測定のための表示制御信号を送信する。入出力インターフェース28にはまた、ハードディスクドライブや不揮発性メモリなどの記憶部34、モニタなど外部の装置へデータを出力する出力部36、色度計92や図示しない入力装置からデータを入力する入力部38、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。
CPU22は、記憶部34に記憶されているオペレーティングシステムを実行することにより、キャリブレーション装置10の全体を制御する。CPU22はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた、あるいは通信部32を介してダウンロードされた各種プログラムを実行する。GPU24は、CPU22からの描画命令に従って、必要に応じて情報表示のための画像描画処理を行い出力部36に出力する。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図9は、本実施の形態におけるキャリブレーション装置10の機能ブロックの構成を示している。キャリブレーション装置10は、色度測定時の表示を制御する表示制御部12、各表示部の色度に係る情報を取得する色度情報取得部14、表示部ごとに色変換マトリクスを取得する色変換マトリクス取得部16、および色変換マトリクスのデータを出力する出力部18を備える。
同図および後述する図14に示す各機能ブロックは、ハードウェア的には、図6、8で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像処理機能、表示機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
表示制御部12は、ヘッドマウントディスプレイ100の各表示部に表示させる色とタイミングを制御することで、色域を得るための色度の測定に必要な状態を作り出す。具体的には表示制御部12は、xy色度図において色域の頂点となる赤、緑、青と、白色点となる白色の塗り潰し画像を、表示部ごとに順次表示させる。色度情報取得部14は、8通りの状態のそれぞれにおいて色度を測定するよう色度計92を制御したうえ、測定結果を順次取得する。
色度情報取得部14はまた、色度の測定結果に基づき、RGB値を、それを入力値としたときの表示結果であるXYZ値に変換する変換行列を、表示部ごとに算出する。以後、この変換行列を「加法混色マトリクス」と呼ぶ。色変換マトリクス取得部16は、全ての表示部の色域に基づき共通色域を決定したうえ、画像データのRGBが、表示の結果、共通色域での色となるようなRGBの変換行列を、表示部ごとに算出する。この変換行列がこれまで述べた「色変換マトリクス」である。
出力部18は、取得された色変換マトリクスを表示部の識別情報に対応づけて出力する。出力先はヘッドマウントディスプレイ100でもよいし、記録媒体駆動部40を介した記録媒体や、ヘッドマウントディスプレイ100と直接接続された画像生成装置、あるいはネットワークを介して接続した管理サーバなどでもよい。いずれにしろ運用時には、使用するヘッドマウントディスプレイ100に対応する色変換マトリクスが読み出され、画像データの画素値が変換されたうえで各表示部に表示されるようにする。
図10は、キャリブレーション装置10がヘッドマウントディスプレイ100の表示部に対応する色変換マトリクスを取得する処理手順を示すフローチャートである。このフローチャートは、キャリブレーションの実行者がヘッドマウントディスプレイ100と色度計92を固定し、図示しない入力装置によりキャリブレーションの開始操作を行うことにより開始される。
まずキャリブレーション装置10の色度情報取得部14は、ヘッドマウントディスプレイ100が備える表示部のうち、色度情報の取得対象とする表示部を1つ設定する(S10)。そして色度情報取得部14は表示制御部12との協働により、3原色および白色の色度を取得する(S12)。表示部への入力をNビットとすると、表示制御部12は、全ての画素値が赤(2N-1,0,0)の画像、緑(0,2N-1,0)の画像、青(0,0,2N-1)の画像、および白(2N-1,2N-1,2N-1)の画像を、対象の表示部に順番に表示させる。
色度情報取得部14は各画像が表示された状態で色度を測定するように色度計92を制御し、その測定結果を取得する。そして色度情報取得部14は、色度の測定結果に基づき加法混色マトリクスを算出する(S14)。加法混色において(R,G,B)の表色系のデータをXYZ表色系でのデータ(Xmix,Ymix,Zmix)に変換する加法混色マトリクスは3行3列の行列Mであり、次のように表される。
赤、緑、青の画像を表示させたときの各色度の混合比(xr,yr,zr)、(xg,yg,zg)、(xb,yb,zb)を導入すると、各色に対する係数mr、mg、mbを用い、上式は次のように表現できる。
白色の画像を表示させたときの色度とRGBの比率(1,1,1)の関係を踏まえると、係数(mr,mg,mb)は次のように表せる。
ここで(xw,yw,zw)は白色表示時の色度の混合比である。上式に、S12で取得した色度の混合比を反映させると、係数(mr,mg,mb)が求められる。この値を代入することにより、表示部固有の加法混色マトリクスが求められ、それを用いた変換式は次のようになる。
ここでnは表示部の識別番号、(Rxn,Ryn,Rzn)、(Gxn,Gyn,Gzn)、(Bxn,Byn,Bzn)は、n番目の表示部により、それぞれ赤、緑、青の単色の画像を表示させたときの色度である。このうちxとyの成分(Rxn,Ryn)、(Gxn,Gyn)、(Bxn,Byn)は、xy色度図において各表示部の色域を表す三角形の頂点に対応する。以後の説明においてはそれぞれを、赤の頂点、緑の頂点、青の頂点と呼ぶ場合がある。
最初の表示部について加法混色マトリクスを算出したら、色度情報取得部14は、次の表示部を色度情報の取得対象として設定し(S10)、S12、S14の処理を繰り返す(S16のN)。ヘッドマウントディスプレイ100が備える全ての表示部に対し加法混色マトリクスを取得できたらループ処理を抜ける(S16のY)。一方、色変換マトリクス取得部16は、共通色域における白色点の目標値を取得する(S18)。当該目標値はあらかじめ、図示しないレジスタなどに設定しておいたものを読み出してもよいし、キャリブレーションの実行者がその場で入力してもよい。例えば、標準光源であるD65の場合、目標値は(0.31271, 0.32902, 0.35827)である。
次に色変換マトリクス取得部16は、S12で得られた、各表示部の色度の情報に基づき、表示の目標とする共通色域を求める(S20)。すなわち色変換マトリクス取得部16は、全ての表示部が表示可能な色域を、xy色度図上の三角形として決定する。具体的な演算手法は後述する。次に色変換マトリクス取得部16は、共通色域の加法混色マトリクスを算出する(S22)。演算手法はS14と同様でよいが、この場合の原色の色度は、S20で決定した三角形の頂点とする。
そして色変換マトリクス取得部16は、S14で求めた各表示部の加法混色マトリクスと、S22で求めた共通色域の加法混色マトリクスを用いて、色変換マトリクスを表示部ごとに算出したうえ出力する(S24)。n番目の表示部の加法混色マトリクスをAn、共通色域の加法混色マトリクスをAcomとすると、n番目の表示部の色変換マトリクスCMAT_Anは次のように求められる。
さらに色変換マトリクス取得部16は、色変換後の画素値(R,G,B)が最大階調を超えないように、色変換マトリクスCMAT_Anに乗算すべき正規化係数を算出する。具体的には、色変換マトリクス取得部16は、各表示部の色変換マトリクスCMAT_Anにおける各行の要素の和を算出する。表示部が2つの場合、合計6つの和が算出される。色変換マトリクス取得部16は、そのうちの最大値を選択し、その逆数を正規化係数として、上式の色変換マトリクスCMAT_Anの各要素に乗算する。色変換マトリクス取得部16はその結果を、最終的な色変換マトリクスとし、表示部の識別情報と対応づけて出力する。
図11は、図10のS20において、色変換マトリクス取得部16が共通色域を決定する手法の例を説明するための図である。同図は、xy色度図における、各表示部の色域150a、150bと、それに基づき求められる共通色域152を例示している。この図はヘッドマウントディスプレイ100が備える第1表示部132、第2表示部134を想定し、2つの色域150a、150bを示しているが、当然、組み合わせる表示部の数によって、共通色域152が依拠する色域の数は変化する。
赤、緑、青の単色を表示させた際の色度である三角形の頂点の座標は、色域150aではそれぞれ(Rx1,Ry1)、(Gx1,yn1)、(Bx1,By1)であり、色域150bではそれぞれ(Rx2,Ry2)、(Gx2,yn2)、(Bx2,By2)である。色変換マトリクス取得部16は共通色域152として、色域150a、150bに包含される色域を決定する。好適にはできる限り大きな領域とすることにより、豊かな画像表現を実現する。
この限りにおいて共通色域の導出手法は限定されないが、一例として色変換マトリクス取得部16は、色域150a、150bを表す三角形の辺の交点のうち最も内側にあり、かつ頂点に近い点、あるいは頂点そのものを、共通色域の三角形の頂点(Rxc,Ryc)、(Gxc,Gyc)、(Bxc,Byc)として決定する。このため色変換マトリクス取得部16はまず、各表示部の色域150a、150bを表す三角形の辺を次のように数式化する。
ここでyRGn、yGBn、yBRnは、n番目の表示部の色域を表す三角形の辺のうち、それぞれ赤の頂点と緑の頂点間、緑の頂点と青の頂点間、青の頂点と赤の頂点間の辺を含む直線のy成分であり、x成分の関数として表されている。また上式では、当該直線の傾きをaRGn、aGBn、aBRn、y切片をbRGn、bGBn、bBRnと置き換えている。
次に色変換マトリクス取得部16は、色域150a、150bを表す2つの三角形の辺の交点のうち、赤、緑、青の頂点の最近傍に形成される可能性のある交点の座標を求める。例えば赤の頂点の最近傍に形成される交点は、色域150aの赤の頂点(Rx1,Ry1)を挟む2辺と、色域150bの赤の頂点(Rx2,Ry2)を挟む2辺のうち、対向する辺同士で形成される可能性がある。したがって色変換マトリクス取得部16は、赤の頂点について、次のようにして2つの三角形の辺の交点の座標を導出する。
ここで(x1,y1)は、色域150aを表す三角形のうち赤の頂点と緑の頂点を通る直線と、色域150bを表す三角形のうち赤の頂点と青の頂点を通る直線との間で形成される交点の座標である。(x2,y2)は、色域150aを表す三角形のうち赤の頂点と青の頂点を通る直線と、色域150bを表す三角形のうち赤の頂点と緑の頂点を通る直線との間で形成される交点の座標である。さらに色変換マトリクス取得部16は、交点の座標(x1,y1)、(x2,y2)と、白色点の目標値(wx,wy)との距離d1、d2を次のように導出する。
なお図では距離d1を例示している。色変換マトリクス取得部16は、同様の演算により、色域150aの赤の頂点(Rx1,Ry1)と白色点の目標値との距離d3、色域150bの赤の頂点(Rx2,Ry2)と白色点の目標値との距離d4を求める。そして色変換マトリクス取得部16は、d1、d2、d3、d4を比較し、白色点の目標値に最も近い交点または頂点を、共通色域の赤の頂点(Rxc,Ryc)として決定する。図の例では、色域150aの赤の頂点と緑の頂点を通る直線と、色域150bの赤の頂点と青の頂点を通る直線との交点154aが白色点の目標値に最も近いため、それを共通色域の赤の頂点(Rxc,Ryc)としている。
色変換マトリクス取得部16は、緑および青の頂点に関しても同様の計算を行う。図の例では、色域150aの緑の頂点と青の頂点を通る直線と、色域150bの緑の頂点と赤の頂点を通る直線との交点154bが白色点の目標値に最も近いため、それを共通色域の緑の頂点(Gxc,Gyc)としている。また青の頂点の場合、色域150a自体の青の頂点154cが白色点の目標値に最も近いため、それを共通色域の青の頂点(Bxc,Byc)としている。
図12は、色変換マトリクスを利用できる表示部の構造例を示している。同図は図2と同様の構造を、垂直方向の断面図で模式的に示しており、例えばヘッドマウントディスプレイ100の内部構造とすることができる。後述する図16~19も同様である。この図の場合、第1表示部132として中心画像用のディスプレイパネル230を設け、第2表示部134として周辺画像用のディスプレイパネル234を設ける。各ディスプレイパネル230、234は、それぞれ中心画像、周辺画像の元のデータを、各自に対応づけられた色変換マトリクスにより変換したうえで表示する。
中心画像用のディスプレイパネル230からの光は、ハーフミラー236、接眼レンズ238を介してユーザの目224に到達する。周辺画像用のディスプレイパネル234からの光は、ハーフミラー236で反射し、接眼レンズ238を介してユーザの目224に到達する。このようにハーフミラー236を介して2つの画像を合成し視認させる場合、ハーフミラー236の透過率や反射率の入射角依存性の影響を受け、ユーザの目224の瞳孔の位置によって視認される色味が変化してしまい、結局は画像の境界が認識されてしまう可能性がある。
そこでキャリブレーション装置10は、瞳孔の位置などの状態変化に対応するように、複数の色変換マトリクスを取得しておいてもよい。この場合、ヘッドマウントディスプレイ100は例えば、注視点検出器130の眼球撮影用カメラ240が撮影した画像に基づき瞳孔の位置を追跡し、対応する色変換マトリクスを選択して用いてもよい。これにより、光学系を介して鑑賞する形式の表示装置であっても、瞳孔の動きによらず2つの画像の色を正しく合わせ続けることがでる。
図13は、瞳孔の状態に応じて色変換マトリクスを切り替える態様において設定される、色変換マトリクスのデータ構造を例示している。これまで述べたように色変換マトリクスは、第1表示部132、第2表示部134のそれぞれに対して設定される。ここで第1表示部132、第2表示部134は、図12においては中心画像用のディスプレイパネル230、周辺画像用のディスプレイパネル234にそれぞれ対応する。さらにこの態様では、「瞳孔の状態」として「第1状態」、「第2状態」、「第3状態」、・・・に対し、各表示部の色変換マトリクスを設定する。
画像表示時、例えば第1表示部132は、瞳孔が「第1状態」であれば「CMAT_A1(1)」の色変換マトリクスを用いて画素値を変換したうえで中心画像を表示する。瞳孔が「第1状態」から「第2状態」へ遷移したら、第1表示部132は、色変換マトリクスを「CMAT_A1(1)」から「「CMAT_A1(2)」へ切り替えて画素値を変換する。なお図示する「CMAT_A1(1)」などは、色変換マトリクスの識別情報であり、実体は3行3列の行列のデータを別途格納しておく。
「瞳孔の状態」とは例えば、目全体を領域分割したときに、瞳孔中心がどの領域に属するかを表した情報である。ただし第1表示部132、第2表示部134に表示させた画像の色の見え方に変化を与え得るパラメータであればその内容は限定されず、画面に対する注視点の範囲などでもよい。この態様を実現する場合、キャリブレーションシステム90において色度計92は、設定すべき瞳孔の状態に対応する複数の位置・姿勢で色度を測定する。
キャリブレーション装置10は図10のS12において、色度計92をそのように制御したうえで、原色や白色の色度を表示部ごとに測定させる。これにより図10のS14において、各表示部の加法混色マトリクスが、設定すべき瞳孔の状態の数だけ得られるため、以後の処理は、瞳孔の状態ごとに同様に行う。結果として図13に示すデータ構造で、色変換マトリクスが取得される。
図14は、本実施の形態におけるヘッドマウントディスプレイ100の機能ブロックの構成を示している。ヘッドマウントディスプレイ100は、表示対象の画像のデータを取得する画像データ取得部50、第1画像を生成する第1画像生成部52、第2画像を生成する第2画像生成部54、第1画像の画素値を変換する第1色変換部56、第2画像の画素値を変換する第2色変換部58、変換後の第1画像を出力する第1画像出力部60、変換後の第2画像を出力する第2画像出力部62を備える。
図1で示したように、1つの画像を中心画像と周辺画像に分割する場合、「第1画像」は中心画像、「第2画像」は周辺画像である。ヘッドマウントディスプレイ100はさらに、色変換マトリクスを格納する色変換マトリクス記憶部66、表示された画像を見ているユーザの瞳孔の状態を取得する瞳孔状態取得部68、および、第1画像と第2画像を合成した状態でユーザの目に到達させる画像合成部64を備える。
画像データ取得部50は、表示すべき動画像または静止画像の生成に必要なデータを取得する。ここで画像が表す内容は特に限定されず、ゲーム画像、映画、ライブ映像、録画映像、アニメーション、写真、環境映像、ウェブサイト、文書、デジタルサイネージなどのいずれでもよい。またステレオカメラ110が撮影した画像や、それに加工を施したり仮想オブジェクトを描画したりした画像であってもよい。このような画像の内容によって、画像データ取得部50によるデータの取得先は様々でよい。
例えば画像データ取得部50は、外部の画像生成装置やサーバがストリーム転送する動画像のデータを取得してもよいし、内部の記憶装置に格納されたデータを用いて画像を描画したり再生したりしてもよい。第1画像生成部52は図6で示したGPU122を含み、画像データ取得部50から必要なデータを取得して第1画像を生成する。第2画像生成部54もGPU122を含み、画像データ取得部50から必要なデータを取得して第2画像を生成する。
第1色変換部56は、色変換マトリクス記憶部66から表示先の表示部(例えば第1表示部132)に対応づけられた色変換マトリクスを読み出し、第1画像の画素値を変換する。第2色変換部58は、色変換マトリクス記憶部66から表示先の表示部(例えば第2表示部134)に対応づけられた色変換マトリクスを読み出し、第2画像の画素値を変換する。このため色変換マトリクス記憶部66にはあらかじめ、キャリブレーション装置10により取得された色変換マトリクスのデータを格納しておく。
瞳孔状態取得部68は、図6で示した注視点検出器130のカメラを含み、表示画像を見ているユーザの瞳孔の状態を所定のレートで取得する。なお本実施の形態において表示画像とは、ユーザの視界に入る画像であればよく、レーザ光の投影も「表示」としている。上述したように、第1色変換部56、および第2色変換部58は、瞳孔の状態に応じて色変換マトリクスを切り替えて利用する。ただし本実施の形態をそれに限る主旨ではなく、瞳孔の状態に関わらず色変換マトリクスを表示部ごとに固定としてもよい。この場合、瞳孔状態取得部68の機能は省略できる。
第1画像出力部60は、図6で示した第1表示部132を含み、画素値が変換された第1画像を表示する。第2画像出力部62は、図6で示した第2表示部134を含み、画素値が変換された第2画像を表示する。中心領域を除いた周辺画像を第2画像としてディスプレイパネルに表示させる場合、当該中心領域は発光させなくてよい。画像合成部64は、表示された第1画像と第2画像が1つの画像として目に到達するように合成する光学系である。
すなわち画像合成部64は、第1画像と第2画像をずれなく合成して見せるハードウェア構造であり、その一例が図2、図12で示した、ハーフミラーを含む構造である。ただし画像合成部64は、第1表示部132と第2表示部134の位置関係や、注視点検出器130に求められる配置などに応じて様々な形態をとり得る。具体例は後述する。
図15は、本実施の形態においてヘッドマウントディスプレイ100が画像を表示する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ100を装着し、図示しない入力装置などを介して表示対象のコンテンツを選択することにより開始される。これに応じて画像データ取得部50は、当該コンテンツの画像データ取得を開始する。なおヘッドマウントディスプレイ100は、内部でゲームなどの情報処理を行ったり、外部の装置と通信を確立し画像データを要求したりしてよいが、図では特に画像の表示処理について示している。
まずヘッドマウントディスプレイ100は、コンテンツの初期画像を表示する(S30)。当該初期画像も、第1画像出力部60が表示した第1画像と第2画像出力部62が表示した第2画像を合成した画像でよい。瞳孔の状態によって色変換マトリクスを切り替える態様においては瞳孔状態取得部68が、ユーザの目の撮影画像に基づき瞳孔の位置など所定の状態情報を取得する(S32)。そして第1色変換部56、および第2色変換部58は、当該瞳孔の状態に対応し、かつ表示先の表示部に対応する色変換マトリクス(それぞれ第1変換マトリクス、第2変換マトリクス)を、色変換マトリクス記憶部66から読み出しておく(S34、S36)。
一方、第1画像生成部52は第1画像を生成し(S38)、それと並行して第2画像生成部54は第2画像を生成する(S40)。続いて第1色変換部56は、S34で取得した第1色変換マトリクスにより第1画像の画素値を変換し(S42)、それと並行して第2色変換部58は、S36で取得した第2色変換マトリクスにより第2画像の画素値を変換する(S44)。そして第1画像出力部60および第2画像出力部62は、変換後の第1画像および第2画像をそれぞれ表示させる(S46、S48)。
第1画像、第2画像は、画像合成部64により合成されユーザの目に到達する。コンテンツの表示を終了させるユーザ操作がなされるなど、表示を終了する必要が生じない期間は、S32からS48の処理を繰り返す(S50のN)。表示を終了する必要が生じたら全処理を終了させる(S50のY)。
次に、第1画像、第2画像として中心画像、周辺画像を合成して視認させる構造の変形例について説明する。図16は、自由曲面の光学系を導入した場合の画像合成部64の構造例を示している。この構成では、第1表示部132である中心画像用のディスプレイパネル250と、第2表示部134である周辺画像用のディスプレイパネル252を、略同一平面に配置したうえ、中心画像用光学系254および周辺画像用光学系256によりそれぞれの像を適切な方向に誘導することにより画像合成を実現する。
自由曲面の光学系をヘッドマウントディスプレイに導入し、複数のディスプレイに表示した画像を反射や屈折により適切な位置に誘導して1つの画像として視認させる手法は、例えば国際公開第2019/147946号などに開示される。この構成によれば、異なる方向から2種類の画像を投影するのと比較し、ヘッドマウントディスプレイ100を小型化できる。また比較的自由に光路を設計できるため、眼球撮影用カメラ240の配置の自由度を高められる。
例えば図示するように、中心画像用のディスプレイパネル250と周辺画像用のディスプレイパネル252、およびそれぞれの光学系254、256を、目224の正面を避けて配置することにより、眼球撮影用光学系258と眼球撮影用カメラ240を目224の正面に配置することができる。これにより瞳孔の状態や注視点の検出が容易になる。なお中心画像用光学系254および周辺画像用光学系256の設計によって、中心画像用のディスプレイパネル250および周辺画像用のディスプレイパネル252の位置や姿勢は様々であってよい。
図17は、レーザ走査方式を導入した場合の画像合成部64の構造例を示している。この構成では、第1表示部132として、レーザ光源220、ミラー222、中心画像用スクリーン232を設ける。中心画像用スクリーン232は、入射光を拡散透過させる部材で形成する。一方、第2表示部134として、周辺画像用のディスプレイパネル234を設ける。
画素に対応するレーザ光を、偏向用のミラー222を用いて2次元走査させることにより、外部のスクリーンなどに画像を投影する小型のプロジェクタが実用化されている(例えば特開2017-83657号公報参照)。図示する第1表示部132も原理は同様でよく、レーザ光源220から画素値に対応する赤、青、緑の成分を含むレーザ光を出力し、2軸周りで揺動するミラー222で反射させることにより、中心画像用スクリーン232でレーザ光が2次元走査されるようにする。これにより、各時刻で出力したレーザ光を画素とする画像が形成される。
ミラー222として、例えばMEMS(Micro Electro Mechanical Systems)ミラーを導入する。MEMSミラーは、電磁駆動により2軸周りの角度変化を精度よく制御できる、小型かつ低消費電力の装置である。ただしミラーの駆動方式は特に限定されない。その他の構成は図12に示したものと同様である。すなわち中心画像用スクリーン232と周辺画像用のディスプレイパネル234のなす角度を90°とし、その中間に、それぞれと45°をなすように配置したハーフミラー236により、中心画像と周辺画像を合成する。
なお第1表示部132と第2表示部134の位置関係を逆とし、ミラー222からのレーザ光をハーフミラー236で反射させ、周辺画像用のディスプレイパネル234からの光を透過させて目224に到達させてもよい。また周辺画像用のディスプレイパネル234の代わりに、中心画像と同様のレーザ走査方式により周辺画像を表示してもよい。
図18は、レーザ走査方式を導入した場合の画像合成部64の構造の別の例を示している。この構成は、レーザ光を拡散透過させる中心画像用スクリーン242を、周辺画像用のディスプレイパネル244と一体的に設け、ハーフミラーを設けない点が図17と異なる。ディスプレイパネルのうち画像を表示していない領域(非表示領域)においては、背景からの光を透過可能な光透過型ディスプレイが知られている(例えば国際公開第2014/010585号参照)。本実施の形態ではこれを応用し、光透過型ディスプレイの基材を半透明の素材としたものを周辺画像用のディスプレイパネル244とする。
これにより、周辺画像用のディスプレイパネル244において周辺画像を表示していない領域を、ミラー222で反射したレーザ光を拡散透過させる中心画像用スクリーン242として利用できる。なおこの場合、第1画像出力部60および第2画像出力部62の一部が画像合成部64を兼ねることになる。このような構成とすることで、異なる方向から2種類の画像を投影するのと比較し、光学系をシンプルにできる。
図19は、レーザ走査方式を導入した場合の画像合成部64の構造のさらに別の例を示している。この構成は、中心画像用スクリーンを設けず、レーザ光からなる画像をユーザの網膜に直接投影させる点が図17と異なる。マックスウェル視の原理により、レーザ光をユーザの瞳孔に収束させ、網膜に画像を投影する技術は、主にウェアラブルディスプレイへの適用が進められている(例えば国際公開第2009/066465号参照)。図示する第1表示部132も原理は同様でよく、レーザ光が瞳孔で収束され網膜に結像したとき本来の像が視認されるようにミラー222の動作等を制御する。
ただし本実施の形態では、ハーフミラー236を介して中心画像を投影することにより、周辺画像用のディスプレイパネル234で表示されハーフミラー236で反射される周辺画像と合成して視認させる。なおこの場合、中心画像用スクリーンを設けないことにより、眼球撮影用カメラ240の配置の自由度が高くなる。例えば図示するように、ハーフミラー236を介して眼球を正面近傍から撮影することも可能になる。
図16~19に示したように、個別に表示した複数の画像を合成して見せる手法は様々に考えられる。いずれにしろキャリブレーション装置10は、ユーザの目224と対応する位置から測定された色度の情報を用い、色変換マトリクスを算出する。これにより、どのような構造であっても同様に、複数の画像の見た目での色を合わせることができる。
以上述べた本実施の形態によれば、表示装置に複数の表示機構を設け、1つの画像を複数の領域に分割してなる部分画像を個別に表示させたうえで合成して視認させる。この際、表示装置は、表示機構固有の色変換マトリクスにより画素値を変換して表示する。そのためキャリブレーション装置は、xy色度図における色域を全ての表示機構について取得し、それらに包含される共通色域での色が視認されるように色変換マトリクスを算出する。
これにより、部分画像の見た目の色味を統一でき、境界線が目立つなど個別の表示であることに起因する違和感を抑えられる。特にヘッドマウントディスプレイの場合、表示画像に近接した視点から、接眼レンズにより拡大された画像を鑑賞するため、色味の微小な調整であっても、画質の印象への寄与が顕著になる。
例えば、ヘッドマウントディスプレイにおいて、高解像度での表示が可能な表示機構で中心部の画像を表示し、広い画角での表示が可能な表示機構で周辺部分の画像を表示させる。色変換マトリクスにより色味が統一されていることにより、ユーザは違和感なく、視覚機能の優れている中心窩で高精細な画像を見つつ、広い画角の画像で臨場感を得ることができる。結果として、ユーザが感じる画像の質を維持しながら、処理や伝送の負荷を軽減させ、低遅延での画像表示を実現できる。
またヘッドマウントディスプレイによらず、複数の表示機構を配列させて大画面を形成する場合も、表示機構の数や形式によらず色味を統一できるため、容易な拡張が可能である。さらに表示機構を分けても違和感のない合成画像を視認させることができるため、部分画像の位置によって表示機構の性能を最適化したり、部分的に表示形式を異ならせたりすることも可能になり、画質とコストの両面で、ニーズに合った表示システムを臨機応変に構築できる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10 キャリブレーション装置、 12 表示制御部、 14 色度情報取得部、 16 色変換マトリクス取得部、 18 出力部、 22 CPU、 24 GPU、 26 メインメモリ、 50 画像データ取得部、 52 第1画像生成部、 54 第2画像生成部、 56 第1色変換部、 58 第2色変換部、 60 第1画像出力部、 62 第2画像出力部、 64 画像合成部、 66 色変換マトリクス記憶部、 68 瞳孔状態取得部、 90 キャリブレーションシステム、 92 色度計、 100 ヘッドマウントディスプレイ、 110 ステレオカメラ、 120 CPU、 122 GPU、 124 メインメモリ、 130 注視点検出器、 132 第1表示部、 134 第2表示部。
Claims (12)
- 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うキャリブレーション装置であって、
前記部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得する色度情報取得部と、
前記色度の情報に基づき、前記複数の表示機構の色域に包含される共通色域を決定し、前記部分画像が前記共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、前記複数の表示機構のそれぞれに対し取得する色変換マトリクス取得部と、
前記色変換マトリクスを前記表示機構と対応づけて出力する出力部と、
を備えたことを特徴とするキャリブレーション装置。 - 前記色度情報取得部は、前記表示画像を見るユーザの視点に対応する位置で測定された色度の情報を取得することを特徴とする請求項1に記載のキャリブレーション装置。
- 前記色度情報取得部は、複数の前記視点に対応する位置で測定された色度の情報を取得し、
前記色変換マトリクス取得部は、前記表示機構ごとに、前記視点によって異なる前記色変換マトリクスを取得することを特徴とする請求項2に記載のキャリブレーション装置。 - 前記色度情報取得部は、前記表示装置であるヘッドマウントディスプレイを装着した際のユーザの視点に対応する位置に固定された色度計により、当該ヘッドマウントディスプレイが備える前記複数の表示機構に対し測定された色度の情報を取得することを特徴とする請求項1から3のいずれかに記載のキャリブレーション装置。
- 前記色度情報取得部は、前記部分画像を合成するための光学系を透過または反射してなる光を測定して得られた色度の情報を取得することを特徴とする請求項1から4のいずれかに記載のキャリブレーション装置。
- 前記色変換マトリクス取得部は、xy色度図において前記複数の表示機構の色域を表す複数の三角形の頂点および、当該頂点を通る直線の交点のうち、白色点の目標値との距離が最小の点を、前記共通色域を表す三角形の頂点として選択することを特徴とする請求項1から5のいずれかに記載のキャリブレーション装置。
- 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置であって、
前記部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、前記表示機構と対応づけて記憶する色変換マトリクス記憶部と、
表示先の前記表示機構に対応づけられた前記色変換マトリクスを用いて、前記部分画像のデータの画素値を変換する色変換部と、
画素値が変換された前記部分画像のデータを、対応する前記表示機構に表示させる画像出力部と、
を備えたことを特徴とする表示装置。 - 表示された画像を見ているユーザの瞳孔の状態を、撮影画像に基づき取得する瞳孔状態取得部をさらに備え、
前記色変換部は、前記瞳孔の状態の変化に応じて、前記色変換マトリクスを切り替えて用いることを特徴とする請求項7に記載の表示装置。 - 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うキャリブレーション装置が、
前記部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得するステップと、
前記色度の情報に基づき、前記複数の表示機構の色域に包含される共通色域を決定し、前記部分画像が前記共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、前記複数の表示機構のそれぞれに対し取得するステップと、
前記色変換マトリクスを前記表示機構と対応づけて出力するステップと、
を含むことを特徴とするキャリブレーション方法。 - 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置が、
前記部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、前記表示機構と対応づけて記憶する記憶部から、表示先の前記表示機構に対応づけられた前記色変換マトリクスを読み出し、それを用いて、前記部分画像のデータの画素値を変換するステップと、
画素値が変換された前記部分画像のデータを、対応する前記表示機構に表示させるステップと、
を含むことを特徴とする画像表示方法。 - 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うコンピュータに、
前記部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得する機能と、
前記色度の情報に基づき、前記複数の表示機構の色域に包含される共通色域を決定し、前記部分画像が前記共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、前記複数の表示機構のそれぞれに対し取得する機能と、
前記色変換マトリクスを前記表示機構と対応づけて出力する機能と、
を実現させることを特徴とするコンピュータプログラム。 - 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置が備えるコンピュータに、
前記部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、前記表示機構と対応づけて記憶する記憶部から、表示先の前記表示機構に対応づけられた前記色変換マトリクスを読み出し、それを用いて、前記部分画像のデータの画素値を変換する機能と、
画素値が変換された前記部分画像のデータを、対応する前記表示機構に表示させる機能と、
を実現させることを特徴とするコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022005228A JP2023104315A (ja) | 2022-01-17 | 2022-01-17 | キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法 |
PCT/JP2022/047173 WO2023136072A1 (ja) | 2022-01-17 | 2022-12-21 | キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022005228A JP2023104315A (ja) | 2022-01-17 | 2022-01-17 | キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023104315A true JP2023104315A (ja) | 2023-07-28 |
JP2023104315A5 JP2023104315A5 (ja) | 2024-02-28 |
Family
ID=87279008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022005228A Pending JP2023104315A (ja) | 2022-01-17 | 2022-01-17 | キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023104315A (ja) |
WO (1) | WO2023136072A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8289344B2 (en) * | 2008-09-11 | 2012-10-16 | Apple Inc. | Methods and apparatus for color uniformity |
JP5743706B2 (ja) * | 2011-05-16 | 2015-07-01 | 三菱電機株式会社 | マルチ画面表示装置 |
WO2016207686A1 (en) * | 2015-06-26 | 2016-12-29 | Intel Corporation | Facilitating chromatic adaptation of display contents at computing devices based on chromatic monitoring of environmental light |
WO2017183582A1 (ja) * | 2016-04-19 | 2017-10-26 | コニカミノルタ株式会社 | 光学特性測定装置 |
WO2018150722A1 (ja) * | 2017-02-20 | 2018-08-23 | シャープ株式会社 | ヘッドマウントディスプレイ |
US11347056B2 (en) * | 2018-08-22 | 2022-05-31 | Microsoft Technology Licensing, Llc | Foveated color correction to improve color uniformity of head-mounted displays |
WO2020210740A1 (en) * | 2019-04-11 | 2020-10-15 | PixelDisplay Inc. | Method and apparatus of a multi-modal illumination and display for improved color rendering, power efficiency, health and eye-safety |
-
2022
- 2022-01-17 JP JP2022005228A patent/JP2023104315A/ja active Pending
- 2022-12-21 WO PCT/JP2022/047173 patent/WO2023136072A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023136072A1 (ja) | 2023-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6880174B2 (ja) | 仮想現実、拡張現実、および複合現実システムおよび方法 | |
US11854171B2 (en) | Compensation for deformation in head mounted display systems | |
US11188149B2 (en) | Image display device using retinal scanning display unit and method thereof | |
JP7358448B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法 | |
JP7150134B2 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
JP7558268B2 (ja) | 非均一ステレオレンダリング | |
US12099649B2 (en) | Display device and image display method | |
WO2023136072A1 (ja) | キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法 | |
JP7429515B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
US11187914B2 (en) | Mirror-based scene cameras | |
WO2023136073A1 (ja) | 画像表示装置および画像表示方法 | |
JP7365183B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 | |
NZ791441A (en) | Virtual, augmented, and mixed reality systems and methods | |
NZ791444A (en) | Virtual, augmented, and mixed reality systems and methods | |
Das et al. | NextGen XR Requirements State-of-the-Art |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240219 |