JP2023104315A - キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法 - Google Patents

Abstract

【課題】高精細、広視野の画像を、違和感なく容易に視認させる。【解決手段】ヘッドマウントディスプレイ１００は、表示画像のうち中心部の画像を表示する第１表示部１３２と、その外側の画像を表示する第２表示部１３４を備え、ハーフミラー９６により合成して視認させる。キャリブレーション装置１０は、ユーザの視点と同様の位置から色度計９２により測定した、第１表示部１３２と第２表示部１３４の色度に基づき、共通した色域での色が視認されるような色変換マトリクスを算出し、表示部に対応づけて出力する。【選択図】図７

Description

本発明は、表示装置のキャリブレーション装置、キャリブレーションにより得られた情報を用いて画像を表示する表示装置、キャリブレーション方法、および画像表示方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

映像体験の質を高めるには、広い視野の画像を高精細に表現することが求められる。ところが解像度や視野角を拡張するほど処理すべき画像のデータサイズが増大し、処理や転送に時間を要する結果、表示までの遅延が生じやすくなる。そこで、視野の中心から端に至るほど視力が低下する人の視覚特性を利用し、中心領域とその外側で画像の解像度に差を設け、視認上の画質を維持しつつ処理の無駄を軽減させる技術が提案されている（例えば特許文献１参照）。

米国特許第１０１４０６９５号明細書

ヘッドマウントディスプレイに限らず画像表示技術の分野において、広い視野で精細な画像を低遅延に表示できるようにすることは常に共通の課題である。例えば特許文献１の技術の場合、中心領域とそれ以外の領域で個別にディスプレイを設け、表示解像度に明確な差を与えることにより、処理リソースの適切な分配が容易になる。一方で、個別のディスプレイパネルに表された画像は、その色特性の微妙な差であっても、境界線が不自然に見えユーザに違和感を与えてしまう問題が生じ得る。

本発明はこうした課題に鑑みてなされたものであり、その目的は、高精細、広視野の画像を、違和感なく容易に視認させることのできる技術を提供することにある。

本発明のある態様はキャリブレーション装置に関する。このキャリブレーション装置は、表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うキャリブレーション装置であって、部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得する色度情報取得部と、色度の情報に基づき、複数の表示機構の色域に包含される共通色域を決定し、部分画像が共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、複数の表示機構のそれぞれに対し取得する色変換マトリクス取得部と、色変換マトリクスを前記表示機構と対応づけて出力する出力部と、を備えたことを特徴とする。

本発明の別の態様は表示装置に関する。この表示装置は、表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置であって、部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、表示機構と対応づけて記憶する色変換マトリクス記憶部と、表示先の表示機構に対応づけられた色変換マトリクスを用いて、部分画像のデータの画素値を変換する色変換部と、画素値が変換された部分画像のデータを、対応する表示機構に表示させる画像出力部と、を備えたことを特徴とする。

本発明のさらに別の態様はキャリブレーション方法に関する。このキャリブレーション方法は、表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うキャリブレーション装置が、部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得するステップと、色度の情報に基づき、複数の表示機構の色域に包含される共通色域を決定し、部分画像が共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、複数の表示機構のそれぞれに対し取得するステップと、色変換マトリクスを前記表示機構と対応づけて出力するステップと、を含むことを特徴とする。

本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置が、部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、表示機構と対応づけて記憶する記憶部から、表示先の表示機構に対応づけられた色変換マトリクスを読み出し、それを用いて、部分画像のデータの画素値を変換するステップと、画素値が変換された部分画像のデータを、対応する表示機構に表示させるステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、高精細、広視野の画像を、違和感なく容易に視認させることができる。

本実施の形態を適用できる画像の表示態様を例示する図である。 図１の態様において中心画像と周辺画像を組み合わせて視認させる仕組みの例を示す斜視図である。 本実施の形態で利用できる、有機ＥＬディスプレイの発光方式の差を説明するための図である。 本実施の形態の作用をｘｙ色度図により説明するための図である。 本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態のヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態において色変換マトリクスを取得するキャリブレーションシステムの構成を示す図である。 本実施の形態のキャリブレーション装置の内部回路構成を示す図である。 本実施の形態におけるキャリブレーション装置の機能ブロックの構成を示す図である。 本実施の形態において、キャリブレーション装置がヘッドマウントディスプレイの表示部に対応する色変換マトリクスを取得する処理手順を示すフローチャートである。 図１０のＳ２０において、色変換マトリクス取得部が共通色域を決定する手法の例を説明するための図である。 本実施の形態において色変換マトリクスを利用できる表示部の構造例を示す図である。 本実施の形態で、瞳孔の状態に応じて色変換マトリクスを切り替える態様において設定される、色変換マトリクスのデータ構造を例示する図である。 本実施の形態のヘッドマウントディスプレイの機能ブロックの構成を示す図である。 本実施の形態においてヘッドマウントディスプレイが画像を表示する処理手順を示すフローチャートである。 本実施の形態において自由曲面の光学系を導入した場合の画像合成部の構造例を示す図である。 本実施の形態においてレーザ走査方式を導入した場合の画像合成部の構造例を示す図である。 本実施の形態においてレーザ走査方式を導入した場合の画像合成部の構造の別の例を示す図である。 本実施の形態においてレーザ走査方式を導入した場合の画像合成部の構造のさらに別の例を示す図である。

本実施の形態は、異なる表示機構で表示させた部分的な画像を組み合わせて１つの画像を視認させる表示システムに関する。このような例として、特許文献１に開示されるようなヘッドマウントディスプレイのほか、複数の平板型ディスプレイを並べて１つの大画面とする態様や、複数のプロジェクタを用いて大規模なプロジェクションマッピングを実現する態様などが挙げられる。このように本実施の形態を適用できる表示形式は限定されないが、以後は主にヘッドマウントディスプレイを例に説明する。

図１は、本実施の形態を適用できる画像の表示態様を例示している。この例で画像２は、動画像の１フレームを表す。中心画像４は、画像２のうち画像平面の中心を含む所定サイズの領域を表し、周辺画像６は、中心画像４の外側の領域を表す。本実施の形態では中心画像４と周辺画像６を異なる表示機構、例えば２つのディスプレイパネルに個別に表示する。

例えば中心画像４を表示するディスプレイパネルは、周辺画像６を表示するディスプレイパネルより高い解像度のものとする。両画像が組み合わされ画像２として視認されるようにディスプレイパネルを配置することにより、中心部分で高精細であるとともに広い視野の画像を見せることができる。

一般的な人の視覚特性として、瞳孔から注視点へ向かう視線を中心軸として５°以内に対応する領域は弁別視野と呼ばれ、視力などの視機能が優れている。また水平方向に約３０°、垂直方向に約２０°以内の領域は有効視野と呼ばれ、眼球運動だけで瞬時に情報を受容できる。さらに水平方向に６０～９０°、垂直方向に４５～７０°以内に対応する領域は安定注視野、水平方向に１００～２００°、垂直方向に８５～１３０°以内に対応する領域は補助視野、というように、注視点から離れるほど情報の識別能力が低くなる。

ヘッドマウントディスプレイの場合、注視点は画像中央近傍に集まりやすい。したがって中心領域を優先して高精細に表すことにより、全領域を高精細に表すのと比較し視認上の画質を大きく損なうことなく、データ処理の負荷や必要なリソース量を軽減でき、低遅延で広い画角の画像を表示できることになる。またディスプレイパネルを分けることにより、それぞれの画像の表示に必要十分な性能の製品を選択でき、ヘッドマウントディスプレイ全体での製造コストを適正化できる。ただし本実施の形態における画像分割の規則や分割数、解像度の与え方はこれに限らない。

図２は、図１の態様において中心画像と周辺画像を組み合わせて視認させる仕組みの例を示す斜視図である。この例では、中心画像を表示する第１のディスプレイパネル１６０と、周辺画像を表示する第２のディスプレイパネル１６２とを、画面のなす角度が９０°となるように配置したうえ、その中間に、それぞれと４５°をなすようにハーフミラー１６４を配置した構成としている。ハーフミラー１６４は、入射光のうち所定割合の光を透過させ、残りの光を反射させる一般的なものでよい。

第１のディスプレイパネル１６０からの光の一部は、ハーフミラー１６４で反射され、接眼レンズ１６６を介してユーザの目１６８に入射する。第２のディスプレイパネル１６２からの光の一部は、ハーフミラー１６４を透過し、接眼レンズ１６６を介してユーザの目１６８に入射する。第１のディスプレイパネル１６０を適切に位置合わせすることにより、ユーザには両者が合成され１つの画像として視認される。

上述のとおり、この態様において画像を分割する主たる目的は、中心画像を周辺画像より高い解像度で表示（あるいはユーザに視認）させることにある。この限りにおいて第１のディスプレイパネル１６０と第２のディスプレイパネル１６２の表示方式は特に限定されないが、例えば前者を、小型で解像度の高いマイクロ有機ＥＬディスプレイ（ＭＯＬＥＤ：Micro Organic Light Emitting Display）とすることが考えられる。また後者を、大型で比較的安価な液晶パネルや、アクティブマトリクス有機ＥＬディスプレイ（ＡＭＯＬＥＤ：Active Matrix Organic Light Emitting Display）とすることが考えられる。

このように解像度の異なるディスプレイパネルを組み合わせる場合、中心画像と周辺画像の境界において解像度が滑らかにつながるように、画像のデータ上で加工を施すことにより、境界線を目立たなくさせることができる。一方、２つの画像の境界に係る問題は、各ディスプレイパネルで表現される色味の差によっても生じ得る。

図３は、本実施の形態で利用できる、有機ＥＬディスプレイの発光方式の差を説明するための図である。（ａ）、（ｂ）の上段は、それぞれＭＯＬＥＤ、ＡＭＯＬＥＤの１画素分の素子の上面図、下段はその断面図を模式的に示している。（ａ）に示すＭＯＬＥＤの場合、白色有機発光層７４からの光を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタ７６を介すことにより、１画素７０ａを構成するＲＧＢの発光を実現する。（ｂ）に示すＡＭＯＬＥＤの場合、各原色での自発光層７２からの光により、１画素７０ｂの発光を実現する。

このような発光方式の違いにより、画像データ上の画素値が同じであっても、表現される色味に差が生じ得る。これにより、組み合わせた画像の境界が目立ち、１つの連続した像が境界を跨ぐときなどは特に、色味の差が境界線として視認されてしまう可能性がある。この問題は、発光方式が同じディスプレイパネルであっても、またプロジェクタやレーザ走査方式のディスプレイなどであっても、製造段階や経年変化の個体差によって起こり得る。そこで本実施の形態では、組み合わせて用いる複数の表示機構による表示画像の色味の差を軽減させ、違和感なく１つの画像として視認されるようにする。

色味を定量化するための指標の一つとしてｘｙ色度図が知られている。図４は、本実施の形態の作用をｘｙ色度図により説明するための図である。ｘｙ色度図は、表示装置に依存しないＸＹＺ表色系における混色比のうち、（ｘ，ｙ）の２次元座標により色を表したデータである。つまり色度図において異なる座標は、視覚的に異なる色を表す。（ａ）、（ｂ）に示したｘｙ色度図のうち、馬蹄形の領域は人が認識できる色度の領域であり、その内部に表した複数の三角形の領域は、それぞれ異なるディスプレイパネルが表すことのできる色域である。

三角形の頂点（例えば頂点７８）は、原色を表したときの色度を示し、三角形の重心付近が、白色を表したときの色度である白色点（例えば白色点８０）である。（ａ）に示すように色域がずれたディスプレイパネルでは、混色により表現される全ての色で多少なりとも差が生じる。そこで本実施の形態では、ディスプレイパネルごとに求めた色変換マトリクスにより、画像のデータ上で色変換を行うことにより、（ｂ）に示すように表示結果の色域を共通化する。具体的にはキャリブレーション段階において、まず、組み合わせて用いる複数のディスプレイパネルの全ての色域に含まれる、共通の色域を設定する。

そして、各ディスプレイパネルの本来の色域と共通色域との関係に基づき色変換マトリクスを算出し、各ディスプレイパネルに対応づけて記憶させておく。画像表示時は、画像のデータであるＲＧＢの値を、ディスプレイパネルごとの色変換マトリクスによって変換したうえでパネル駆動の入力値とする。例えば第１ディスプレイパネルおよび第２ディスプレイパネルの赤色を、それぞれの色変換マトリクスにより共通色域の赤色に変換することにより、両者は同じ赤色を表現できることになる。

図５は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には画像を個別に表示できる複数の表示機構を備える。

筐体１０８内部にはさらに、表示された複数の画像を合成して見せる機構、および、視野角を拡大する接眼レンズを備える。左右の目のそれぞれに、視差を有するステレオ画像を表示することにより立体視を実現してもよい。筐体１０８内部にはさらに、表示された画像に対するユーザの注視点を検出する注視点検出器を備えてよい。

ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。さらにヘッドマウントディスプレイ１００は筐体１０８の内部あるいは外部に、加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＳなど、ヘッドマウントディスプレイ１００の動き、姿勢、位置などを導出するための各種センサのいずれかを備えてよい。

図６は、ヘッドマウントディスプレイ１００の内部回路構成を示している。ヘッドマウントディスプレイ１００は、ＣＰＵ（Central Processing Unit）１２０、ＧＰＵ（Graphics Processing Unit)１２２、メインメモリ１２４を含む。これらの各部は、バス１４０を介して相互に接続されている。バス１４０にはさらに入出力インターフェース１３８が接続されている。入出力インターフェース１３８には、通信部１２６、モーションセンサ１２８、ステレオカメラ１１０、注視点検出器１３０、第１表示部１３２、第２表示部１３４、および音声出力部１３６が接続される。

ＣＰＵ１２０は、メインメモリ１２４に格納されているオペレーティングシステムを実行することによりヘッドマウントディスプレイ１００の全体を制御する。ＣＰＵ１２０はまた、通信部１２６を介してダウンロードされた各種プログラムを実行したり、電子コンテンツを再生したりする。ＧＰＵ１２２は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ１２０からの描画命令に従って表示画像を描画し、第１表示部１３２、第２表示部１３４に出力する。

メインメモリ１２４はＲＡＭ（Random Access Memory）により構成され、ＣＰＵ１２０などの処理に必要なプログラムやデータを記憶する。通信部１２６は、有線又は無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などのネットワークインターフェースであり、外部の装置との通信を実現する。モーションセンサ１２８は加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＳなどのセンサの少なくともいずれかで構成され、ヘッドマウントディスプレイ１００、ひいてはそれを装着しているユーザの頭部の位置、姿勢、動きを計測する。

ステレオカメラ１１０は図５で示したとおり、ユーザの視点に対応する視野で、周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０が撮影した動画像を領域分割し、第１表示部１３２、第２表示部１３４に即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば、拡張現実を実現できる。またステレオカメラ１１０が撮影した画像を、Ｖｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mapping）など公知の技術で解析することにより、ヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を追跡できる。

撮影画像の解析結果とモーションセンサ１２８の計測結果を統合することにより、より高い精度でユーザ頭部の動きを取得してもよい。これにより、頭部の動きに応じた視野での表示画像を高精度に生成でき、映像世界への没入感を高められる。また、ユーザの頭部の動きを、コンテンツに対するユーザ操作として受け付け、それに応じて処理を分岐させることもできる。

注視点検出器１３０は、第１表示部１３２、第２表示部１３４により表される画像を見ているユーザの注視点の位置座標を所定のレートで検出する。注視点検出器１３０は例えば、眼球に赤外線を照射する機構と、その反射光を撮影するカメラで構成され、撮影画像から瞳孔の向きを特定することにより、画像上でユーザが注視しているポイントを追跡する。その他、注視点を検出する手段としては様々な技術が実用化されており、本実施の形態ではそのいずれを採用してもよい。

第１表示部１３２は、画像平面の中心を含む所定サイズの領域の画像、すなわち中心画像を表示する。第２表示部１３４は、中心画像の外側の領域の画像、すなわち周辺画像を表示する。なお第１表示部１３２、第２表示部１３４の表示手段は発光素子を備えたディスプレイパネルに限らず、後述するようにレーザ走査などを利用してもよい。また上述のとおり、本実施の形態において組み合わせる表示部の数、位置関係、解像度の大小関係は限定されない。

以後、組み合わせて用いるディスプレイパネルなどの表示機構のそれぞれを、単に「表示部」と呼ぶ場合がある。第１表示部１３２、第２表示部１３４はそれぞれ、ＧＰＵ１２２が生成した中心画像と周辺画像を所定のレートで表示する。第１表示部１３２、第２表示部１３４が表示した画像は、図２で例示したような合成機構により合成され、１つの表示画像としてユーザに視認される。

上述のとおりヘッドマウントディスプレイ１００は、左右の目に対しステレオ画像を表示することにより立体視を実現してもよい。この場合、ステレオ画像は、中心画像と周辺画像を合成した画像の対となる。つまり第１表示部１３２は中心画像の対を表示し、第２表示部１３４は周辺画像の対を表示する。音声出力部１３６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。

なお図示するヘッドマウントディスプレイ１００の機能の一部は、ヘッドマウントディスプレイ１００と通信を確立した外部の装置に設けてもよい。例えば、表示すべき画像の内容や適切な視野を決定する処理、それに応じて中心画像と周辺画像のデータを生成したり、表示部ごとに色変換を行ったりする処理、などの少なくとも一部は、外部の画像生成装置やネットワークを介して接続した画像提供サーバが行ってもよい。

図７は、本実施の形態において色変換マトリクスを取得するキャリブレーションシステムの構成を示している。キャリブレーションシステム９０は、色度計９２およびキャリブレーション装置１０を備える。色度計９２は、キャリブレーション対象のヘッドマウントディスプレイ１００に表示された画像を、運用時のユーザの視点と同一と見なせる所定範囲内の位置から観測し、色度を測定する。

図示する例でヘッドマウントディスプレイ１００は、図２で示したのと同様の構造を有するとしている。したがって色度計９２は、第１表示部１３２からハーフミラー９６を反射し接眼レンズ９４を透過した光の色度を測定する。色度計９２はまた、第２表示部１３４からハーフミラー９６および接眼レンズ９４を透過した光の色度を測定する。このためキャリブレーションシステム９０は、ヘッドマウントディスプレイ１００の適切な位置に色度計９２を固定する治具を含んでよい。

キャリブレーション装置１０は、第１表示部１３２、第２表示部１３４のそれぞれに、３原色および白色の単色塗りつぶし画像を順次表示させたうえ、各状態で色度が測定されるように色度計９２を制御する。キャリブレーション装置１０はまた、測定された色度に基づき、第１表示部１３２、第２表示部１３４のそれぞれについて色変換マトリクスを算出する。当該色変換マトリクスは、第１表示部１３２、第２表示部１３４の識別情報と対応づけて出力される。

このデータを、ヘッドマウントディスプレイ１００の図示しない不揮発性メモリなどに格納しておくことにより、運用時に読み出され、画素値の変換に用いられるようにする。キャリブレーションシステム９０によるキャリブレーションは、ヘッドマウントディスプレイ１００の製造時や出荷前などに実施する。あるいは色度計９２の機能を有するカメラをヘッドマウントディスプレイ１００に設け、ユーザが個別の環境でキャリブレーションを行えるようにしてもよい。これにより、経年変化により生じた表示部間の色味の差を、個々の使用状況に応じて是正できる。

図８はキャリブレーション装置１０の内部回路構成を示している。キャリブレーション装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２が接続される。

キャリブレーション装置１０は通信部３２を介してヘッドマウントディスプレイ１００と通信を確立し、色度測定のための表示制御信号を送信する。入出力インターフェース２８にはまた、ハードディスクドライブや不揮発性メモリなどの記憶部３４、モニタなど外部の装置へデータを出力する出力部３６、色度計９２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより、キャリブレーション装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ＣＰＵ２２からの描画命令に従って、必要に応じて情報表示のための画像描画処理を行い出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図９は、本実施の形態におけるキャリブレーション装置１０の機能ブロックの構成を示している。キャリブレーション装置１０は、色度測定時の表示を制御する表示制御部１２、各表示部の色度に係る情報を取得する色度情報取得部１４、表示部ごとに色変換マトリクスを取得する色変換マトリクス取得部１６、および色変換マトリクスのデータを出力する出力部１８を備える。

同図および後述する図１４に示す各機能ブロックは、ハードウェア的には、図６、８で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像処理機能、表示機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

表示制御部１２は、ヘッドマウントディスプレイ１００の各表示部に表示させる色とタイミングを制御することで、色域を得るための色度の測定に必要な状態を作り出す。具体的には表示制御部１２は、ｘｙ色度図において色域の頂点となる赤、緑、青と、白色点となる白色の塗り潰し画像を、表示部ごとに順次表示させる。色度情報取得部１４は、８通りの状態のそれぞれにおいて色度を測定するよう色度計９２を制御したうえ、測定結果を順次取得する。

色度情報取得部１４はまた、色度の測定結果に基づき、ＲＧＢ値を、それを入力値としたときの表示結果であるＸＹＺ値に変換する変換行列を、表示部ごとに算出する。以後、この変換行列を「加法混色マトリクス」と呼ぶ。色変換マトリクス取得部１６は、全ての表示部の色域に基づき共通色域を決定したうえ、画像データのＲＧＢが、表示の結果、共通色域での色となるようなＲＧＢの変換行列を、表示部ごとに算出する。この変換行列がこれまで述べた「色変換マトリクス」である。

出力部１８は、取得された色変換マトリクスを表示部の識別情報に対応づけて出力する。出力先はヘッドマウントディスプレイ１００でもよいし、記録媒体駆動部４０を介した記録媒体や、ヘッドマウントディスプレイ１００と直接接続された画像生成装置、あるいはネットワークを介して接続した管理サーバなどでもよい。いずれにしろ運用時には、使用するヘッドマウントディスプレイ１００に対応する色変換マトリクスが読み出され、画像データの画素値が変換されたうえで各表示部に表示されるようにする。

図１０は、キャリブレーション装置１０がヘッドマウントディスプレイ１００の表示部に対応する色変換マトリクスを取得する処理手順を示すフローチャートである。このフローチャートは、キャリブレーションの実行者がヘッドマウントディスプレイ１００と色度計９２を固定し、図示しない入力装置によりキャリブレーションの開始操作を行うことにより開始される。

まずキャリブレーション装置１０の色度情報取得部１４は、ヘッドマウントディスプレイ１００が備える表示部のうち、色度情報の取得対象とする表示部を１つ設定する（Ｓ１０）。そして色度情報取得部１４は表示制御部１２との協働により、３原色および白色の色度を取得する（Ｓ１２）。表示部への入力をＮビットとすると、表示制御部１２は、全ての画素値が赤（２^Ｎ－１，０，０）の画像、緑（０，２^Ｎ－１，０）の画像、青（０，０，２^Ｎ－１）の画像、および白（２^Ｎ－１，２^Ｎ－１，２^Ｎ－１）の画像を、対象の表示部に順番に表示させる。

色度情報取得部１４は各画像が表示された状態で色度を測定するように色度計９２を制御し、その測定結果を取得する。そして色度情報取得部１４は、色度の測定結果に基づき加法混色マトリクスを算出する（Ｓ１４）。加法混色において（Ｒ，Ｇ，Ｂ）の表色系のデータをＸＹＺ表色系でのデータ（Ｘ_ｍｉｘ，Ｙ_ｍｉｘ，Ｚ_ｍｉｘ）に変換する加法混色マトリクスは３行３列の行列Ｍであり、次のように表される。

赤、緑、青の画像を表示させたときの各色度の混合比（ｘｒ，ｙｒ，ｚｒ）、（ｘｇ，ｙｇ，ｚｇ）、（ｘｂ，ｙｂ，ｚｂ）を導入すると、各色に対する係数ｍｒ、ｍｇ、ｍｂを用い、上式は次のように表現できる。

白色の画像を表示させたときの色度とＲＧＢの比率（１，１，１）の関係を踏まえると、係数（ｍｒ，ｍｇ，ｍｂ）は次のように表せる。

ここで（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）は白色表示時の色度の混合比である。上式に、Ｓ１２で取得した色度の混合比を反映させると、係数（ｍｒ，ｍｇ，ｍｂ）が求められる。この値を代入することにより、表示部固有の加法混色マトリクスが求められ、それを用いた変換式は次のようになる。

ここでｎは表示部の識別番号、（Ｒｘ_ｎ，Ｒｙ_ｎ，Ｒｚ_ｎ）、（Ｇｘ_ｎ，Ｇｙ_ｎ，Ｇｚ_ｎ）、（Ｂｘ_ｎ，Ｂｙ_ｎ，Ｂｚ_ｎ）は、ｎ番目の表示部により、それぞれ赤、緑、青の単色の画像を表示させたときの色度である。このうちｘとｙの成分（Ｒｘ_ｎ，Ｒｙ_ｎ）、（Ｇｘ_ｎ，Ｇｙ_ｎ）、（Ｂｘ_ｎ，Ｂｙ_ｎ）は、ｘｙ色度図において各表示部の色域を表す三角形の頂点に対応する。以後の説明においてはそれぞれを、赤の頂点、緑の頂点、青の頂点と呼ぶ場合がある。

最初の表示部について加法混色マトリクスを算出したら、色度情報取得部１４は、次の表示部を色度情報の取得対象として設定し（Ｓ１０）、Ｓ１２、Ｓ１４の処理を繰り返す（Ｓ１６のＮ）。ヘッドマウントディスプレイ１００が備える全ての表示部に対し加法混色マトリクスを取得できたらループ処理を抜ける（Ｓ１６のＹ）。一方、色変換マトリクス取得部１６は、共通色域における白色点の目標値を取得する（Ｓ１８）。当該目標値はあらかじめ、図示しないレジスタなどに設定しておいたものを読み出してもよいし、キャリブレーションの実行者がその場で入力してもよい。例えば、標準光源であるＤ６５の場合、目標値は（0.31271, 0.32902, 0.35827）である。

次に色変換マトリクス取得部１６は、Ｓ１２で得られた、各表示部の色度の情報に基づき、表示の目標とする共通色域を求める（Ｓ２０）。すなわち色変換マトリクス取得部１６は、全ての表示部が表示可能な色域を、ｘｙ色度図上の三角形として決定する。具体的な演算手法は後述する。次に色変換マトリクス取得部１６は、共通色域の加法混色マトリクスを算出する（Ｓ２２）。演算手法はＳ１４と同様でよいが、この場合の原色の色度は、Ｓ２０で決定した三角形の頂点とする。

そして色変換マトリクス取得部１６は、Ｓ１４で求めた各表示部の加法混色マトリクスと、Ｓ２２で求めた共通色域の加法混色マトリクスを用いて、色変換マトリクスを表示部ごとに算出したうえ出力する（Ｓ２４）。ｎ番目の表示部の加法混色マトリクスをＡｎ、共通色域の加法混色マトリクスをＡｃｏｍとすると、ｎ番目の表示部の色変換マトリクスＣＭＡＴ＿Ａｎは次のように求められる。

さらに色変換マトリクス取得部１６は、色変換後の画素値（Ｒ，Ｇ，Ｂ）が最大階調を超えないように、色変換マトリクスＣＭＡＴ＿Ａｎに乗算すべき正規化係数を算出する。具体的には、色変換マトリクス取得部１６は、各表示部の色変換マトリクスＣＭＡＴ＿Ａｎにおける各行の要素の和を算出する。表示部が２つの場合、合計６つの和が算出される。色変換マトリクス取得部１６は、そのうちの最大値を選択し、その逆数を正規化係数として、上式の色変換マトリクスＣＭＡＴ＿Ａｎの各要素に乗算する。色変換マトリクス取得部１６はその結果を、最終的な色変換マトリクスとし、表示部の識別情報と対応づけて出力する。

図１１は、図１０のＳ２０において、色変換マトリクス取得部１６が共通色域を決定する手法の例を説明するための図である。同図は、ｘｙ色度図における、各表示部の色域１５０ａ、１５０ｂと、それに基づき求められる共通色域１５２を例示している。この図はヘッドマウントディスプレイ１００が備える第１表示部１３２、第２表示部１３４を想定し、２つの色域１５０ａ、１５０ｂを示しているが、当然、組み合わせる表示部の数によって、共通色域１５２が依拠する色域の数は変化する。

赤、緑、青の単色を表示させた際の色度である三角形の頂点の座標は、色域１５０ａではそれぞれ（Ｒｘ_１，Ｒｙ_１）、（Ｇｘ_１，ｙ_ｎ１）、（Ｂｘ_１，Ｂｙ_１）であり、色域１５０ｂではそれぞれ（Ｒｘ_２，Ｒｙ_２）、（Ｇｘ_２，ｙ_ｎ２）、（Ｂｘ_２，Ｂｙ_２）である。色変換マトリクス取得部１６は共通色域１５２として、色域１５０ａ、１５０ｂに包含される色域を決定する。好適にはできる限り大きな領域とすることにより、豊かな画像表現を実現する。

この限りにおいて共通色域の導出手法は限定されないが、一例として色変換マトリクス取得部１６は、色域１５０ａ、１５０ｂを表す三角形の辺の交点のうち最も内側にあり、かつ頂点に近い点、あるいは頂点そのものを、共通色域の三角形の頂点（Ｒｘｃ，Ｒｙｃ）、（Ｇｘｃ，Ｇｙｃ）、（Ｂｘｃ，Ｂｙｃ）として決定する。このため色変換マトリクス取得部１６はまず、各表示部の色域１５０ａ、１５０ｂを表す三角形の辺を次のように数式化する。

ここでｙ_ＲＧｎ、ｙ_ＧＢｎ、ｙ_ＢＲｎは、ｎ番目の表示部の色域を表す三角形の辺のうち、それぞれ赤の頂点と緑の頂点間、緑の頂点と青の頂点間、青の頂点と赤の頂点間の辺を含む直線のｙ成分であり、ｘ成分の関数として表されている。また上式では、当該直線の傾きをａ_ＲＧｎ、ａ_ＧＢｎ、ａ_ＢＲｎ、ｙ切片をｂ_ＲＧｎ、ｂ_ＧＢｎ、ｂ_ＢＲｎと置き換えている。

次に色変換マトリクス取得部１６は、色域１５０ａ、１５０ｂを表す２つの三角形の辺の交点のうち、赤、緑、青の頂点の最近傍に形成される可能性のある交点の座標を求める。例えば赤の頂点の最近傍に形成される交点は、色域１５０ａの赤の頂点（Ｒｘ_１，Ｒｙ_１）を挟む２辺と、色域１５０ｂの赤の頂点（Ｒｘ_２，Ｒｙ_２）を挟む２辺のうち、対向する辺同士で形成される可能性がある。したがって色変換マトリクス取得部１６は、赤の頂点について、次のようにして２つの三角形の辺の交点の座標を導出する。

ここで（ｘ１，ｙ１）は、色域１５０ａを表す三角形のうち赤の頂点と緑の頂点を通る直線と、色域１５０ｂを表す三角形のうち赤の頂点と青の頂点を通る直線との間で形成される交点の座標である。（ｘ２，ｙ２）は、色域１５０ａを表す三角形のうち赤の頂点と青の頂点を通る直線と、色域１５０ｂを表す三角形のうち赤の頂点と緑の頂点を通る直線との間で形成される交点の座標である。さらに色変換マトリクス取得部１６は、交点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）と、白色点の目標値（ｗｘ，ｗｙ）との距離ｄ１、ｄ２を次のように導出する。

なお図では距離ｄ１を例示している。色変換マトリクス取得部１６は、同様の演算により、色域１５０ａの赤の頂点（Ｒｘ_１，Ｒｙ_１）と白色点の目標値との距離ｄ３、色域１５０ｂの赤の頂点（Ｒｘ_２，Ｒｙ_２）と白色点の目標値との距離ｄ４を求める。そして色変換マトリクス取得部１６は、ｄ１、ｄ２、ｄ３、ｄ４を比較し、白色点の目標値に最も近い交点または頂点を、共通色域の赤の頂点（Ｒｘｃ，Ｒｙｃ）として決定する。図の例では、色域１５０ａの赤の頂点と緑の頂点を通る直線と、色域１５０ｂの赤の頂点と青の頂点を通る直線との交点１５４ａが白色点の目標値に最も近いため、それを共通色域の赤の頂点（Ｒｘｃ，Ｒｙｃ）としている。

色変換マトリクス取得部１６は、緑および青の頂点に関しても同様の計算を行う。図の例では、色域１５０ａの緑の頂点と青の頂点を通る直線と、色域１５０ｂの緑の頂点と赤の頂点を通る直線との交点１５４ｂが白色点の目標値に最も近いため、それを共通色域の緑の頂点（Ｇｘｃ，Ｇｙｃ）としている。また青の頂点の場合、色域１５０ａ自体の青の頂点１５４ｃが白色点の目標値に最も近いため、それを共通色域の青の頂点（Ｂｘｃ，Ｂｙｃ）としている。

図１２は、色変換マトリクスを利用できる表示部の構造例を示している。同図は図２と同様の構造を、垂直方向の断面図で模式的に示しており、例えばヘッドマウントディスプレイ１００の内部構造とすることができる。後述する図１６～１９も同様である。この図の場合、第１表示部１３２として中心画像用のディスプレイパネル２３０を設け、第２表示部１３４として周辺画像用のディスプレイパネル２３４を設ける。各ディスプレイパネル２３０、２３４は、それぞれ中心画像、周辺画像の元のデータを、各自に対応づけられた色変換マトリクスにより変換したうえで表示する。

中心画像用のディスプレイパネル２３０からの光は、ハーフミラー２３６、接眼レンズ２３８を介してユーザの目２２４に到達する。周辺画像用のディスプレイパネル２３４からの光は、ハーフミラー２３６で反射し、接眼レンズ２３８を介してユーザの目２２４に到達する。このようにハーフミラー２３６を介して２つの画像を合成し視認させる場合、ハーフミラー２３６の透過率や反射率の入射角依存性の影響を受け、ユーザの目２２４の瞳孔の位置によって視認される色味が変化してしまい、結局は画像の境界が認識されてしまう可能性がある。

そこでキャリブレーション装置１０は、瞳孔の位置などの状態変化に対応するように、複数の色変換マトリクスを取得しておいてもよい。この場合、ヘッドマウントディスプレイ１００は例えば、注視点検出器１３０の眼球撮影用カメラ２４０が撮影した画像に基づき瞳孔の位置を追跡し、対応する色変換マトリクスを選択して用いてもよい。これにより、光学系を介して鑑賞する形式の表示装置であっても、瞳孔の動きによらず２つの画像の色を正しく合わせ続けることがでる。

図１３は、瞳孔の状態に応じて色変換マトリクスを切り替える態様において設定される、色変換マトリクスのデータ構造を例示している。これまで述べたように色変換マトリクスは、第１表示部１３２、第２表示部１３４のそれぞれに対して設定される。ここで第１表示部１３２、第２表示部１３４は、図１２においては中心画像用のディスプレイパネル２３０、周辺画像用のディスプレイパネル２３４にそれぞれ対応する。さらにこの態様では、「瞳孔の状態」として「第１状態」、「第２状態」、「第３状態」、・・・に対し、各表示部の色変換マトリクスを設定する。

画像表示時、例えば第１表示部１３２は、瞳孔が「第１状態」であれば「ＣＭＡＴ＿Ａ１（１）」の色変換マトリクスを用いて画素値を変換したうえで中心画像を表示する。瞳孔が「第１状態」から「第２状態」へ遷移したら、第１表示部１３２は、色変換マトリクスを「ＣＭＡＴ＿Ａ１（１）」から「「ＣＭＡＴ＿Ａ１（２）」へ切り替えて画素値を変換する。なお図示する「ＣＭＡＴ＿Ａ１（１）」などは、色変換マトリクスの識別情報であり、実体は３行３列の行列のデータを別途格納しておく。

「瞳孔の状態」とは例えば、目全体を領域分割したときに、瞳孔中心がどの領域に属するかを表した情報である。ただし第１表示部１３２、第２表示部１３４に表示させた画像の色の見え方に変化を与え得るパラメータであればその内容は限定されず、画面に対する注視点の範囲などでもよい。この態様を実現する場合、キャリブレーションシステム９０において色度計９２は、設定すべき瞳孔の状態に対応する複数の位置・姿勢で色度を測定する。

キャリブレーション装置１０は図１０のＳ１２において、色度計９２をそのように制御したうえで、原色や白色の色度を表示部ごとに測定させる。これにより図１０のＳ１４において、各表示部の加法混色マトリクスが、設定すべき瞳孔の状態の数だけ得られるため、以後の処理は、瞳孔の状態ごとに同様に行う。結果として図１３に示すデータ構造で、色変換マトリクスが取得される。

図１４は、本実施の形態におけるヘッドマウントディスプレイ１００の機能ブロックの構成を示している。ヘッドマウントディスプレイ１００は、表示対象の画像のデータを取得する画像データ取得部５０、第１画像を生成する第１画像生成部５２、第２画像を生成する第２画像生成部５４、第１画像の画素値を変換する第１色変換部５６、第２画像の画素値を変換する第２色変換部５８、変換後の第１画像を出力する第１画像出力部６０、変換後の第２画像を出力する第２画像出力部６２を備える。

図１で示したように、１つの画像を中心画像と周辺画像に分割する場合、「第１画像」は中心画像、「第２画像」は周辺画像である。ヘッドマウントディスプレイ１００はさらに、色変換マトリクスを格納する色変換マトリクス記憶部６６、表示された画像を見ているユーザの瞳孔の状態を取得する瞳孔状態取得部６８、および、第１画像と第２画像を合成した状態でユーザの目に到達させる画像合成部６４を備える。

画像データ取得部５０は、表示すべき動画像または静止画像の生成に必要なデータを取得する。ここで画像が表す内容は特に限定されず、ゲーム画像、映画、ライブ映像、録画映像、アニメーション、写真、環境映像、ウェブサイト、文書、デジタルサイネージなどのいずれでもよい。またステレオカメラ１１０が撮影した画像や、それに加工を施したり仮想オブジェクトを描画したりした画像であってもよい。このような画像の内容によって、画像データ取得部５０によるデータの取得先は様々でよい。

例えば画像データ取得部５０は、外部の画像生成装置やサーバがストリーム転送する動画像のデータを取得してもよいし、内部の記憶装置に格納されたデータを用いて画像を描画したり再生したりしてもよい。第１画像生成部５２は図６で示したＧＰＵ１２２を含み、画像データ取得部５０から必要なデータを取得して第１画像を生成する。第２画像生成部５４もＧＰＵ１２２を含み、画像データ取得部５０から必要なデータを取得して第２画像を生成する。

第１色変換部５６は、色変換マトリクス記憶部６６から表示先の表示部（例えば第１表示部１３２）に対応づけられた色変換マトリクスを読み出し、第１画像の画素値を変換する。第２色変換部５８は、色変換マトリクス記憶部６６から表示先の表示部（例えば第２表示部１３４）に対応づけられた色変換マトリクスを読み出し、第２画像の画素値を変換する。このため色変換マトリクス記憶部６６にはあらかじめ、キャリブレーション装置１０により取得された色変換マトリクスのデータを格納しておく。

瞳孔状態取得部６８は、図６で示した注視点検出器１３０のカメラを含み、表示画像を見ているユーザの瞳孔の状態を所定のレートで取得する。なお本実施の形態において表示画像とは、ユーザの視界に入る画像であればよく、レーザ光の投影も「表示」としている。上述したように、第１色変換部５６、および第２色変換部５８は、瞳孔の状態に応じて色変換マトリクスを切り替えて利用する。ただし本実施の形態をそれに限る主旨ではなく、瞳孔の状態に関わらず色変換マトリクスを表示部ごとに固定としてもよい。この場合、瞳孔状態取得部６８の機能は省略できる。

第１画像出力部６０は、図６で示した第１表示部１３２を含み、画素値が変換された第１画像を表示する。第２画像出力部６２は、図６で示した第２表示部１３４を含み、画素値が変換された第２画像を表示する。中心領域を除いた周辺画像を第２画像としてディスプレイパネルに表示させる場合、当該中心領域は発光させなくてよい。画像合成部６４は、表示された第１画像と第２画像が１つの画像として目に到達するように合成する光学系である。

すなわち画像合成部６４は、第１画像と第２画像をずれなく合成して見せるハードウェア構造であり、その一例が図２、図１２で示した、ハーフミラーを含む構造である。ただし画像合成部６４は、第１表示部１３２と第２表示部１３４の位置関係や、注視点検出器１３０に求められる配置などに応じて様々な形態をとり得る。具体例は後述する。

図１５は、本実施の形態においてヘッドマウントディスプレイ１００が画像を表示する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着し、図示しない入力装置などを介して表示対象のコンテンツを選択することにより開始される。これに応じて画像データ取得部５０は、当該コンテンツの画像データ取得を開始する。なおヘッドマウントディスプレイ１００は、内部でゲームなどの情報処理を行ったり、外部の装置と通信を確立し画像データを要求したりしてよいが、図では特に画像の表示処理について示している。

まずヘッドマウントディスプレイ１００は、コンテンツの初期画像を表示する（Ｓ３０）。当該初期画像も、第１画像出力部６０が表示した第１画像と第２画像出力部６２が表示した第２画像を合成した画像でよい。瞳孔の状態によって色変換マトリクスを切り替える態様においては瞳孔状態取得部６８が、ユーザの目の撮影画像に基づき瞳孔の位置など所定の状態情報を取得する（Ｓ３２）。そして第１色変換部５６、および第２色変換部５８は、当該瞳孔の状態に対応し、かつ表示先の表示部に対応する色変換マトリクス（それぞれ第１変換マトリクス、第２変換マトリクス）を、色変換マトリクス記憶部６６から読み出しておく（Ｓ３４、Ｓ３６）。

一方、第１画像生成部５２は第１画像を生成し（Ｓ３８）、それと並行して第２画像生成部５４は第２画像を生成する（Ｓ４０）。続いて第１色変換部５６は、Ｓ３４で取得した第１色変換マトリクスにより第１画像の画素値を変換し（Ｓ４２）、それと並行して第２色変換部５８は、Ｓ３６で取得した第２色変換マトリクスにより第２画像の画素値を変換する（Ｓ４４）。そして第１画像出力部６０および第２画像出力部６２は、変換後の第１画像および第２画像をそれぞれ表示させる（Ｓ４６、Ｓ４８）。

第１画像、第２画像は、画像合成部６４により合成されユーザの目に到達する。コンテンツの表示を終了させるユーザ操作がなされるなど、表示を終了する必要が生じない期間は、Ｓ３２からＳ４８の処理を繰り返す（Ｓ５０のＮ）。表示を終了する必要が生じたら全処理を終了させる（Ｓ５０のＹ）。

次に、第１画像、第２画像として中心画像、周辺画像を合成して視認させる構造の変形例について説明する。図１６は、自由曲面の光学系を導入した場合の画像合成部６４の構造例を示している。この構成では、第１表示部１３２である中心画像用のディスプレイパネル２５０と、第２表示部１３４である周辺画像用のディスプレイパネル２５２を、略同一平面に配置したうえ、中心画像用光学系２５４および周辺画像用光学系２５６によりそれぞれの像を適切な方向に誘導することにより画像合成を実現する。

自由曲面の光学系をヘッドマウントディスプレイに導入し、複数のディスプレイに表示した画像を反射や屈折により適切な位置に誘導して１つの画像として視認させる手法は、例えば国際公開第２０１９／１４７９４６号などに開示される。この構成によれば、異なる方向から２種類の画像を投影するのと比較し、ヘッドマウントディスプレイ１００を小型化できる。また比較的自由に光路を設計できるため、眼球撮影用カメラ２４０の配置の自由度を高められる。

例えば図示するように、中心画像用のディスプレイパネル２５０と周辺画像用のディスプレイパネル２５２、およびそれぞれの光学系２５４、２５６を、目２２４の正面を避けて配置することにより、眼球撮影用光学系２５８と眼球撮影用カメラ２４０を目２２４の正面に配置することができる。これにより瞳孔の状態や注視点の検出が容易になる。なお中心画像用光学系２５４および周辺画像用光学系２５６の設計によって、中心画像用のディスプレイパネル２５０および周辺画像用のディスプレイパネル２５２の位置や姿勢は様々であってよい。

図１７は、レーザ走査方式を導入した場合の画像合成部６４の構造例を示している。この構成では、第１表示部１３２として、レーザ光源２２０、ミラー２２２、中心画像用スクリーン２３２を設ける。中心画像用スクリーン２３２は、入射光を拡散透過させる部材で形成する。一方、第２表示部１３４として、周辺画像用のディスプレイパネル２３４を設ける。

画素に対応するレーザ光を、偏向用のミラー２２２を用いて２次元走査させることにより、外部のスクリーンなどに画像を投影する小型のプロジェクタが実用化されている（例えば特開２０１７－８３６５７号公報参照）。図示する第１表示部１３２も原理は同様でよく、レーザ光源２２０から画素値に対応する赤、青、緑の成分を含むレーザ光を出力し、２軸周りで揺動するミラー２２２で反射させることにより、中心画像用スクリーン２３２でレーザ光が２次元走査されるようにする。これにより、各時刻で出力したレーザ光を画素とする画像が形成される。

ミラー２２２として、例えばＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを導入する。ＭＥＭＳミラーは、電磁駆動により２軸周りの角度変化を精度よく制御できる、小型かつ低消費電力の装置である。ただしミラーの駆動方式は特に限定されない。その他の構成は図１２に示したものと同様である。すなわち中心画像用スクリーン２３２と周辺画像用のディスプレイパネル２３４のなす角度を９０°とし、その中間に、それぞれと４５°をなすように配置したハーフミラー２３６により、中心画像と周辺画像を合成する。

なお第１表示部１３２と第２表示部１３４の位置関係を逆とし、ミラー２２２からのレーザ光をハーフミラー２３６で反射させ、周辺画像用のディスプレイパネル２３４からの光を透過させて目２２４に到達させてもよい。また周辺画像用のディスプレイパネル２３４の代わりに、中心画像と同様のレーザ走査方式により周辺画像を表示してもよい。

図１８は、レーザ走査方式を導入した場合の画像合成部６４の構造の別の例を示している。この構成は、レーザ光を拡散透過させる中心画像用スクリーン２４２を、周辺画像用のディスプレイパネル２４４と一体的に設け、ハーフミラーを設けない点が図１７と異なる。ディスプレイパネルのうち画像を表示していない領域（非表示領域）においては、背景からの光を透過可能な光透過型ディスプレイが知られている（例えば国際公開第２０１４／０１０５８５号参照）。本実施の形態ではこれを応用し、光透過型ディスプレイの基材を半透明の素材としたものを周辺画像用のディスプレイパネル２４４とする。

これにより、周辺画像用のディスプレイパネル２４４において周辺画像を表示していない領域を、ミラー２２２で反射したレーザ光を拡散透過させる中心画像用スクリーン２４２として利用できる。なおこの場合、第１画像出力部６０および第２画像出力部６２の一部が画像合成部６４を兼ねることになる。このような構成とすることで、異なる方向から２種類の画像を投影するのと比較し、光学系をシンプルにできる。

図１９は、レーザ走査方式を導入した場合の画像合成部６４の構造のさらに別の例を示している。この構成は、中心画像用スクリーンを設けず、レーザ光からなる画像をユーザの網膜に直接投影させる点が図１７と異なる。マックスウェル視の原理により、レーザ光をユーザの瞳孔に収束させ、網膜に画像を投影する技術は、主にウェアラブルディスプレイへの適用が進められている（例えば国際公開第２００９／０６６４６５号参照）。図示する第１表示部１３２も原理は同様でよく、レーザ光が瞳孔で収束され網膜に結像したとき本来の像が視認されるようにミラー２２２の動作等を制御する。

ただし本実施の形態では、ハーフミラー２３６を介して中心画像を投影することにより、周辺画像用のディスプレイパネル２３４で表示されハーフミラー２３６で反射される周辺画像と合成して視認させる。なおこの場合、中心画像用スクリーンを設けないことにより、眼球撮影用カメラ２４０の配置の自由度が高くなる。例えば図示するように、ハーフミラー２３６を介して眼球を正面近傍から撮影することも可能になる。

図１６～１９に示したように、個別に表示した複数の画像を合成して見せる手法は様々に考えられる。いずれにしろキャリブレーション装置１０は、ユーザの目２２４と対応する位置から測定された色度の情報を用い、色変換マトリクスを算出する。これにより、どのような構造であっても同様に、複数の画像の見た目での色を合わせることができる。

以上述べた本実施の形態によれば、表示装置に複数の表示機構を設け、１つの画像を複数の領域に分割してなる部分画像を個別に表示させたうえで合成して視認させる。この際、表示装置は、表示機構固有の色変換マトリクスにより画素値を変換して表示する。そのためキャリブレーション装置は、ｘｙ色度図における色域を全ての表示機構について取得し、それらに包含される共通色域での色が視認されるように色変換マトリクスを算出する。

これにより、部分画像の見た目の色味を統一でき、境界線が目立つなど個別の表示であることに起因する違和感を抑えられる。特にヘッドマウントディスプレイの場合、表示画像に近接した視点から、接眼レンズにより拡大された画像を鑑賞するため、色味の微小な調整であっても、画質の印象への寄与が顕著になる。

例えば、ヘッドマウントディスプレイにおいて、高解像度での表示が可能な表示機構で中心部の画像を表示し、広い画角での表示が可能な表示機構で周辺部分の画像を表示させる。色変換マトリクスにより色味が統一されていることにより、ユーザは違和感なく、視覚機能の優れている中心窩で高精細な画像を見つつ、広い画角の画像で臨場感を得ることができる。結果として、ユーザが感じる画像の質を維持しながら、処理や伝送の負荷を軽減させ、低遅延での画像表示を実現できる。

またヘッドマウントディスプレイによらず、複数の表示機構を配列させて大画面を形成する場合も、表示機構の数や形式によらず色味を統一できるため、容易な拡張が可能である。さらに表示機構を分けても違和感のない合成画像を視認させることができるため、部分画像の位置によって表示機構の性能を最適化したり、部分的に表示形式を異ならせたりすることも可能になり、画質とコストの両面で、ニーズに合った表示システムを臨機応変に構築できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ キャリブレーション装置、 １２ 表示制御部、 １４ 色度情報取得部、 １６ 色変換マトリクス取得部、 １８ 出力部、 ２２ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 画像データ取得部、 ５２ 第１画像生成部、 ５４ 第２画像生成部、 ５６ 第１色変換部、 ５８ 第２色変換部、 ６０ 第１画像出力部、 ６２ 第２画像出力部、 ６４ 画像合成部、 ６６ 色変換マトリクス記憶部、 ６８ 瞳孔状態取得部、 ９０ キャリブレーションシステム、 ９２ 色度計、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ ＣＰＵ、 １２２ ＧＰＵ、 １２４ メインメモリ、 １３０ 注視点検出器、 １３２ 第１表示部、 １３４ 第２表示部。

Claims (12)

1. 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うキャリブレーション装置であって、
   前記部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得する色度情報取得部と、
   前記色度の情報に基づき、前記複数の表示機構の色域に包含される共通色域を決定し、前記部分画像が前記共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、前記複数の表示機構のそれぞれに対し取得する色変換マトリクス取得部と、
   前記色変換マトリクスを前記表示機構と対応づけて出力する出力部と、
   を備えたことを特徴とするキャリブレーション装置。
2. 前記色度情報取得部は、前記表示画像を見るユーザの視点に対応する位置で測定された色度の情報を取得することを特徴とする請求項１に記載のキャリブレーション装置。
3. 前記色度情報取得部は、複数の前記視点に対応する位置で測定された色度の情報を取得し、
   前記色変換マトリクス取得部は、前記表示機構ごとに、前記視点によって異なる前記色変換マトリクスを取得することを特徴とする請求項２に記載のキャリブレーション装置。
4. 前記色度情報取得部は、前記表示装置であるヘッドマウントディスプレイを装着した際のユーザの視点に対応する位置に固定された色度計により、当該ヘッドマウントディスプレイが備える前記複数の表示機構に対し測定された色度の情報を取得することを特徴とする請求項１から３のいずれかに記載のキャリブレーション装置。
5. 前記色度情報取得部は、前記部分画像を合成するための光学系を透過または反射してなる光を測定して得られた色度の情報を取得することを特徴とする請求項１から４のいずれかに記載のキャリブレーション装置。
6. 前記色変換マトリクス取得部は、ｘｙ色度図において前記複数の表示機構の色域を表す複数の三角形の頂点および、当該頂点を通る直線の交点のうち、白色点の目標値との距離が最小の点を、前記共通色域を表す三角形の頂点として選択することを特徴とする請求項１から５のいずれかに記載のキャリブレーション装置。
7. 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置であって、
   前記部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、前記表示機構と対応づけて記憶する色変換マトリクス記憶部と、
   表示先の前記表示機構に対応づけられた前記色変換マトリクスを用いて、前記部分画像のデータの画素値を変換する色変換部と、
   画素値が変換された前記部分画像のデータを、対応する前記表示機構に表示させる画像出力部と、
   を備えたことを特徴とする表示装置。
8. 表示された画像を見ているユーザの瞳孔の状態を、撮影画像に基づき取得する瞳孔状態取得部をさらに備え、
   前記色変換部は、前記瞳孔の状態の変化に応じて、前記色変換マトリクスを切り替えて用いることを特徴とする請求項７に記載の表示装置。
9. 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うキャリブレーション装置が、
   前記部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得するステップと、
   前記色度の情報に基づき、前記複数の表示機構の色域に包含される共通色域を決定し、前記部分画像が前記共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、前記複数の表示機構のそれぞれに対し取得するステップと、
   前記色変換マトリクスを前記表示機構と対応づけて出力するステップと、
   を含むことを特徴とするキャリブレーション方法。
10. 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置が、
    前記部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、前記表示機構と対応づけて記憶する記憶部から、表示先の前記表示機構に対応づけられた前記色変換マトリクスを読み出し、それを用いて、前記部分画像のデータの画素値を変換するステップと、
    画素値が変換された前記部分画像のデータを、対応する前記表示機構に表示させるステップと、
    を含むことを特徴とする画像表示方法。
11. 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置のキャリブレーションを行うコンピュータに、
    前記部分画像を表示させる複数の表示機構のそれぞれに対し測定された色度の情報を取得する機能と、
    前記色度の情報に基づき、前記複数の表示機構の色域に包含される共通色域を決定し、前記部分画像が前記共通色域で表されるように画像データの画素値を変換する色変換マトリクスを、前記複数の表示機構のそれぞれに対し取得する機能と、
    前記色変換マトリクスを前記表示機構と対応づけて出力する機能と、
    を実現させることを特徴とするコンピュータプログラム。
12. 表示画像を領域分割してなる部分画像を個別に表示したうえ合成して視認させる表示装置が備えるコンピュータに、
    前記部分画像が、表示先の複数の表示機構の色域に包含される共通色域で表されるように、画像データの画素値を変換する色変換マトリクスを、前記表示機構と対応づけて記憶する記憶部から、表示先の前記表示機構に対応づけられた前記色変換マトリクスを読み出し、それを用いて、前記部分画像のデータの画素値を変換する機能と、
    画素値が変換された前記部分画像のデータを、対応する前記表示機構に表示させる機能と、
    を実現させることを特徴とするコンピュータプログラム。

Images