JP2021110824A

JP2021110824A - 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法

Info

Publication number: JP2021110824A
Application number: JP2020002298A
Authority: JP
Inventors: 渉一池上; Shoichi Ikegami
Original assignee: Sony Interactive Entertainment LLC
Current assignee: Sony Interactive Entertainment LLC
Priority date: 2020-01-09
Filing date: 2020-01-09
Publication date: 2021-08-02
Anticipated expiration: 2040-01-09
Also published as: JP7503908B2

Abstract

【課題】表示パネルの個体差による表示画像への影響を抑える。【解決手段】表示制御装置７０において基準情報取得部７６は、基準となる表示パネルの輝度特性および色域の少なくともいずれかを取得する。出力調整部７８の輝度情報記憶部８６は、表示先のパネルの輝度特性の測定値を格納する。輝度レンジ調整部８２は、基準となる表示パネルと同じ輝度レンジとなるように画像の輝度レンジを徐々に調整する。色域情報記憶部８８は、表示先のパネルの色域の測定値を格納する。色調整部８４は、基準となる表示パネルと同じ色で表示されるように画像の画素値を色域に基づき調整する。【選択図】図５

Description

本発明は、表示パネルに画像データを出力する表示制御装置、当該表示制御装置を含むヘッドマウントディスプレイ、および画像表示方法に関する。

従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したＨＤＲ（High Dynamic Range）の信号を処理する技術が普及しつつある。従来のＳＤＲ（Standard Dynamic Range）と比較し、ＨＤＲは輝度の許容範囲が１００倍程になるため、太陽光の反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、ＨＤＲで表現することによって仮想世界にリアリティを与えられる。

一方、ヘッドマウントディスプレイを装着したユーザの頭部の動きを検出し、それに対応する視野で表示対象の空間を表すことにより、臨場感のある画像世界を表現できるシステムが普及している。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。ユーザがヘッドマウントディスプレイに表示された画像を観察することによって生じる眼精疲労を、表示画像の色温度を徐々に低下させることにより軽減させる技術も提案されている（例えば特許文献１参照。）

特開２０１３−２５７４５７号公報

従来、表示装置が備える表示パネルは、製造段階での様々な要因によって性能に微妙な個体差、ロット差、世代差が存在する。そのため表示される画像の質や印象が表示装置に依存し、同じコンテンツを複数の表示装置により視聴したユーザが違和感を覚えたり、ユーザが保有する表示装置によって映像体験に不公平が生じたりし得る。上述のとおり解像度、色域、輝度レンジなどを向上させ、より精細で臨場感のある画像を表示させようとするほどそのような問題が顕在化しやすい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、表示パネルの個体差による表示画像への影響を抑える技術を提供することにある。

本発明のある態様は表示制御装置に関する。この表示制御装置は、表示パネルへ出力する画像のデータを制御する表示制御装置であって、表示パネルの輝度特性の測定値を格納する輝度情報記憶部と、基準の表示パネルの輝度特性を取得する基準情報取得部と、基準の表示パネルの輝度レンジで表示されるよう、画像の輝度レンジを前記測定値に基づき徐々に変化させる輝度レンジ調整部と、輝度レンジが調整された画像のデータを出力する出力部と、を備えたことを特徴とする。

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記表示制御装置と、当該表示制御装置によりデータ制御された画像を表示する表示パネルと、を備えたことを特徴とする。

本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、表示パネルへ出力する画像のデータを制御する表示制御装置が、メモリに格納された、表示パネルの輝度特性の測定値を読み出すステップと、基準の表示パネルの輝度特性を取得するステップと、基準の表示パネルの輝度レンジで表示されるよう、画像の輝度レンジを測定値に基づき徐々に変化させるステップと、輝度レンジが調整された画像のデータを出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、表示パネルの個体差による表示画像への影響を抑えられる。

本実施の形態を適用できるヘッドマウントディスプレイの外観例を示す図である。本実施の形態を適用できるコンテンツ処理システムの構成例を示す図である。本実施の形態において表示制御に用いる基準値の概念を説明するための図である。本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。本実施の形態におけるヘッドマウントディスプレイが内蔵する表示制御装置の機能ブロックの構成を示す図である。本実施の形態の輝度レンジ調整部によって調整される、輝度レンジの時間変化を例示する図である。本実施の形態の輝度レンジ調整部が表示画像の各画素の輝度を調整する手法の例を説明するための図である。本実施の形態において色調整部が色を調整する原理を説明するための図である。

本実施の形態は、表示パネルが備える素子の発光によってユーザに視認される画像の輝度レンジおよび色の少なくともいずれかを、所定の基準あるいは当該基準で表示を行う表示パネルに合わせることを基本とする。その限りにおいて本実施の形態を適用できる表示装置の種類や表示方式は特に限定されず、一般的なテレビ受像器、各種モニター、携帯端末のディスプレイなどでもよいが、以後、ヘッドマウントディスプレイを例に説明する。

図１は、本実施の形態を適用できるヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００は、加速度センサ、ジャイロセンサ、地磁気センサなどのモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の姿勢や動きを計測する。

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの顔の向きに対応する視野で周囲の実空間を動画撮影する。ある態様においてヘッドマウントディスプレイ１００は、ステレオカメラ１１０が撮影した動画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるシースルーモードを提供する。ヘッドマウントディスプレイ１００はさらに、ステレオカメラ１１０による撮影画像を解析することにより、ユーザの頭部の位置や姿勢を取得してもよい。モーションセンサの計測値や撮影画像から得た、ユーザ頭部の位置や姿勢の情報は、ヘッドマウントディスプレイ１００に表示させる画像の視野を決定したり、表示世界における変化の内容を決定したりするのに用いることができる。

本実施の形態のヘッドマウントディスプレイ１００はさらに、ユーザがヘッドマウントディスプレイ１００を装着したことを検出する装着センサ１１２を備える。装着センサ１１２は一般的な接触センサでよく、ユーザがヘッドマウントディスプレイ１００を装着した状態で接触する箇所に設けることにより、ユーザによるヘッドマウントディスプレイ１００の着脱を検出する。図ではユーザの額に接する位置に装着センサ１１２を１つ設けているが、装着センサ１１２の位置や数はそれに限定されない。

図２は、本実施の形態を適用できるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢＴｙｐｅ−Ｃなどの周辺機器を接続するインターフェースによりコンテンツ処理装置１０に接続される。コンテンツ処理装置１０は、インターネットなどのネットワーク６を介してサーバ８に接続可能に構成される。コンテンツ処理装置１０はコンテンツを処理し、画像や音声のデータを生成してヘッドマウントディスプレイ１００に送信する。

例えばコンテンツ処理装置１０は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のレートで描画し出力する。あるいはコンテンツ処理装置１０は、ネットワーク６を介してサーバ８からストリーミング転送された動画像を取得したり、記録媒体に格納された動画像のデータを読み出したりして、それを順次復号して出力してもよい。

この際、コンテンツ処理装置１０は、ヘッドマウントディスプレイ１００の位置や姿勢の情報を所定のレートでヘッドマウントディスプレイ１００から取得し、それに基づきユーザの視点の位置や視線の方向を特定したうえ、対応する視野で表示画像を生成、送信する。なおコンテンツ処理装置１０の一部または全部の機能は、ヘッドマウントディスプレイ１００の内部に搭載してもよい。

サーバ８は基本的に、ゲームを実行するためのアプリケーションや動画像などのコンテンツデータをコンテンツ処理装置１０に提供する。本実施の形態のサーバ８はさらに、ヘッドマウントディスプレイ１００の表示パネルの制御に用いる基準値を提供する。つまりサーバ８は、サーバ８を介して接続される複数のコンテンツ処理装置１０に共通の基準を与えることにより、それに接続されるヘッドマウントディスプレイ１００の個体に依存することなく同様の輝度や色で画像が表示されるようにする。なお表示パネルの制御に用いる基準値を提供するサーバ８は、ゲームアプリケーションやコンテンツデータを提供するサーバと異なっていてもよい。

図３は、本実施の形態において表示制御に用いる基準値の概念を説明するための図である。まずコンテンツの作成者は、自分が保有する表示装置を用いてコンテンツの画像における輝度や色味を決定し、例えば１６ビット浮動小数で画素ごとに各原色（赤、緑、青）の輝度を表した画像３０を生成する。当該画像のデータは、光−電気伝達関数（ＯＥＴＦ：Optical-Electro Transfer Function）３２を用いて量子化され、１０ビットなどの電気信号として保存されたり送信されたりする。

コンテンツ処理装置１０を介して当該信号を受信したヘッドマウントディスプレイ１００は、電気−光伝達関数（ＥＯＴＦ：Electro-Optical Transfer Function）により電気信号を逆量子化してリニア輝度３４とする。続いてヘッドマウントディスプレイ１００はトーンカーブ３６を用いて、画像の輝度レンジを表示パネルが出力可能な輝度レンジに収めるトーンマッピングを行う。典型的にはトーンカーブ３６は、人の視覚特性を考慮して、低輝度領域から高輝度側へ向かうほど階調を抑えるような変換を実現する。

ヘッドマウントディスプレイ１００は変換後の各原色の輝度の値を、さらに表示パネルの輝度特性に応じた関数で電圧に変換したうえ表示パネルを駆動させることにより画像を表示する。このように同じ変換処理を経て同じ電圧で表示パネルを駆動しても、実際に表示される画像４０ａ、４０ｂ、４０ｃは、それを表示するヘッドマウントディスプレイ１００によって輝度や色味が異なることが考えられる。

例えばコンテンツ作成者が用いた表示装置の最大輝度が５００ｎｉｔであるのに対し、画像４０ａ、４０ｂ、４０ｃを表示するエンドユーザのヘッドマウントディスプレイ１００の最大輝度がそれぞれ５０５ｎｉｔ、４８８ｎｉｔ、４９３ｎｉｔであれば、表示される画像は元の画像３０より明るくなったり暗くなったりする。

ここで「最大輝度」は、発光素子を最大限光らせたときの輝度であるピーク輝度でもよいし、画像の輝度分布などに応じてピーク輝度を低減させる方向に調整したときの最大の輝度でもよい。完全に仕様の異なる表示装置であれば、最大輝度の差はトーンカーブ３６やその後の電圧変換処理において補正対象となるが、製造時の個体差などは仕様には表れないため補正の範囲外となりやすい。

また同じ電圧を印加しても原色の輝度のバランスが表示パネルによって異なれば、表示される色も変化する。例えばコンテンツ作成者の表示装置において、元の画像３０の画素値（Ｒ，Ｇ，Ｂ）が設定される。それに対応する同じ電圧で、エンドユーザのヘッドマウントディスプレイ１００の表示パネルを駆動させても、それぞれの画像４０ａ、４０ｂ、４０ｃにおける同じ画素の色に差が生じ得る。この場合も、従来の輝度変換の手順ではその差が補正されることは少ない。

そこで本実施の形態では、最大輝度などの輝度特性および色域に基準を設け、複数のヘッドマウントディスプレイ１００があたかも当該最大輝度や色域の特性を有しているように見せる。具体的には、各ヘッドマウントディスプレイ１００の輝度特性および色域を実測し、基準との差を解消するように表示画像の画素値（各原色の輝度）を変換する。これにより、複数のヘッドマウントディスプレイ１００において、輝度レンジおよび色調が同一の画像を表示できる。なお輝度レンジの調整と色の調整はどちらか一方を行ってもよいし、双方を行ってもよい。

図４はヘッドマウントディスプレイ１００の内部回路構成を示している。ヘッドマウントディスプレイ１００は、ＣＰＵ５０、メインメモリ５２、表示部５４、音声出力部５６、通信部６２、モーションセンサ６４、撮像部６６、タイマー６８、および装着センサ１１２を含む。これらの各部はバス５８を介して相互に接続されている。ＣＰＵ５０は、バス５８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理し、出力データを表示部５４、音声出力部５６に供給する。メインメモリ５２はＣＰＵ５０における処理に必要なプログラムやデータを格納する。

表示部５４は、液晶パネルや有機ＥＬパネルなどの表示パネルとその駆動機構で構成され、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。音声出力部５６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンとその制御機構で構成され、ユーザに音声を聞かせる。

通信部６２は、コンテンツ処理装置１０と通信を確立し、必要なデータを送受する。モーションセンサ６４は、加速度センサ、ジャイロセンサ、地磁気センサなどの少なくともいずれかで構成され、ヘッドマウントディスプレイ１００の３次元空間での姿勢や動きを計測する。撮像部６６はステレオカメラ１１０で構成され、実空間を所定のレートで撮影し、適宜補正処理を施すことにより撮影画像を出力する。タイマー６８は、輝度レンジの調整において調整開始からの経過時間を計測する。装着センサ１１２は上述のとおり、ユーザによるヘッドマウントディスプレイ１００の着脱を検出する。

図５は、ヘッドマウントディスプレイ１００が内蔵する表示制御装置７０の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、図４に示したＣＰＵ５０やメインメモリ５２、各機構の制御回路などで実現でき、ソフトウェア的には、記録媒体などからメインメモリ５２にロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

表示制御装置７０は、画像のデータを取得する画像データ取得部７２、画素値を輝度に変換する輝度取得部７４、最大輝度および色域の基準情報を取得する基準情報取得部７６、基準に合った画像が表示されるように画素値を調整する出力調整部７８、および調整後の画像データを出力する出力部８０を含む。画像データ取得部７２は、通信部６２を介してコンテンツ処理装置１０から画像のデータを取得する。このデータは上述のとおり、元の画像の各画素が表す３原色の輝度を、ＯＥＴＦにより量子化したものである。

輝度取得部７４は、画像データ取得部７２が取得した画像の画素値を、ＥＯＴＦにより輝度に変換する。基準情報取得部７６は、輝度特性および色域の少なくともいずれかの基準値を取得する。なお以後の説明では輝度特性として最大輝度を用いる場合を例示するが、輝度レンジ調整の根拠となるパラメータであれば最大輝度に限らず、例えば中間の輝度範囲を含め輝度の設定値と発光輝度の測定値の関係を表すテーブルやトーンカーブなどでもよい。

最大輝度の基準値を取得する場合、基準情報取得部７６は、例えば基準となる表示パネルに最大電圧を印加したときに得られる輝度の測定値を取得する。ここで「基準となる表示パネル」とは例えば次のようなものである。
１．それまでに出荷された製品のうち最大輝度の測定値が最も低かった表示パネル
２．コンテンツ作成者がコンテンツの作成において用いた表示パネル

上記１を採用することにより、表示輝度を落とす方向で、複数のヘッドマウントディスプレイ１００の輝度レンジを容易に一致させることができる。上記２を採用することにより、コンテンツ作成者が意図した画像を複数のヘッドマウントディスプレイ１００で同様に表示できる。なお上記１と２は必ずしも排他条件ではない。すなわち本実施の形態による輝度レンジの調整を、最大輝度が最も低かった表示パネルに合うように実施する表示装置を、コンテンツ作成者が用いるようにすれば、上記１と２が同じ基準となる。

また特定の表示パネルを基準とするのでなく、数値的に最大輝度を設定してもよい。例えば基準情報取得部７６は、それまでに出荷された表示パネルの最大輝度の平均値や中央値を基準値として取得してもよい。色域の基準値を取得する場合、輝度取得部７４は、例えば基準となる表示パネルに３原色および基準白色をそれぞれ表示させたときの色度の測定値を取得する。

この場合の「基準となる表示パネル」とは例えば次のようなものである。
１．それまでに出荷された製品のうち色域が最も狭かった表示パネル
２．コンテンツ作成者がコンテンツの作成において用いた表示パネル
この場合も最大輝度と同様、１と２が同一基準となるようにしてもよい。あるいは基準値を数値的に設定してもよい。

上述のとおり基準情報取得部７６は、最大輝度と色域の基準値の双方を取得してもよい。基準情報取得部７６は基本的に、当該基準値を内部のメモリに格納しておく。ただしその後も表示パネルは製造され続け、場合によっては機能のマイナーチェンジや世代移行などがなされた結果、基準値が変化することが考えられる。またコンテンツ作成者がコンテンツの作成に用いる表示パネルを変えることもある。

そのため基準情報取得部７６は、通信部６２、ネットワーク６を介してサーバ８から最新の基準値を随時取得し、メモリの内容を更新する。コンテンツによって基準値が異なる場合、基準情報取得部７６はコンテンツに対応づけて基準値をメモリに格納する。基準情報取得部７６は、取得した基準値の最新情報を出力調整部７８に供給する。コンテンツごとに基準値が異なる場合は、処理対象のコンテンツに対応づけられた基準値を供給する。

出力調整部７８は、基準情報取得部７６から供給された基準値と、画像出力先の表示パネルについて測定された、対応するパラメータとに基づき、表示画像の画素値である３原色の輝度を調整する。詳細には出力調整部７８は、画像の輝度レンジを調整する輝度レンジ調整部８２、表示パネルの最大輝度の測定値を格納する輝度情報記憶部８６、画像の色を調整する色調整部８４、表示パネルの色域の測定値を格納する色域情報記憶部８８を含む。

輝度情報記憶部８６は、表示パネルあるいはヘッドマウントディスプレイの出荷時などに輝度計により測定された、表示パネルの最大輝度を格納する。上述のとおり最大輝度はピーク輝度でもよいしそれを調整した輝度でもよいが、基準情報取得部７６が取得する最大輝度と同じパラメータとする。輝度レンジ調整部８２は、輝度情報記憶部８６から表示先のパネルの最大輝度の測定値を読み出し、基準値との差を解消するよう、表示画像の輝度レンジを調整する。

すなわち輝度レンジ調整部８２は、基準の表示パネルの輝度レンジで表示されるよう、表示画像の輝度レンジを測定値に基づき変化させる。最も単純には、最大輝度の基準値に対する測定値の割合を、全ての画素値に乗算することにより画像全体の輝度を同じ割合で調整する。あるいは最大輝度の基準値が表示パネルの測定値より低いとき、基準値より大きい輝度についてのみ基準値まで低下させる調整を行ってもよい。あるいはトーンマッピング後の輝度の最大値が基準値となるようにトーンカーブを変化させてもよい。

ここで輝度レンジ調整部８２は、人の視覚の明暗順応を利用して、輝度の調整をユーザに気づかれないようにしてもよい。明暗順応とは、眼球への入射光の強度の急激な変化によって見えにくくなった物が、網膜の感度調節により徐々に適切に見えるようになる生理的反応をいう。輝度レンジ調整部８２は、眼球への入射光の強度の変化が所定の基準を超えたタイミングで輝度レンジの調整を開始し、順応が完了する前、すなわち視力が低下している期間に徐々に輝度レンジを変化させる。

これにより、輝度レンジの調整が必要ない期間においてはヘッドマウントディスプレイ１００が本来有する性能を最大限発揮した画像を視認させたうえ、必要に応じて調整を加えてもユーザには気づかれにくい。途中で調整を解除する場合も同様である。ヘッドマウントディスプレイの場合、ユーザがそれを装着した時点で周囲の光は遮蔽されるため、結果として眼球への入射光強度に比較的大きな変化が生じる。

例えば基準の最大輝度が小さい場合、ユーザがヘッドマウントディスプレイ１００を装着した時点では本来の広い輝度レンジで画像を表させ、その直後から徐々に輝度レンジを縮小することで、ヘッドマウントディスプレイ１００の性能が貧弱であるような誤解を与えないようにできる。この場合、輝度レンジ調整部８２は、ユーザがヘッドマウントディスプレイ１００を装着したタイミングを装着センサ１１２から取得し、そのタイミングからの経過時間をタイマー６８から取得することにより、単位時間あたり所定の変化量で輝度レンジを徐々に変化させる。

また輝度レンジ調整部８２は、コンテンツのシーンによって輝度レンジを調整するか否かを切り替えてもよい。例えば高精細で厳密に作成されたシーンや、高周波数成分が少なく輝度レンジの差が視認されやすいシーンについては、輝度レンジ調整部８２は表示画像の輝度レンジを基準値に合うように調整する。あるいは輝度レンジ調整部８２は、図示しない入力装置を介したモード切り替え操作をユーザより受け付け、調整モードか否かによって輝度レンジを調整するか否かを切り替えてもよい。

これらの場合においても輝度レンジ調整部８２は、眼球への入射光の強度が大きく変換した時点から輝度レンジを徐々に調整することにより、変化を認識されにくくしてもよい。例えば輝度レンジ調整部８２は、暗いシーンと明るいシーンの切り替わりを検出し、その直後から輝度レンジの調整を開始する。すなわちシーンの切り替わりからの経過時間をタイマー６８から取得することにより、単位時間あたり所定の変化量で輝度レンジを徐々に変化させる。外光を遮蔽する形式のヘッドマウントディスプレイ１００の場合、眼球への入射光は表示される画像に依存するため、視力低下のタイミングを捉えた輝度レンジの調整が容易かつ効率的に行える。

色調整部８４は、色域情報記憶部８８から表示先のパネルの色域に係る測定値を読み出し、基準の色域との差による色の変化が解消されるように、表示画像の画素値、すなわち３原色の輝度を調整する。すなわち色調整部８４は、基準の表示パネルで表示される色が表示されるよう、表示画像の画素値を測定値に基づき調整する。具体的には色調整部８４はまず、３原色の輝度（Ｒ，Ｇ，Ｂ）の値を、ＸＹＺ表色系での値（Ｘ，Ｙ，Ｚ）に変換する。ＸＹＺ表色系は表示装置によらない絶対的な色を表す。そして色調整部８４は、当該（Ｘ，Ｙ，Ｚ）の色を表すための、表示先のパネルでの３原色の輝度（Ｒ，Ｇ，Ｂ）を求める。画素値（Ｒ，Ｇ，Ｂ）をＸＹＺ表色系へ変換する式は次のように表される。

ここでＭは３×３の変換行列であり、表示パネルの色域、すなわち３原色と基準白色の色度によって一意に定まる。ＸＹＺ表色系での（Ｘ，Ｙ，Ｚ）を３原色の輝度（Ｒ，Ｇ，Ｂ）に変換する場合は当然、変換行列Ｍの逆行列を（Ｘ，Ｙ，Ｚ）に作用させればよい。色域情報記憶部８８は、表示パネルあるいはヘッドマウントディスプレイの出荷時などに色度計により測定された、３原色および基準白色をそれぞれ表示させたときの色度を格納する。

あるいは色域情報記憶部８８には、それらの値から計算によって求められる変換行列Ｍを格納しておいてもよい。色度の測定は表示パネルの複数箇所で行い、外れ値を除外したうえ平均値や中央値を採用することにより、パネルの色ムラや輝度ムラによる影響を抑えることが望ましい。表示パネルの一般的な製造工程では、色ムラや輝度ムラを補正するためのキャリブレーションとして色の測定を行うため、その結果を流用してもよい。

一方で、そのようなキャリブレーションの結果、色ムラを軽減させるように制御された状態で、３原色および基準白色をそれぞれ表示させた際の色度の測定値を色域情報記憶部８８に格納してもよい。運用時には当該制御が導入された状態で画像が表示されるため、色調整部８４はそれを反映させた測定値を用いて色を調整することにより、ユーザが実際に見る画像の色を統一できる。また接眼レンズを介して画像を視認する形式のヘッドマウントディスプレイの場合、当該接眼レンズを透過した光を測定対象としてもよい。基準情報取得部７６が取得する基準値についても同様とすることにより、レンズによる影響を加味して厳密に色を揃えることができる。

出力部８０は、出力調整部７８が画素値を調整した結果得られた画像のデータを、表示パネルを含む表示部５４に出力する。すなわち出力部８０は、調整によって得られた３原色のリニアの輝度を、表示部５４の特性に応じた伝達関数により電圧に変換したうえ、表示部５４の表示パネルを駆動させる。出力調整部７８がトーンマッピングを調整に利用しない場合、出力部８０において適宜トーンマッピングを行う。

図６は、輝度レンジ調整部８２によって調整される、輝度レンジの時間変化を例示している。図は縦軸を最大輝度（ｎｉｔ）、横軸を時間（ｓｅｃ）としている。また、画像表示先の表示パネルの最大輝度Ｌ_ｏｒｇより、基準の最大輝度Ｌ_ｓｔｄが小さい場合を想定しているが、本実施の形態をこれに限る主旨ではない。上述のとおり輝度レンジ調整部８２は、好適には調整開始タイミングｔ０から徐々に輝度レンジを変化させ、基準の最大輝度Ｌ_ｓｔｄに到達させる。

輝度レンジ調整部８２は基本的に、ユーザの眼球への入射光の強度が大きく変化したときを調整開始タイミングｔ０とする。例えば輝度レンジ調整部８２は、ユーザがヘッドマウントディスプレイ１００を装着した時点、ヘッドマウントディスプレイ１００において画像表示が開始された時点、表示中のコンテンツにおいてシーンの明るさが大きく変化した時点などを調整開始タイミングｔ０とする。例えば輝度レンジ調整部８２は、ユーザがヘッドマウントディスプレイ１００を装着したタイミングを、装着センサ１１２からの通知により検出する。

また輝度レンジ調整部８２は、シーンの明るさが大きく変化したタイミングを、あらかじめ設定しておいた所定の条件に基づき判定する。例えば画像全体の輝度の平均値あるいは中央値が前のフレームから所定のしきい値以上、変化したことを条件として設定しておく。この場合、輝度レンジ調整部８２は、ユーザがヘッドマウントディスプレイ１００を装着したこと、あるいはユーザが調整モードへ切り替えたことを条件に、シーンの明るさが大きく変化するタイミングの判定処理を開始してよい。

調整期間ｔ０〜ｔ１における最大輝度の傾き、すなわち単位時間当たりの調整量は、人が気づきにくい輝度の変化速度をあらかじめ実験などにより求めておく。この場合、画像表示先の表示パネルの最大輝度Ｌ_ｏｒｇと基準の最大輝度Ｌ_ｓｔｄの差によって、調整終了タイミングｔ１は自ずと定まる。あるいは人の順応に要する時間から時刻ｔ１を先に決定し、期間ｔ０〜ｔ１内に調整が完了するように最大輝度の傾きを決定してもよい。なお図示する最大輝度の時間変化は一例であり、調整の途中で傾きを変化させたり曲線状に変化させたりしてもよい。

図７は、輝度レンジ調整部８２が表示画像の各画素の輝度を調整する手法の例を説明するための図である。同図は横軸を調整前の輝度、縦軸を調整後の輝度としたときの対応関係を実線で示している。比較のために調整しない場合の輝度、すなわち調整前後で輝度が変化しないときの対応関係も破線で示している。なお実際には、３原色に対し同様の調整を行う。（ａ）は、全ての画素の輝度を最大輝度の変化と同じ割合で変化させる例を示している。すなわち０から最大輝度Ｌ_ｏｒｇの範囲の輝度を、０から基準の最大輝度Ｌ_ｓｔｄの範囲に線形のまま変化させている。

（ｂ）は、表示画像のうち基準の最大輝度Ｌ_ｓｔｄ以上の画素については全て、当該最大輝度Ｌ_ｓｔｄにクランプする例を示している。この場合、最大輝度Ｌ_ｓｔｄより低い画素については元の輝度が維持される。（ｃ）はトーンマッピングを利用して調整する例を示している。すなわち輝度レンジ調整部８２は、通常用いるトーンカーブ９０の代わりに、最大輝度がＬ_ｓｔｄとなるようなトーンカーブ９２を用いてトーンマッピングを行う。（ｃ）の手法はトーンマッピングと同時に輝度レンジの調整を行える。（ａ）、（ｂ）のケースは、輝度レンジ調整部８２による調整後、出力部８０が適宜トーンマッピングを通常通り行う。

図８は、色調整部８４が色を調整する原理を説明するための図である。（ａ）はＸＹＺ表色系のＣＩＥ色度図を示している。図ではグレースケールで示しているが、三刺激値ＸＹＺを比率で表したときの前二者を要素とするｘｙ座標によって絶対的な色度が定められる。表示パネルが表すことのできる色域９４は、馬蹄形の色度の範囲において、例えば図示するように定義される。

色域は同じ仕様の表示パネルであれば名目上は同一であるが、（ｂ）に実線および破線で示すように、製造時の様々な要因により僅かながらばらつくことがある。すると同じ色度９６であっても、それを表す３原色の輝度の組み合わせ（Ｒ，Ｇ，Ｂ）が表示パネルによって異なることになる。これは（Ｒ，Ｇ，Ｂ）が、色域を表す三角形の頂点である３原色の座標からの相対的な位置関係で表されるためである。換言すれば、同じ画素値（Ｒ，Ｇ，Ｂ）であっても絶対的な色度に差が生じ、結果として表示パネルに依存した色で表される可能性がある。

そこで色調整部８４は、標準の色域（例えば色域９８ａ）で表されるＲＧＢの色が、表示先のパネルの色域（例えば色域９８ｂ）においてＲＧＢでどのように表されるかを計算によって求める。すなわち上述のとおり、画像の画素値を式１によりＸＹＺ表色系での値に変換して色度（例えば色度９６）を求め、当該色度を表示先の表示パネルで表すときのＲＧＢの値を、当該パネルの変換行列の逆行列により求める。元の画像の画素値（Ｒ_ｏｒｇ，Ｇ_ｏｒｇ，Ｂ_ｏｒｇ）を、表示先のパネルにおける画素値（Ｒ_ｔｇｔ，Ｇ_ｔｇｔ，Ｂ_ｔｇｔ）に変換する式は次のようになる。

ここでＭ_ｓｔｄは基準の色域から取得されるＸＹＺ表色系への変換行列、Ｍ_ｔｇｔは表示先のパネルの色域から取得されるＸＹＺ表色系への変換行列である。このように元の画像の画素値を変換したうえで表示先のパネルに出力することにより、色域がばらついていても表示される画像の色を統一できる。なお上述のとおり、コンテンツの作成時に作成者が用いる表示装置を含め同様の調整を行えば、エンドユーザの表示装置との間で色表現が統一されるため、基準の色域は実在する表示パネルのものでなくてもよい。

例えばそれまでに出荷された表示パネルの色域のうち最も狭い色域を基準とすれば、その内側で定義されるＲＧＢの画素値の色度は、全ての表示パネルの色域に包含されることになる。その結果、色調整によってＲＧＢの最大輝度を超えてしまい、画素値が当該最大輝度にクランプされてしまうのを回避できる。

以上述べた本実施の形態によれば、最大輝度および色域の少なくともいずれかに基準値を設定し、表示制御装置はそれらと表示先のパネルにおける対応するパラメータの測定値との差を解消するように、表示画像の輝度レンジや色を調整する。これにより、製造時の様々な要因によって表示パネルに個体差が生じていても、複数の表示装置で輝度や色を統一できる。

また表示制御装置は、ユーザの眼球への入射光強度が大きく変化してから暗明順応が完了するまでの視力が低下している状態において輝度レンジを調整する。これにより、コンテンツの途中で調整を開始しても、ユーザがそれを認識する可能性を低くでき、自然な調整を行える。またヘッドマウントディスプレイを装着したタイミングなど調整が好ましくない期間においてはそれを尊重でき、調整の有無を好適に両立できる。

また、表示パネルの色域を、実際になされる制御下や接眼レンズを介した状態で測定しておき、表示制御装置はそれに基づき色の調整を行う。これにより、最終的な見た目で色を揃えることができる。以上の構成により、例えばコンテンツ作成者が作成した高精細な画像を、どの表示装置を用いてもその意図や世界観を損なうことなく視認させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０コンテンツ処理装置、５０ＣＰＵ、５２メインメモリ、５４表示部、５６音声出力部、６２通信部、６４モーションセンサ、６６撮像部、６８タイマー、７０表示制御装置、７２画像データ取得部、７４輝度取得部、７６基準情報取得部、７８出力調整部、８０出力部、８２輝度レンジ調整部、８４色調整部、８６輝度情報記憶部、８８色域情報記憶部、１００ヘッドマウントディスプレイ、１１０ステレオカメラ、１１２装着センサ。

Claims

表示パネルへ出力する画像のデータを制御する表示制御装置であって、
前記表示パネルの輝度特性の測定値を格納する輝度情報記憶部と、
基準の表示パネルの輝度特性を取得する基準情報取得部と、
前記基準の表示パネルの輝度レンジで表示されるよう、前記画像の輝度レンジを前記測定値に基づき徐々に変化させる輝度レンジ調整部と、
輝度レンジが調整された画像のデータを出力する出力部と、
を備えたことを特徴とする表示制御装置。
前記輝度レンジ調整部は、眼球への入射光の強度の変化が所定の基準を超えたタイミングで、前記画像の輝度レンジの調整を開始することを特徴とする請求項１に記載の表示制御装置。
前記輝度レンジ調整部は、前記表示制御装置を内蔵するヘッドマウントディスプレイをユーザが装着したことを検出し、その直後から前記画像の輝度レンジを徐々に縮小することを特徴とする請求項１または２に記載の表示制御装置。
前記輝度レンジ調整部は、表示対象のコンテンツのシーンの明るさが所定の基準を超えて変化したことを検出し、その直後から前記画像の輝度レンジを徐々に縮小することを特徴とする請求項１または２に記載の表示制御装置。
前記輝度レンジ調整部は、表示対象のコンテンツのシーンまたはユーザによるモード切り替え操作によって、前記画像の輝度レンジを調整するか否かを切り替えることを特徴とする請求項１から４のいずれかに記載の表示制御装置。
前記基準情報取得部は、複数の表示パネルの輝度特性の測定値に基づき決定された輝度特性を、前記基準の表示パネルの輝度特性として取得することを特徴とする請求項１から５のいずれかに記載の表示制御装置。
前記基準情報取得部は、出荷された表示パネルのうち最大輝度が最も低い表示パネルの輝度特性を、前記基準の表示パネルの輝度特性として取得することを特徴とする請求項１から６のいずれかに記載の表示制御装置。
前記基準情報取得部は、コンテンツ作成者がコンテンツの作成に用いた表示パネルの輝度特性を、前記基準の表示パネルの輝度特性として取得することを特徴とする請求項１から５のいずれかに記載の表示制御装置。
前記基準情報取得部は、前記基準の表示パネルの輝度特性を、ネットワークを介してサーバから取得することにより更新することを特徴とする請求項１から８のいずれかに記載の表示制御装置。
請求項１から９のいずれかに記載の表示制御装置と、
前記表示制御装置によりデータ制御された画像を表示する表示パネルと、
を備えたヘッドマウントディスプレイ。
表示パネルへ出力する画像のデータを制御する表示制御装置が、
メモリに格納された、前記表示パネルの輝度特性の測定値を読み出すステップと、
基準の表示パネルの輝度特性を取得するステップと、
前記基準の表示パネルの輝度レンジで表示されるよう、前記画像の輝度レンジを前記測定値に基づき徐々に変化させるステップと、
輝度レンジが調整された画像のデータを出力するステップと、
を備えたことを特徴とする画像表示方法。
表示パネルへ出力する画像のデータを制御するコンピュータに、
メモリに格納された、前記表示パネルの輝度特性の測定値を読み出す機能と、
基準の表示パネルの輝度特性を取得する機能と、
前記基準の表示パネルの輝度レンジで表示されるよう、前記画像の輝度レンジを前記測定値に基づき徐々に変化させる機能と、
輝度レンジが調整された画像のデータを出力する機能と、
を実現させることを特徴とするコンピュータプログラム。