JP2010091870A - 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体 - Google Patents

Abstract

【課題】 各画素内で各原色を発するエレメントが別個に設けられている表示デバイスにおいても、光学収差を適切に補正して画質の高い画像を表示する技術を提供する。
【解決手段】 それぞれ異なる原色光を発する複数の原色エレメントを各画素が有する表示手段を用いて、表示光学系で生じる色収差を補正する画像処理装置は、前記表示手段が有する原色エレメントが発する原色光の各々について、発光源となる原色エレメントの位置を基準とした位置ずれ量を取得する取得手段と、取得した前記位置ずれ量に基づいて、表示画像の各画素の前記表示手段における表示位置を原色成分ごとに算出する算出手段と、表示画像の各画素の各原色成分を、前記表示手段の、前記算出手段が算出した前記表示位置に表示させる表示制御手段と、を備える。
【選択図】 図９

Description

本発明は、画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体に関し、特に、ディスプレイの各画素に含まれる原色エレメントの位置が色ごとに異なる構成における色収差を補正する技術に関する。

近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。そして、ＭＲ技術の１つに、ビデオシースルー型ＨＭＤを利用して、ＨＭＤ装着者の瞳位置から観察される被写体をビデオカメラなどで撮像し、その撮像画像にＣＧを重畳した複合現実画像をＨＭＤ装着者に対して表示する技術が知られている。なお、ＨＭＤはＨｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（頭部装着型ディスプレイ）の略称であり、ＣＧはＣｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ（コンピュータ・グラフィックス）の略称である。ビデオシースルー型ＨＭＤでは、ＣＣＤ等の電荷結合素子により被写体を撮像して該被写体のデジタル画像データを得るとともに、ＣＧ画像を重畳したＭＲ画像（複合現実画像）を液晶等の表示デバイスを介して装着者に表示する構成になっている。

このような頭部に装着するＨＭＤは小型化・軽量化が望まれる。しかし、廉価なレンズや少ない枚数のレンズで光学系を構成した場合、レンズの収差に起因して、表示する画像の画質を良好に保持できないおそれがある。例えば、レンズの歪曲収差に起因して、樽型の像が得られたり、糸巻型の像が得られたりしてしまうことがある。また、レンズの倍率色収差に起因して、被写体像の境界部分に赤や青や緑の色にじみが生じてしまうことがある。このため、上記のようなレンズの収差に起因した被写体像の画質低下を補正する必要がある。

なお、光学的なアプローチにより各種の収差を補正する方式は、一般的にサイズや重量が大きいため、小型化・軽量化が望まれるＨＭＤの用途に適合しないことが多い。このため、撮像および表示の光学系に関しても信号処理による電子的な補正を施すことで、廉価なレンズの採用を可能にしたり、レンズ枚数を減らしたりすることが検討されている。

光学系の各種収差のうち歪曲収差と倍率色収差を信号処理によって補正する技術は、大きく３種類に分類することができる。以下、それぞれの概要を説明する。

１つ目は、アドレス変換による歪曲収差、倍率色収差の補正処理である。アドレス変換は、撮像系においては理想的な光学系で得られる結像位置と実際の収差の影響を受けた結像位置との対応関係に基づき、歪んだ画像を理想的な画像位置へと移動する手法である。変換前後の画素位置に関する対応関係をテーブル化し、単にメモリの読み出しと書き込みの対応関係（アドレス）を変換するものから、精度の高い変換後の座標データを保持するものまで様々である。表示系においても表示する画素と実際に表示される位置との対応関係によって表示位置を変換する。このように画素の変換を行えば歪曲収差の補正が、画素を構成する色毎に変換を行われた場合は、倍率色収差を補正することができる。

２つ目は、解像度変換による倍率色収差の補正処理で、色によって変倍率が異なることを利用して基準となる色に対して、拡大、縮小処理を適用することで色にじみの少ない画像を得る手法である。

３つ目は、近似多項式を利用した歪曲収差、各色の歪曲収差補正による倍率色収差の補正処理であり、補正パラメータを係数とする高次の多項式で近似して変換後の座標群を算出するものである。

比較的汎用性が高く、高精度な座標変換が可能なのはアドレス変換である。ただし、画像サイズが大きい場合や、高い変換精度が求められる場合においては、変換後の座標との対応関係を格納した参照テーブルのサイズが肥大化してしまう。

これに対して、複数色の一色を基準色として他の色は基準色との差分を格納する構成や、光学系の対称性を利用してテーブルのサイズを削減する構成が特許文献１、特許文献２に開示されている。例えば、画像に対して光学系が左右方向または上下方向に対称であれば、表示対象部分の参照値を一方向側についてのみ生成することが可能なため、テーブルサイズを半減することができる。さらに、光学系が上下左右とも対称であれば（すなわち、回転対称系であれば）、テーブルサイズを１／４に低減することも可能である。
特開平８−２０５１８１号 特開２０００−１５３３２３号

しかしながら上述した従来の技術においては、以下のような課題が存在する。すなわち、表示デバイスからの光を目に導く光学系が回転対称や光学原点を通る軸による対称となっても、表示デバイスを構成する画素の並びが左右または上下方向で軸に対して対称とならない場合がある。例えば、単板のＴＦＴ（Ｔｈｉｎ−Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶や有機ＥＬ等の表示パネルがこのような表示デバイスに該当する。なお、これらの表示デバイスは小型・軽量化のためＨＭＤでは採用されることが多い。

ＴＦＴ液晶パネルの各画素は、原色光を発する原色エレメントとして、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三色のフィルタを有している。液晶パネルを正面から見たときに各フィルタがこの順序で左から右に各画素内に配置されているＴＦＴ液晶パネルにおいては、光学原点を通る垂直な軸に対して、液晶パネルの右側ではＢが外側に位置するが、左側ではＲが外側に位置することになる。このような構成に対して、回転対称や軸対称の補正値を適用すると、画素の並び方向にズレが生じてしまう。ズレ方は使用する光学素子に依存するが、例えば各画素がＲＧＢの三色のフィルタを有する構成においては、ＲとＢのズレ量は左右で２／３画素分ずれることになる。一般にＨＭＤの光学系の解像度は１画素程度の分解能を持つようにしている場合が多いが、色ズレに関しては０．１画素から０．３画素程度の色のズレが視覚的に偽色や色にじみの発生として認められることが実験によって確認されている。

したがって、上記のＴＦＴ液晶パネルのように各原色を発するエレメント（色フィルタや発光部等）が各画素内でそれぞれ別個に設けられている場合、従来手法により光学収差を補正すると、ユーザが知覚できる程度に偽色や色にじみが発生してしまう。特に、ＨＭＤにおいては表示デバイスがユーザの瞳に近接して使用されるため、画素内の色ズレが画質の低下として目立ってしまう。

本発明はかかる問題に鑑みなされたものであり、各画素内で各原色を発するエレメントが別個に設けられている表示デバイスにおいても、光学収差を適切に補正して画質の高い画像を表示する技術を提供することを目的とする。

本発明によれば、それぞれ異なる原色光を発する複数の原色エレメントを各画素が有する表示手段を用いて、表示光学系で生じる色収差を補正する画像処理装置であって、
前記表示手段が有する原色エレメントが発する原色光の各々について、発光源となる原色エレメントの位置を基準とした位置ずれ量を取得する取得手段と、
取得した前記位置ずれ量に基づいて、表示画像の各画素の前記表示手段における表示位置を原色成分ごとに算出する算出手段と、
表示画像の各画素の各原色成分を、前記表示手段の、前記算出手段が算出した前記表示位置に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置が提供される。

また、本発明によれば、上記の画像処理装置を備える頭部装着型ディスプレイが提供される。

また、本発明によれば、それぞれ異なる原色光を発する複数の原色エレメントを各画素が有する表示手段を用いて、表示光学系で生じる色収差を補正する画像処理装置における画像処理方法であって、
前記表示手段が有する原色エレメントが発する原色光の各々について、発光源となる原色エレメントの位置を基準とした位置ずれ量を取得する取得工程と、
取得した前記位置ずれ量に基づいて、表示画像の各画素の前記表示手段における表示位置を原色成分ごとに算出する算出工程と、
表示画像の各画素の各原色成分を、前記表示手段の、前記算出工程において算出された前記表示位置に表示させる表示制御工程と、
を有することを特徴とする画像処理方法が提供される。

本発明によれば、各画素内で各原色を発するエレメントが別個に設けられている表示デバイスにおいても、光学収差を適切に補正して画質の高い画像を表示する技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

＜＜第１実施形態＞＞
（装置構成）
本発明の第１の実施の形態について図面を参照して説明する。図１は、第１実施形態におけるＭＲシステムの装置構成の全体図である。

現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術である複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術では、撮像機能付表示装置（以下、撮像機能付表示装置をＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）と略す。ただし、双眼鏡のような手持ちタイプの装置でもよく、頭部装着型の装置に限らない）を利用する。本実施形態では、ＨＭＤ（頭部装着型ディスプレイ）の撮像部により取得した装着者視点の現実空間の背景画像に、装着者の位置、方向などの三次元位置姿勢情報に基づいて生成されたＣＧ画像を重畳し、ＨＭＤの表示部で表示する。これにより、ＨＭＤ装着者はＣＧで描画されたオブジェクトが、観察している現実空間内にあたかも存在しているかのような複合現実感を体感することができる。

図１のように、本実施形態におけるＭＲシステムは、ＨＭＤ１０１、コントローラ１０２、画像処理装置１０３を備えている。

ＨＭＤ１０１は、装着者の観察している現実空間の画像を取得する撮像部と、表示画像を装着者に提供する画像表示部を有する。画像表示部が装着者に提供する表示画像には、撮像した現実空間画像や、画像処理装置１０３からの出力画像、または現実空間画像に画像処理装置１０３で生成したＣＧ画像を重畳した合成画像などが含まれる。また、ＨＭＤ１０１は、コントローラ１０２と通信を行う機能を有し、コントローラ１０２からの電源供給を受けて駆動することも、バッテリーで駆動することも可能な構成である。

コントローラ１０２と接続された画像処理装置１０３は、ＣＧ画像の描画を行うＣＧ描画部と、現実空間画像とＣＧ画像を合成する画像合成部を有する。画像処理装置１０３はコントローラ１０２を介し、ＨＭＤ１０１と通信を行う。ＨＭＤ１０１では、合成画像を受信し、ＨＭＤ１０１の画像表示部によりこの合成画像をＨＭＤ装着者に表示する。コントローラ１０２は、画像の解像度変換、色空間変換、本実施形態の特徴である光学系の歪み補正等の各種画像処理や、伝送フォーマット変換等の機能を備えている。

なお、図１では、画像処理装置１０３とコントローラ１０２を別々のハードウェア構成としているが、コントローラ１０２と画像処理装置１０３がそれぞれ有する機能を集め、専用の画像処理装置１０４を構成してもよい。また、図１中では各々の装置は有線の通信回線で接続されているが、これらの一部またはそのすべてを無線の通信回線で接続する形態としてもよい。さらには、コントローラ１０２の機能の一部または全部をＨＭＤ１０１側に取り込む構成でも構わない。以下の説明では機能的な観点から、コントローラ１０２とＨＭＤ１０１がそれぞれ有する機能を組み合わせたものをＨＭＤ１０１として説明する。

（機能構成）
次に本実施形態に係る複合現実システムの機能構成について図２を参照して説明する。図２は、本実施形態におけるビデオシースルー型複合現実システムの機能ブロック図である。

２０１はビデオシースルー型のＨＭＤである。ＨＭＤ２０１は以下の構成を備える。
・外界を撮像する撮像ユニット２０３。
・ＣＧが重畳されたＭＲ画像を表示する表示ユニット２０７。
・ＣＧの描画、合成を行う画像処理装置２０２とのＩ／Ｆ（インターフェース）２０５。
・ＨＭＤの位置姿勢情報を出力する三次元位置姿勢センサ２０４。
・本実施形態に係る表示系収差補正部２０６（後述）を有する。

２０２は画像処理装置であり、ＨＭＤ２０１から受け取った撮像画像から位置姿勢情報を生成したり、その位置姿勢情報に基づいてＣＧ画像を生成し、撮像画像と合成したりする。一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いて実現可能である。

２０３は、ＨＭＤ装着者の視線位置と略一致する外界の観察画像を撮像する撮像ユニットである。ステレオ画像を生成するための右目用、左目用の二組の撮像素子と光学系および後段の画像処理を行うための信号処理回路を有する。光学系の構成については後述する。

２０４は、ＨＭＤ装着者の位置姿勢情報を得るための三次元位置姿勢センサである。磁気センサやジャイロセンサ（加速度、角速度）が使用される。後述する位置姿勢情報生成部２０９で必要なセンサ出力の情報を生成するが、撮像画像を解析して位置姿勢情報を検出してもよく、必ずしも搭載が必須となるデバイスではない。

２０５はＩ／Ｆ（インタフェース）であり、撮像ユニット２０３で撮像された画像を画像処理装置２０２に伝送したり、合成されたＭＲ画像をＨＭＤ２０１へ伝送したりする。Ｉ／Ｆ２０５は、ＨＭＤ２０１と画像処理装置２０２との間のデータ通信を行う際に、インターフェースとして機能するものであり、画像処理装置２０２側に設けられているＩ／Ｆ２０８も同様に機能する。なお、何れのＩ／Ｆ２０５、２０８についても、リアルタイム性を有し、かつ大容量の伝送が可能な通信規格を採用することが望ましい。有線系であれば、例えば、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバを使用することができる。無線系であれば、例えば、ＩＥＥＥ８０２．１１のワイヤレスＬＡＮ、ＩＥＥＥ８０２．１５のワイヤレスＰＡＮ規格等に準拠した高速無線通信等を使用することができる。本実施形態では有線系であれば光ファイバ、無線系であればＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）を想定している。光ファイバの伝送帯域は数Ｇｂｐｓ、ＵＷＢは数百Ｍｂｐｓである。将来的には数Ｇｂｐｓの帯域を持つミリ波による無線通信方式を採用してもよい。

２０６は、表示光学系で生じる収差を補正する表示系収差補正部である。詳細については後述する。

２０７は、合成されたＭＲ画像を表示するための表示ユニットである。表示ユニット２０７は、撮像ユニット２０３と同じく、右目用、左目用の二組の表示デバイスと光学系を有する。表示デバイスは小型の液晶ディスプレイやＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）による網膜スキャンタイプのデバイスが使用される。光学系の構成については後述する。

２０８は、画像処理装置側のＩ／Ｆである。Ｉ／Ｆ２０８の構成はＨＭＤ２０１内のＩ／Ｆ２０５と同様であるため、説明を省略する。

２０９は、受け取った画像情報から、ＨＭＤ装着者の位置姿勢情報を生成する位置姿勢情報生成部である。撮像画像からマーカやマーカの代わりとなる特徴点を抽出して位置姿勢情報を生成する。なお、撮像画像中に使用すべきマーカや特徴点がない場合でも、例えば、不図示の客観視点による撮像画像や、ＨＭＤ２０１に取り付けられた三次元位置姿勢センサ２０４による情報を補足的に使用して位置姿勢を検出してもよい。

２１０はＣＧ描画部であり、コンテンツＤＢ２１１に保持されているそれぞれの仮想物体に係るデータを用いて、それぞれの仮想物体を仮想空間中に配置した仮想空間を形成する。そして、形成した仮想空間において観察者の視点から見える画像（ＣＧ画像）を生成する。所定の位置姿勢を有する視点から見える仮想空間の画像を生成する処理の詳細は周知であるので、その説明は省略する。

２１１は、仮想画像のコンテンツを納めたコンテンツＤＢ（データベース）であり、仮想空間を構成する各仮想物体に係るデータを保持する。仮想物体に係るデータには、例えば、仮想物体の配置位置姿勢や、その動作則を示すデータが含まれる。また、仮想物体がポリゴンでもって構成されている場合には、各ポリゴンの法線ベクトルデータやその色データ、ポリゴンを構成している各頂点の座標位置データ等も含まれる。また、仮想物体にテクスチャマッピングを施す場合には、テクスチャデータも含まれる。

２１２は、背景画像として描画された撮像画像と、ＣＧ画像とを合成するＭＲ画像合成部である。ここで得られたＭＲ画像は、Ｉ／Ｆ２０８を介してＨＭＤ２０１に送られて、表示に使用される。

上記構成を用いた処理の流れは以下の通りである。すなわち、撮像ユニット２０３で得られた撮像画像が、Ｉ／Ｆ２０６を介して画像処理装置２０２へ送信される。そして、画像処理装置２０２において、受け取った撮像画像中の識別マーカやその他の特徴量に基づき、ＨＭＤ２０１の位置姿勢情報が算出される。その後、撮像画像を背景画像として、前述した位置姿勢情報に基づいて生成されたＣＧ画像が重畳され、合成画像であるＭＲ画像が生成される。合成されたＭＲ画像は、Ｉ／Ｆ２０８を介してＨＭＤ２０１へ送られる。ＨＭＤ２０１では、撮像系と同様に表示光学系の収差を表示系収差補正部２０６で補正して、表示ユニット２０７で表示する。以上の構成および処理のプロセスにより、収差が補正された表示画像であるＭＲ画像を得るとともに、好ましい画像を使用者の瞳に導くことが可能となる。

（画像処理装置のハードウェア構成）
図３は、画像処理装置に適用可能なコンピュータのハードウェア構成を示すブロック図である。

３０１はＣＰＵであり、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、本コンピュータを適用した画像処理装置２０２が行う処理を実行する。

３０２はＲＡＭ（書き込み可能メモリ）である。ＲＡＭ３０２は、外部記憶装置３０６からロードされたプログラムやデータ、Ｉ／Ｆ３０７を介して外部（本実施形態の場合、ＨＭＤ２０１）から受信したデータ等を一時的に記憶するためのエリアを有する。また、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアも有する。ＲＡＭ３０２は、各種のエリアを適宜提供することができる。

３０３はＲＯＭ（読み出し専用メモリ）であり、本コンピュータの設定データやブートプログラム等を格納する。３０４は操作部であり、キーボードやマウスなどにより構成されている。本コンピュータの操作者は操作部３０４を操作することで、ＣＰＵ３０１に対して各種の指示を入力することができる。

３０５は表示部であり、ＣＲＴや液晶画面等により構成されている。表示部３０５は、ＣＰＵ３０１や不図示のグラフィックスボードによる処理結果を画像や文字でもって操作者へ表示することができる。

３０６は外部記憶装置であり、ハードディスクドライブ装置に代表される大容量情報記憶装置で実現することができる。ここにはＯＳ（オペレーティングシステム）や、画像処理装置２０２が行う後述各処理をＣＰＵ３０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータは、ＣＰＵ３０１による制御に従って、適宜、ＲＡＭ３０２にロードされ、ＣＰＵ３０１による処理の対象となる。

３０７はＩ／Ｆであり、図２に示したＩ／Ｆ２０８に相当する。Ｉ／Ｆ３０７は、ＨＭＤ２０１とのデータ通信を行うためのインターフェースとして機能する。３０８は上述の各部を繋ぐバスである。

尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

また、本実施形態では、説明の便宜のため、コンピュータを１つの装置で実現した構成について述べるが、複数の装置にリソースを分散した構成によって実現してもよい。例えば、記憶や演算のリソースを複数の装置に分散した形に構成してもよい。或いは、コンピュータ上で仮想的に実現される構成要素毎にリソースを分散し、並列処理を行うようにしてもよい。

（ＨＭＤのハードウェア構成）
図４は、ＨＭＤのハードウェア構成を示すブロック図である。４０１は撮像ユニット２０３に相当するものであり、４０２は表示ユニット２０７に相当するものである。４０３はＲＡＭで、ＣＰＵ４０６が各種の処理を行うために用いるワークエリアや、Ｉ／Ｆ２０５を介して外部（ここでは画像処理装置２０２）から受信したデータを一時的に記憶するためのエリア等を有する。

４０４はＲＯＭで、ＨＭＤ２０１が行う後述の各処理をＣＰＵ４０６に実行させるためのプログラムやデータが格納されている。４０５は三次元位置センサ２０４に相当するものである。４０６はＣＰＵで、ＨＭＤ２０１の初期設定を始め、各種デバイスの制御を行うプログラムを実行する。４０７はＩ／Ｆで、図２に示したＩ／Ｆ２０５に相当するものである。４０９は上述の各部を繋ぐバスである。

４０８は収差補正ＬＳＩで、表示系収差補正部２０６に相当するものである。ここでは専用集積回路であるＡＳＩＣを想定しているが、信号処理プロセッサであるＤＳＰによってソフト的に機能を記述し実現する構成でもよい。処理内容の詳細については後述する。

（収差）
次に、光学系に起因する収差について図５を参照して説明する。図５は、歪曲収差並びに倍率色収差を説明する図である。図５において、図５（ａ）は歪曲のない状態、図５（ｂ）は歪曲した状態、図５（ｃ）は歪曲収差に加えて倍率色収差の生じた状態を示している。

実レンズを用いて結像させると、図５（ａ）のような図形を撮像した場合は、図５（ｂ）のように画像が歪んでしまう。このように、表示画像が単色か否かに関わらず、レンズの形状に起因して生じる画像の歪みを歪曲収差と呼ぶ。

一方、光線はその波長によって屈折率が異なり、画像の拡大倍率は原色毎に相違するため、表示デバイス上で色によって結像位置（倍率）が異なる現象が生じる。このように色によって画像の拡大倍率が異なるために生じる光学収差を倍率色収差と呼ぶ。

図５（ｃ）は倍率色収差が生じる様子を模式的に示している。図５（ｃ）では、ＲＧＢ三原色の内、Ｇｒｅｅｎを実線で、Ｒｅｄを破線で、Ｂｌｕｅを一点鎖線で表している。ここで、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの光線はそれぞれ波長が異なるため、各色の光線によってレンズでの屈折率も異なる。したがって、図５（ｃ）のように、Ｇｒｅｅｎの像に対して、Ｒｅｄの像は外側に、Ｂｌｕｅの像は内側に結ぶことになる。このため、例えば、白黒の被写体については、その像のエッジに色にじみ（色ずれ）が生じる。また、カラー画像の被写体については、境界領域等の色味が変わるエッジ部分では同様の色にじみが生じてしまう。

（表示光学系）
次に、表示光学系について図６を参照して説明する。図６は、表示光学系の一例を示す図である。

６０１は、表示パネルである。後述する画素構成を有するＴＦＴ液晶や有機ＥＬのデバイスであり、ＴＦＴ液晶の場合は不図示のバックライトを光源とした光を各色のフィルタを経由して照射する構成となる。有機ＥＬデバイスの場合は自発光であるためバックライトは不要である。使用者に提示するカラー画像をこのパネル上に形成する。

６０２は、小型の表示パネル６０１からの光線を拡大し瞳に導くための自由曲面プリズムである。単なるレンズと比べて薄型、小型化を実現することが可能である。

６０３は、表示パネル６０１で形成した画像の結像点である。この位置に瞳を持ってくることで、表示パネル６０１の画像が拡大された大画面の表示画像を見ることができる。

一般に光学系で生じる各種収差は複数のレンズ群よってその影響を抑えるが、小型のＨＭＤの実現には光学系の簡略化、小型・軽量化が欠かせない。そのため倍率色収差以外の収差の影響を極力抑え、倍率色収差を電子的に補正する協調システムの設計が有用である。

（表示デバイスの構成）
図７は、表示デバイスの画素構成を示す模式図である。図７は、図６に示す表示パネル６０１の一部を拡大した正面図を模式的に示している。

７０１は、後述する複数色（本実施形態では３色）のフィルタを有する画素である。ここでは、画素７０１は、ＲＧＢの各色情報をもとに階調表現を行う物理的な単位として機能する。

７０２ａ、７０２ｂ、７０２ｃは、一つの画素７０１に含まれる原色光を発する原色エレメントとしての色フィルタであり、それぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の色を持つ。図７に示されるように各画素７０１内のフィルタ構成は同一であり、図７の例では水平方向にはＲＧＢの各色が繰り返し規則的に配置されている。各フィルタ間の距離（それぞれのフィルタ中央位置の間隔）は、各画素が正方で一辺の長さを３ｄとすれば、それぞれｄとなる。

ここではＲＧＢの三原色を有する画素の構成例を説明したが、画素を構成する色の組み合わせはＲＧＢに限定されない。また、補色のフィルタ構成やＲＧＢに追加する形で３色よりも多い色による構成や、あるいは、ＲＧＢよりも色数が少ない（例えば、一色減らした２色）による構成としてもよい。また、本実施形態では、原色光を発する原色エレメントを色フィルタで実現する例を説明するが、色フィルタ以外のデバイスを用いて原色エレメントを実現してもよい。

（表示系収差補正部）
図８は、上述の表示系収差補正部２０６の機能構成を示すブロック図である。

８０１は前処理部である。収差補正自体の処理は変形を伴う解像度変換処理とみなすことができるため、一部ではほとんどサイズの変わらない縮小処理となる場合もある。前処理部８０１は、折り返し歪みの影響を低減するための高調波成分を除去する処理をローパスフィルタによって実行する。

８０２は、ＲＧＢの色成分を持つ画素を有する画像データを格納するバッファである。

８０３は色分離部であり、バッファ８０２から所望の座標（アドレス）の画素の値を読み出し、ＲＧＢの色成分に分離する。入力が輝度と色差信号の場合は、画素を各色成分に構成し直す処理を前処理として行う。

８０４は収差補正テーブルである。収差補正テーブル８０４は、参照点の座標に対応する変換後の座標値を算出するための値を格納する。本実施形態では、この変換後の座標値を算出するために、基点の考え方を採用している。テーブル構成および格納する値の詳細については後述する。

８０５は、各色の補正値を選択する補正値選択部である。表示する画素の参照点を決定し、参照点が変換される座標を参照テーブルである収差補正テーブル８０４から読み出す。補正値選択部では、参照点の座標と対応する変換座標を算出するための補正値を読み出す。

８０６は座標算出部であり、補正値選択部８０５で選択された補正値をもとに、各色の変換後の座標を演算する。収差補正テーブル８０４は、容量削減のため特定色については変換後の座標を格納し、特定色を除く他色についてはこの特定色を基準とした差分を格納している。座標算出部８０６では、この他色の変換後の座標を基準色の座標と差分値から算出する。

８０７、８０８および８０９は補間処理部であり、変換後の座標と基となる画素のそれぞれの色の値をもとに補間位置におけるそれぞれの新たな色の値を算出する。補間処理部８０７はＧｒｅｅｎ（緑）、補間処理部８０８はＲｅｄ（赤）、補間処理部８０９はＢｌｕｅ（青）の各色の新たな値を算出する。補間位置は実際に表示パネル上の画素の位置である。

８１０は色結合部であり、補間処理部８０７〜８０９でそれぞれ求められた補間位置における新たな色の値をもとに、表示画素における色情報を結合する。例えば各色８ビットの入力データが存在する場合、変換後の画素の結合で各色８ビットの入力に対して、合計２４ビットの画素データとして出力する。

８１１は後処理部である。フィルタによる強調処理や色味の補正などの各種画像処理を実行する。

（位置ズレ量算出の原理）
次に、位置ズレ量を算出する処理の原理について図９を参照して説明する。図９は、位置ズレ量算出の際の基点位置を示す原理図である。

図９（ａ）は、従来の位置ズレ量算出の原理を示している。図９（ａ）の例でも、画素９０１は、Ｒ（赤）９０２ａ、Ｇ（緑）９０２ｂ、Ｂ（青）９０２ｃを有している。図９（ａ）では、画素９０１における発光の基点位置は画素の中央位置としている。ＲＧＢ三原色の混じった白色Ｗ９０３を発光の基点として、光学系の収差の影響によってずれて表示される位置をそれぞれ、Ｒを９０４、Ｇを９０５、Ｂを９０６としている。従来の構成では、図９（ａ）のように、画素の位置をＧ９０２ｂの位置で近似して、Ｗ９０３、Ｒ９０４、Ｇ９０５、Ｂ９０６が一直線上に配置されるモデルで色ズレを想定していた。言い換えると、Ｇ９０２ｂの位置を基点としてＲ、Ｇ、Ｂが同一方向にずれるモデルで色ズレを近似していた。そして、従来は、このＷ９０３と、Ｒ９０４、Ｇ９０５、Ｂ９０６とのズレ量を補正値として参照テーブルに格納していた。
このズレ量は、基点位置９０３に対する、Ｒ９０４、Ｇ９０５、Ｂ９０６の相対位置を示す量であり、例えば、水平方向及び／又は垂直方向の座標間距離、または、２点間の距離で示すことができる。

なお、ここでは基点Ｗ９０３で発光させた場合のズレが生じる位置を９０４〜９０６としているが、これは９０４〜９０６の位置で各色を発光させた場合に各色が目に到達する際の位置をＷ９０３ということもできる。実際には、Ｇ色の変換後の位置９０５と基点９０３との差分をＧ色の補正値とすることによって、テーブルに格納するパラメータのビット数を削減していた。Ｒ９０４やＢ９０６については、Ｇ９０５との差分値を格納することで、テーブルに格納すべき情報量をさらに削減していた。

これに対して、本実施形態では、原色エレメントが発する原色光の各々について、発光源となる原色エレメントの位置を基準とした位置ずれ量を取得して、表示画像の各画素の表示デバイスにおける表示位置を原色成分ごとに算出する。そして、その表示位置に表示画像の画素を表示するように表示制御する。このため、本実施形態の構成によれば、各画素内で各原色を発するエレメントが別個に設けられている表示デバイスにおいても、光学収差を適切に補正することができる。したがって、例えばＨＭＤのように、表示デバイスがユーザの瞳に近接して使用される状況においても、画素内の色ズレを低減することができる。

図９（ｂ）は、本実施形態における位置ズレ算出の原理を示した図である。図９（ｂ）のように、本実施形態では発光の基点を画素の中央ではなく、各色の中央としている点が従来と相違する。すなわち、Ｒの基点は従来の基点であるＷ９０３より左（Ｘ軸負方向）へ１／３画素分ずれたＲの発光位置９０７ａとなる。同様に、Ｂの基点は従来の基点であるＷ９０３より右（Ｘ軸正方向）へ１／３画素分ずれたＢの発光位置９０７ｃとなる。その結果、変換後の各色の位置は、Ｒについては、従来の変換位置９０４から９０８へ移動する。同様に、Ｂについては、従来の変換位置９０６から９０９へずれることになる。実際にはこのズレた分が画質への影響を与えることになるため、図９（ｂ）のように基点を設定することで補正画像をさらに高画質化することができる。

（収差補正テーブル）
次に、収差補正テーブル８０４（単に、補正テーブルともいう）について、図１０Ａ、図１０Ｂを参照して説明する。図１０Ａは、収差補正テーブルに格納する補正値を求める原理を示す図であり、図１０Ｂは、収差補正テーブルの例を示す図である。

収差補正テーブル８０４には、図１０Ｂに示すように変換前座標である参照位置のアドレスと変換後の座標（アドレス）の差分値が組として格納されている。参照するアドレスで所望の画素のＸ−Ｙ座標を指定することによって、基準色（本実施形態ではＧ）は変換後の座標を、基準色以外の他色（ＲとＢ）については基準色との差分値（テーブル格納値）を得ることができる。図１０Ａのように、Ｒの座標は、格納されているＧとの差分値１００１（Ｇｘ−Ｒｘ）とＧの変換後のＸ座標Ｇｘから、Ｂの座標は、格納されているＧの差分値１００２（Ｂｘ−Ｇｘ）と同じくＧのＸ座標Ｇｘからそれぞれ求めることができる。

このように、本実施形態では、表示デバイスの各画素において予め定められた基準原色エレメントについて、当該基準原色エレメントが発する原色光の位置ずれ量を基準位置ずれ量として取得する。そして、画素に含まれる基準原色エレメント以外の原色エレメントの各々について、当該原色エレメントの前記基準原色エレメントに対する相対位置と、前記基準位置ずれ量とに基づいて、位置ずれ量を取得する。このため、本実施形態の構成によれば、表示デバイスに含まれる全ての原色エレメントについてそれぞれ別個に位置ずれ量を取得するよりも、簡易な処理で位置ずれ量を取得することができる。

また、本実施形態では、この基準位置ずれ量をあらかじめ収差補正テーブル８０４として、外部記憶装置３０６等の記憶装置に記憶しておき、当該記憶装置を読み出して基準位置ずれ量を取得する。このため、必要なときは、収差補正テーブル８０４を参照することで、容易に基準位置ずれ量を取得することができる。

図１０Ｂのように、本実施形態では変換前の座標もテーブルに記憶するが、変換前の座標をメモリアクセス時のアドレスと対応づけてもよい。この場合、変換前座標をメモリ領域にとる必要がなくなり、メモリサイズをさらに削減することが可能である。

（座標変換処理）
次に、表示系収差補正部２０６が実行する座標変換処理について、図１１を参照して説明する。図１１は、座標変換処理の流れを示すフローチャートである。本実施形態では、処理対象の画像の全ての画素に対して、それぞれステップＳ１１０１〜Ｓ１１０３の処理を実行する。

まず、ステップＳ１１０１では、処理対象の画像中の参照画素の座標を指定する。この座標の指定は上記のようにアドレスを指定して行ってもよい。

次に、ステップＳ１１０２では、参照点の変換後のアドレス得るために収差補正テーブル８０４から、この参照点に対応する補正値を取得する。

次に、ステップＳ１１０３では、ステップＳ１１０２で得られた収差補正テーブル８０４に格納されている値、すなわち各色の変換後の座標を算出するための色ズレ量をもとに、参照画素におけるそれぞれの色の変換後の座標を算出する。具体的には、補正前の各色の座標値に対して、ステップＳ１１０２で取得した補正値を加算して変換座標を算出する。例えば、収差補正テーブル８０４が図１０Ｂで示される場合、処理対象の画素の変換前座標が（ｘｎ，ｙｎ）ときは、補正後のＧの座標は（Ｇｘｎ，Ｇｙｎ）となる。そして、Ｒの座標は（Ｇｘｎ，Ｇｙｎ）からＲのテーブル値を減算したもの、Ｂの座標は（Ｇｘｎ，Ｇｙｎ）にＢのテーブル値を加算したものとなる。

ステップＳ１１０４では、処理対象となる全画素に対して上記座標変換処理を実行したかどうかを判断する。全画素に対して処理が終了している場合は座標変換処理を終了する。終了していない場合はステップＳ１１０１に戻って対応する画素の収差を補正するための座標変換演算を繰り返し実行する。

以上のように、本実施形態では、光学系による歪曲収差と色収差を信号処理によって補正する際に、色ズレ量を規定するための基点位置を画素の位置ではなく、原色光ごとに、画素を構成する各原色エレメントの位置としている。このため、座標変換における位置ズレの精度を高くし、結果、高画質化を図ることが可能となる。

特に、このような画像処理を行う構成を頭部装着型ディスプレイ（ＨＭＤ）が備えることで、表示デバイスがユーザの瞳に近接して画角が大きい場合でも、偽色や色にじみなどを低減することができる。

＜＜第２実施形態＞＞
本発明の第２の実施の形態を図に従って説明する。第１実施形態では色ズレ量を規定するための基点を画素の中央から、画素を構成する各色の中央へと移すことによって座標変換による位置ズレ補正の精度を高めていた。これに対して、本実施形態では、従来の構成と同様に画素の中央を基点としながら、第１実施形態と同等の変換精度を維持しつつ、さらに補正テーブルサイズの削減を実現する構成を説明する。

（表示系収差補正部）
図１２は、第２実施形態における表示系収差補正部２０６のブロック図である。本実施形態では、第１実施形態で参照した図８の構成に加えて色ズレ量算出部１２１２を備えていることが第１実施形態の構成と異なる。第１実施形態の図８と同様の構成、同様の機能のブロック（１２０１〜１２１１）については説明を省略する。本実施形態でも第１実施形態同様に、表示光学系を対象とし、表示パネルの画素は複数の色を有する。

１２１２は、色ズレ量算出部である。本実施形態では、収差補正テーブル１２０４に格納されている補正値は光学系を対称系とみなすことでサイズを削減したものが保持されており、色ズレ量算出部１２１２はこの補正値を非対称系に適用する処理を実行する。なお、対称系とは、本実施形態では、回転対称系、光学系をその中心を軸として任意の角度で回転させても、光学収差等は同様に発生することを意味する。この場合、この光学系は垂直軸にも水平軸にも対称であることは言うまでもない。処理の原理、収差補正テーブルの構成および処理フローについては後述する。

（位置ズレ量算出の原理）
図１３Ａ、図１３Ｂは、色ズレ量の補正処理の原理を示す模式図である。図１３Ａは、光学原点Ｏとパネル上の画素Ｐ１とＰ２との関係を示している。ここで、光学系は光学原点Ｏを通る垂直軸（ｙ）に対して対称である。Ｐ１とＰ２はｙ軸に対して対称な画素であり、光学原点Ｏからｘ軸方向への距離ｘ１とｘ２は等しい関係にある。そして、ｙ軸方向への距離はｙ１で共通である。

一般に画素構成が軸に対して対称となる場合および対称とみなしても問題のない場合は、ｙ軸に対して右半分または左半分の参照用のテーブルを持ち、折り返して反対側へも適用することができる。しかし、ＨＭＤのような拡大光学系においては、一般的に、表示デバイスとユーザの瞳との距離が近接していることから、表示画角が比較的大きく、したがって、表示デバイスの画素数が十分でないことが多い。例えば、画素数が１９２０×１０８０の表示デバイスを用いても、色ズレが目立ってしまう場合がある。このため、信号処理による画像補正、すなわちアドレス変換による収差補正処理によって、ユーザが色のズレを認識できないようにするには、画素を構成する色フィルタの並びを考慮した補正値の生成と格納が必要となる。なお、本実施形態でも第１実施形態で参照した図７のように、画素内の色フィルタが左から順にＲ、Ｇ、Ｂと並んでいるものとする。

そこで、本実施形態では、表示光学系がその中心を基準に対称となる形状を有している場合、収差補正テーブル８０４は、表示デバイスの基準となる象限に含まれる各画素について基準位置ずれ量を記憶しておく。そして、基準となる象限に含まれない画素に含まれる基準原色エレメントの各々について、該画素が含まれる象限の基準となる象限に対する相対位置と、基準となる象限の該画素に対応する画素の基準位置ずれ量と、に基づいて、位置ずれ量を取得する。また、基準となる象限に含まれない画素に含まれる基準原色エレメント以外の原色エレメントの各々については、これらの情報に加えて、該原色エレメントの前記基準原色エレメントに対する相対位置に基づいて、位置ずれ量を取得する。このように、表示光学系の形状が対称であることを利用することで、収差補正テーブル８０４に記憶すべきデータ量を削減することができる。

図１３Ｂは、図１３Ａで説明した構成において、色の並びを考慮したのと同程度の座標変換精度を実現するための原理を示す模式図である。Ｐ１は光学原点Ｏを通る軸に対して右半分に位置する。第１実施形態では、ＲとＢについては各色の中心を基点としたズレ量を規定していた。その場合は光学的にはｙ軸について対称であってもＰ２で示されるように画素内の色の並びが左右で対称とならないため画面内のすべての画素について補正値を持つ必要がある。

これに対して、本実施形態では近似的に、基点Ｒからのズレが生じた位置をＲ”とする。Ｒ”は画素の中央であるＧを基点とする一般的な収差補正の手法によって変換されるＲ位置から画素を構成する色間の距離であるｄｘ分だけ、ＧからみたＲ方向（ｘ軸に対して左方向）へシフトした値となる。同様にＢ”はＢからｄｘ分だけＧから見てＢ方向（ｘ軸に対して右方向）へシフトした値となる。本来の変換後の位置はＲであればＲの位置を基点としたものである必要があるが、ＲとＧの距離ｄｘが、光学原点ＯからのＲの距離に対して十分に小さいため、誤差は無視し得る。光学原点からのＲの距離が近い領域（画像中央部）ではＲと光学原点との距離は小さくなるが、ズレ量自体も相対的に小さくなるため、誤差は無視しうる。なお、Ｐ２についても同様の考えを適用するが、対称軸（ｙ軸）に対して左側にあるため、色によってシフトする方向が異なることに留意する。

このように一般的な画素中央を基点とする補正値を持つ参照テーブルであっても、画素内の色の並びを考慮した変換座標位置の修正を適宜行うことで、高画質化と同時にメモリ容量を削減することができる。

（収差補正テーブル）
次に、本実施形態における収差補正テーブル８０４（単に、補正テーブルともいう）について、図１４Ａ、図１４Ｂを参照して説明する。図１４Ａは、収差補正テーブルに格納する補正値を求める原理を示す図であり、図１４Ｂは、収差補正テーブルの例を示す図である。

図１４（ａ）は、収差補正テーブルに格納する各色の値がどこを基点とした差分として構成されているかを示した模式図である。画素の中央であるＧ色を基点に変換後のＲＧＢ各色のｘ方向のズレ量はそれぞれ、ＲがｄＧｘ−ｄＲｘｇ、ＧがｄＧｘ、ＢがｄＧｘ＋ｄＢｘｇとなる。つまり、ここでは、ＲとＢについては基準色であるＧからの差分をさらにとることで容量を削減している。これは表現する距離が短くなることで、必要となるビット数が減るからである。ｙ方向のズレ量についても同様にそれぞれ、ＲがｄＧｙ−ｄＲｙｇ、ＧがｄＧｙ、ＢがｄＧｙ＋ｄＢｙｇとなる。なお、最終的なズレ量の算出にはこの値の他、画素を構成する色間の距離ｄｘを使用する。

図１４（ｂ）は、参照テーブルに格納している値である。ズレ量自体は上記で示している通りであるが、ＲとＢについては基準色であるＧ色の座標または基点であるＷから変換後のＧ色との間のズレ量であるｄＧｘ、ｄＧｙをベースにその差分だけを格納している。このため、あとは加算および減算処理によってズレ量およびそれを元にした変換後の座標を算出することができる。その結果、Ｒには差分値であるｄＲｘｇとｄＲｙｇを、Ｂにも同様に差分値であるｄＢｘｇとｄＢｙｇを格納する。

本実施形態では変換前の座標についてもテーブルに格納するが、第１実施形態と同様に、変換前の座標をメモリアクセスのアドレスと対応づけることによって、変換前座標をメモリ領域にとる必要がないようにしてもよい。

（色ズレ量算出処理）
図１５は、色ズレ量算出処理の流れを示すフローチャートである。第１実施形態の図１１と同様の処理内容については説明を省略する。本実施形態では、補正値を取得した後、図１３を参照して説明した処理原理に従い色ズレの値を調整する点が第１実施形態と異なる。

ステップＳ１５０１とステップＳ１５０２までの処理は、図１１のステップＳ１１０１とＳ１１０２の処理と同様のため説明は省略する。

ステップＳ１５０３では、参照テーブルから取得した補正値をもとに色ズレの量を調整する。Ｒのズレ量は取得した補正値（ｄＲｘｇ、ｄＲｙｇ）を用いて、以下の演算式で算出する。
・ｘ方向のズレ量＝ｄＧｘ−ｄＲｘｇ−ｄｘ（ｄｘは色間の距離）。
・ｙ方向のズレ量＝ｄＧｙ−ｄＲｙｇ。
同様にＢのズレ量は以下の演算式で算出することができる。
・ｘ方向のズレ量＝ｄＧｘ＋ｄＢｘｇ＋ｄｘ（ｄｘは色間の距離）。
・ｙ方向のズレ量＝ｄＧｙ＋ｄＢｙｇ。

なお、ｄＲｘｇ、ｄＲｙｇ、ｄＢｘｇ、ｄＢｙｇおよびｄＧｘ、ｄＧｙは絶対値で値を持つとすると、光学原点Ｏを座標原点とした場合ｙ軸に対して右側は上式になるが、左側は第二項であるｄＲｘｇおよびｄＢｘｇの符号が反対となる。なお、この色ズレ量の調整は変換後の座標算出と一緒に処理を行っても構わない。

次に、ステップＳ１５０４では、参照点の変換後の座標を算出する。具体的にはステップＳ１５０３で得た各色のズレ量を画素の基点の座標である参照点の変換前の座標に加減算することになる。

ステップＳ１５０５の処理も図１１のステップＳ１１０４と同様であるため、説明を省略する。

以上説明してきたように、本実施形態によれば画素の並びが非対称であっても対称系の参照テーブルを利用することで、座標の変換精度を維持しつつテーブルを構成するメモリ容量の削減と回路規模の低減および処理の高速化を実現することが可能となる。なお、メモリ容量の削減は、チップ点数や基板面積の削減に寄与しコストダウンを実現すると共に、参照テーブルへのアクセス回数を減らすことにもなる。その結果、処理の高速化、消費電力の低減を実現することも可能となる。

＜＜第３実施形態＞＞
本発明の第３の実施の形態について図面を参照して説明する。第１および第２実施形態では変換後の画素である参照画素の座標を調整していた。本実施形態では、参照画素の元情報自体の調整と、最終的な補間位置のアドレスの、各色の表示位置に合わせた修正との、少なくともいずれかを実行する。これにより、画素が複数の色によって構成されていることの影響を考慮した座標変換および補間処理を行う。

（基準座標補正の原理）
図１６は、参照画素の基準座標補正の原理を示す模式図である。図１６（ａ）は、画素を構成する各色フィルタの内、Ｒに注目して参照位置を修正する原理を示す模式図である。表示デバイスの解像度が画角に対して十分高い場合は、画素は点を表しているとみなすことができ、各画素は色によらず点の中で各色の値を持っているとみなすことができる。しかし、ＨＭＤにおいては、各画素が分離し得ないほど解像化が高くなく、画角に対して解像度が低いことが一般的である。このため、本実施形態では、表示デバイスの解像度が低いことを前提に、各色の位置に合わせて参照画素の色の値を修正する。

具体的には、算出した表示画像の画素の表示位置の周囲に位置する、表示デバイスの各画素に含まれる原色エレメントの出力を調整して、表示画像の各画素の表示を補間する。これにより、画角に対して解像度が低い構成でも表示画像の品質を高めることができる。

図１６（ａ）において、Ｒに関して光学収差の補正を行う場合、補正の基点となる参照点の位置は、表示デバイス全体が巨視的に観察される場合、すなわち、解像度が画角に対して十分高い場合は、Ｇである画素の中央位置と同視できる。一方、表示デバイスの各画素が詳細に観察可能な場合、すなわち、解像度が画角に対して低い場合は、補正の基点となる参照位置はＲの色があるＲ’の中央位置となる。

なお、座標変換後の表示点の位置が表示デバイスの画素の中央点の位置に一致しない場合は、その表示点の周囲の画素で補間して表示点を表現する。したがって、本実施形態では、周りの画素の値をもとに新たにＲの色の値を算出することになる。なお、補間手法は、線形の補間手法を使用しても、高次の補間手法を使用しても構わない。

図１６（ｂ）は、補間処理の原理を示す模式図である。補間処理は通常画素の中央位置を補間位置として考えるが、ここでは各色フィルタの位置で補間位置を修正する。図１６（ｂ）ではＲに注目して、補間位置が左側へシフトしている。

まず、一般的な補間処理について説明する。二次元の座標系における表示中心座標Ｏ（ｘ０，ｙ０）を原点とするレンズの収差情報および解像度情報より、二次元座標系における各画素の各々の位置における収差量を求める。そして、この収差量だけ補正するためのｘ軸方向、ｙ軸方向の各々の座標変換量を画素毎に求める。

そして、求めた座標変換量だけ各画素の各色を座標変換したときの、二次元座標系における各画素位置（本来の画素位置）における画像データ（ＲＧＢの各値）を補間演算により求めるための補正パラメータを求める。

補間位置の修正を行わない、すなわち色によらず補間位置を画素の中央とする場合には、図１６（ｂ）のように、画素Ｐ１の画像データ（ｘ１，ｙ１）を、座標変換後にこの画素Ｐ１の周囲の４個の画素Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’の値に基づいて求める。具体的には、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’の座標をＰ１’（ｘ１’，ｙ１’）、Ｐ２’（ｘ２’，ｙ２’）、Ｐ３’（ｘ３’，ｙ３’）、Ｐ４’（ｘ４’，ｙ４’）とすると、以下の式に従って補間演算により求められる。

Ｐ１（ｘ１，ｙ１）＝Ｐ１’・(１−ｐｘ)(１−ｐｙ）＋Ｐ２’・ｐｘ（１−ｐｙ)
＋Ｐ３’・(１−ｐｘ）ｐｙ＋Ｐ４’・ｐｘ・ｐｙ。
なお、ｐｘおよびｐｙは、座標変換前の画像データが表す画素の位置と、座標変換後の画像データが表す画素の位置との偏差を表している。ここで、
ｐｘ＝（ｘ１−ｘ１’）／（ｘ２’−ｘ１’）
ｐｙ＝（ｙ１−ｙ３’）／（ｙ１’−ｙ３’）
が成り立つ。

本実施形態では、補正パラメータとして、上式に従って変換するためのデータ、すなわち上式による画像データＰ１（ｘ１，ｙ１）への変換において、画像データを参照すべき画素のアドレスを表すデータｘ、ｙおよび定数ｐｘ、ｐｙを求める。なお、ｘ、ｙは変換後の座標をそれぞれ表している。上式に従って各画素の画像データを変換することは、実質的に、歪曲収差の方向と逆の方向に画像が歪むように画像データを補正することに相当する。

画素の中央位置と色の位置が一致するＧ色については上記が当てはまるが、補間位置の修正を行う場合には、画素内の色の並びに応じた補間位置のシフトが必要である。すなわち、Ｒ色であれば左方向に色間の距離ｄｘ分シフトしたＰｒ（ｘｒ１，ｙ１）が補間位置となる。ここで、ｘｒ１＝ｘ１−ｄｘである。

なお、ここでは上式に示される線形の補間処理を実行する場合を説明したが、Ｂｉｃｕｂｉｃに代表される三次式による補間処理や、ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ等の最近傍近似による補間アルゴリズムを採用してもよい。

図１６（ｃ）は、画素を構成する各色の内、Ｂに注目して参照位置を修正する原理を示す模式図である。図１６（ｄ）は、Ｂ色における補間処理の原理を示す模式図である。Ｂ色についての補間処理もＲ色についての補間処理と同様に行うことができる。

（補間処理）
図１７は、補間処理の流れを示すフローチャートである。ステップＳ１７０１では、補間位置の修正を行うか否かを判定する。修正を行う場合（ステップＳ１７０１でＹＥＳ）はステップＳ１７０２へ進み、行わない場合（ステップＳ１７０１でＮＯ）はステップＳ１７０３へ進む。

ステップＳ１７０２では、補間位置の修正処理を行う。補間位置の修正は図１６（ｂ）を参照して説明した手法に基づいて実行することができる。Ｒ色については、画素の中心を基準として求められる補間位置を、左方向に画素内の色間距離であるｄｘ分だけずらした位置を補間位置とする。Ｇ色についてはシフト処理は行わない。Ｂ色については、画素の中心を基準として求められる補間位置を、Ｒと逆方向である右方向にずらした位置を補間位置とする。

ステップＳ１７０３では、参照画素の再構成を行うか否かを判断する。参照画素の再構成、すなわち色によっては参照する位置を修正する処理を選択する場合（ステップＳ１７０３でＹＥＳ）はステップＳ１７０４へ進み、選択しない場合（ステップＳ１７０３でＮＯ）はステップＳ１７０５へ進む。

ステップＳ１７０４では、参照位置を修正する。参照位置の修正は図１６（ａ）を参照して説明した手法に基づいて実行することができる。実際には色によって参照位置をずらした新たな参照画素の値を補間処理によって再構成するのではなく、補間処理時に参照する参照画素の座標を色によってずらすことで対応する。そうすることで比較的簡単な処理で参照点の画像の再構成を実現することができる。なお、ステップＳ１７０２の補間位置の修正処理およびステップＳ１７０４の参照位置の修正処理はどちらを先に処理しても構わない。

ステップＳ１７０５では、各色の補間位置における色の値を算出する。これまでに算出してきた参照画素の座標、すなわち変換後の座標と、新たな画素を生成する補間位置における補間処理を実行する。

ステップＳ１７０６では、処理対象となる全画素に対して上記補間処理を実行したかどうかを判断する。全画素に対して処理が終了している場合は補間処理を終了する。終了していない場合は先頭に戻って補間処理を実行する。

以上説明してきたように、本実施形態によれば表示画素の構成に合わせて、元画像の再構成、すなわち、参照画素の位置修正と、表示位置に合わせた補間位置の修正との少なくともいずれかを行う。このため、低解像度の表示構成時には画質の改善を図ることが可能となる。同じ画素数、画像サイズの表示パネルを使用した場合において、広画角化を実現するＨＭＤでは特に有効である。

＜＜第４実施形態＞＞
第１および第２の実施形態では変換座標の算出をテーブル参照型のアドレス変換によって行っていたが、本実施形態では近似多項式を利用して位置ずれ量を取得して原色光ごとに変換座標を算出する。このため、収差補正テーブル８０４を記憶する記憶装置を設けなくても、光学収差を適切に補正して画質の高い画像を表示することができる。

テーブル参照型のアドレス変換による座標変換以外に、近似多項式を使用した座標変換方式が知られている。一般に撮像光学系の場合、理想像高ｘに対する実像高ｙをｘの三次関数である三次曲線で示すことができる。表示光学系では自由曲面プリズム等複雑な光学系を用いた場合、近似式との差違の絶対値を抑える場合には１０次程度の高い次数が必要となる場合がある。そこで、近似多項式と係数パラメータを用いて変換後の座標群を算出する。

第２実施形態と同様に、左右が非対称系であっても対称系の近似多項式を適用することが可能である。すなわち対称軸に対するズレ分を考慮して係数パラメータを微修正する構成をとる。その結果、表示パネルの左右で微妙に異なる位置ズレ量を考慮した近似多項式を準備するのではなく、軸に対して片側の近似多項式を用意し、パラメータの調整によって両側に適用することができる。

近似多項式の利用をＲＧＢ各色に適用するとテーブル参照型と比べて大幅な回路規模の増大につながる。ここでは、回路規模とテーブルサイズのバランスを重視している。論理演算回路規模に余裕があり、外付けメモリの増設が難しい場合には特に有効である。上記の手法を適用するとパラメータ格納のためのメモリ容量を削減することができる。また、同等の回路の使い回しや近似領域が半減するため同じ精度を維持しても次数を下げられる可能性もある。

＜＜その他の実施形態＞＞
座標演算自体に補間演算を適用することで、収差補正テーブル８０４が記憶すべきデータ量を更に削減することができる。例えば、例えば８画素おきにサンプリングした場合には、トータルでテーブルのサイズを１／６４に低減することが可能となる。補間演算の精度と、補間演算を行う回路規模とはトレードオフの関係があるが、用途や目的に応じて、回路規模をある程度にまで抑えて、メモリ容量を削減することができる。

また、上記実施形態では、画素の構成がｘ軸方向に周期的な色並びである例について説明したが、これらがｙ軸方向であっても構わない。また軸を表示パネルに対して水平、垂直方向に設定しているが、光学系の構成、表示パネルの構成および装置としての配置によってはその軸が斜め方向になることもあり、その際にも本実施形態で説明してきた構成が適用できることは言うまでもない。

また、上記実施形態では、表示パネルを構成する画素の色がＲＧＢの三原色の場合の例を説明したが、この色に限定されない。ただし、色が異なる場合は、その色に合わせて、適宜、色変換等の前処理を行ってもよい。

また、上記実施形態では、収差補正の適用対称が、接眼の拡大光学系を採用するＨＭＤである場合を中心に説明した。しかし、上記実施形態の適用対称はＨＭＤに限定されない。例えば、デジタル一眼カメラやデジタルビデオカメラ等に搭載されるＥＶＦを対象としても同様の効果が得られることは言うまでもない。

また、上記実施形態で説明してきた構成をお互いに組み合わせて使用できることは説明するまでもない。

さらには、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に相当し得るものである。したがって、このような様々な組み合わせによるシステムもまた、本発明の技術的範囲に含まれうる。

また、本発明の目的は、コンピュータプログラムやコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体によっても実現可能である。例えば、次のようにすることによっても本発明の目的は達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明の技術的範囲に含まれる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明の技術的範囲に含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の各機能が実現される場合も、本発明の技術的範囲に含まれる。

なお、本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートで示される処理を実行するプログラムコードが格納されることになる。

ＭＲシステムの装置構成の全体図である。 ビデオシースルー型複合現実システムの機能ブロック図である。 画像処理装置に適用可能なコンピュータのハードウェア構成を示すブロック図である。 ＨＭＤのハードウェア構成を示すブロック図である。 歪曲収差並びに倍率色収差を説明する図である。 表示光学系の一例を示す図である。 表示デバイスの画素構成を示す模式図である。 表示系収差補正部の機能構成を示すブロック図である。 位置ズレ量算出の際の基点位置を示す原理図である。 収差補正テーブルに格納する補正値を求める原理を示す図である。 収差補正テーブルの例を示す図である。 座標変換処理の流れを示すフローチャートである。 表示系収差補正部のブロック図である。 、 色ズレ量の補正処理の原理を示す模式図である。 収差補正テーブルに格納する補正値を求める原理を示す図である。 収差補正テーブルの例を示す図である。 色ズレ量算出処理の流れを示すフローチャートである。 参照画素の基準座標補正の原理を示す模式図である。 補間処理の流れを示すフローチャートである。

Claims (10)

1. それぞれ異なる原色光を発する複数の原色エレメントを各画素が有する表示手段を用いて、表示光学系で生じる色収差を補正する画像処理装置であって、
   前記表示手段が有する原色エレメントが発する原色光の各々について、発光源となる原色エレメントの位置を基準とした位置ずれ量を取得する取得手段と、
   取得した前記位置ずれ量に基づいて、表示画像の各画素の前記表示手段における表示位置を原色成分ごとに算出する算出手段と、
   表示画像の各画素の各原色成分を、前記表示手段の、前記算出手段が算出した前記表示位置に表示させる表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、
   前記表示手段の各画素において予め定められた基準原色エレメントについて、当該基準原色エレメントが発する原色光の位置ずれ量を基準位置ずれ量として取得し、
   前記画素に含まれる基準原色エレメント以外の原色エレメントの各々について、当該原色エレメントの前記基準原色エレメントに対する相対位置と、前記基準位置ずれ量とに基づいて、位置ずれ量を取得する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記基準位置ずれ量を記憶する記憶手段をさらに備え、
   前記取得手段は前記記憶手段に記憶された前記基準位置ずれ量を読みだして取得する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示光学系がその中心を基準に対称となる形状を有している場合、
   前記記憶手段は、前記表示手段の基準となる象限に含まれる各画素について前記基準位置ずれ量を記憶し、
   前記取得手段は、
   前記基準となる象限に含まれない画素に含まれる基準原色エレメントの各々について、該画素が含まれる象限の前記基準となる象限に対する相対位置と、前記基準となる象限の該画素に対応する画素の基準位置ずれ量と、に基づいて、位置ずれ量を取得し、
   前記基準となる象限に含まれない画素に含まれる基準原色エレメント以外の原色エレメントの各々について、該画素が含まれる象限の前記基準となる象限に対する相対位置と、該原色エレメントの前記基準原色エレメントに対する相対位置と、前記基準となる象限の該画素に対応する画素の基準位置ずれ量と、に基づいて、位置ずれ量を取得する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記表示制御手段は、前記算出手段が算出した前記表示位置の周囲に位置する、前記表示手段の各画素に含まれる原色エレメントの出力を調整して、表示画像の各画素の表示を補間する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記取得手段は、前記表示光学系の形状に対応する近似多項式を使用して、前記位置ずれ量を取得する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置を備える頭部装着型ディスプレイ。
8. それぞれ異なる原色光を発する複数の原色エレメントを各画素が有する表示手段を用いて、表示光学系で生じる色収差を補正する画像処理装置における画像処理方法であって、
   前記表示手段が有する原色エレメントが発する原色光の各々について、発光源となる原色エレメントの位置を基準とした位置ずれ量を取得する取得工程と、
   取得した前記位置ずれ量に基づいて、表示画像の各画素の前記表示手段における表示位置を原色成分ごとに算出する算出工程と、
   表示画像の各画素の各原色成分を、前記表示手段の、前記算出工程において算出された前記表示位置に表示させる表示制御工程と、
   を有することを特徴とする画像処理方法。
9. コンピュータを請求項１から６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
10. 請求項９に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images