JP2010096864A - 収差補正方法、画像処理装置および画像処理システム - Google Patents

Abstract

【課題】表示デバイス上で形成される画像を拡大して観察者の瞳に観察させる表示光学系を備える画像表示装置（例えばＨＭＤ、ＥＶＦなど）において、前記表示光学系だけでなく観察者が使用する視力矯正用の光学系との組み合わせで生じる収差を補正すること。
【解決手段】表示光学系で生じる収差に関する情報と観察者が使用する視力矯正用の光学系で生じる収差に関する情報とを、それぞれ取得する手段を備え、その２つの収差に基づいて収差補正を実施することで、表示光学系と観察者が使用する視力矯正用の光学系との組み合わせで生じる収差に対して適切な補正を個人ごとに実施することが可能となる。
【選択図】 図２

Description

本発明は、表示装置における光学系の収差を補正する為の収差補正方法、画像処理装置および画像処理システムに関する。特に、本発明は、表示デバイス上で形成される画像を拡大して観察者に観察させる表示光学系を備える画像表示装置（ＨＭＤ、ＥＶＦ等）で生じる収差を、観察者個人に合わせて補正するのに好適なものである。

光学レンズで生じる収差による画像の歪曲や色ズレ（にじみ）を電子的に補正する技術がこれまでにも多く提案なされている。このような歪曲や色ズレを光学的に補正する為には、収差を打ち消す為のレンズが新たに必要となり、光学系が大型化する。また、これらの収差を生じない設計のなされた良好な光学特性を有するレンズは、一般的に高価である。その為、光学系で生じる収差の補正を画像処理によって補正する電子的な収差補正技術に代替することにより、光学系の小型化（レンズ枚数の低減）と廉価なレンズの採用を可能とすることが一般に行われている。

特に、近年は、デジタルカメラなどの撮像装置本体の小型化・軽量化、低価格化に伴って撮像レンズの小型化や低コスト化が求められている。更に、デジタルカメラなどの撮像装置においては、ズーム機能やフォーカス機能の搭載が一般的になってきており、レンズパラメータの変化に起因する収差の変化に対しても、良好な撮像画質を保持する補正技術が望まれている。このようなズーム、フォーカス及びアイリス等のレンズパラメータを様々な値に変化させて撮影した場合でも、レンズパラメータに基づいて倍率色収差に起因する画像のにじみを除去できる収差補正技術が特許文献１に開示されている。特許文献１に開示されている技術によれば、主にデジタルカメラなどの撮像装置における、レンズパラメータ変化時の撮像レンズで生じる色収差を補正し、映像にじみである撮像画質の低下を抑制することが可能である。

また、近年では、電子ビューファインダ（Electronic View Finder、以下ＥＶＦと表記）を備えるデジタルカメラも少なくない。ＥＶＦとは、デジタル撮像素子を用いた構成を活かして、一眼レフカメラで必須であったレフレックスミラー（通称、レフ板）を廃し、撮像前にファインダで確認される画像と撮像画像とを真に一致させる為の技術として知られている。ＥＶＦは、デジタル撮像素子の撮像画像を、小型の表示デバイスにリアルタイムに表示して、表示デバイス上に形成された画像を、表示レンズを介して拡大して観察者に観察させる構成を有する。

ＥＶＦのように、小型の表示デバイス上で形成した画像を、レンズを介して拡大して観察させる表示光学系においても、上述の撮像レンズの場合と同様の収差が生じる。その為、歪曲や色ズレ（にじみ）による表示画像の画質低下を補正する収差補正技術が必要となる。

同様に小型の表示デバイス上で形成した画像を拡大して画像を観察させる画像表示装置として、他に、頭部装着型表示装置（HeadMounted Display、以下ＨＭＤと表記）がある。ＨＭＤやＥＶＦにおいて、電子的な収差補正技術を適用して、表示装置の光学系で生じる収差に対して表示画質の低下を回避する技術は、これまでにも多くの提案がなされている。
特開２００６−１３５８０５号公報 特開平０６−０１８３６３号公報 特開２００２−２２８５４５号公報

しかしながら上述した従来の技術においては、以下のような問題があった。

観察者がＨＭＤやＥＶＦを観察する場合に、表示デバイス上で形成された画像の光が、観察者の瞳に到達するまでの光路上に存在する光学系は、ＨＭＤやＥＶＦが備える表示光学系だけではない。

例えば、ＨＭＤやＥＶＦの表示光学系で生じる収差のみ補正する収差補正では、視力が良く裸眼での観察が可能な観察者に対しては、適切に収差（色ズレ）が補正され、画質が保持された表示画像を観察することができる。しかしながら、その一方で、矯正の度合いが強い視力矯正用光学系を使用している観察者が同じ補正画像を観察すると、同じ補正画像を観察しているにも関わらず、色ズレが観察されてしまう。このことは、観察者の視力矯正用光学系の有無や、視力矯正度合いの違いにより、適切な収差の補正量が異なることを意味する。

すなわち、ＨＭＤやＥＶＦを観察する際には、ＨＭＤやＥＶＦが備える表示光学系と観察者が使用する視力矯正用の光学系との組み合わせで生じる収差に対して、収差を補正する必要があるが、従来技術では上記課題には対応できなかった。

また、観察者が使用する視力矯正用の光学系の、矯正の強さは個人毎に異なる為、上記のように表示光学系と視力矯正用光学系の組み合わせで生じる収差を補正する場合に、個人ごとに適切な収差の補正量を選択または生成する必要があった。

ＨＭＤやＥＶＦの観察者が使用する光学系に、視力矯正の為の視力矯正用の光学系（眼鏡レンズやコンタクトレンズ）があり、個々人の視力に応じて視力矯正の度合いは様々である。視力矯正用の光学系（主に眼鏡レンズ）の光学特性（屈折度、各種収差、およびその空間分布など）を測定する方法は、眼科や眼鏡店等で使用される医療用のレンズメータをはじめとして多く知られている。例えば、眼鏡レンズの測定時とコンタクトレンズの測定時では、光軸方向に被験レンズを移動させる移動手段を備えることで、同一のレンズメータで、眼鏡レンズだけでなくコンタクトレンズの屈折度を測定できる技術が特許文献２に開示されている。他にも、フレーム付き眼鏡レンズの光学特性として、レンズを通して観察される光学特性用パターンのパターン像を、デジタルカメラにより撮像することで測定する技術が特許文献３に開示されている。

しかしながら、上述した従来技術である矯正用の光学系の収差を含む光学特性の把握手法は、ＥＶＦやＨＭＤ等の小型の装置にそのまま適用する事は困難であった。したがって、表示デバイス上で形成される画像を観察者に観察させる光学系と観察者が使用する視力矯正用光学系との組み合わせで生じる収差を適切に補正し、観察者個人に合わせた最適な表示画像を提示することが望まれている。

本発明は上記課題に鑑みてなされたものである。本発明は、表示デバイス上で形成される画像を拡大して観察者に観察させる表示光学系を備える画像表示装置において、観察者個人に合わせた収差補正を行うことを可能とし、収差（色ズレ）が低減された表示画像を提示可能とすることを目的とする。

上記目的を達成するため本発明の一態様による画像処理装置は、以下の構成を備える。すなわち、
表示デバイス上で形成される表示画像を、観察者に観察させるための光学系による収差を補正する画像処理装置であって、
前記光学系による収差を補正するための、予め用意された補正データを保持した保持手段と、
前記表示画像を観察する観察者が使用する視力矯正用光学系による収差情報を取得する取得手段と、
前記予め用意された補正データと前記収差情報に基づいて、前記表示デバイスから観察者までの光路中に存在する収差の補正に用いる補正データを決定する決定手段と、
前記決定手段で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正手段とを備える。

また、上記目的を達成するため本発明の他の態様による収差補正方法は、
表示デバイス上で形成される表示画像を、観察者に観察させるための光学系による収差を補正する収差補正方法であって、
前記表示画像を観察する観察者が使用する視力矯正用光学系による収差に関する収差情報を取得する取得工程と、
前記光学系で生じる収差を補正するための予め用意された補正データと前記収差情報とに基づいて、前記表示デバイスから観察者までの光路中に存在する収差の補正に用いる補正データを決定する決定工程と、
前記決定工程で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正工程とを備える。

更に、上記目的を達成するため本発明の他の態様による画像処理システムは、以下の構成を備える。すなわち、
光学系を介して表示デバイスに表示した表示画像を観察者に観察させる画像表示装置と、前記表示デバイス上で形成される表示画像を観察者に観察させるための光学系による収差を補正する画像処理装置とを備えた画像処理システムであって、
前記画像処理装置は、
前記光学系で生じる収差を補正するための、予め用意された補正データを保持した保持手段と、
前記表示画像を観察する観察者が使用する視力矯正用光学系で生じる収差に関する収差情報を取得する取得手段と、
前記予め用意された補正データと前記収差情報に基づいて、前記表示デバイスから観察者までの光路中に存在する収差の補正に用いる補正データを決定する決定手段と、
前記決定手段で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正手段とを備え、
前記画像表示装置は、
前記補正手段で補正された表示画像を入力して、前記表示デバイスに表示する。

本発明によれば、表示デバイス上で形成される画像を拡大して観察者に観察させる表示光学系を備える画像表示装置において、観察者個人に合わせた収差補正を行うことが可能となり、収差（色ズレ）が低減された表示画像を提示できる。

以下、本発明の好適な実施形態について添付の図面を参照して説明する。

（第１実施形態）
図１は、第１実施形態におけるＨＭＤを用いた画像処理システムの構成例を示す図である。ただし、第１実施形態の画像処理システムにおいては、表示装置は双眼鏡のような手持ちタイプの表示装置でもよく、本発明の適用は頭部装着型の装置に限らない。

また、本発明は、ＨＭＤの他にも、表示デバイス上で形成される表示画像を拡大して（虚像として）観察させる拡大光学系を有する表示装置全てに適用可能である。そのような表示装置としては、例えば、デジタルカメラ等に搭載されるＥＶＦが挙げられる。

画像表示装置にＨＭＤを用いた画像処理システムでは、通常のディスプレイを用いる場合と比べて、観察者に対して映像への高没入感や高臨場感体験を提示する上で有利である。ＨＭＤを用いた画像処理システムの一例として、近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として知られている複合現実感、いわゆるMixed Reality（以下、ＭＲと表記）技術がある。

ＭＲシステムの一例として、ＨＭＤ装着者の瞳位置から観察される視界と略一致する空間を撮像するビデオカメラを搭載したビデオシースルー型ＨＭＤを用いるシステムがある。このビデオカメラによる撮像画像にＣｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ（以下、ＣＧと表記）を重畳することで、ＨＭＤ装着者はあたかも現実の世界の中にＣＧで描かれた物体（仮想物体）が存在しているかのような、ＭＲ空間を体験することができる。

ＨＭＤは、頭部に装着する装置の為、小型化・軽量化が望まれている。撮像および表示の光学系で生じる収差の補正の方法に着目すると、光学的な手法では、補正の為のレンズを備える必要がある為、一般的にサイズや重量が増大する。これに対して、信号処理による電子的な手法で収差の補正を代替すれば、廉価なレンズの採用やレンズ枚数の低減ができ、小型化、軽量化を実現できる。

本実施形態におけるＭＲシステムは、ＨＭＤ１０１、ＨＭＤコントローラ１０２（以下、コントローラ１０２という）、画像処理装置１０３から構成されている。

ＨＭＤ１０１は、画像処理装置１０３からの出力画像を装着者に提供するための画像表示部を有する。ＭＲシステムにおけるビデオシースルーＨＭＤの場合には、ＨＭＤ１０１は、装着者の視点で観察される風景を撮像する撮像部を備え、撮像した風景画像そのものや、または風景画像に画像処理装置１０３でＣＧ画像を重畳した合成画像などを表示する。

また、ＨＭＤ１０１は、コントローラ１０２と通信を行う機能を有し、コントローラ１０２からの電源供給を受けて駆動することも、バッテリーで駆動することも可能な構成となっている。

コントローラ１０２と接続された画像処理装置１０３は、図２により後述するように、画像生成部または映像コンテンツを再生する画像再生部を備える。ＭＲシステムの場合には、画像生成部がＣＧ画像の描画を行うＣＧ描画機能とＨＭＤ１０１が撮像した現実空間画像とＣＧ画像を合成する画像合成機能を有する。

画像処理装置１０３はコントローラ１０２を介してＨＭＤ１０１と通信を行う。画像処理装置１０３からの画像を受信したＨＭＤ１０１は、画像表示部により当該画像をＨＭＤ装着者に対して表示する。コントローラ１０２は、画像の解像度変換、色空間変換、本実施形態の特徴である光学系の収差補正等の各種画像処理や、伝送フォーマット変換等の機能を備えている。

なお、図１では、画像処理装置１０３とコントローラ１０２を別々のハードウェア構成としているが、コントローラ１０２と画像処理装置１０３がそれぞれ有する機能を集め、専用の画像処理装置を構成することも可能である。

また、図１では、ＨＭＤ１０１とコントローラ１０２を別々のハードウェア構成としているが、ＨＭＤ１０１とコントローラ１０２の機能を一体化する構成でも構わない。以降の説明では機能的な観点から、ＨＭＤ１０１とコントローラ１０２とがそれぞれ有する機能を組み合わせたものをＨＭＤとして説明する。

また、図中で各々の装置は有線で接続されているが、これらの一部またはそのすべてを無線で接続する形態としても構わない。

図２は、本発明の特徴を説明する第１実施形態における画像処理システムの機能ブロック図である。

２０１は、収差補正機能を有する画像表示装置としてのＨＭＤであり、図１のＨＭＤ１０１にコントローラ１０２を組み込んだ形態のものである。ＨＭＤ２０１は、
・外部装置としての画像処理装置１０３からの画像を受信する画像受信Ｉ／Ｆ２０３、
・画像データを格納するバッファとしての画像メモリ２０４、
・画像データをＲＧＢの各色成分に分離する色分離部２０５、
・補正値による座標変換後の新しい色を算出する補間部２０６（Ｒ、Ｇ、Ｂ）、
・分離されたＲＧＢ各色画像から１つの画像データを再構成する色結合部２０７、
・表示画像に対して解像度変換や画像シフト（画像表示位置の移動）を行う画像調整部２０８、
・表示画像の表示を行う画像表示部２０９、を有する。

更に、ＨＭＤ２０１は、
・後述する外部装置である操作装置２０２からの信号を受信する操作信号受信Ｉ／Ｆ２１０、
・受信した操作信号の内容を解析して操作内容に基づいて各部を制御する操作判定部２１１、
・表示デバイスから観察者までの光路中に存在する光学系の収差を算出して補正値を選択する収差算出部２１２、
・ＨＭＤの表示モードの設定を行う表示モード設定部２１３、
・補正値を元に各色の座標変換後の座標を演算する座標変換部２１４、
・補正値を格納する収差補正値記憶部２１５、
・新規の補正テーブルを作成する為の更新用メモリ２１６、
・色ズレを確認する為の所定のパターン画像を生成するパターン画像生成部２１７、
・画像調整部２０８の調整量を補正テーブルに反映させる補正値調整部２１８、を有する。

操作装置２０２は、ＨＭＤ２０１に対してなされたＨＭＤ装着者（観察者）の操作入力を受け付ける。操作装置２０２は、ボタンやタッチパネルなどの操作部２１９、操作部２１９からの操作信号をＨＭＤ２０１へ送信する操作信号送信Ｉ／Ｆ２２０を備える。なお、操作装置２０２が有する機能はＨＭＤ２０１または、画像処理装置１０３に集約され一体化されていても構わない。

画像処理装置１０３は、ＨＭＤ２０１で表示する画像をＨＭＤ２０１に対して出力する。画像処理装置１０３は、画像を生成する画像生成部２２１と不図示の外部メディアや内部の記憶装置にある映像コンテンツを再生する画像再生部２２２、そして外部装置であるＨＭＤ２０１へ画像を出力する画像送信Ｉ／Ｆ２２３を備える。一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を画像処理装置１０３として用いることができる。

続いて、ＨＭＤ２０１の各機能ブロックについて説明する。

画像受信Ｉ／Ｆ２０３は、画像処理装置１０３から出力された画像を受信する為のインターフェースである。画像受信Ｉ／Ｆ２０３は、画像処理装置１０３の画像送信Ｉ／Ｆ２２３と共に、ＨＭＤ２０１と画像処理装置１０３との間のデータ通信を行うインターフェースとして機能する。リアルタイム性が求められ、かつ大容量の伝送が可能な通信規格を採用することが望ましい。データの通信方式は、有線方式（例えばＵＳＢ、ＩＥＥＥ１３９４、ＨＤＭＩ（登録商標）、光伝送など）であってもよいし、無線方式（例えばＵＷＢ（Ultra Wide Band）、無線ＬＡＮ、ミリ波通信など）であってもよい。

画像メモリ２０４は、外部装置としての画像処理装置１０３から受信した、ＲＧＢの色成分を持つ画素からなる画像データを一時的に格納するバッファとして機能する。

色分離部２０５は、画像メモリ２０４から任意の座標（アドレス）の画素の値を読み出し、ＲＧＢの色成分に分離する。なお、入力が輝度と色差信号の場合は、色分離部２０５は、画素を各色成分に構成し直す処理を前処理として行う。

補間部２０６Ｒ、２０６Ｇおよび２０６Ｂは、変換後の座標と、元となる画素の各色の値をもとに補間位置におけるそれぞれの新たな色の値を算出する。補間部２０６Ｒは赤（以下、Ｒと表記）、２０６Ｇは緑（以下、Ｇと表記）、２０６Ｂは青（以下、Ｂと表記）の各色の新たな値を算出する。補間部２０６で算出された画素値は実際に表示デバイス上で表示される画素の値である。

色結合部２０７は、補間部２０６Ｒ，２０６Ｇ，２０６Ｂで各々求められた補間位置における新たな色の値をもとに、表示画素における色情報を結合する。例えば各色８ビットの入力データが存在する場合、色結合部２０７は、各色８ビットの入力に対して、変換後の画素を結合することで合計２４ビットの画素データとして出力する。

画像調整部２０８は、表示画像の解像度変換や画像シフト（画像表示位置の移動）、フィルタによる強調処理、色味の補正などの最終的な表示画像の調整の為の各種画像処理を実施する。

画像表示部２０９は、ＨＭＤ装着者に表示画像を提示する。画像表示部２０９は、右眼、左眼の２組の表示デバイスと表示光学系から構成される。表示デバイスには、小型の液晶や有機ＥＬ、ＭＥＭＳ（Micro Electro Mechanical System）による網膜スキャンタイプのデバイスなどが使用され得る。表示光学系の構成については後述する。

操作信号受信Ｉ／Ｆ２１０は、外部の操作装置２０２からの操作信号を受信するためのインターフェースである。操作信号受信Ｉ／Ｆ２１０は、操作装置２０２の操作信号送信Ｉ／Ｆ２２３と共に、ＨＭＤ２０１と操作装置２０２との間のデータ通信を行うインターフェースとして機能する。データの通信方式は、有線方式であっても無線方式であってもよい。

操作判定部２１１は、操作装置２０２から受信した操作信号を解析して、操作内容を判定する。判定された操作内容に基づいて、画像調整部２０８や収差算出部２１２、表示モード設定部２１３、パターン画像生成部２１７は各機能を実行する。

収差算出部２１２は、操作部２１９の操作量に基づいて色ズレ量を計算し、その計算結果に基づいて各色の補正値を選択または算出する。色ズレ量の算出については後述する。例えば、収差算出部２１２は、表示する画素の参照点を決定し、参照点が変換される座標を参照テーブルである収差補正テーブル群２２４から読み出す（或いは算出する）。

表示モード設定部２１３は、ＨＭＤを用いた画像処理システムのアプリケーションやＨＭＤ装着者の意向に合わせたＨＭＤ表示モードの設定を行う。ＨＭＤを用いたシステムとしてのアプリケーションとは、例えば、鑑賞のみ行う映画の鑑賞や、実作業を伴うＭＲシステムのようなＨＭＤの用途を意味する。

なお、ＨＭＤ表示モードとは、画像を構成するＲＧＢ三原色のうち、色収差補正の基準色を何色（ＲまたはＢ）にするかという設定による画像表現の違いを示すものである。収差の小さいＲを基準色とした場合と、収差の大きいＢを基準色とした場合では補正画像の拡大率が異なるため、基準色の違いで画像の表現を変えることができる。例えば、Ｒを基準色とした場合、表示デバイス上で補正画像全体を画面全体に収めた表示を行うようにすることで画像の全体を表示することができる。ただし、補正画像の全体表示を行う場合、表示デバイスに逆補正画像全体を収めて表示画像を形成させる為、表示デバイス上では画像表示を行わない領域が存在する。一方、Ｂを基準色とした場合、拡大率の大きい補正画像を利用して、表示デバイス上で表示しない領域が存在しないように表示デバイスの表示領域を有効に使用した表示を行い、観察対象の大きさを優先した表示が可能である。ただし、表示デバイス上に逆補正画像全体を収めることよりも、表示デバイス上に表示しない領域が存在しないことを優先する為、画像の一部が表示デバイスの表示領域を超え、画像の一部を犠牲にすることになる。なお、一般的な歪曲収差補正ではＧを収差補正の基準色として用いる場合が多いが、本実施形態では、画像表現の差異に着目してＲまたはＢを基準色として用いる場合について説明する。ただし、収差補正時の基準色をＲとＢに限定するものではない。詳細に関しては後述する。

座標変換部２１４は、収差算出部２１２で選択された補正値と表示モード設定部２１３で設定されたＨＭＤ表示モードに基づいて、各色の変換後の座標を演算する。収差補正テーブルは、容量削減のため、特定色の変換後の座標と、特定色を除く他色についての特定色を基準とした差分とを格納しているものとする。座標変換部２１４では、この他色の変換後の座標を特定色（基準色）の座標と差分値から求めることになる。

収差補正値記憶部２１５は、収差の補正値を格納する。本実施形態では、予め用意された、補正量の異なる収差補正テーブルを複数（収差補正テーブル群２２４）格納している。すなわち、収差補正テーブル群２２４には、ＨＭＤ２０１が有する光学系において生じる収差を補正するための、予め用意された複数種類の補正データが保持される。なお、収差補正テーブルの代わりに、多項式のパラメータテーブルを格納し、収差算出部２１２では近似多項式による補正を実施するように構成してもよい。

本実施形態では、ＨＭＤ２０１が収差補正値記憶部２１５を備える構成としたが、外部装置から読み込む構成が可能であれば画像処理装置１０３が収差補正値記憶部２１５を備えてもよい。また、ＨＭＤ２０１が外部メモリやメディア（ＣＤ、ＤＶＤ、ＳＤやＣＦ（共に登録商標）メモリーカードなど）への読込・書込手段を備えることで、外部メモリや外部メディアが収差補正値記憶部２１５の機能を代替してもよい。

更新用メモリ２１６は、予め用意された補正値を元に収差算出部２１２により算出された新規の補正値を格納する。本実施形態では、収差算出部２１２は、一定の選定基準により選ばれる２つ以上の複数の補正テーブルから新しい補正値を計算し（後述する）、その値が更新用メモリ２１６に格納される。

パターン画像生成部２１７は、画像表示部２０９に表示する所定のパターン画像を生成する。パターン画像生成部２１７によって生成される所定のパターン画像は、ＨＭＤ装着者に色ズレを観察・確認させる為の、尖鋭なパターン画像である。ここでいう尖鋭とは、例えば、黒を背景に、多くても数画素程度の幅をもつ白色線のような画像で、白色の画素の周りは黒色となっているハイコントラストな画像を意味する。

補正値調整部２１８は、画像調整部２０８の調整内容を補正値に反映する。画像調整部２０８で実行した解像度変換や画像シフト（画像表示位置の移動）などの調整処理結果（調整値）に基づき、現在の補正値を調整する。

以上が、ＨＭＤ２０１の各機能ブロックの説明である。次に、操作装置２０２について説明する。

操作部２１９は、ＨＭＤ装着者がＨＭＤ２０１を操作するための各種入力を受け付ける。操作部２１９は、例えば、十字方向または２方向の操作ボタン、またはタッチパネル、トラックボール、トラックパッドなどの画面上のポインタ操作が可能な小型操作デバイスを備える。また、操作部２１９が音声入力機能などを備えることによって、音声での操作を可能にしてもよい。或いは、操作部２１９が、ＨＭＤ装着者の手の動きを検知する機能を備えることによって、装着者の動作による操作指示を受付可能にする構成であってもよい。

操作信号送信Ｉ／Ｆ２２０は、ＨＭＤ２０１へ操作部２１９の操作信号を送信する。データの通信方式は、有線方式であっても無線方式であってもよい。

以上が、操作装置２０２の各機能ブロックの説明である。次に、画像処理装置１０３について説明する。

画像生成部２２１は、ＨＭＤ２０１で表示する画像を生成する。なお、ＭＲシステムの場合、画像生成部２２１は、ＨＭＤ装着者の視点から観察されるＣＧ画像をリアルタイムに生成する役割を担う。更にビデオシースルーＨＭＤを利用する場合には、画像生成部２２１は、ＨＭＤが撮像した現実空間画像に、生成した仮想空間画像（ＣＧ）を重畳する画像合成の役割を担う。

画像再生部２２２は、不図示の外部メモリや外部メディア（ＤＶＤなど）、内部の記憶装置（ＨＤＤなど）に記録された映像コンテンツを読み込み、再生する。

画像送信Ｉ／Ｆ２２３は、画像生成部２２１や画像再生部２２２によって生成された画像をＨＭＤ２０１へ送信するインターフェースである。データの通信方式は、前述の通り、有線方式であっても無線方式であってもよい。

以上の画像処理システムの構成により、ＨＭＤ２０１の装着者に合わせて収差補正を実施でき、個人毎に適切な収差補正がなされた表示画像を得ることができる。以下、本実施形態の収差補正について詳細に説明する。

図３は、ＨＭＤが備える表示光学系の一例を示す図である。

３０１は、表示デバイスである。液晶や有機ＥＬなどのデバイスであり、液晶の場合は不図示のバックライトを光源とした光を各色のフィルタを経由して照射する構成となる。有機ELデバイスの場合は自発光であるためバックライトは不要である。観察者に提示するカラー画像をこのパネル上に形成する。また、表示デバイスは、画像を形成するデバイスとしてＭＥＭＳを用いた画像形成装置であってもよい。

３０２は、表示デバイス３０１からの光線を拡大し瞳に導くための自由曲面プリズムである。単純なレンズと比べて薄型、小型化を実現することが可能である。

３０３は、表示デバイスで形成した画像の結像点である。この位置に瞳３０４を持ってくることで、観察者は表示デバイス３０１の画像が拡大された大画面の表示画像を見ることができる。このように、自由曲面プリズム３０２は、表示デバイス３０１で形成される表示画像を拡大して観察者に観察させるための拡大光学系を構成する。

一般に光学系で生じる各種収差は複数のレンズ群によってその影響を抑えるが、小型のＨＭＤの実現には光学系の簡略化、小型・軽量化が重要となる。その為、歪曲収差や色収差などの一部の収差を電子的に補正する協調システムの設計が有用である。

図４は、画像処理装置１０３に適用可能なコンピュータのハードウェア構成を示すブロック図である。

４０１はＣＰＵで、ＲＡＭ４０２やＲＯＭ４０３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、本コンピュータを適用した画像処理装置１０３が行う処理を実行する。

４０２はＲＡＭで、外部記憶装置４０６からロードされたプログラムやデータ、画像生成部２２１で生成する画像や画像再生部２２２で再生する画像データ等を一時的に格納する為のエリアを有する。また、ＣＰＵ４０１が各種の処理を実行する際に用いるワークエリアも有する。ＲＡＭ４０２は、各種のエリアを適宜、各種処理に対して提供することができる。

４０３はＲＯＭで、本コンピュータの設定データやブートプログラム等を格納する。

４０４は操作部で、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、ＣＰＵ４０１に対して各種の指示を入力することができる。

４０５は表示部で、CRTや液晶画面等により構成されており、ＣＰＵ４０１や不図示のグラフィックスボードによる処理結果を画像や文字で操作者へ表示することができる。

４０６は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置であり、ここにはＯＳ（オペレーティングシステム）や、画像処理装置１０３が行う各処理をＣＰＵ４０１に実行させるためのプログラムやデータが格納されている。これらのプログラムやデータは、ＣＰＵ４０１による制御に従って適宜ＲＡＭ４０２にロードされ、ＣＰＵ４０１による処理の対象となる。

４０７はＩ／Ｆで、図２に示した画像送信Ｉ／Ｆ２２３に相当するものであり、ＨＭＤ２０１とのデータ通信を行うため、主にＨＭＤ２０１への表示画像の送信インターフェースとして機能する。

４０８は上述の各部を繋ぐバスである。

図５は、ＨＭＤのハードウェア構成を示すブロック図である。

５０１は画像表示部２０９に相当する表示ユニットである。

５０２はＲＡＭで、ＣＰＵ５０５が各種の処理を行うために用いるワークエリアや、画像受信Ｉ／Ｆ２０３を介して外部としての画像処理装置１０３から受信したデータを一時的に格納するためのエリア等を有する。

５０３はＲＯＭで、ＨＭＤ２０１が行う後述の各処理をＣＰＵ５０５に実行させるためのプログラムやＨＭＤ２０１の表示設定や収差の補正値に関するデータ、また補正値に対応付けられる個人認証の為のデータなどが格納されている。

５０４は操作部で、ＨＭＤ２０１の操作装置２０２に相当するものである。

５０５はＣＰＵで、ＨＭＤ２０１の初期設定をはじめ各種デバイスの制御を行うプログラムを実行する。

５０６はＩ／Ｆで、図２に示した画像受信Ｉ／Ｆ２０３に相当するものである。

５０７は収差補正ＬＳＩで、本実施形態における収差補正機能を実施する。ここでは専用集積回路であるＡＳＩＣを想定しているが、信号処理プロセッサであるDSPによってソフト的に機能を記述し実現する構成でもよい。処理内容の詳細については後述する。

５０８は上述の各部を繋ぐバスである。

なお、ＭＲシステムにおけるビデオシースルーＨＭＤの場合には、ＨＭＤ装着者の位置姿勢情報を得るための三次元位置姿勢センサがバス５０８に接続されていてもよい。三次元位置姿勢センサには、磁気センサやジャイロセンサ（加速度、角速度）が使用される。ただし、備えられたカメラによる撮像画像のみで位置姿勢情報を取得する構成もあり、必ずしも搭載が必須というわけではない。

図６は、歪曲収差並びに倍率色収差を説明する図である。なお、レンズで生じる収差に対して、逆方向に歪ませた逆補正画像を表示することで、レンズが有する収差と相殺して、正常な画像を表示することができる。

図６の（ａ）は歪曲のない状態の図形６０１（すなわち、表示の原画像）、図６の（ｂ）は表示光学系の歪曲収差により樽型に歪んだ状態（Ｇ像６０２）、図６の（ｃ）は歪曲に加えて倍率色収差が生じている状態を示した図である。

図６の（ｃ）では、ＲＧＢ三原色の内、Ｇを実線（Ｇ像６０２）で、Ｂを破線（Ｂ像６０３）で、Ｒを一点鎖線（Ｒ像６０４）で表しており、表示画像の各色成分で表示倍率が異なっていることを示している。

画像を構成するＲＧＢ三原色の各色では光の波長が異なり、表示光学系での屈折率に差が生じる結果、結像位置のズレが生じ、表示画像は色ズレ（表示倍率差）を生じる。一般的に、波長が短い方が屈折率は大きく大きな角度で屈折する為、Ｂの光はＲの光に比べて大きく屈折する。逆にＲの光はＢの光に比べて屈折は小さい。

ここで、原画像を構成する１点に着目する。すると、表示デバイス上で形成された画像を拡大して表示する光学系の場合に、原画像を構成する白色点に対して、光学原点に近いほうからＲ、Ｇ、Ｂと外側へ向かうように各色の点がずれて結像され、屈折力の差が表れるのが一般的である。

その為、Ｇ像６０２に対して、Ｒ像６０４は内側に、Ｂ像６０３は外側に結ぶ現象が起こり、白黒の被写体であってもその像のエッジに色ズレ（色にじみ）が生じる。カラー画像の被写体であっても境界領域等の色味が変わるエッジ部分では同様の色ズレが生じる。また、表示画像の中心部から周辺部（外側）に向かうほど、この色ズレが顕著に表れる。

実レンズにおける結像において、図６の（ａ）のような図形６０１を結像した場合に、図６の（ｃ）のように画像が歪み、また、色によって結像位置（倍率）が異なる現象が生じる。単色における前者を歪曲収差と呼び、色の違いによる倍率の差を倍率色収差と呼ぶ。図６の例のように、表示光学系の収差により表示画像が樽型に歪む場合は、電子的な処理を適用して逆の糸巻型に歪ませた画像を表示デバイス上に形成することで、表示光学系の収差を相殺することができる。

本実施形態は、上記のような収差に対する電子的な収差補正方法において、更に観察者に応じた収差補正を行うものであり、次にその全体の流れを説明する。

図７は、第１実施形態における全体の流れを示すメインフローチャートであり、ＨＭＤ２０１の使用開始時に実行される。ただし、ＨＭＤ２０１の使用開始時のみに限定されるものではなく、必要があれば使用中であっても任意に本フローチャートの処理を呼び出すことが可能である。

ステップＳ７０１では、ＨＭＤ２０１は、以前そのＨＭＤを使用したことがあり、その時に収差補正値記憶部２１５へ格納した収差補正データがあるかどうかを確認する。過去に格納された収差補正データがある場合には、それを使用するかどうかの判断をＨＭＤ装着者に促す。判断を促す方法としては、例えばＨＭＤ２０１の画像表示部２０９に特定の画像を表示する（例えば、「前回の設定を使用しますか？」などのメッセージ）、音声により判断を促すなどの方法が挙げられる。

過去に格納された収差補正データがあって、かつそのデータを使用することがＨＭＤ装着者によって指示された場合には、処理はステップＳ７０１からステップＳ７０２へ移行する。一方、格納されたデータがない場合、またはＨＭＤ装着者が新規に収差補正データを作成することを指示した場合には、処理はステップＳ７０１からステップＳ７０３へ移行する。

ステップＳ７０２において、ＨＭＤ２０１は、格納されている収差補正データより、使用すべきデータをＨＭＤ装着者に選択させる。ＨＭＤ装着者に選択を促す方法としては、例えば、格納されているデータの一覧をグループなどで分類された階層構造のリストで表示したり、「あなたの名前は？」などの音声メッセージを出力したりすることが挙げられる。

ＨＭＤ装着者は、操作部２１９を介して画像表示部２０９での表示画像上のポインタを操作することにより、選択の入力を行う。選択の入力方法としては、他にも、ＨＭＤ２０１に視線検出機能を備えることで視線入力によるポインタ操作による方法、或いは、ＨＭＤ２０１装着者の手の動きによるポインタ操作による方法、音声での返答を用いた方法などを用いてもよい。また、ＨＭＤ２０１に個人認証機能、例えば顔認識や網膜スキャン、静脈認証機能等を備えて、ＨＭＤ装着者を自動的に認証して使用する補正データを選択するように構成することも可能である。

ステップＳ７０３では、ＨＭＤ２０１は、ＨＭＤ表示モードの選択をＨＭＤ装着者に促す。ＨＭＤ表示モードの違いは、前述したように、収差補正時に何色を基準色とするかという違いである。ＨＭＤ表示モードによる表示画像の違いに関しては図８で説明する。

ステップＳ７０４では、ＨＭＤ２０１は、ＨＭＤの装着調整を行う。装着調整は、表示デバイスにおける画像表示位置を調整するものであり、ステップＳ７０５で実行される収差情報（色ズレ量）の取得に先立って、光学系が有する光学原点と観察者の瞳位置とを結ぶ光軸を一致させるものである。詳細に関しては図９により後述する。

ステップＳ７０５では、ＨＭＤ２０１は、ＨＭＤ装着者の瞳で確認される色ズレ量を取得する。詳細に関しては図１１により後述する。

そして、ステップＳ７０６では、ＨＭＤ２０１は、ステップＳ７０５で取得した色ズレ量に基づいて収差補正を行い、最終的な収差補正データを決定する。詳細に関しては図１４を参照して後述する。

以上の処理によりＨＭＤ装着者が使用する収差補正データが決定される。

ステップＳ７０７では、ＨＭＤ２０１は特定パターンの画像を画像表示部２０９に表示することで、収差補正が適切であるかどうかをＨＭＤ装着者に確認を促す。

ステップＳ７０８では、ＨＭＤ２０１は、色ズレが適切に補正されているか（色ズレが許容できる範囲内に収まっているかどうか）、すなわち微調整の必要があるかの判断を、ＨＭＤ装着者に促す。ＨＭＤ装着者は、前述したようなポインタ操作や音声入力などで微調整が必要かどうかを指示する。

微調整の必要があると入力された場合には、処理はステップＳ７０９へ移行する。また、微調整の必要がない場合には、処理はステップＳ７１０へ移行する。

ステップＳ７０９では、ＨＭＤ２０１は、収差補正の微調整を行う。詳細に関しては図１６により後述する。

以上の処理によりＨＭＤ装着者に対して適切な補正がなされる収差補正データが生成される。

ステップＳ７１０では、ＨＭＤ２０１は、このステップまでで生成された収差補正データが、過去に格納したデータを読み込んだものか否かを判断する。過去に格納した収差補正データを読み込んで使用する場合で、かつ微調整の必要がなかった場合は、当該収差補正データを改めて収差補正値記憶部２１５に格納する必要はない為、装着者向けの収差補正処理を終了し、定常動作へと移行する。

なお、ここでの定常動作とは、ＨＭＤ２０１が画像処理装置１０３からの画像（画像生成部２２１または画像再生部２２２で、生成または再生された画像）を受信して表示し、ＨＭＤ装着者にコンテンツを提示する動作を意味する。

ステップＳ７１１では、これまでの処理により決定または新規に生成された収差補正データを格納するか否かの判断をＨＭＤ装着者に促す。格納すると指示された場合には、処理はステップＳ７１２に移行し、格納しないと指示された場合には本フローチャートの処理を終了して、ＨＭＤ２０１は定常動作へと移行する。

ステップＳ７１２では、ＨＭＤ２０１は、収差補正データを収差補正値記憶部２１５に格納する。また、このときに次回のＨＭＤ使用時に読み込めるように、収差補正データと個人を特定できる情報とを対応付けて収差補正値記憶部２１５に格納する。個人を特定できる情報とは、例えば、個人名、番号、網膜認証や静脈認証、声紋認証の為のデータなどである。

ステップＳ７１１を終了すると、本フローチャートの処理を終了して、ＨＭＤ２０１は定常動作へと移行する。

なお、第１実施形態では、ＨＭＤ２０１の定常動作中は、装着者が同一であると判断し、原則、図７のフローチャートで決定された１つの補正値（補正テーブル）を使用するものとする。すなわち、上記のようにして決定された補正データは、観察者が継続して観察している間は１つの情報が使用されるように制御される。ただし、ＨＭＤ２０１の使用中であっても、必要があれば本フローチャートを呼び出して使用する補正テーブルを変更することは可能である。

図８は、ＨＭＤ表示モードを説明する図である。

本実施形態では、ＨＭＤ２０１を用いた画像処理システムのアプリケーションやＨＭＤ装着者の意向に合わせて、ＨＭＤ２０１のＨＭＤ表示モードの選択が可能である。本実施形態におけるＨＭＤ表示モードとは、収差補正の基準色の違い（ＲまたはＢ）による画像の表現の違い（画像の拡大率の違い）である。ここでは、例えば、Ｒ（赤）を基準とした場合の、画像の全体表示を優先する表示モードと、Ｂ（青）を基準とした場合の、観察対象物の実寸感を優先する表示モードの、２つの画像の表現が設定されるものとする。なお、ここでの前提は、Ｂ基準で収差補正を行った場合、光学設計としては表示される画像（実写画像）と現実との大きさがほぼ一致するものとする。

図８の（ａ）は収差補正の基準色の違いによる差、そして、図８の（ｂ）は収差補正の基準色をＲとした場合、図８の（ｃ）は収差補正の基準色をＢとした場合の、それぞれＨＭＤにおける表示画像の様子を示した模式図である。

図６を参照して前述したように、表示デバイス上で形成された画像を拡大して表示する光学系の場合に、原画像を構成する白色点に対して、光学原点に近いほうからＲ、Ｇ、Ｂと外側へ向かうように各色の点がずれて結像される。その結果、ＲＧＢ三原色から構成される原画像において、Ｂの画像が最も拡大率が大きくなる。従って、拡大率の大きなＢの結像位置を基準として収差を補正すると、拡大率の大きな補正画像を表示することになる。一方、拡大率の小さなＲの結像位置を基準として収差を補正すると、拡大率の小さな補正画像となる。

図８の（ａ）は、表示デバイスの最大表示領域８０１に対して、収差補正の基準色をＲとした場合の表示画像８０２と、基準色をＢとした場合の表示画像８０３を示しており、基準色の違いによる補正後の表示画像の差を示している。

図８の（ｂ）は、画像の全体表示を優先した表示モードによる表示画像を示した図である。収差補正の基準色をＲとして収差を補正した場合に、観察対象物の実寸感よりも補正画像の全体を表示することを優先した表示モードとなる。表示デバイス上に逆補正画像全体を収めて表示画像を形成させる為、表示デバイス上には画像を表示しない領域が存在する。

図８の（ｃ）は、観察対象の実寸感を優先した表示モードによる表示画像を示した図である。収差補正の基準色をＢとして収差を補正した場合に、補正画像の全体表示よりも観察対象物の実寸感を再現した表示モードである。なお、表示デバイスの表示領域全域を有効に使用する為に、逆補正画像の一部が表示デバイスの表示領域を越え、画像の一部（周辺領域）が欠けることになる。よって、表示される画像は矩形形状ではない、表示デバイスを構成する画素すべてを使用することが可能である。

図８の（ｃ）に示した実寸感を優先した表示モードは、特にビデオシースルーＨＭＤを用いたＭＲシステムで有効である。ＭＲシステムでは、アプリケーションによりＭＲ空間内でのＨＭＤ装着者の作業を伴う場合がある。特に手元で作業を行う場合に、全体表示を優先した表示モードの場合、ビデオシースルーＨＭＤを介して観察する自身の手の動きと自身の運動感覚とが一致せず、違和感を生じる場合がある。普段、人間が手元で作業する場合には、作業対象物を注視し、周囲の視界に関しては注意の度合いが低くなる為、視界の全域が見えていることの必要性は低くなる。この人間の知覚を利用すれば、実寸感を再現した表示を行うことで運動感覚と視覚とのミスマッチを解決することが可能である。

以上のように、本実施形態にかかるＨＭＤでは、ＭＲシステムのアプリケーションやＨＭＤ装着者の意向によって表示モードの選択を行うことによって、状況に応じた画像表示を行うことが可能である。

なお、本実施形態では、光学設計上Ｂ基準で実寸感がえられるようにしたが、ＲやＧ基準で実寸感がえられるようにしてもよい。この場合、Ｂを基準とすると表示デバイスを有効に利用し、かつ全体が拡大された画像を表示することになる。表示モードの選択以前に、設定上パネルの画素を有効に利用するか否かがポイントとなる。

図９は、図７のステップＳ７０４装着調整の詳細な流れを示すフローチャートである。電子的に画像表示位置を調整することで、光学原点と瞳位置との光軸を略一致させる。

なお、本実施形態における装着調整とは、ＨＭＤ２０１が正しく装着されていることを前提に、表示デバイスの表示領域に対して電子的に画像表示位置を調整する処理を示す。ここで、正しく装着されているとは、ＨＭＤ２０１の取扱説明書や指示書などに記された装着がなされていることを示す。その他にも、ＨＭＤ２０１が眼幅調整機構を備える場合には、適切な眼幅調整がなされていることを含む。

さて、ＨＭＤ２０１を正しく装着できているにも関わらず、光学原点と瞳位置が光軸に対して一致しない場合がある。このような場合には、表示画面の中心付近でも色ズレが発生する場合がある。表示中央部での色ズレ発生を抑止するには、光学原点と瞳位置とを結ぶ軸上に表示画像の中心を設定する必要がある。

ステップＳ９０１では、パターン画像生成部２１７は、装着調整の為のパターン画像を生成し、これを画像表示部２０９の片眼に表示させる。この際、他方の片眼には画像を表示しないようにして、片眼ずつ装着調整を実行する。表示するパターン画像に関しては図１０を使用して説明する。

ステップＳ９０２において、ＨＭＤ２０１は、ＨＭＤ装着者にパターン画像の表示を観察させて、表示画像に色ズレがあるかどうか、すなわち調整の必要があるかどうかの判断を促す。ＨＭＤ装着者は、前述したポインタ操作や音声を使って、調整の要否の指示を入力する。調整の必要があると指示された場合には、処理はステップＳ９０３へ移行する。一方、必要がないと指示された場合には、処理はステップＳ９０５へ移行する。

ステップＳ９０３において、画像調整部２０８はＨＭＤ装着者の操作部２１９への操作に基づき、表示面に対して画像表示位置を移動する（以下、画像シフト処理という）。

ステップＳ９０４において、ＨＭＤ２０１は、ＨＭＤ装着者の瞳に観察される色ズレが、ＨＭＤ装着者が許容できる範囲内に収まったかどうかを判断させる。色ズレが許容範囲内に収まった場合には、画像シフト処理を終了して、処理はステップＳ９０５へ移行する。許容範囲内に収まっていない場合は画像シフト処理（ステップＳ９０３）を繰り返し実行し、許容範囲内に収まるようにする。

ステップＳ９０５では、ＨＭＤ２０１は、両眼に対して装着調整を実行したかどうかを判断する。両眼に対して処理が終了している場合は装着調整処理を終了する。片眼に対しての調整しか実行していない場合には、処理はステップＳ９０１へ移行し、もう一方の眼に対して装着調整を実行する。ステップＳ９０６において、これまでの処理で調整された画像表示位置が画像調整部２０８に設定される。また、補正値調整部２１８は、その画像表示位置シフト量を格納する。この装着調整で調整された画像表示位置のシフト量は、収差補正テーブル群２２４が有する補正中心位置に反映する必要があり、後述の収差補正の前提条件となる。

以上の処理により、表示デバイスの表示領域に対して表示画像を電子的に移動させることで、表示画像中央部での色ズレの発生を抑止することが可能である。

ただし、光学系の光学原点付近では、収差が発生しない設計がなされており、色ズレは発生しにくいことが想定される。したがって、この調整による調整量は、眼幅調整機構がない場合を除き、多くても数画素程度の範囲内に収まる。

図１０は、前述の装着調整時に表示するパターン画像とＨＭＤ装着者が行う判断を説明する模式図である。

図１０の（ａ）は、光学原点位置に対してパターン画像を表示しているにも関わらず光学系の光学原点と観察差の瞳の光軸が一致していない為、ＨＭＤ装着者には色ズレが確認され、白色を構成するＲＧＢの各色が分離して観察される場合を示している。装着調整時に表示されるパターンは、本実施形態では、多くとも数画素程度の幅を有する十字の白色の細線としている（背景色は黒）。色ズレの発生が確認できれば良い為、パターン画像は、四角形であっても、三角形のような形状であってもよく、十字に限定されるものではない。ただし、ＲＧＢ三原色を全て含む白色のパターン画像であることが望ましい。

図１０の（ｂ）は、光学系の光学原点と観察差の瞳の光軸が一致している為、表示画像の中心が色ズレの発生しない位置にある場合を示している。ＨＭＤ２０１はＨＭＤ装着者に対して、パターン画像が図１０の（ｂ）のように一致して観察されるように操作部２１９での操作を促す。ＨＭＤ装着者の操作部２１９の操作に基づいて、画像調整部２０８が画像表示位置を移動させることで、ＨＭＤ装着者の瞳に観察される画像が図１０の（ａ）から図１０の（ｂ）となるように調整を行う。図１０の（ａ）や図１０の（ｂ）中の矢印に示すように、画像の中央位置が、光学原点位置から色ズレのない位置となるように調整される。

この時、ＨＭＤ装着者の瞳には、分離されて観察されていたＲＧＢの各色が重なり、白色の線として観察される。このことを基準に、色ズレの発生がなくなったかどうか、また色ズレが許容できる範囲内に収まったかどうかを判断する。色ズレが許容範囲内に収まることは、瞳と光学原点を結ぶ光軸上に表示画像の中心が調整されて、正しく画像が観察される正しい装着状態となったことを意味する。

図１０の（ａ）、図１０の（ｂ）では、十字のパターン画像を表示するとしたがこれに限られるものではない。例えば、操作装置２０２の操作部２１９が１次元方向にのみ画像を移動する操作しか行えない場合、図１０の（ｃ）、図１０の（ｄ）に示されるように単一の白色細線のパターン画像を順次表示して装着調整を行ってもよい。この場合、例えば、まず図１０の（ｃ）の垂直方向の線での水平方向の色ズレの調整を行い、次に図１０の（ｄ）の水平方向の線での垂直方向の色ズレの調整を行うといように、順次に調整を実施すれば良い。

図１１は、第１実施形態における、図７のステップＳ７０５による色ズレ量取得処理の詳細な流れを示すフローチャートである。

本実施形態における色ズレ量の取得は、ＨＭＤ装着者の瞳で観察される色ズレ量を取得することを目的とする。すなわち、ＨＭＤが有する表示光学系とＨＭＤ装着者が使用する視力矯正用の光学系の組み合わせで生じる色ズレ量を取得する。ただし、ＨＭＤ２０１が有する表示光学系で生じる色ズレを補正する収差補正テーブルをＨＭＤ２０１が予め備えていることを前提としている。

ステップＳ１１０１において、ＨＭＤ２０１は、ステップＳ７０３で設定されたＨＭＤ表示モードを表示モード設定部２１３より取得し、座標変換部２１４に反映する。ＨＭＤ表示モードとは、前述したように歪曲収差補正の基準色を何色にするかという設定である。

ステップＳ１１０２において、ＨＭＤ２０１は、パターン画像生成部２１７に色ズレ量取得の為のパターン画像を生成させ、これを画像表示部２０９の片眼の指定位置（例えば、表示領域の周辺位置）に表示する。このとき、他方の片眼には画像を表示せず、片眼ずつ色ズレ量の取得が実行される。色ずれ量取得のために表示するパターン画像に関しては図１１で説明する。

ステップＳ１１０３では、ＨＭＤ２０１は、ＨＭＤ装着者に、表示画像に色ズレがないかどうか、すなわち調整の必要があるかどうかを判断させる。ＨＭＤ装着は、前述したようなポインタ操作や音声などで調整の有無を入力する。調整の必要がある場合には処理はステップＳ１１０４へ移行する。必要がない場合には処理はステップＳ１１０６へ移行する。

ステップＳ１１０４では、画像調整部２０８は、ＨＭＤ装着者による操作部２１９の操作に基づき、パターン画像の画像表示位置を移動させる（画像シフト処理）。但し、ステップＳ１１０４における画像シフト処理は、パターン画像を構成する複数の色分離画像のうち、基準色以外の色分離画像を移動する。

ステップＳ１１０４とステップＳ１１０５は、基準色以外の２色の色分離画像に対して繰り返して実行される。

例えば、収差補正の基準色（すなわち表示モード）がＲに設定されている場合には、ＨＭＤ装着者に、まず色ズレの度合いが近いＧのパターン画像（Ｇの色分離画像）を操作させ、続いてＢのパターン画像（Ｂの色分離画像）を操作させる。一方、基準色がＢに設定されている場合には、まずＧのパターン画像（Ｇの色分離画像）を操作させ、続いてＲのパターン画像（Ｒの色分離画像）を操作させて、色ズレのない状態を作らせる。

基準色がＲに設定されている場合には、ＨＭＤ装着者に、まずＲのパターン画像に対して、Ｇのパターン画像が重なるように画像シフトを促し、両パターン画像が重なった時にはYellow（以下、Ｙと表記）の色が観察される。次にＢのパターン画像が、Ｙのパターン画像に重なるように画像シフトを促す。Ｙのパターン画像とＢのパターン画像が重なった時にはWhite（以下、Ｗと表記）の色が観察される。収差算出部２１２は、この時の画像シフト量を取得する。

ステップＳ１１０５において、ＨＭＤ２０１は、ＨＭＤ装着者の瞳に観察される色ズレが、ＨＭＤ装着者が許容できる範囲内に収まったかどうかを当該装着者に判断させる。色ズレが許容範囲内に収まったと判断されたことを示す操作が入力された場合には、画像シフト処理を終了して、処理はステップＳ１１０６へ移行する。一方、許容範囲内に収まっていないと判断されたことを示す操作が入力された場合は画像シフト処理ステップＳ１１０４を繰り返し実行する。

なお、表示するパターン画像は図１２で説明するが、色ズレ量の取得位置が複数ある場合には、それぞれの取得位置でステップＳ１１０４とステップＳ１１０５を繰り返し実行する。

以上の処理により、色ズレがなくなるまで、実際には許容できるレベルにまでＨＭＤ装着者がパターン画像をシフトする。このシフト量はＨＭＤ装着者に観察されていた色ズレ量を表す。

ステップＳ１１０６では、収差算出部２１２は、上記のようにＨＭＤ装着者のパターン画像シフト量から色ズレ量を取得してこの取得した色ズレ量をＲＡＭ４０２に格納する。

ステップＳ１１０７では、ＨＭＤ２０１は、両眼に対して調整を実行したかどうかを判断する。両眼に対して色ズレ量の取得が終了した場合には処理を終了する。片眼に対しての調整しか実行していない場合には、処理はステップＳ１１０２へ移行して、もう一方の眼に対しても色ズレ量の取得を行う。

以上の処理により、ＨＭＤが有する表示光学系とＨＭＤ装着者が使用する視力矯正用の光学系の組み合わせで生じる色ズレ量を、両眼それぞれに対して取得することができる。

図１２は、前述した色ズレ量取得時に表示するパターン画像を説明する模式図である。

図１２の（ａ）は４点で色ズレ量を取得する場合、図１２の（ｂ）は２点で色ズレ量を取得する場合、図１２の（ｃ）は１点で色ズレ量を取得する場合のパターン画像の例を示している。

表示するパターン画像は、色ズレが観察され易いパターンであればよい。本実施形態では、多くとも数画素程度の幅を有する十字の白色の細線としている（背景色は黒）がこれに限られるものではない。例えば、パターン画像は、他にも四角形や、三角形や表示領域の角に沿うような弧の形状であってもよい。ただし、ＲＧＢ三原色を全て含む白色のパターン画像であることが望ましい。

一般的に、ＨＭＤの表示光学系や視力矯正用の光学系（主に眼鏡レンズ）などの観察する為の光学系は、光軸付近の中央部ではほとんど収差は生じず、周辺部で発生する。その為、図１２の（ａ）〜（ｃ）に示されるように、色ズレ量の取得は周辺部で行うようにする。

図１２の（ａ）は、表示領域の周辺部４点で色ズレ量を取得する場合のパターン画像である。このように４点以上の複数の位置で色ズレ量を取得することで、複雑な表示光学系と視力矯正用光学系の組み合わせに対しても、光学系の収差特性を知る為の的確な色ズレ量を取得することが可能となる。

ただし、パターン画像は４点で同時表示ではなく、１点ずつ順次に表示を行い、色ズレ量取得を行った後に、次の点に移るようにＨＭＤ装着者に対して表示を行う。その順番は、例えば、図１２の（ａ）中に示した数字と矢印のように１、２、３、４の順番で行うものとすればよい。このように順次に表示することで、４箇所同時に表示した場合にＨＭＤ装着者が今どの箇所のパターン画像を操作しているのかを迷うような状況を避けることができる。また、４箇所同時に表示した場合には、各位置で色ズレの発生方向が異なり、１点での色ズレの調整（縮小）が他点での色ズレの拡大などに反映される場合が考えられる為、ＨＭＤ装着者が何を操作すればよいか迷ってしまうことが考えられる。これに対して、パターン画像を順次に表示することで、以上のような不具合も避けられる。これにより、ＨＭＤ装着者の注意を、１点での操作に導くことができる。

図１２の（ｂ）は、表示領域の周辺部２点で色ズレ量を取得する場合のパターン画像である。光学系（表示光学系と視力矯正用光学系の組み合わせ）の光学特性が光学原点を通る垂直軸または水平軸に対して対称や略対称である場合に、２点で色ズレ量を取得することで十分精度高く収差量を算出できる。このように２点で色ズレ量を取得することで、本発明を利用する際の色ズレ量取得に関する操作の煩雑さを軽減することができる。

図１２（ｃ）は、表示領域の周辺部１点で色ズレ量を取得する場合のパターン画像である。光学系（表示光学系と視力矯正用光学系の組み合わせ）の光学特性が光学原点を通る光軸を軸に回転対象である場合は、１点で色ズレ量を取得することでこの光学系の収差特性を十分に算出できる。このように１点で色ズレ量を取得することで、単純な光学系に対しては十分に効果が得られると共に、２点で取得する場合に対して更に色ズレ量取得に関する操作の煩雑さを軽減できる。

図１３は、色ズレ量取得時にＲを基準とした場合の、ステップＳ１１０３〜１１０５におけるＨＭＤ装着者が行う操作と、判断を説明する模式図である。

図１３の（ａ）は、色ズレ取得時のパターン画像を表示した際に、表示画像に色ズレが生じている場合、図１３の（ｂ）は、ＨＭＤ装着者が基準色以外の各色画像のシフト操作を行い、各色画像が重なって色ズレがなくなった場合を示している。

なお、図１２では色ズレ量取得の為に、本実施形態では白色の十字のパターン画像を表示するとした。十字のパターンを用いることで、２方向の色ズレ量を一度に観察でき、操作性がよいからである。これに対し、図１３では、簡単の為、一つの細線を表示して、表示面の水平方向の色ズレ量を取得する例を挙げて説明する。

ＨＭＤ２０１の表示光学系とＨＭＤ装着者の視力矯正用光学系との組み合わせに対して色収差補正が有効に実施されていない場合に、ＨＭＤ装着者の瞳には図１３の（ａ）のように色ズレが観察される。

なお、本説明では、ＨＭＤ表示モードの設定、すなわち収差補正の基準色としてＲが設定されているものとする。

図１３の（ａ）のように観察される色ズレに対して、ＨＭＤ装着者は、基準色以外の他色（本説明ではＧとＢ）の画像に対してそれぞれシフト操作行い、図１３の（ｂ）のように各色画像が重なって白色の細線と観察できるようにする。

まず、基準色Ｒの色分離画像とＧの色分離画像を表示し、Ｒの色分離画像に対してＧの色分離画像を動かす画像シフト操作を装着者に行わせる。次に、Ｂの色分離画像を表示し、Ｒの色分離画像とＢの色分離画像が重なるように画像シフト操作を装着者に行わせる。

まず、Ｒの画像に対して、Ｇの画像が重なるように画像シフト操作を行うと、重なった時にはＹの色が観察される。ＨＭＤ装着者が重なったという確認を操作装置２０２で入力すると、次にＢの画像が表示され、Ｂの画像がＹの色の画像に重なるように画像シフト操作を行うと、重なった時には図１３の（ｂ）のようなＷの色の画像が観察される。なお、ここではＧの色分離画像のシフトを先に行ったが、基準色以外の２色の内、いずれを先にシフトさせるかは設定次第である。

収差算出部２１２は、この時の各色分離画像の画像シフト量をカウントすることで、カウントされたシフト量からパターン画像表示位置における各色の色ズレ量を算出することができる。

図１４は、第１実施形態における、図７のステップＳ７０６による収差補正の詳細な流れを示すフローチャートである。

ステップＳ１４０１では、収差算出部２１２において、図１１のステップＳ１１０６でＲＡＭ４０２に格納された色ズレ量を参照する。なお、本フローチャートでは、基準色以外の他の２色に対して処理を繰り返し実行する。

ステップＳ１４０２では、収差算出部２１２は、ステップＳ７０５で取得した色ズレ量に基づいて、収差補正値記憶部２１５に予め用意されている収差補正テーブル群２２４から補正する色ズレ量（補正量）が最も近接する補正テーブルを選択する。

ステップＳ１４０３において、座標変換部２１４は、ステップＳ１４０２で選択した補正テーブルに基づいて座標変換処理を行い、各補間部２０６Ｒ，２０６Ｇ，２０６Ｂにより変換後の座標における新しい色が算出される。以上により、色ズレ量に対して有効な補正が表示画像に反映される。

ステップＳ１４０４では、ＨＭＤ２０１は後述の微調整用パターン画像（図１７）、または色ズレ量取得用画像（図１２）を表示する。ＨＭＤ装着者は選択された補正テーブルによる補正の結果、色ズレが許容できる範囲内に収まっているかどうかを判断する。

色ズレが許容範囲内に収まっていると判断したことを示す操作が入力された場合には、処理はステップＳ１４０７へ移行して、選択された補正テーブルを使用補正テーブルと決定する。許容範囲内に収まっていないと判断したことを示す操作が入力された場合には、処理はステップＳ１４０５へ移行する。

ステップＳ１４０５において、収差算出部２１２は、補正量がステップＳ７０５で取得した色ズレ量に２番目に近接する補正テーブルを選択する。

ここで、２番目に近接なテーブルの選択は例えば次のように行う。１番目の補正テーブルの補正量は、取得した色ズレ量よりも大きい、または小さいかのどちらかの補正特性を有している。この１番目の補正テーブルが有する補正特性とは、逆の特性を有し、かつ補正する色ズレ量が近いテーブルを２番目のテーブルとして選択する。例えば、１番目のテーブルの補正特性が強い（取得した色ズレ量よりも補正量が大きい）場合、２番目のテーブルには補正特性が弱い（取得した色ズレ量よりも補正量が小さい）テーブルで、最も補正する色ズレ量が近いテーブルが選択される。

以上のようにすることで、取得された色ズレ量を挟むような、近接する補正量を有する２つの補正テーブルが選択されることになる。

次に、ステップＳ１４０６において、収差算出部２１２は、２つの補正テーブルを補間するような補正値の補間演算を実行して、更新用メモリ２１６に演算結果を格納する。これにより最適な補正テーブルが新規に作成される。演算方法の詳細に関しては後述する。

ステップＳ１４０７において、ＨＭＤ２０１は、選択された、または新規に生成された補正テーブルを、使用する補正テーブルとして決定し、それを座標変換部２１４に設定する。

ステップＳ１４０８において、ＨＭＤ２０１は、基準色以外の他の２色に対して使用する補正テーブルの決定がなされたかどうかを判断する。基準色以外の他の２色で使用する補正テーブルが決定した場合には処理を終了する。まだ基準色以外の他の２色で使用する補正テーブルが決定されていない場合には、ステップＳ１４０１へ処理を移行して上記の処理を繰り返す。

以上の処理により、ＨＭＤが有する表示光学系とＨＭＤ装着者が使用する視力矯正用の光学系の組み合わせで生じる色ズレおよび歪みに対して適切な補正テーブルを用意することができる。ここで新たに作られた補正テーブルは、ＨＭＤを装着する個人毎に管理され、再利用することもできる。例えば、新たに作られた補正テーブルを観察者毎に対応付けて記憶することにより、記憶した補正テーブルの再利用が可能となる。

図１５は、第１実施形態における収差補正の為の、Ｓ１４０６における補間演算処理を説明する模式図である。

図１５の（ａ）は補間演算の方法、図１５の（ｂ）は補間演算式、図１５の（ｃ）は収差補正テーブル群２２４に格納されている、補正テーブルとその補正量（補正する色ズレ量）との対応付けを示している。

本実施形態では、補間演算方法として最も単純な線形補間法を用いて説明する。補正テーブルは表示面に対して水平方向と垂直方向の２次元の値を有するが、ここでは簡単の為、１次元（ｘ方向）の値に関して説明を行う（図中の添え字“x”が、ｘ方向の補正値を意味する）。

図１５の（ａ）のＡ、Ｂ、Ｃは、予め用意された補正テーブルの補正量を示しており、αは、取得した色ズレ量を示している。

取得した色ズレ量αに、補正量が最も近いのがＢの補正テーブルである。次にαに近いのがＡの補正テーブルであるが、ＡとＢではαに対して補正特性（補正が弱い）が同じ特性をもっている為、ステップＳ１４０５で前述した通り、２番目に近いテーブルとし選択されるのはＣの補正テーブルとなる。

補正すべき色ズレ量αに対して、最適な補正値はＢとＣの補正値の間にある為、ＢとＣのテーブルを用いて、最適な補正値を線形補間演算して新規に生成する。まず、ＢとＣの値の差を正規化し、Ｂとαの差をdxとする。

以上で定義した値を用いて、図１５の（ｂ）に示す線形補間演算式を用いることで、取得した色ズレ量αに対して適切な補正量を演算できる。

なお、図１５では、１次元（ｘ方向）の線形補間法を用いて説明したが、補正テーブルの値は２次元の値を持つ為、同様の補間演算処理をｙ方向についても演算することで、平面での線形補間法（ｂｉｌｉｎｅａｒ）によって補間演算を行えばよい。補間の方法は、他にも、Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ、Ｂｉｃｕｂｉｃ、Ｌａｇｒａｎｇｅなど多くの補間方法が知られており、どれを用いても構わない。

図１５の（ｃ）は、図６の（ｃ）で示したような収差に対応する補正テーブルの一例を示している。収差補正テーブル群２２４には補正テーブルとその補正テーブルが補正する色ズレ量とが対応づけられて格納されている。図中に示した１.０、３.０、７.０pixelsの各値は、色ズレ量取得位置における各テーブルの補正量（補正する色ズレ量）を示し、各テーブルの代表値としている。これにより、取得した色ズレ量と補正テーブルとを関連付けて、上記の一連の処理を実行することができる。

図１６は、第１実施形態における、図７のステップＳ７０９による微調整の詳細な流れを示すフローチャートである。

本フローチャートで示す微調整に処理が移行するまでに、色ズレ量に対してほぼ適切な収差補正が実施されていることが見込まれる。しかしながら、微妙な画像のズレが生じている可能性もあり、ここで各色画像ごとの解像度変換（倍率変更）や、画像シフトを行うことによって最終的な調整を行う。

ステップＳ１６０１において、ＨＭＤ２０１のパターン画像生成部２１７は微調整の為のパターン画像を生成して、画像表示部２０９の片眼に表示する。もう片眼には画像を表示せず、片眼ずつ調整を実行する。表示するパターン画像に関しては図１７で説明する。

ステップＳ１６０２では、ＨＭＤ装着者の操作部２１９の操作に基づいて、画像調整部２０８は、補正された画像に対して基準色以外の他色画像の解像度変換処理を実行する。基準色Ｒに対して、まずＲとＧの画像を表示してＧの画像に対して解像度変換操作（画像の変倍操作）を行わせ、次にＲとＧとＢの画像を表示してＢの画像に対して解像度変換操作を行わせる。まずＲの画像（色分離画像）に対して、Ｇの画像（色分離画像）が重なるように解像度変換操作を行うと、重なった時にはＹの色が観察される。ＨＭＤ装着者が重なったという確認を操作装置２０２によって入力すると、次にＢの画像（色分離画像）が表示される。Ｂの画像がＹ画像に重なるように解像度変換操作を行うと、重なった時にはＷの色が観察される。

ステップＳ１６０３において、ＨＭＤ２０１は、ＨＭＤ装着者に、この時点で色ズレが許容できる範囲内に収まっているかどうかを判断させる。色ズレが許容範囲内に収まっていると判断された場合には、ＨＭＤ装着者が操作装置２０２で入力することにより処理はステップＳ１６０４へ移行する。許容範囲内に収まっていないと判断された場合は、解像度変換操作による微調整を繰り返し実行する（ステップＳ１６０２）。

次に、ステップＳ１６０４において、画像調整部２０８は、ＨＭＤ装着者の操作部２１９の操作に基づいて、補正された画像に対して、基準色以外の他の２色の画像（色分離画像）のシフト処理を実行する。

ステップＳ１６０５では、ＨＭＤ２０１は、ＨＭＤ装着者に、色分離画像をシフトさせて、色ズレが許容できる範囲内に収まっているかどうかを判断させる。色ズレが許容範囲内に収まっている場合には、ＨＭＤ装着者が操作装置２０２で入力することにより処理はステップＳ１６０６へ移行する。許容範囲内に収まっていない場合は、処理はステップＳ１６０２へ移行して微調整を繰り返し実行する。また、両眼での微調整がまだ終了していない場合にも繰り返す。

ステップＳ１６０６では、基準色以外の他色すべてに対して微調整が終了したかを判断する。基準色以外の他色のすべてで微調整が終了した場合には処理を終了する。まだ基準色以外の他色において微調整が終了していない色がある場合には、処理はステップＳ１６０１へ移行して上記の微調整処理を繰り返す。

なお、以上の処理で行った解像度変換や画像シフトの調整は、画像調整部２０８から補正値調整部２１８に伝えられる。補正値調整部２１８は、上記調整値に基づいて、補正値の修正を行い、更新用メモリ２１６上の補正テーブルへ上記調整結果を反映する。

以上の処理により、解像度変換と画像シフトによる微調整が可能となる。

図１７は、微調整時に表示するパターン画像を説明する模式図である。図１７の（ａ）は４点での表示に基づいて微調整を行う場合、図１７の（ｂ）は２点での表示に基づいて微調整を行う場合のパターン画像を示している。

表示するパターン画像は、図１２で説明した色ズレ量取得時のパターン画像と同じである。ただし、色ズレ量取得時には、色ズレ量取得位置毎に順次に表示を行って、操作を行う必要があったが、微調整の場合は、倍率（解像度変換）や画像位置の調整である為、全パターンを同時に表示を行って、調整を行う。

例えば、基準色がＲの場合、まずＲとＧの画像を表示してＧの画像に対して微調整操作を行い、次にＲとＧとＢの画像を表示してＢの画像に対して微調整操作を行う点は、色ズレ量取得時と同様である。ここで、ＧとＢの順番は入れ替えてもよい。

表示するパターン画像は、色ズレが観察され易いパターンであればよい。本実施形態では、多くても数画素程度の幅を有する十字の白色の線としているが、パターン画像は、周辺部での色ズレの発生の確認をできる形状であればよい。例えば表示面に全域に渡る四角形であってもよい。ただし、ＲＧＢ三原色を全て含む白色のパターン画像であることが望ましい。

本実施形態によれば、ＨＭＤ装着者に観察される色ズレ量を把握して、その量に基づいて収差を補正する構成及び方法を備えることで、観察される色ズレ量に最も近接する補正量を有する補正値を選択することができる。また、最近接な補正値で補正が十分でない場合には、２番目に近接する補正値を更に選択して、２つの補正値に基づいた補間演算により、新規に補正値を生成することができる。これにより、ＨＭＤが備える表示光学系とＨＭＤ装着者が使用する視力矯正用の光学系との組み合わせで生じる色ズレ（収差）に対して、適切な収差補正を実施することができる。

また、ＨＭＤの装着者、個人毎に適切な補正テーブルを選択または新規に生成することができ、それを格納することで、以後のＨＭＤ使用に際して、個人毎の収差補正設定を読み込むことができる。

また、予め用意された補正テーブルから、個人に適切な補正テーブルを新規に作成することができる為、予め用意する補正テーブルは比較的に大きな間隔で用意しておけばよく、補正テーブルを格納する為のメモリの容量を削減できる。

以上説明したように、第１実施形態によれば、表示デバイス上で形成される表示画像を拡大して観察させる画像表示装置において、観察者の視力矯正用の有無や視力矯正度合いに合わせた収差の補正を、個人毎に適切に実施することができる。これにより画像表示装置を観察する誰もが、収差（色ズレ）のない画像を観察することが可能となる。

（第２実施形態）
次に、第２実施形態を図に従って説明する。

第１実施形態では取得した色ズレ量に対して、予め用意された収差補正値（補正テーブル）の中から補正量が近い２つを選択して、その２つから補間演算により新たに補正値を生成することで適切な収差補正を実施した。第２実施形態では、１つの収差補正値（補正テーブルまたは近似多項式のパラメータテーブル）を元に新たな補正値を生成し、適切な補正を行う。これにより、第１実施形態と同等の補正精度を保持しつつ、予め用意する収差補正値を削減することで必要なメモリの削減を実現する。以下、上記特徴を中心に、第２実施形態を説明する。

なお、本実施形態におけるＨＭＤ２０１の機能ブロックは、第１実施形態における機能ブロック（図２）と同様であるため説明は省略する。ただし、収差補正値記憶部２１５には、第１実施形態では収差補正テーブル群２２４を格納していたが、第２実施形態におけるＨＭＤ２０１では補正用の近似多項式の、係数パラメータのデフォルト値を納めたテーブルを１つだけ格納する。このテーブルは、ＨＭＤ２０１に備えられた表示光学系で生じる収差を補正する為の補正値を得る為の参照値である。

なお、上記テーブルは、裸眼観察用テーブル１つだけでなく、近視矯正用や遠視矯正用を想定したテーブルを備えておいてもよい。この中のテーブルの１つを、本実施形態の収差補正処理を実施する前に選択させておくことで、補正値（パラメータテーブル）を大きく更新する必要がなくなり、補正の精度を向上できる。

第２実施形態における全体の流れは、第１実施形態における図７のフローチャートと同様であるが、ステップＳ７０６における収差補正処理の内容が第１実施形態とは異なる。なお、第１実施形態における収差補正処理ではＨＭＤ装着者の操作（１つめのテーブルでの色ズレ補正合否判断）が伴ったが、第２実施形態においては、収差補正処理におけるＨＭＤ装着者の操作は不要となる。

図１８は、第２実施形態における、ステップＳ７０６収差補正の詳細な流れを示すフローチャートである。

ステップＳ１８０１において、収差算出部２１２は、図１１のステップＳ１１０６でＲＡＭ４０２に格納された色ズレ量を参照する。

ステップＳ１８０２において、収差算出部２１２は、色ズレ量を取得した画素の位置と色ズレ量とに基づいて補正の為の近似多項式の係数パラメータを演算して、パラメータテーブルを更新する。演算方法に関しては、図１９を参照して後述する。

ステップＳ１８０３では、基準色以外の他の２色に対してパラメータの更新がなされたかどうかを判断する。基準色以外の他の２色でパラメータが更新された場合には処理を終了する。まだ基準色以外の他の２色でパラメータが更新されていない場合には、処理はステップＳ１８０１へ移行して上記の処理を繰り返す。

以上の処理により、ＨＭＤが有する表示光学系とＨＭＤ装着者が使用する視力矯正用の光学系の組み合わせで生じる色ズレ量に応じて、補正の近似多項式用のパラメータテーブルが新規に作成される。また、ここで作成した新たな補正用の参照値は、個人を特定する情報と共に記憶することにより、ＨＭＤを装着する個人毎に適用することができるのは第１実施形態と同様である。

図１９は、第２実施形態におけるステップＳ１８０２における収差補正方法を説明する模式図である。図１９の（ａ）は、予め用意していた近似多項式による補正量と取得した色ズレ量の関係を、図１９の（ｂ）は、近似多項式を、図１９の（ｃ）と図１９の（ｄ）はパラメータの更新方法の一例を示している。

図１９の（ａ）で、０は収差がない場合の結像位置を示しており、この位置を基準点とする。αは、特定の座標でのデフォルトパラメータによる近似多項式の補正量（補正する色ズレ量）を示し、βは、同じ座標でのＨＭＤ２０１の表示光学系と視力矯正用の光学系との組み合わせで生じた色ズレ量を示している。取得した色ズレ量を用いて、αの値をβの値に更新することで、適切な補正量へと更新することができる。ここでは簡単の為、１次元（ｘ方向）の補正値に関して説明を行う（図中の添え字の“ｘ”は、ｘ方向を意味している）。

図１９の（ｂ）は、本実施形態におけるx方向の近似多項式を示している。各項の係数により任意の座標での補正量が決まる。収差補正値記憶部２１５は、各項の係数を補正パラメータとしてテーブル上に格納している。図１９の（ｂ）のAxは、デフォルトパラメータによる任意の座標における補正量を示している。

図１９の（ｃ）は、任意の座標の補正量Axに対して、特定位置での補正量αと色ズレ量βの比の関係を用いて、任意の座標における適切な補正量Ax’を算出する計算式を示している。この関係式より、近似多項式の更新パラメータを算出することができる。

また、図１９の（ｄ）は、任意の座標の補正量Axに対して、特定位置での補正量αと色ズレ量βが特定の関数の比で関連している場合に、関数の関係を用いて任意の座標における適切な補正量Ax’を算出する計算式を示している。この関係式より、近似多項式の更新パラメータを算出することができる。

なお、第２実施形態では、近似多項式のパラメータテーブルに関して更新するとしたが、特定の座標における補正テーブルが有する補正値と色ズレ量の関係から、同様に一般的な収差補正テーブルでも補正値を更新することが可能である。

本実施形態によれば、収差補正値記憶部２１５に予め格納しておく補正値は、１つ、または少数であればよく、メモリ容量の削減が可能となる。メモリ容量の削減は、チップ点数や基板面積の削減に寄与しコストダウンを実現する。

（第３実施形態）
次に、第３実施形態を図に従って説明する。第１及び第２実施形態では、取得した色ズレ量に基づいて、予め用意された収差補正値から、新規に補正値を生成することで、個人毎に適切な収差補正を実施した。対して、第３実施形態では、予め用意された収差補正値から最適な収差補正値を１つ選択して補正を行う。これにより、複雑な演算を必要とせず回路規模を低減することができる。また、色ズレ量取得の操作を必要としない分、本実施形態にかかるＨＭＤの装着者の操作の煩雑さを軽減できる。以下、上記特徴を中心に、第３実施形態を説明する。

図２０は、第３実施形態におけるＨＭＤの機能ブロック図である。なお、画像処理装置１０３は、第１実施形態と同様である為、図示を省略している。

第３実施形態は、予め用意された収差補正値から新規に補正値を作成しない。その為、第１、第２実施形態のＨＭＤ２０１が備えていた更新用メモリ２１６や、画像調整部２０８の調整値を更新用メモリ２１６上の新規補正値に反映させる補正値調整部２１８は不要となっている。

収差補正値記憶部２１５は、予め用意された、補正量の異なる収差補正テーブル群２２４を格納している。収差補正テーブル群２２４は、用意した収差補正テーブルによって最適な補正ができるように細かい間隔で用意しておくことが望ましい。操作判定部２１１の指示に従い、用意された収差補正テーブル群の中から１つが選択される。座標変換部２１４は、選択された補正テーブルをもとに、各色の変換後の座標を演算する。

２００２は、画像調整部２０８で調整した解像度変換や画像シフトなどの調整値を格納する調整値記憶部である。新規に補正値を作成しない為、画像調整部２０８での調整値は調整記憶部２００２に格納しておき、次回の使用時には、過去の格納データの読み込み時に調整記憶部２００２から過去の調整値を画像調整部２０８に反映する。第１、第２実施形態では、調整値を元に補正値の修正、更新を行っていた。第３実施形態では、補正値の新規作成や更新を行わず、設定を再利用するために、調整された調整値を記憶するのが特徴である。

なお、第３実施形態では、ＨＭＤ２０１が収差補正値記憶部２１５を備えるとしたが、図２での機能ブロックの説明と同様、画像処理装置１０３が備えてもよいし、外部メモリや外部メディアが収差補正値記憶部２１５の機能を代替してもよい。

以上の構成により、収差補正がなされたＨＭＤの表示画像を得るとともに、その表示画像を正しくＨＭＤ装着者に観察させることができる。

図２１は、第３実施形態における全体の流れを示すメインフローチャートである。

第３実施形態では、第１実施形態における図７のフローチャートと比べて、ステップＳ７０５の色ズレ量取得と、ステップＳ７０６の収差補正の処理が不要となる。その代わりに、ステップＳ２１０１の収差補正値選択処理が入る。

ステップＳ２１０１では、収差補正値記憶部２１５に格納された収差補正テーブル群２２４の中から最適な補正テーブルを選択する。この処理の詳細に関して図２２を参照して以下に説明する。

図２２は、第３実施形態における、ステップ２１０１収差補正値選択の詳細な流れを示すフローチャートである。

ステップＳ２２０１において、パターン画像生成部２１７は補正テーブル選択の為のパターン画像を生成して、画像表示部２０９の片眼に表示する。他方の片眼には画像を表示せず、片眼ずつ補正値の選択を行う。本実施形態にかかる表示するパターン画像は、図１７に示した微調整用のパターン画像と同じでよい。

ステップＳ２２０２において、ＨＭＤ装着者に、表示画像に色ズレがないか、色ズレが許容できるかどうかを確認させる。色ズレが許容できないと装着者によって判断された場合には処理はステップＳ２２０３へ移行し、色ズレが許容範囲内に収まっている場合には処理はステップＳ２２０４へ移行する。

ステップＳ２２０３において、現在選択している補正テーブルで、色ズレが許容範囲内に収まらないことを受けて、収差補正値記憶部２１５に格納されている収差補正テーブル群２２４の中から次の補正テーブルを設定して、ステップＳ２２０１を繰り返す。

ここで、「次の」補正テーブルを設定するとしたが、「次の」とは、収差補正テーブル群２２４の個々のテーブルにＩＤが対応付けられていて、隣のＩＤを示す。ＩＤに対して自動的に（昇順、降順どちらでも構わない）隣のＩＤを持つ補正テーブルが選択されてもよいし、操作装置２０２の操作部２１９により操作が可能であってもよい。自動的に選択される場合には、同じ補正テーブルに戻るまでにテーブル群を一巡する必要があるが、操作が可能な場合には、ＩＤが隣の補正テーブルを何度も比較することが可能である。また、表示上に収差補正テーブルのリストの表示を行って、その中から選択しても良い。リストと共に補正量の強度の指標などを併せて表示を行って、装着者によるテーブルの選択を支援するようにしてもよい。

選択した時点で、選択されたテーブルの補正が反映され、決定ボタンを押すことで使用補正テーブルが決定される。すなわち、選択されたテーブルの補正が反映された画面を見て、色ズレが許容範囲内であれば決定ボタンを押すことで、処理はステップＳ２２０４へ進む。一方、色ズレが許容範囲内に無いと装着者が判断した場合には、例えば次のテーブルを選択するための操作を装着者が行うことで、処理はステップＳ２２０３へ進む。

ステップＳ２２０４では、これまでの処理で、色ズレが無いまたは許容範囲内に収まっている補正テーブルを選択できている為、その補正テーブルを使用する補正テーブルとして座標変換部２１４に設定する。

ステップＳ２２０５では、両眼に対して補正テーブルの決定がなされたかどうかを判断する。両眼に対して補正テーブルが決定されている場合には処理を終了する。まだ両眼で決定されていない場合には、処理はステップＳ２２０１へ処理を移行して、もう片眼に対して補正テーブルの選択と決定を行う。

以上の処理により、ＨＭＤが有する表示光学系とＨＭＤ装着者が使用する視力矯正用の光学系の組み合わせで生じる色ズレを補正するテーブルを、両眼それぞれに対して選択し決定できる。

以上のように第３実施形態によれば、複雑な演算が不要である為回路規模を低減することができる。また、色ズレ量取得の操作を必要としない為、本発明を利用するにあたりＨＭＤ装着者の操作の煩雑さを軽減できる。回路規模の低減は、結果的に消費電力の低減につながる。

（第４の実施形態）
本発明を実現する第４の実施形態を図に従って説明する。

第１〜３実施形態では、ＨＭＤの左右両眼の画像表示に対して、片眼ずつ収差を補正した。第４実施形態では、ＨＭＤの左右両眼に備えた１対の表示光学系の対称性を利用して収差を補正する。

左右両眼に備えられるＨＭＤなどの表示光学系には、同一の光学特性を有する光学系が適用されるのが一般的である。またその光学特性は、ＨＭＤ装着者のちょうど眉間の位置を通る垂直軸に対して軸対称である。そこで、第４実施形態では、ＨＭＤ装着者の視力矯正用の光学系が対称であるとみなし、上記ＨＭＤの表示光学系の対称性を利用して、片眼で設定された補正値をもう片眼に反映させる。

これにより、左右で矯正用の光学系が大きく変わらない場合は演算回数を低減できる。また、本発明の利用におけるＨＭＤ装着者の操作の煩雑さを軽減できる。上記特徴を中心に第４実施形態を説明する。

第４実施形態は、第１と第２実施形態におけるＨＭＤ２０１、第３実施形態におけるＨＭＤ２００１、どちらにも適用できるが、第１実施形態に基づいて説明を行う。機能ブロックは、第１実施形態における機能ブロック（図２）と同様である。

図２３は、第４実施形態における全体の流れを示すメインフローチャートである。

第１実施形態における図７のフローチャートと比べて、第４実施形態では、左右眼の矯正差を判定するステップＳ２３０１と、片眼の設定をもう片眼に反映するステップＳ２３０４が加わる。なお、色ずれ量を取得するステップＳ２３０３と収差補正を行うステップＳ２３０３も追加されているが、これらの処理はステップＳ７０５、Ｓ７０６と同様である。

ステップＳ２３０１では、ＨＭＤ２０１は、ＨＭＤ装着者に対して、視力または視力矯正用の光学系（主に眼鏡レンズ）の矯正度合いが左右で大きく異なるかどうかを確認する。ＨＭＤ装着者が左右眼で矯正度合いが大きく異なると申告した場合、または左右両眼とも個別に調整すると選択した場合には、処理はステップＳ７０５へ移行して、第１や第２実施形態と同様の処理を実行する。なお、申告は操作装置２０２を用いて行われる。一方、ＨＭＤ装着者が左右眼で矯正度合いが大きく異ならない場合には、処理はステップＳ２３０２へ移行する。

ステップＳ２３０２において、片眼（左眼または右眼）に対して図１１のフローチャートに従った色ズレ量の取得を行う。ただし、片眼のみのである為、ステップＳ１１０７による処理の繰り返しは行わない。

ステップＳ２３０３では、片眼に対して図１４のフローチャートに従った収差補正を行う。ただし、片眼のみのである為、ステップＳ１４０８による処理の繰り返しは行わない。

ステップＳ２３０４では、これまでの処理で片眼に対しての適切な収差の補正が決定しており、その決定値（補正値）を、もう片眼にも反映させて決定する。当然、軸対称性を考慮して反映させるのは言うまでもない。軸対称性を考慮した反映に関しては、予め軸対象性を考慮して補正テーブルとして左眼用、右眼用の２つのテーブルを備えていても良いし、片眼用の１つの補正テーブルから対称性に基づいた演算によりもう片眼用の補正テーブルを生成してもよい。

なお、第４実施形態における色ズレ量取得（ステップＳ２３０２）と収差補正（ステップＳ２３０３）を行う片眼の対象は、左眼または右眼のどちらかに固定されていてもよい。或いは、例えばステップＳ２３０２の前にＨＭＤ装着者に選択させるようにしてもよい。

第５実施形態によれば、ＨＭＤ装着者が使用している視力矯正用の光学系（主に眼鏡レンズ）の左右眼の対称性を想定することで、本発明の利用におけるＨＭＤ装着者の操作の煩雑さを軽減できる。対称性を有効に利用できる場合は、第１実施形態に比べて、色ズレ量取得の為の操作量を半分にできる。

（第５実施形態）
本発明を実現する第５実施形態を図に従って説明する。

第１〜４の実施形態では、ＨＭＤ装着者の瞳が観察する色ズレ量に基づいて収差を補正した。

第５実施形態の特徴は、ＨＭＤ装着者が使用する視力矯正用の光学系で生じる収差を、光学センサを用いて測定する点にある。測定結果に基づいて収差補正のテーブルを選択することで、本発明の利用におけるＨＭＤ装着者の操作の煩雑さを更に軽減できる。

図２４は、第５実施形態におけるＨＭＤの機能ブロック図である。なお、画像処理装置１０３は、これまでの実施形態と同様である為、図を省略している。

第５実施形態にかかるＨＭＤ２４０１は、視力矯正用光学系による色ズレ量を自動計測する為の光学センサ２４０２（以下、センサ２４０２という）を備えている。

２４０２は、ＨＭＤ装着者が使用する眼鏡レンズの光源と、眼鏡レンズを透過または反射した光を受光するイメージセンサから構成される光学センサであり、操作判定部２１１からの指示に基づいて測定を実行する。センサ２４０２は眼鏡レンズの収差の測定結果に基づいて、収差補正値記憶部２１５に格納されている収差補正テーブル群２２４の中から適切に収差を補正する補正テーブルを１つだけ選択する。

測定手法に関しては後述する。レンズの収差測定の手法は多く知られており、それら手法のうち、どの測定方法を用いてもよい。

以上の画像処理システムの構成により、ＨＭＤ２４０１の装着者に合わせた適切な収差補正を実施できる。そのた、ＨＭＤ２４０１の適切な表示画像を個人毎に得ることができ、ＨＭＤ２４０１を装着する誰に対しても表示画像を正しく観察させることができる。

光学センサによる測定により、本実施形態では、第１及び第２実施形態における図７のフローチャートにおいて、ステップＳ７０５色ズレ量取得からステップＳ７０６収差補正までが自動化される。また、第３実施形態では、図２１のステップＳ２１０１（図２２）の処理の自動化を実現できる。

また上記の構成を利用すれば、図７のフローチャートにおけるステップＳ７０１の内部処理として、不図示の視力矯正有無判定部を備え、ＨＭＤ装着者が視力矯正用光学系（眼鏡レンズ）を使用しているかどうかを判定するようにしてもよい。視力矯正有無判定部は、例えば、光源と眼鏡レンズからの反射または透過光を受光する受光部から構成される。判定は、眼鏡レンズからの透過光が色ズレを生じていない、またはレンズ表面での反射が起きないなどの情報に基づいて行えばよい。また、偏向光と偏向カメラを用いて、レンズの透過光や反射光が一様に偏向する特性を活かして、レンズが存在するかどうかを知ることができる。偏向情報を利用したイメージング技術は公知であり、この技術に基づいて判定を行ってもよい。視力矯正有無の判定の結果、ＨＭＤ装着者が視力矯正の為の光学系を保持しておらず裸眼で観察すると判定された場合には、図７のステップＳ７０２以降の処理を実施せず、ＨＭＤの表示光学系のみの収差補正を実施すればよい。一方、ＨＭＤ装着者が視力矯正をしていると判定された場合には、ステップＳ７０２以降の処理を実施して、ＨＭＤ表示光学系と視力矯正用光学系との組み合わせの光学系に対して収差補正を実施する。

図２５は、第５実施形態における収差測定方法を説明する模式図である。

２５０１は視力矯正用の光学系の収差を測定する為の点光源であり、２５０２はＨＭＤ装着者が使用する視力矯正用の光学系（眼鏡レンズ）に相当する光学系である。２５０３は、眼鏡レンズを透過した２５０１の点光源からの光を受光するイメージセンサである。イメージセンサ上では、点光源からの光が色ズレを生じて結像している。

このような構成により、ＨＭＤ装着者が使用する眼鏡レンズの収差を測定することが可能となる。

第５実施形態では、眼鏡レンズの透過光を利用して収差を測定する場合を説明したが、レンズ表面での反射光を利用して収差を測定してもよい。反射光を利用する場合には、レンズの両面の曲率を取得する必要があるため、レンズ両面の反射光を測定する必要があるが、簡易的に片面だけの測定結果に基づいて収差を推定してもよい。また、収差を測定する測定箇所は、１箇所であっても複数であってもよい。

なお、この測定機能はＨＭＤ２４０１に備えて、ＨＭＤ２４０１を装着した状態で測定してもよいし、またはＨＭＤ２４０１に眼鏡レンズ用の専用治具を備えて、その治具を用いて、ＨＭＤ装着前に眼鏡レンズの収差を予め測定しておく構成であってもよい。

小型・軽量が望まれるＨＭＤ２４０１では、自動測定機能の搭載による大型化を抑える為、簡易な測定機能の使用が想定される。簡易な測定機能を用いて測定を行う場合、例えばレンズメータのような精度の高い収差情報の取得ができず、高精度な収差補正が実施できないことがある。また、予め用意された補正テーブルの補正量の間隔が粗く、真に色ズレ量と補正が合致する補正テーブルが存在しない場合も考えられる。しかし、上記の場合においてもＨＭＤ２４０１の構成によれば、ＨＭＤ装着者の瞳が観察する色ズレ量に基づいた収差補正や微調整も可能である為、ＨＭＤ装着者が許容できる範囲で収差補正を実施できる。

以上のように、第５実施形態によれば、ＨＭＤ装着者が使用している視力矯正用の光学系（主に眼鏡レンズ）で生じる収差量を測定する機能を備えることで、適切な補正テーブルを自動的に選択することができる。したがって、ＨＭＤ装着者の操作の煩雑さを、第１〜第４実施形態に比べてさらに軽減できる。

（第６の実施形態）
本発明の目的は、以下によって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを格納した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを格納した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、コンピュータ読み取り可能な記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

（その他の実施形態）
第１から第６までの実施形態では、ＨＭＤの表示光学系とＨＭＤ装着者が使用する視力矯正用光学系の組み合わせ生じる収差を、ＨＭＤ装着者に観察される色ズレに基づいて、または光学センサを用いた測定により算出していた。しかしながら、本願発明はこれらに限られるものではなく、例えば、ＨＭＤ装着者からの視力矯正に関する情報の申告（裸眼視力と矯正視力、または矯正光学系（眼鏡レンズ）の屈折率や曲率など）に基づいて、収差を算出することも可能である。

また、第１から第６までの実施形態では、表示デバイスを構成する画素の色をＲＧＢの三原色として説明を行ってきたが、この色に限定されないことはいうまでもない。ただし色が異なる場合はその色に合わせた色変換機能等の前処理が必要となる可能性がある。

また、第１から第６までの実施形態で説明してきた構成をお互いに組み合わせて使用できることは説明するまでもない。

また、第１から第６までの実施形態では、収差補正の適用先を接眼の拡大光学系を採用するＨＭＤを中心に説明を行ってきたが本発明の適用はこれに限られるものではない。例えば、デジタル一眼カメラやデジタルビデオカメラ等に搭載されるＥＶＦを対象としても同様の効果が得られることは言うまでもない。

さらには、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に相当し得るものであるので、このような様々な組み合わせによるシステムもまた、本発明の範疇に属するものである。

第１実施形態による、ＨＭＤを用いた画像処理システムの装置構成例を示す図である。 第１実施形態による、ＨＭＤを用いた画像処理システムの機能構成例を示すブロック図である。 第１実施形態におけるＨＭＤの表示光学系の一例を示す図である。 第１実施形態における画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。 第１実施形態におけるＨＭＤのハードウェア構成例を示すブロック図である。 第１実施形態における歪曲収差ならびに倍率色収差を説明する模式図である。 第１実施形態におけるＨＭＤの処理の流れを示すメインフローチャートである。 第１実施形態におけるＨＭＤ表示モードを説明する模式図である。 第１実施形態における装着調整の処理を示すフローチャートである。 第１実施形態における装着調整時に表示するパターン画像を説明する模式図である。 第１実施形態における色ズレ量取得の処理を示すフローチャートである。 第１実施形態における色ズレ量取得時に表示するパターン画像を説明する模式図である。 第１実施形態における色ズレ量取得の為のユーザ操作と判断を説明する模式図である。 第１実施形態における収差補正の処理を示すフローチャートである。 第１実施形態における収差補正の為の補間演算処理を説明する模式図である。 第１実施形態における微調整の処理を示すフローチャートである。 第１実施形態における微調整時に表示するパターン画像を説明する模式図である。 第２実施形態における収差補正の処理を示すフローチャートである。 第２実施形態における収差補正方法を説明する模式図である。 第３実施形態におけるＨＭＤの機能構成例を示すブロック図である。 第３実施形態における全体の処理の流れを示すメインフローチャートである。 第３実施形態における収差補正テーブル選択の処理を示すフローチャートである。 第４の実施形態における全体の処理の流れを示すメインフローチャートである。 第５実施形態におけるＨＭＤの機能構成例を示すブロック図である。 第５実施形態における収差測定方法を説明する模式図である。

Claims (21)

1. 表示デバイス上で形成される表示画像を、観察者に観察させるための光学系による収差を補正する画像処理装置であって、
   前記光学系による収差を補正するための、予め用意された補正データを保持した保持手段と、
   前記表示画像を観察する観察者が使用する視力矯正用光学系による収差情報を取得する取得手段と、
   前記予め用意された補正データと前記収差情報に基づいて、前記表示デバイスから観察者までの光路中に存在する収差の補正に用いる補正データを決定する決定手段と、
   前記決定手段で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正手段とを備えることを特徴とする画像処理装置。
2. 表示デバイス上で形成される表示画像を、観察者に観察させるための光学系による収差を補正する画像処理装置であって、
   前記光学系による収差を補正するための、予め用意された複数の補正データを保持した保持手段と、
   前記複数の補正データを順次に適用して前記表示デバイスに表示して前記観察者に観察させ、使用すべき補正データを決定させる決定手段と、
   前記決定手段で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正手段とを備えることを特徴とする画像処理装置。
3. 前記光学系は、前記表示デバイス上で形成される表示画像を拡大して観察させるための拡大光学系であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段で決定された補正データまたは前記決定された補正データを指定する情報を、前記観察者ごとに対応付けて記憶する記憶手段を更に備え、前記決定された補正データの再利用を可能としたことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記決定手段により決定された補正データを調整する調整手段を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記取得手段は、所定の画像を前記表示デバイスに表示し、前記所定の画像を形成する複数の色分離画像のうちの特定の色の色分離画像に他の全ての色分離画像が重なるように画像を移動させた場合の、色分離画像の移動の量に基づいて前記収差情報を取得することを特徴とする請求項１に記載の画像処理装置。
7. 前記特定の色を観察者に設定させる設定手段を更に備えることを特徴とする請求項６に記載の画像処理装置。
8. 視力矯正用光学系へ光を照射する為の光源と、
   視力矯正用光学系からの反射光または透過光を受光する受光部と、
   前記受光部における受光の状態に基づいて、視力矯正用光学系の有無を判定する判定手段とを更に備え、
   前記取得手段は、前記判定手段により視力矯正用光学系が有ると判定された場合に、前記収差情報の取得を実行することを特徴とする請求項１に記載の画像処理装置。
9. 前記保持手段は、補正の強さが異なる複数種類の補正データを保持し、
   前記決定手段は、前記複数種類の補正データの一つを前記収差情報に基づいて選択することにより、収差の補正に用いる補正データを決定することを特徴とする請求項１に記載の画像処理装置。
10. 前記保持手段は、補正の強さが異なる複数種類の補正データを保持し、
    前記決定手段は、前記収差情報に基づいて、前記複数種類の補正データから少なくとも２つの補正データを選択し、選択された補正データの間を補間することにより、収差の補正に用いる補正データを生成することを特徴とする請求項１に記載の画像処理装置。
11. 前記決定手段は、前記保持手段で保持されている補正データから、前記収差情報に基づいて新たな補正データを生成し、該新たな補正データを、収差の補正に用いる補正データに決定することを特徴とする請求項１に記載の画像処理装置。
12. 前記保持手段が保持している補正データは、近似多項式のパラメータであることを特徴とする請求項１１に記載の画像処理装置。
13. 視力矯正の度合いを設定する設定手段を更に備え、
    前記決定手段は、前記設定手段で設定された度合いに基づいて、前記保持手段で保持されている補正データの一つを選択し、選択した補正データから前記収差情報に基づいて新たな補正データを生成することを特徴とする請求項１１に記載の画像処理装置。
14. 左右の眼に対応して１対の前記光学系が存在し、
    一方の眼に対応した光学系に関して前記決定手段が決定した補正データから、前記１対の光学系の光学特性の対象性を利用して、他方の眼に対応した光学系のための補正データを生成する生成手段を更に備えることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記表示デバイスにおける画像表示位置の調整を行う画像調整手段を更に備え、
    前記画像調整手段は、前記取得手段による収差情報の取得に先立って、前記光学系が有する光学原点と前記観察者の瞳位置とを結ぶ光軸を一致させることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 光学系による収差を補正するための、予め用意された補正データを保持した保持手段を有する画像処理装置において、表示デバイス上で形成される表示画像を観察者に観察させるための光学系による収差を補正する収差補正方法であって、
    前記表示画像を観察する観察者が使用する視力矯正用光学系による収差に関する収差情報を取得する取得工程と、
    前記予め用意された補正データと前記収差情報に基づいて、前記表示デバイスから観察者までの光路中に存在する収差の補正に用いる補正データを決定する決定工程と、
    前記決定工程で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正工程とを備えることを特徴とする収差補正方法。
17. 光学系による収差を補正するための、予め用意された複数の補正データを保持した保持手段を有する画像処理装置において、表示デバイス上で形成される表示画像を観察者に観察させるための光学系による収差を補正する収差補正方法であって、
    前記複数の補正データを順次に適用して前記表示デバイスに表示して前記観察者に観察させ、使用すべき補正データを決定させる決定工程と、
    前記決定工程で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正工程とを備えることを特徴とする収差補正方法。
18. 光学系を介して表示デバイスに表示した表示画像を観察者に観察させる画像表示装置と、前記表示デバイス上で形成される表示画像を観察者に観察させるための光学系による収差を補正する画像処理装置とを備えた画像処理システムであって、
    前記画像処理装置は、
    前記光学系で生じる収差を補正するための、予め用意された補正データを保持した保持手段と、
    前記表示画像を観察する観察者が使用する視力矯正用光学系で生じる収差に関する収差情報を取得する取得手段と、
    前記予め用意された補正データと前記収差情報に基づいて、前記表示デバイスから観察者までの光路中に存在する収差の補正に用いる補正データを決定する決定手段と、
    前記決定手段で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正手段とを備え、
    前記画像表示装置は、
    前記補正手段で補正された表示画像を入力して、前記表示デバイスに表示する
    ことを特徴とする画像処理システム。
19. 光学系を介して表示デバイスに表示した表示画像を観察者に観察させる画像表示装置と、前記表示デバイス上で形成される表示画像を観察者に観察させるための光学系による収差を補正する画像処理装置とを備えた画像処理システムであって、
    前記画像処理装置は、
    前記光学系による収差を補正するための、予め用意された複数の補正データを保持した保持手段と、
    前記複数の補正データを順次に適用して前記表示デバイスに表示して前記観察者に観察させ、使用すべき補正データを決定させる決定手段と、
    前記決定手段で決定された補正データに基づいて前記表示画像に対して収差の補正を行う補正手段とを備え、
    前記画像表示装置は、
    前記補正手段で補正された表示画像を入力して、前記表示デバイスに表示する
    ことを特徴とする画像処理システム。
20. コンピュータを、請求項１乃至１５のいずれか１項に記載された画像処理装置として機能させるためのプログラム。
21. コンピュータを、請求項１乃至１５のいずれか１項に記載された画像処理装置として機能させるためのプログラムを格納した記憶媒体。

Images