JP2019029952A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 解像度変換を現像処理の前に適用することで、使用者に画質の劣化を認知させることなく、画像処理量を削減すること。【解決手段】 本発明は、撮像素子および撮像光学系により映像を撮像する撮像手段と、前記撮像された映像を表示するための画像処理を行う画像処理手段と、前記画像処理の後の映像を表示する表示素子を含む表示手段と、表示部における使用者の注視点を検出する視線位置演算手段と、前記注視点に基づいて前記撮像映像の解像度を変換する変換手段と、を有し、前記変換手段は、現像処理を行う前に使用者の注視点に基づいて解像度を変換することを特徴とする。【選択図】 図２

Description

本発明は、撮像装置により撮像された画像データを処理する技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するものが知られている。この技術では、ＨＭＤ装着者（ユーザ）によって観察される現実空間をカメラ（撮像部）で撮像する。また、撮像部の位置と方向とに基づいて、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）によりレンダリング（描画）された仮想画像を生成する。そして、撮像画像と仮想画像とを合成した合成画像を液晶や有機ＥＬ等の表示デバイスに表示して、その合成画像をユーザが観察できるようにする。

このＭＲシステムにおいて、高画質化を図るために撮像装置の撮像素子が高画素化されると、処理伝送されるデータの総量が増加しシステムが肥大化する。特許文献１には、使用者の眼前に配置される表示スクリーンを持つ撮像表示装置において、使用者の注目部分を検出し、該注目部分を高解像度で撮像する撮像手段を有することで伝送負荷を低減することが開示されている。

特開平０４−２４８７３３号公報

しかしながら、特許文献１の技術では、アナログ入力のカメラコントローラがアナログ撮像素子の最前段に対して撮像範囲を指示するようになっている。そのため、特許文献１には、デジタルで映像データを扱うシステムにおいて、解像度変換をどのように行うかについては何も開示しておらず、そのため、使用者に画質の劣化を認知させる可能性もあった。

上記課題を解決するために、本発明は、撮像素子および撮像光学系により映像を撮像する撮像手段と、前記撮像された映像を表示するための画像処理を行う画像処理手段と、前記画像処理の後の映像を表示する表示素子を含む表示手段と、表示部における使用者の注視点を検出する視線位置演算手段と、前記注視点に基づいて前記撮像映像の解像度を変換する変換手段と、を有し、前記変換手段は、現像処理を行う前に使用者の注視点に基づいて解像度を変換することを特徴とする。

以上の構成によれば、本発明は、解像度変換を現像処理の前に適用することで、使用者に画質の劣化を認知させることなく、画像処理量を削減することが可能となる。

第１の実施形態に係る画像表示システムの機能構成を示すブロック図。 第１の実施形態に係る画像表示システムにおける映像データの流れを示す模式図。 第１の実施形態に係る映像の映像データの処理を示すフローチャート。 第２の実施形態に係る画像表示システムを示すブロック図。 第２の実施形態に係る映像の映像データの処理を示すフローチャート。 第３の実施形態に係る画像表示システムを示すブロック図。 第３の実施形態に係る映像の映像データの処理を示すフローチャート。

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本実施形態における画像表示システムの構成を示す概略ブロック図である。図１に示すように、このシステムは大きく分けて４つの部分から構成されており、まず、撮像映像を生成する現実映像撮像部１０と、使用者の瞳を撮像することで視線位置を検出するために使用する視線映像撮像部２０とを備えている。また、画像処理後の表示映像を表示し使用者に映像を視認させる表示部３０と、使用者の視線情報に基づいて解像度を変換し一連の画像処理を行う視線基準画像処理部４０とを備える。

視線基準画像処理部４０を通過した映像に対して、特定の位置姿勢から見た仮想現実物体をＣＧとして重畳すればビデオシースルーＨＭＤ（ヘッドマウントディスプレイ）を実現することが可能となる。ただし、通常の画像処理を行っていてはシステムさらにはＨＭＤの小型化が困難である。なぜなら近年では高画質化を追及するために撮像素子から出力される映像は高解像度化、高フレームレート化、高量子化、の一途をたどっている。そのため、この撮像映像の現像処理ならびに画像処理には大きな負荷がかかっており、高性能な半導体が要求されるためである。一方で、ヒトの眼は注目している点以外すなわち注視点以外の周辺領域において、解像度や色を認知および識別する能力が注視点近傍に対して高くないことが、別の生理学的な研究からも分かっている。したがって、撮像素子から出力される映像を、現像処理よりも前に視線情報に基づいて解像度変換しデータ量を削減する。これにより、画像処理の負荷を軽減することを実現しながら、使用者に対しては画質の劣化を認知させず高画質な映像を提供する手法を以下に説明する。

撮像部１０は、撮像光学系である撮像レンズ１００と撮像素子であるイメージセンサ１０１を含み、撮像レンズ１００を介して結像された被写体像をイメージセンサ１０１による光電変換によって撮像映像として取得する。前述のとおり高画質化の要求に基づいて高解像度化が図られており、高フレームレート化および高量子化も加わることで出力される撮像映像の合計データ量は増加の一途をたどっている。また、イメージセンサ１０１は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの半導体センサから構成され、撮像素子ごとに分光感度特性が異なることから、画像処理によって色や明るさを調整する必要がある。

視線映像撮像部２０は、撮像光学系である撮像レンズ２００と撮像素子であるイメージセンサ２０１を含み、撮像レンズ２００を介して結像された被写体像をイメージセンサ２０１による光電変換によって撮像映像として取得する。このとき撮像される映像は使用者の瞳を含んだ映像を想定しており、モノクロやカラーの映像のみならず、ＩＲすなわち赤外光からの撮像映像取得も考えられる。システムとして合計の処理データ量を削減するために、本撮像映像部から出力されるデータ量は現実映像撮像部１０ほど大きくない。

表示部３０は、表示光学系である表示プリズム３００と表示素子であるディスプレイ３０１を含み、視線基準画像処理部４０にて処理された表示映像をディスプレイ３０１に表示し、表示プリズム３００を介して光束を観察対象者に結像させる。ＨＭＤの構成によって表示プリズム３００はレンズでも構わないし、もしくは不要である。ディスプレイ３０１は例えば液晶表示パネルや有機ＥＬパネル等の表示素子から構成される。撮像素子と同様に表示ディスプレイごとに発色が異なることから、画像処理によって色や明るさを調整する必要がある。

視線基準画像処理部４０は、使用者の瞳を含む映像から視線を検出する視線位置演算部４００と、現像処理前のＲＡＷデータを解像度変換する解像度変換部４０１と、ＲＡＷデータから画像データに変換する現像処理部４０２とを有する。また、色や明るさおよびノイズを低減する処理などを含む画像処理部４０３と、ディスプレイ３０１に表示するために解像度を変換する解像度変換部４０４とを有る。これら構成によって、視線基準画像処理部４０は、使使用者の視線情報に基づいて解像度を変換したのちに現像処理および画像処理を適用する。一般的なベイヤー配列のカラーフィルタを有するイメージセンサ１０１であれば、現像処理部４０２ではＲＡＷデータから画素ごとの色補間が適用され１枚のカラー画像が生成される。また、モノクロ出力のイメージセンサ１０１においても、現像処理部４０２でイメージセンサ１０１からの出力映像が処理され１枚のモノクロ画像が生成されることを想定している。画像処理部４０３では現実映像撮像部１０の分光特性および表示部３０の分光特性の両方を鑑みて、最終的に使用者が高画質で観察するために、色や明るさの調整およびノイズ低減処理などを実行する。本実施形態で説明するように使用者の視線情報を使用しない場合は、画像処理部４０３への負荷が大きいため、処理する半導体ならびにシステムが肥大化し、製品の小型化を達成することが難しい。

次に、使用者の視線情報に基づいて撮像映像の解像度を変換したのちに、現像処理および画像処理を行うことで、画像処理のデータ量を削減する画像処理手順を図２、図３を用いて説明する。図２は本実施形態における処理の流れと実際の画像処理の例を示した模式図であり、図３は本実施形態における映像の伝送手順を示したフローチャートである。図２の１０２はイメージセンサ１０１で撮影された現実映像撮像部１０から出力される現実映像であり、例えば４Ｋの映像データであれば３８４０×２１６０＝約８２９万画素にもなり、６０ｆｐｓで１画素あたり１０ビットなら５Ｇｂｐｓ近いデータ量となる。また、この時点では一般的なベイヤー配列に基づいたＲＡＷデータであり、直接画像として表示することはできない。

２０２は視線映像撮像部２０で撮像された使用者の瞳を含んだ撮像映像であり、表示部３０に表示される表示映像のある点に注目している。もちろんのことながら使用者の視線は時間と共に移動することが考えられるため、撮像するフレームレートはそれなりに必要とされるものの、システム全体のデータ処理量を抑えるために瞳映像２０２の解像度は現実映像１０２ほど高くない。

４０５は使用者の瞳映像２０２を元に視線位置演算部４００で演算される使用者の視線位置を表している。この視線情報は解像度変換部４０１のみならず解像度変換部４０３においても使用される。また、視線位置の検出誤差や使用者の瞳がわずかに振動することを鑑みて、フィルタ処理などを適用することも考えられる。

４０６は解像度変換部４０１で視線位置４０５に基づいて解像度を変換される現実映像１０２を表しており、視線位置４０５の近傍は高解像度であり、視線位置４０５から遠い部分は解像度を下げる処理が適用されている。このとき、４０６は単純に周辺画素を間引いたように記載したものの、解像度を変換する方法は単純間引きや画素混合など様々な手法が存在し、本実施形態では手法を限定しない。また、この時点においても映像データはＲＡＷデータを想定しており、まだ直接画像として表示することはできない。

４０７は現像処理部４０２ならびに画像処理部４０３で処理される解像度を変換された映像を表しており、視線位置近傍の高解像度な領域に集められた状態で１枚の画像を形成している。このとき、解像度変換部４０１が無い場合は、前述の４Ｋ撮像映像ならば約５Ｇｂｐｓの撮像ＲＡＷデータから現像処理が行われ、各色１０ビットであれば約１５Ｇｂｐｓの画像を処理せねばならず、この画像処理には多大なシステムリソースが要求される。しかしながら、本実施形のように視線位置４０５に基づいた解像度変換部４０１が有る場合は、注視点から遠い領域の解像度を低減可能であり、解像度を７５％削減した場合は約２０７万画素で約３．７Ｇｂｐｓ、すなわちフルＨＤの画像処理量でこと足りる。したがって、撮像映像の解像度変換を現像処理前に行うことはシステムリソースを節約し、小型かつ低消費電力な製品を設計するために有効である。

４０８は画像処理が行われた映像を表示する準備として視線位置に基づいて再度解像度変換が行われた画像を表している。画像の高解像な領域と低解像な領域の位置関係に基づいて低解像な領域が引き伸ばされるため、視線位置４０５の情報を必要とする。

最後に３０２は表示部３０のディスプレイ３０１に表示される画像処理後の映像を表しており、使用者の視線位置すなわち注目している注視点近傍は高解像で表示され、注視点から遠い領域は低解像で表示されている。前述のとおり、人間の眼の特性から使用者は低解像な領域に気付くことなく、全面が高解像度な映像を見ている場合と認知に差が無い。また、使用者の視線が動くに従って高解像な領域が移動するため、ディスプレイ３０１自身は総画素数が大きいことが望ましく、例とした撮像と同じ４Ｋであることを要求される。

続いて、本実施形態における映像の伝送手順を示したフローチャートである図３を用いて、以下に説明する。まず、開始の時点からＳ４０１の解像度変換までは現実映像の撮像系と瞳映像の撮像系が並行して実行される。

Ｓ１００では、現実映像撮像部１０において撮像レンズ１００を通った光がイメージセンサ１０１に結像し光電変換されることで、現実映像が撮像される。

続いてＳ１０１では、イメージセンサ１０１から先に撮像された現実映像がＲＡＷデータとして出力される。このとき解像度は高いままであり、一般的な撮像素子出力方法と何ら変わりはない。

一方でＳ２００では、視線映像撮像部２０において撮像レンズ２００を通った光がイメージセンサ２０１に結像し光電変換されることで、瞳映像が撮像される。このときモノクロおよびカラーのイメージセンサ―に限らず、ＩＲすなわち赤外光を用いたイメージセンサも十分に考えられる。

続いてＳ２０１では、イメージセンサ２０１から先に撮像された瞳映像が出力される。瞳映像の撮像系においては多様なイメージセンサが考えられるため、現像処理の工程を省略しているが、例えば一般的なベイヤー配列カラーフィルタを持ったＣＭＯＳイメージセンサであれば、本Ｓ２０１瞳映像出力の前後に現像処理となる色補間が必要となる。

さらにＳ４００において、前記Ｓ２０１で出力された使用者の瞳映像に基づいて視線位置が演算される。この視線位置を演算する過程で誤差や人間の眼の微小振動を除外するためにフィルタ処理を適用することも考えられる。

Ｓ４０１では、Ｓ４００で演算された使用者の視線位置情報に基づいて、Ｓ１０１から出力された現実映像の解像度変換を行う。このとき、Ｓ４００からの視線位置演算結果は後述するＳ３００の表示映像を使用者が見たのちにＳ２００において撮像される瞳映像結果に基づいているため、その時にＳ１０１で出力される現実映像からは遅延が生じることに注意せねばならない。また、撮像や視線位置演算の処理そのもので生じる遅延量も管理する必要がある。解像度の変換方法に関しては単純な間引きや画素混合およびフィルタ処理など多種多様なものがあるため、本実施形態においては限定しない。

Ｓ４０２では、Ｓ４０１で解像度を変換された現実撮像映像の現像処理を行う。本プロセスまではＲＡＷデータで現実撮像映像が処理伝送されるため、イメージセンサ１０１がカラーフィルタを有する場合は画素ごとの色補間処理が行われ、モノクロにおいても後処理に渡すよう１枚の画像として形成される。

Ｓ４０３では、Ｓ４０２で現像された映像に対して画像処理を適用する。イメージセンサ１０１の分光特性およびディスプレイ３０１の表示特性に基づき、色や明るさのゲイン調整およびガンマ調整、さらにはノイズ低減処理などが施される。また、撮像レンズ１００および表示プリズム３００の光学特性に基づき、歪曲収差補正や倍率色収差補正などが施される。さらには、パターン認識や画像からの計測処理なども考えられ、実行するためには多くのシステムリソースを必要とする処理が少なくない。したがって、本Ｓ４０３のプロセスを実行する前にできる限りデータ量を削減しておくことがシステムにとって望ましい。

Ｓ４０４では、Ｓ４００で演算された使用者の視線位置情報に基づいて、Ｓ４０３から出力された画像処理後の映像の解像度変換を行う。Ｓ４０３で処理される映像は注視点から遠い部分の画素数が少なく、ラスタスキャン順に並べた場合は注視点に向かって周辺の映像が集まってきたように見える歪んだ状態であるため、これを直接表示することはできない。したがって、再度使用者の視線位置情報に基づいて周辺の画素数を表示領域一杯に広げる必要がある。このとき、撮像画角と表示画角の関係性に基づいて解像度が変換されるべきであり、ここでも解像度変換の手法は本実施形態において限定しないが注意が必要である。

Ｓ３００では、表示部３０に含まれる表示ディスプレイ３０１に上述のＳ４０４において解像度変換された映像を表示する。使用者の視線位置近傍は高解像度の映像が表示され、視線位置から遠い領域は低解像度の映像が表示される。使用者の視線位置は逐次更新されるため、高解像度の領域も移動することが必要となり、表示ディスプレイ３０１自体は画素数が大きいことが望ましい。

これら一連の処理によって、使用者は表示プリズム３００を通して観察する表示ディスプレイ３０１上の注目する点すなわち注視点付近だけ高解像度の映像を観察することが可能となり、前述した人間の眼の特性から全面が高解像な映像と認知上は差異がない。しかしながら、一番大きなシステムリソースを消費する画像処理よりも前に映像データ量を低減しているため、システム観点では小型化や低電力化およびコスト低減に大きな効果がある。

［第２の実施形態］
図４は、本発明の第２の実施形態における画像処理装置のシステム構成を示した図である。第１の実施形態と異なり、解像度変換部４０１は画像処理部ではなく撮像部の内部に含まれるため現実映像撮像部１０から現実映像撮像部５０とした。視線基準画像処理部４０から解像度変換部４０１が無くなり、視線位置演算４００の結果を解像度変換部４０１ではなく現実映像撮像部５０に対して出力しているため、視線基準画像処理部６０とした。その他の構成は第１の実施形態と変わらないため説明を省略する。

第１の実施形態では、使用者に画質の劣化を感じさせることなく画像処理部４０３のシステム負荷を低減することが可能となったが、依然として現実映像部１０から出力および伝送されるデータ量は大きいままであった。特許文献１の技術を用いれば、上記伝送データ量も削減できるものの、解決手段がアナログ手法であり、近年のプロセスで製造されるＣＭＯＳイメージセンサに直接適用できるものでもない。したがって本実施形態では、画像処理部４０３のシステム負荷を低減させるという課題のみならず、撮像部からの出力および伝送されるデータ量を低減するという課題も同時に解決する。そのために、解像度変換部４０１を移動し現実映像撮像部５０の内部に包含する。上述の先行技術に比べて近年のＣＭＯＳイメージセンサへ適用することが簡便であるべきことは言うまでもない。

前記現実映像撮像部５０は、例としてレンズ付きカメラモジュールが挙げられ、撮像レンズ１００を通った光をイメージセンサ１０１で光電変換し、イメージセンサを実装するもしくは極近くに存在する小基板に解像度変換部４０１が形成されている。この現実映像撮像部５０に対して、視線位置演算４００の結果を入力することで、イメージセンサ１０１出力の映像データは解像度変換部４０１によって使用者の視線位置に応じた解像度変換を施され、映像データを現像処理前のＲＡＷデータとして出力する。その結果、現実映像撮像部５０から出力される伝送量を削減することが可能となるため、解像度変換部は小基板でも良いし、イメージセンサ基板でも良いが、イメージセンサ１０１に近いことが望ましい。

本実施形態において、映像データの流れを示す模式図は図２であり、第１の実施形態と変わり無いため説明を省略する。補足するのであれば、解像度変換４０１以降は処理量だけでなく伝送量も低減するため、この解像度変換処理を撮像部に近しい場所へ移動したものである。

ここで、本実施形態における画像の処理手順を示したフローチャートとなる図５を用いて撮像映像データの低減手法を説明する。図５では第１の実施形態で使用した図３に対して、Ｓ１０１を削除し、代わりにＳ５００を追加した。

まず、開始の時点からＳ４０１の解像度変換までは現実映像の撮像系と瞳映像の撮像系が並行して実行されることに変わりは無い。しかしながら、第１の実施形態と異なりＳ１００で撮像された現実映像は直接出力されず、Ｓ４００の視線位置演算結果が現実映像撮像部５０に渡されるまで次の処理が行われない。

Ｓ４０１では、Ｓ１００の現実撮像映像データが現像処理前のＲＡＷデータとしてＳ４００の視線位置演算結果に基づき解像度変換される。このとき、使用者の注視点近傍が高解像な領域かつ注視点から遠い領域が低解像な映像となることは言うまでもない。

次にＳ５００において、解像度が変換された映像データを視線基準画像処理部６０に向けて出力する。イメージセンサ１０１が４Ｋで６０ｆｐｓかつ１０ビット出力である場合を例にすれば、約５Ｇｂｐｓの伝送データ量が、視線情報に基づいて７５％解像度を低減した場合に約１．２Ｇｂｐｓの伝送データ量で済むことになり、伝送量の低減に大きな効果がある。

Ｓ４０２以降の処理は第１の実施形態で説明したものと変わらない。これらの処理フローによって、第１の実施形態では画像処理Ｓ４０３のシステム負荷を低減することに限定された効果に加えて、Ｓ５００の映像出力伝送データ量をＳ１０１現実映像出力伝送データ量に比べ大幅に削減する効果を追加することが可能となった。その結果、システムをさらに小型に実装できることや、コスト、さらには高速伝送と大きな関係を持つＥＭＣ設計に対して大きな効果を期待できる。

［第３の実施形態］
図６は、本発明の第３の実施形態における画像処理装置のシステム構成を示した図である。第２の実施形態と異なり、解像度変換部４０１は撮像部内のイメージセンサ内部に含まれるためイメージセンサ１０１からイメージセンサ７０１とした。また、それに伴い現実映像撮像部５０から現実映像撮像部７０とした。その他の構成は第２の実施形態と変わらないため説明を省略する。

第２の実施形態までの説明によって、使用者に画質の劣化を感じさせることなく画像処理部４０３のシステム負荷を低減すること、ならびに現実映像撮像部からの出力データ伝送量を低減することが可能となった。しかし、システム小型化に向けてさらなる工夫が考えられる。前述の先行技術である特許文献１により近しい手段が考えられるが、近年のプロセスで製造されるＣＭＯＳイメージセンサに適用することが簡便な手法を以下に説明する。

イメージセンサ７０１は、例として視線基準解像度変換機能付きＣＭＯＳイメージセンサが挙げられる。同デバイスすなわちイメージセンサ７０１は撮像レンズ１００を通った光を光電変換したのちに、イメージセンサ内部に半導体電子回路として構成される解像度変換部４０１で処理された映像を出力する。このイメージセンサ７０１に対して、視線位置演算４００の結果を入力することで、イメージセンサ７０１出力の映像データは解像度変換部４０１によって使用者の視線位置に応じた解像度変換を施され、映像データを現像処理前のＲＡＷデータとして出力する。その結果、イメージセンサ７０１から出力される伝送量を削減することが可能となり、システムの小型化に向けてさらに有利となる。

本実施形態において、映像データの流れを示す模式図は図２であり、第１の実施形態および第２の実施形態と変わり無いため説明を省略する。補足するのであれば、解像度変換４０１以降は処理量だけでなく伝送量も低減するため、この解像度変換処理を撮像部に近しい場所へ移動したものである。

ここで、本実施形態における画像の処理手順を示したフローチャートとなる図７を用いて撮像映像データの低減手法を説明する。図７では第２の実施形態で使用した図５に対して、Ｓ５００を削除し、代わりにＳ７００を追加した。

しかしながら、処理のフロー自体は第２の実施形態と何ら変わりなく、Ｓ４００視線位置演算結果を受けてＳ４０１解像度変換が行われる。映像を出力する場所が現実映像撮像部５０からイメージセンサ７０１に変わったため、映像出力がＳ７００に変わったに過ぎない。したがって、本質的には処理フローの変更よりも構成が変更されたことが、本実施形態の効果に大きな意味を持つ。

［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０ 現実映像撮像部
１００ 撮像レンズ
１０１ イメージセンサ
２０ 視線映像撮像部
２００ 撮像レンズ
２０１ イメージセンサ
３０ 表示部
４０ 視線基準画像処理部
４０１ 解像度変換部

Claims (9)

1. 撮像素子および撮像光学系により映像を撮像する撮像手段と、
   前記撮像された映像を表示するための画像処理を行う画像処理手段と、
   前記画像処理の後の映像を表示する表示素子を含む表示手段と、
   表示部における使用者の注視点を検出する検出手段と、
   前記注視点に基づいて前記撮像映像の解像度を変換する変換手段と、を有し、
   前記変換手段は、現像処理を行う前に使用者の注視点に基づいて解像度を変換することを特徴とする画像処理装置。
2. 前記変換手段は、注視点近傍の解像度を高く、注視点から遠い領域の解像度を低く変換することを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、現像処理が行われる前のＲＡＷデータにて変換を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理手段は、前記解像度が変換された画像に対して画像処理することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記解像度変換手段は、現実映像撮像手段の内部に構成され、前記注視点に基づいて解像度が変換された映像を出力することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記解像度変換手段はイメージセンサの内部に構成され、前記注視点に基づいて解像度が変換された映像を出力することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像処理装置は、ヘッドマウントディスプレイであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 撮像素子および撮像光学系により映像を撮像する撮像ステップと、
   前記撮像された映像を表示するための画像処理を行う画像処理ステップと、
   前記画像処理の後の映像を表示する表示ステップと、
   前記表示ステップにおける使用者の注視点を検出する検出ステップと、
   前記注視点に基づいて前記撮像映像の解像度を変換する変換ステップと、を有し、
   前記変換ステップは、現像処理を行う前に使用者の注視点に基づいて解像度を変換することを特徴とする画像処理方法。
9. コンピュータを請求項１から７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images