JP2019102828A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】画像内でユーザが注視している対象と、画像内の他の対象との間の奥行きの差に基づいて遠近感が付与された画像を表示させる。【解決手段】観察位置からの眺めを表す二次元画像と、観察位置から二次元画像の各箇所で表される対象までの奥行きを示す奥行き情報と、を取得する画像取得手段と、ユーザの視線を検出する検出手段による検出結果に基づいて、画像取得手段により取得された二次元画像内でユーザが注視する注視箇所を特定する特定手段と、画像取得手段により取得された奥行き情報に基づいて、特定手段により特定された注視箇所と、二次元画像内において注視箇所以外の非注視箇所と、の間の奥行きの差を取得する差取得手段と、差取得手段により取得された奥行きの差に基づいて、非注視箇所の画質を低下させる低下手段と、低下手段により非注視箇所の画質が低下させられた二次元画像を画像表示装置に出力する出力手段と、を備える。【選択図】図２

Description

本発明は、遠近感を演出する画像を表示させるための方法の技術分野に関する。

従来、遠近感のある画像を表示させるための方法として、例えばヘッドマウントディスプレイ、三次元ディスプレイ等により、視差を有する別々の画像を表示する方法が知られている。また、例えば４Ｋ、８Ｋ等の高解像度の大画面により高精細な画像を表示することによって、間接的に遠近感を演出することができる場合もある。

ところで、現実においては、ユーザが或る対象物を注視している場合、その対象物の位置を基準として被写界深度の範囲内にある物はシャープに見え、被写界深度の範囲外にある物はぼやけて見える。すなわち、ユーザの位置からユーザが注視している対象物までの奥行きと、ユーザの位置から他の物までの奥行きとの差に応じて、他の物の見え方が変わる。このような現象も、遠近感を感じさせる要素となり得る。

しかしながら、従来の技術においては、ユーザが画像内のどれを注視しているかにかかわらず、画像全体がシャープに表示されるので、遠近感が十分に演出されていない。

上述した点に関連して、非特許文献１には、視線追跡機能を有するヘッドマウントディスプレイに表示される画像において、ユーザが注視している部分及びその近辺の領域（中心視野）については細部にわたってレンダリングし、その外周部分（周辺視野）については画質を低下させてレンダリングすることにより、レンダリングのパフォーマンスを向上させる技術が開示されている。この技術は、人間の視野は、はっきり見える中心視野とぼやけて見える周辺視野により構成されているという考え方に基づく。

Nvidia Corporation、" NVIDIA Partners with SMI on Innovative Rendering Technique That Improves VR"、[online]、[平成28年11月28日検索]、インターネット<URL: https://blogs.nvidia.com/blog/2016/07/21/rendering-foveated-vr/>

しかしながら、非特許文献１に開示された技術では、中心視野と定められた範囲内にある物であれば、画像により表現されている三次元空間においてユーザが注視している対象との間の奥行きの差が相等に大きくても、その物は、細部にわたってレンダリングされてしまう。そのため、現実世界であればぼやけて見える物がシャープに見えてしまうため、ユーザが違和感を覚えることとなる。

本発明は、以上の点に鑑みてなされたものであり、画像内でユーザが注視している対象と、画像内の他の対象との間の奥行きの差に基づいて遠近感が付与された画像を表示させることが可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、観察位置からの眺めを表す二次元画像と、前記観察位置から前記二次元画像の各箇所で表される対象までの奥行きを示す奥行き情報と、を取得する画像取得手段と、ユーザの視線を検出する検出手段による検出結果に基づいて、前記画像取得手段により取得された前記二次元画像内で前記ユーザが注視する注視箇所を特定する特定手段と、前記画像取得手段により取得された前記奥行き情報に基づいて、前記特定手段により特定された前記注視箇所と、前記二次元画像内において前記注視箇所以外の非注視箇所と、の間の奥行きの差を取得する差取得手段と、前記差取得手段により取得された前記奥行きの差に基づいて、前記非注視箇所の画質を低下させる低下手段と、前記低下手段により前記非注視箇所の画質が低下させられた前記二次元画像を画像表示装置に出力する出力手段と、を備えることを特徴とする。

この発明によれば、二次元画像においてユーザが注視している注視箇所で表される対象と、ユーザが注視していない非注視箇所で表される対象と、の間の観察位置からの奥行きの差に基づいて、非注視箇所の画質が低下する。そのため、遠近感が付与された画像を表示させることが可能となる。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記低下手段は、前記非注視箇所の画像を平滑化することを特徴とする。

この発明によれば、注視箇所で表される対象と非注視箇所で表される対象との間の奥行きの差に基づいて、非注視箇所の画質を自然にぼかすことができる。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記低下手段は、前記差取得手段により取得された前記奥行きの差と、前記二次元画像上での前記注視箇所と前記非注視箇所との間の距離と、に基づいて、前記非注視箇所の画像を平滑化することを特徴とする。

この発明によれば、更に二次元画像上での注視箇所と非注視箇所との間の距離に基づいて非注視箇所の画像が平滑化されるので、中心視野にある対象及び周辺視野にある対象の見え方を再現することができる。

請求項４に記載の発明は、請求項１に記載の画像処理装置において、前記低下手段は、前記非注視箇所の画像をピクセル化することを特徴とする。

この発明によれば、非注視箇所の画質を低下させるための処理速度を向上させることができる。

請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記低下手段は、前記差取得手段により取得された前記奥行きの差に基づいて、前記非注視箇所の画像をピクセル化し、且つ、前記二次元画像上での前記注視箇所と前記非注視箇所との間の距離に基づいて、前記非注視箇所の画像を平滑化することを特徴とする。

この発明によれば、更に二次元画像上での注視箇所と非注視箇所との間の距離に基づいて非注視箇所の画像が平滑化されるので、中心視野にある対象及び周辺視野にある対象の見え方を再現することができる。

請求項６に記載の発明は、請求項１乃至５の何れか１項に記載の画像処理装置において、前記低下手段は、前記差取得手段により取得された前記奥行きの差に基づいて、前記非注視箇所の画質を低下させ、且つ、前記二次元画像上での前記注視箇所と前記非注視箇所との間の距離に基づいて、前記非注視箇所の画像の彩度を低下させることを特徴とする。

この発明によれば、更に二次元画像上での注視箇所と非注視箇所との間の距離に基づいて非注視箇所の画像の彩度が低下されるので、周辺視野では色彩の情報が認識しにくいという現象を再現することができる。

請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の画像処理装置において、前記画像取得手段は、互いに視差のある２つの二次元画像を取得し、前記低下手段は、前記２つの二次元画像それぞれについて、前記奥行きの差に基づいて、前記非注視箇所の画質を低下させ、前記出力手段は、前記非注視箇所の画質が低下させられた前記２つの二次元画像を前記画像表示装置に出力することを特徴とする。

この発明によれば、互いに視差のある２つの二次元画像が表示されてユーザの頭の中で合成されることで、遠近感のある映像をユーザが認識することができる。更に、これらの二次元画像のそれぞれについて、注視箇所で表される対象と非注視箇所で表される対象との間の奥行きの差に基づいて、非注視箇の画質が低下するので、更に遠近感を演出することができる。

請求項８に記載の発明は、請求項１乃至７の何れか１項に記載の画像処理装置において、前記ユーザの位置及び向きの少なくとも一方を検出する第２検出手段による検出結果に基づいて、仮想三次元空間における視野範囲を特定する特定手段を更に備え、前記画像取得手段は、動画を構成する各静止画像として、前記特定手段により特定された前記視野範囲に対応する前記二次元画像を、三次元コンピュータグラフィックスを用いて生成することを特徴とする。

この発明によれば、ユーザが自分の位置及び向きを変えることで仮想三次元空間における視野範囲が変化し、この視野範囲に対応した各静止画像が生成される。各静止画像について、注視箇所で表される対象と非注視箇所で表される対象との間の奥行きの差に基づいて、非注視箇所の画質が低下する。非注視箇の画質が低下させられた静止画像が順次表示されることで、ユーザの位置及び向きの少なくとも一方の変化に応じて視野が変化する動画が表示されるので、遠近感且つ臨場感のある画像を表示させることができる。

請求項９に記載の発明は、コンピュータにより実行される画像処理方法において、観察位置からの眺めを表す二次元画像と、前記観察位置から前記二次元画像の各箇所で表される対象までの奥行きを示す奥行き情報と、を取得する画像取得ステップと、ユーザの視線を検出する検出手段による検出結果に基づいて、前記画像取得ステップにより取得された前記二次元画像内で前記ユーザが注視する注視箇所を特定する特定ステップと、前記画像取得ステップにより取得された前記奥行き情報に基づいて、前記特定ステップにより特定された前記注視箇所と、前記二次元画像内において前記注視箇所以外の非注視箇所と、の間の奥行きの差を取得する差取得ステップと、前記差取得ステップにより取得された前記奥行きの差に基づいて、前記非注視箇所の画質を低下させる低下ステップと、前記低下ステップにより前記非注視箇所の画質が低下させられた前記二次元画像を画像表示装置に出力する出力ステップと、を含むことを特徴とする。

請求項１０に記載の発明は、コンピュータに、観察位置からの眺めを表す二次元画像と、前記観察位置から前記二次元画像の各箇所で表される対象までの奥行きを示す奥行き情報と、を取得する画像取得手段と、ユーザの視線を検出する検出手段による検出結果に基づいて、前記画像取得手段により取得された前記二次元画像内で前記ユーザが注視する注視箇所を特定する特定手段と、前記画像取得手段により取得された前記奥行き情報に基づいて、前記特定手段により特定された前記注視箇所と、前記二次元画像内において前記注視箇所以外の非注視箇所と、の間の奥行きの差を取得する差取得手段と、前記差取得手段により取得された前記奥行きの差に基づいて、前記非注視箇所の画質を低下させる低下手段と、前記低下手段により前記非注視箇所の画質が低下させられた前記二次元画像を画像表示装置に出力する出力手段と、として機能させることを特徴とする。

本発明によれば、二次元画像においてユーザが注視している注視箇所で表される対象と、ユーザが注視していない非注視箇所で表される対象と、の間の観察位置からの奥行きの差に基づいて、非注視箇所の画質が低下する。そのため、遠近感が付与された画像を表示させることが可能となる。

一実施形態に係る空間表現システムＳの構成例を示す図である。 一実施形態に係るシステム制御部１１の機能ブロックの一例を示す図である。 （ａ）は、平面画像の一例を示す図である。（ｂ）は、奥行きデータの一例を示す図である。 （ａ）及び（ｂ）は、奥行き差データの一例を示す図である。 一実施形態に係る空間表現装置１のシステム制御部１１による処理例を示すフローチャートである。 （ａ）及び（ｂ）は、一実施形態に係る空間表現装置１のシステム制御部１１による表示品質変更処理の一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、画像に遠近感を付与するためにその画像を変換して表示する空間表現システムに対して本発明を適用した場合の実施形態である。

［１．空間表現システムの構成］
先ず、図１を参照して、空間表現システムＳの構成について説明する。図１は、本実施形態に係る空間表現システムＳの構成例を示す図である。図１に示すように、空間表現システムＳは、空間表現装置１、空間データ記憶装置２、視線追跡装置３、入力装置４、及び画像表示装置５を含んで構成されている。空間データ記憶装置２〜画像表示装置５は、空間表現装置１に接続される。なお、空間データ記憶装置２〜画像表示装置５のうち少なくとも１つは、空間表現装置１に備えられてもよい。

空間表現システムＳは、三次元コンピュータグラフィックスにより二次元の平面画像を生成及び変換して表示してもよいし、予め生成又は記憶されている平面画像を変換して表示してもよい。また、空間表現システムＳは、単一の平面画像を表示してもよいし、互いに視差を有する２つの平面画像を所定の方式で表示することで、ユーザに三次元映像を認識させてもよい。また、表示される画像は動画であってもよいし静止画（但し、ユーザの視線の移動に伴って静止画内の各部分の画質が変化する）であってもよい。空間表現システムＳの用途は特に限定されないが、用途の例として、バーチャルリアリティ、テレビゲーム、建造物の仮想的な内覧等が挙げられる。

空間データ記憶装置２は、例えば、ハードディスクドライブ又は不揮発性メモリ等により構成されている。空間データ記憶装置２には、空間データが記憶されている。空間データは、仮想三次元空間の様子を示す。例えば、三次元コンピュータグラフィックスを用いて平面画像が生成される場合、空間データは、仮想三次元空間内に存在し又は配置されたオブジェクト（例えば、仮想の建造物、家具、車、人間、動物等）の位置及び向きを示すワールド座標データ、各オブジェクトの形状を示す形状データ等を含んでもよい。もし仮想三次元空間内でオブジェクトが動く場合、ワールド座標データは随時更新される。空間表現装置１がワールド座標データを更新してもよいし、他の図示せぬコンピュータ等がワールド座標データを更新してもよい。或いは、空間データは、平面画像データ及び奥行きデータを含んでもよい。平面画像のデータは、仮想三次元空間において所定の観察位置から所定の観察方向（視線方向）に見える眺めを表す二次元の平面画像のデータである。観察位置は、仮想の観察者の眼の位置である。観察方向は、仮想の観察者の視線が向く方向である。平面画像は、その全体が画面に表示される通常の画像であってもよいし、一部のみが画面に表示されるパノラマ画像や全方位画像であってもよい。奥行きデータは、観察位置から平面画像内の各箇所の画像で表される仮想三次元空間上の対象までの奥行き（距離）を示すデータである。奥行きデータは、例えば、平面画像を所定の複数の分割領域に分けた場合において、観察位置から各分割領域内の画像が表す対象までの奥行きを示すデータであってもよい。各分割領域は１以上のピクセルで構成される。各分割領域の形状は、正方形や矩形であってもよいし、他の多角形等であってもよい。また、全分割領域の形状及び大きさは同一であってもよいし、異なってもよい。また、これらの分割領域は格子状に配列されてもよいし、他の態様で配列されてもよい。奥行きデータの一例として、距離画像データが挙げられる。距離画像データは、各ピクセルの値が、観察位置からの距離を示す。この場合、各ピクセルが分割領域に相当する。

視線追跡装置３は、ユーザの視線を追跡し、視線の方向を検出する。視線追跡装置３は、検出された視線の方向を示す視線情報を空間表現装置１へ送信する。例えば、視線追跡装置３は、赤外線をユーザの眼に照射するＬＥＤ、ユーザの眼を撮影する赤外線カメラ等で構成されてもよい。或いは、視線追跡装置３は、ユーザの眼又は顔全体を撮影する可視光カメラで構成されてもよい。視線追跡装置３は、カメラにより撮影された画像を視線情報として空間表現装置１へ送信してもよい。或いは、視線追跡装置３は、撮影された画像を解析することにより、ユーザの両眼それぞれの視線の方向を示す角度情報を計算し、角度情報を視線情報として空間表現装置１へ送信してもよい。視線追跡装置３は、ヘッドマウントディスプレイに組み込まれてもよいし、画像表示装置５の近辺に配置されてもよい。

入力装置４は、ユーザによる操作を受け付け、操作内容に対応する信号を空間表現装置１へ入力するための装置である。入力装置４の例として、キーボード、マウス、ゲームコントローラ、リモートコントローラ等が挙げられる。入力装置４は、現実の三次元空間におけるユーザの位置及びユーザの顔が向く方向の少なくとも何れか一方を空間表現装置１へ入力するためのセンサを含んでもよい。センサにより検出されるユーザの位置及び向きは、絶対的な位置及び向きであってもよいし、ゲームやバーチャルリアリティ開始時等におけるユーザの位置及び向きからの相対的な位置及び向きであってもよい。ユーザの位置及び向きを検出するため、入力装置４は、例えば加速度センサ、ジャイロセンサ、速度センサ、重力センサ、磁気センサ、ＧＰＳ（Global Positioning System）センサ等の少なくとも１つを含んでもよい。これらのセンサはユーザに装着されてもよい。入力装置４は、センサにより検出されたユーザの位置及び向きの少なくとも一方を示す身体データを空間表現装置１へ送信する。

画像表示装置５は、空間表現装置１から出力される映像信号に基づいて、画像を表示する。表示される画像は静止画であってもよいし動画であってもよい。画像表示装置５は、例えば二次元画像を表示するディスプレイ、プロジェクタ、ヘッドマウントディスプレイ等であってもよいし、互いに視差のある２つの平面画像を表示するディスプレイ、プロジェクタ、ヘッドマウントディスプレイ等であってもよい。ディスプレイの例として、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等が挙げられる。三次元映像の表示方式の例として、眼鏡式、裸眼式、ＨＭＤ（Head Mounted Display）式等が挙げられる。

ヘッドマウントディスプレイを利用する場合、このヘッドマウントディスプレイに、視線追跡装置３、入力装置４の少なくとも一部、及び画像表示装置５が組み込まれる。

空間表現装置１は、システム制御部１１、記憶部１２、インターフェース部１３、及び表示制御部１４を含んで構成されている。システム制御部１１〜表示制御部１４はシステムバスを介して互いに接続される。

システム制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。システム制御部１１は、ＲＯＭや記憶部１２に記憶されたプログラムに従った処理を実行する。

記憶部１２は、例えば、ハードディスクドライブ又はデータの書き換えが可能な不揮発性メモリ等により構成されている。記憶部１２には、ＯＳや各種プログラムが記憶されている。

インターフェース部１３は、システム制御部１１と、空間データ記憶装置２〜入力装置４との間のインターフェース処理を行う。

表示制御部１４は、例えばＧＰＵ（Graphics Processing Unit）、ＶＲＡＭ（Video RAM）等により構成されている。表示制御部１４は、システム制御部１１によりＶＲＡＭに書き込まれた画像データに対応する映像信号を画像表示装置５へ出力する。

［２．システム制御部の機能概要］
次に、図２〜図４を参照して、システム制御部１１の機能概要を説明する。図２は、システム制御部１１の機能ブロックの一例を示す図である。システム制御部１１は、ＣＰＵが、記憶部１２に記憶されたプログラムを読み出し実行することにより、図２に示すように、空間データ読取部１０１、平面画像変換部１０２、視線情報読取部１０３、注視箇所照合部１０４、注視箇所奥行きデータ取得部１０５、非注視箇所奥行きデータ取得部１０６、奥行き差データ取得部１０７、表示品質変更部１０８、表示画像出力部１０９等として機能する。

空間データ読取部１０１は、空間データ記憶装置１０２から空間データを取得してＲＡＭに記憶させる。仮想三次元空間内でオブジェクトが動く様子を表す動画を画像表示装置５に表示させる場合、空間データ読取部１０１は、動画のフレームレートに従ったタイミングで空間データを取得する。

平面画像変換部１０２は、空間データ読取部１０１により取得された空間データに基づいて、平面画像データ及び奥行きデータを生成する。三次元コンピュータグラフィックスの場合、平面画像変換部１０２は、仮想三次元空間における視野範囲を特定する。視野範囲は、例えば仮想三次元空間における観察位置及び観察方向で定められる。例えば、観察位置及び観察方向の少なくとも何れか一方は予め定められていてもよい。或いは、平面画像変換部１０２は、入力装置４に対するユーザの入力に基づいて、観察位置及び観察方向の少なくとも何れか一方を特定してもよい。或いは、平面画像変換部１０２は、入力装置４に含まれるセンサにより検出されたユーザの位置及び方向の少なくとも何れか一方に基づいて、観察位置及び観察方向の少なくとも何れか一方を特定してもよい。平面画像変換部１０２は、観察位置から観察方向に、観察方向と垂直な投影面を設定する。平面画像変換部１０２は、空間データに含まれるワールド座標データ、形状データ等に基づいてレンダリングを行うことにより、仮想空間上のオブジェクトの各部位のワールド座標（仮想空間における三次元座標）をウインドウ座標（投影面における二次元座標）に変換し、投影面に投影された映像のデータを、観察位置からの眺めを表す平面画像データとして生成する。動画を表示する場合、平面画像変換部１０２は、動画を構成する各静止画像のデータとして平面画像データを生成する。また、平面画像変換部１０２は、平面画像にける分割領域ごとに、投影面においてその分割領域に投影された対象の、観察位置からの距離を計算する。平面画像変換部１０２は、計算された距離を含む奥行きデータを生成する。平面画像変換部１０２は、生成した平面画像データ及び奥行きデータをＲＡＭに記憶させる。

三次元コンピュータグラフィックスを用いて互いに視差を有する２つの平面画像データを生成して表示する場合、平面画像変換部１０２は、観察位置を基準として仮想の両眼の位置を決定して、両眼それぞれの視野範囲を特定する。仮想の両眼は、それぞれ観察位置から等距離離れ、且つ、観察方向に対して垂直に配置される。平面画像変換部１０２は、両眼それぞれの位置から観察方向にそれぞれ投影面を設定して、レンダリングを行う。両眼の観察方向は平行であってもよいし、各眼の観察方向が他方の眼に向かって所定角度傾いていてもよい。また、平面画像変換部１０２は、２つの平面画像データそれぞれについて、奥行きデータを生成する。

空間データが平面画像データ及び奥行きデータである場合、平面画像変換部１０２は、これらのデータをそのまま注視箇所奥行きデータ取得部１０５、非注視箇所奥行きデータ取得部１０６及び表示品質変更部１０８に引き渡してもよい。平面画像データがパノラマ画像又は全方位画像である場合、平面画像変換部１０２は、例えば、入力装置４に対するユーザの入力に基づいて、観察方向を特定してもよい。平面画像変換部１０２は、パノラマ画像又は全方位画像から観察方向に対応する範囲を抜き出して、この後の処理に用いられる平面画像データを生成してもよい。また、平面画像変換部１０２は、奥行きデータから、観察方向に対応する範囲のデータを抜き出して、この後の処理に用いられる奥行きデータを生成してもよい。

図３（ａ）は、平面画像の一例を示す図である。この平面画像は、或る室内の様子を表す。図３（ｂ）は、奥行きデータの一例を示す図である。図３（ｂ）の例では、分割領域が格子状に配列されている。横方向の分割領域の数は１２であり、縦方向の分割領域の数は６である。図３（ｂ）において、観察位置から最も近い対象が表現されている分割領域の奥行きは０．５であり、最も遠い対象が表現されている分割領域の奥行きは１０である。

視線情報読取部１０３は、視線追跡装置３から視線情報を取得して、視線情報に基づいて注視点の座標を取得する。注視点は、画面表示装置５の画面においてユーザが注視しているポイントである。視線情報読取部１０３は、視線情報読取部１０３が備えるカメラ、ユーザの眼、及び画面の位置関係と、ユーザの両眼それぞれの視線の方向とに基づいて、注視点の座標を計算する。単一の画面に単一の平面画像を表示する方式の場合、又は単一の画面に視差を有する２つの平面画像を表示する方式の場合、視線情報読取部１０３は、単一の画面における注視点の座標を計算する。ヘッドマウントディスプレイ等、２つの画面に視差を有する２つの平面画像を表示する方式の場合、視線情報読取部１０３は、両眼それぞれの視線に基づいて、２つの画面のそれぞれにおける注視点の座標を計算する。

注視箇所照合部１０４は、視線情報読取部１０３により計算された注視点の座標に基づいて、平面画像変換部１０２により生成された平面画像データが表す平面画像内でユーザが注視する注視箇所を特定する。また、注視箇所照合部１０４は、平面画像内において注視箇所以外の箇所を、非注視箇所として特定する。本実施形態において、注視箇所照合部１０４は、平面画像を分けてなる複数の分割領域のそれぞれの座標と、注視点の座標とを照合して、複数の分割領域のうち、注視点が位置する注視領域を特定するとともに、注視領域以外の分割領域を、非注視領域として特定する。２つの平面画像を表示する方式の場合、注視箇所照合部１０４は、２つの平面画像それぞれについて注視領域を特定する。このとき、注視箇所照合部１０４は、２つの平面画像で互いに座標が同一である分割領域を、注視領域として特定する。

注視箇所奥行きデータ取得部１０５は、平面画像変換部１０２により生成された奥行きデータのうち、注視領域に対応するデータを、注視箇所奥行きデータとして取得する。そして、注視箇所奥行きデータ取得部１０５は、各平面画像について注視箇所奥行きデータを取得する。２つの平面画像を表示する方式の場合、注視箇所奥行きデータ取得部１０５は、各平面画像について注視箇所奥行きデータを取得する。

非注視箇所奥行きデータ取得部１０６は、平面画像変換部１０２により生成された奥行きデータのうち、各非注視領域に対応するデータを、非注視箇所奥行きデータとして取得する。２つの平面画像を表示する方式の場合、非注視箇所奥行きデータ取得部１０６は、各平面画像について非注視箇所奥行きデータを取得する。

奥行き差データ取得部１０７は、注視箇所奥行きデータ及び非注視箇所奥行きデータに基づいて、非注視領域ごとに、注視領域に対応する奥行きと非注視領域に対応する奥行きとの差を計算して、奥行き差データを取得する。２つの平面画像を表示する方式の場合、奥行き差データ取得部１０７は、各平面画像について奥行き差データを取得する。

図４（ａ）は、奥行き差データの一例を示す図である。図４（ａ）の例では、分割領域（７、４）が注視領域である。分割領域（ａ、ｂ）とは、ｘ座標がａであり、ｙ座標がｂである分割領域を示す。図３（ｂ）に示すように、分割領域（７、４）の奥行きは２である。図４（ｂ）は、奥行き差データの他の例を示す図である。図４（ｂ）の例では、分割領域（５、２）が注視領域である。分割領域（５、２）の奥行きは６である。

表示品質変更部１０８は、奥行き差データ取得部１０７により取得された奥行き差データに基づいて、平面画像変換部１０２により生成された平面画像データにおいて、非注視領域の画質を低下させる。互いに視差を有する２つの平面画像を表示する方式の場合、表示品質変更部１０８は、２つの平面画像それぞれについて、非注視領域の画質を低下させる。画質を低下させるとは、例えば画像をぼかすこと、輪郭、形状又は色の濃淡の境目をはっきりさせないことである。現実世界において、ユーザが注視している第１の対象はシャープに見える。また、ユーザの位置からユーザが注視している第１の対象までの奥行きと、ユーザの位置から他の第２の対象までの奥行きとの差が相対的に小さい場合、第２の対象は比較的シャープに見える。一方、ユーザの位置からユーザが注視している第１の対象までの奥行きと、ユーザの位置から他の第３の対象までの奥行きとの差が相対的に大きい場合、第３の対象はぼやけて見える。表示品質変更部１０８は、この現象を再現する。

例えば、表示品質変更部１０８は、奥行きの差が大きいほど、画質の低下度合いを大きくしてもよい。或いは、表示品質変更部１０８は、奥行きの差が所定値未満の非注視領域については画質を低下させず、奥行きの差が所定値以上の非注視領域について画質を低下させてもよい。この場合、表示品質変更部１０８は、画質を低下させる全ての非注視領域について、奥行きの差の大小にかかわらずの同一の低下度合いで画質を低下させてもよいし、奥行きの差が大きいほど、画質の低下度合いを大きくしてもよい。

図４（ａ）及び図４（ｂ）は、奥行きの差が１以下である非注視領域については画質を低下させず、奥行きの差が１を超える非注視領域について画質を低下させる場合の例を示す。図４（ａ）の例では、平面画像は大別して領域２０１と領域２０２に分けられる。領域２０１は、画質が低下しない領域（シャープに見える領域）であり、領域２０２は、画質が低下する領域（ぼやけて見える領域）である。ここで、分割領域（８、３）及び分割領域（６、５）は、注視領域（７、４）に隣接しているものの、奥行きの差がそれぞれ２及び１．５であるので、画質が低下される。上述した非特許文献１に開示された技術では、これらの分割領域）は中心視野に入るため、画質が低下しない。図４（ｂ）の例では、平面画像は大別して領域２０３と領域２０４に分けられる。領域２０３は、画質が低下しない領域であり、領域２０４は、画質が低下する領域である。ここで、分割領域（４、１）分割領域（５、３）及び分割領域（６、３）は、注視領域（５、２）に隣接しているものの、奥行きの差がそれぞれ２、３及び３であるので、画質が低下される。上述した非特許文献１に開示された技術では、これらの分割領域）は中心視野に入るため、画質が低下しない。図４（ａ）及び図４（ｂ）に示すように、ユーザが注視する箇所の奥行きに応じて、画質が低下する箇所が変化する。

画質を低下させる方法及びアルゴリズムは種々考えられる。例えば、表示品質変更部１０８は、非注視領域の画像を平滑化してもよい。本実施形態において、画像の平滑化は、対象の画素から所定範囲内にある画素が有する輝度値の平均値を、画質低下後のその対象の画素の輝度値として計算し、この処理を非注視領域内の全画素について行うことである。平滑化であれば、画像を自然にぼかすことができる。平滑化に用いられるフィルタの例として、移動平均フィルタ、ガウシアンフィルタ等が挙げられる。表示品質変更部１０８は、奥行きの差が大きいほど、フィルタが適用される画素の範囲を広くしてもよい。すなわち、奥行きの差が大きいほど、対象の画素からより遠い画素の輝度値が考慮して平滑化が行われる。ガウシアンフィルタを用いる場合、表示品質変更部１０８は、奥行きの差が大きいほど、ガウス関数の分散の値を大きくしてもよい。すなわち、奥行きの差が大きいほど、対象の画素から相対的に遠い画素の輝度値の重みが大きくなる。記憶部１２又はシステム制御部１１のＲＡＭにテーブルが記憶され、このテーブルに、奥行きの差と、フィルタが適用される画素の範囲又は分散の値とが対応付けて記憶されてもよい。表示品質変更部１０８は、このテーブルを参照して、フィルタが適用される画素の範囲又は分散の値を決定してもよい。或いは、表示品質変更部１０８は、奥行きの差を用いて所定の計算を行うことにより、フィルタが適用される画素の範囲又は分散の値を計算してもよい。

表示品質変更部１０８は、非注視領域の画像をピクセル化してもよい。これにより、非注視領域の画像の解像度が外見上低くなる。例えば、表示品質変更部１０８は、非注視領域を、それぞれ複数の画素で構成される複数の正方形状の疑似ピクセル領域に分割する。隣接する非注視領域間で、注視領域に対する奥行きの差が同一である場合、表示品質変更部１０８は、それらの非注視領域を１つの非注視領域と見做して、その非注視領域を疑似ピクセル領域に分割してもよい。表示品質変更部１０８は、各疑似ピクセル領域について、疑似ピクセル領域内の全画素の輝度値の平均値又は代表となる画素の輝度値を、その疑似ピクセル領域内の全画素の輝度値として設定する。ピクセル化は、平滑化よりも処理速度が速い。表示品質変更部１０８は、奥行きの差が大きいほど、疑似ピクセル領域のサイズ（一つの疑似ピクセル領域あたりのピクセル数）をより大きくしてもよい。すなわち、奥行きの差が大きいほど、外見上の解像度がより低くなる。記憶部１２又はシステム制御部１１のＲＡＭにテーブルが記憶され、このテーブルに、奥行きの差と、疑似ピクセル領域のサイズ（または解像度の低下度合い）とが対応付けて記憶されてもよい。表示品質変更部１０８は、このテーブルを参照して、疑似ピクセル領域のサイズを決定してもよい。或いは、表示品質変更部１０８は、奥行きの差を用いて所定の計算を行うことにより、疑似ピクセル領域のサイズを計算してもよい。

表示品質変更部１０８は、奥行きの差に加えて、平面画像上における注視領域と非注視領域との間の距離に基づいて、非注視領域の画質を低下させてもよい。これにより、中心視野にある物ははっきり見え、周辺視野にある物はぼやけて見えるという現象を再現することができる。表示品質変更部１０８は、注視領域からの距離が長いほど、画質の低下度合いを大きくしてもよい。或いは、表示品質変更部１０８は、注視領域からの距離が所定値未満の非注視領域については画質を低下させず、注視領域からの距離が所定値以上の非注視領域について画質を低下させてもよい。この場合、表示品質変更部１０８は、画質を低下させる全ての非注視領域について、注視領域からの距離の長短にかかわらずの同一の低下度合いで画質を低下させてもよいし、距離が長いほど、画質の低下度合いを大きくしてもよい。一例として、図６（ａ）において、注視領域（７、４）に隣接する９個の分割領域については、注視領域と非注視領域との間の距離に基づいては画質を低下させず、他の分割領域については画質を低下させること等も可能である。但し、上述したように、注視領域（７、４）に隣接する９個の分割領域も、注視領域との間の奥行きの差に基づいて画質が低下する場合はある。

表示品質変更部１０８は、奥行きの差及び注視領域からの距離に基づいて、平滑化を行ってもよい。表示品質変更部１０８は、注視領域からの距離が長いほど、フィルタが適用される画素の範囲を広くしてもよいし、ガウス関数の分散の値を大きくしてもよい。表示品質変更部１０８は、奥行きの差に基づいて平滑化を行うとともに、これとは別に注視領域からの距離に基づいて更に平滑化を行ってもよい。この場合、奥行きの差に基づく平滑化と、注視領域からの距離に基づく平滑化のうち、先に実行される平滑化は何れであってもよい。或いは、表示品質変更部１０８は、奥行きの差及び注視領域からの距離の両方に基づいて、平滑化を１回行ってもよい。この場合、表示品質変更部１０８は、奥行きの差及び注視領域からの距離の両方を勘案して、フィルタが適用される画素の範囲、又はガウス関数の分散の値を決定してもよい。或いは、表示品質変更部１０８は、奥行きの差に基づいて平滑化を行うとともに、注視領域からの距離に基づいてピクセル化を行ってもよい。この場合、平滑化とピクセル化のうち、先に実行される処理は何れであってもよい。表示品質変更部１０８は、注視領域からの距離が長いほど、疑似ピクセル領域のサイズを大きくしてもよい。

表示品質変更部１０８は、奥行きの差に基づいてピクセル化を行うとともに、注視領域からの距離に基づいて平滑化を行ってもよい。この場合、ピクセル化と平滑化のうち、先に実行される処理は何れであってもよい。或いは、表示品質変更部１０８は、奥行きの差及び視領域からの距離の両方に基づいて、ピクセル化を行ってもよい。この場合、表示品質変更部１０８は、奥行きの差及び注視領域からの距離の両方を勘案して、疑似ピクセル領域のサイズを決定する。

表示品質変更部１０８は、奥行きの差に基づいて注視領域の画質を低下させるとともに、平面画像上における注視領域と非注視領域との間の距離に基づいて、非注視領域の画像の彩度を低下させてもよい。これにより、周辺視野にある物の色彩の情報を認識し難いという現象を再現することができる。彩度を低下させるアルゴリズムとしては、如何なるアルゴリズムが用いられてもよい。例えば、各画素の値を、ＨＳＩ色空間、ＣＩＥＬＡＢ色空間、ＨＳＶ色空間等の画素値に変換した上で、彩度を低下させること等が挙げられる。奥行きの差に基づく画質の低下及び注視領域からの距離に基づく彩度の低下のうち、先に実行される処理は何れであってもよい。表示品質変更部１０８は、注視領域からの距離が長いほど、彩度の低下度合いを大きくしてもよい。或いは、表示品質変更部１０８は、注視領域からの距離が所定値未満の非注視領域については彩度を低下させず、注視領域からの距離が所定値以上の非注視領域について彩度を低下させてもよい。この場合、表示品質変更部１０８は、彩度を低下させる全ての非注視領域について、注視領域からの距離の長短にかかわらずの同一の低下度合いで彩度を低下させてもよいし、距離が長いほど、彩度の低下度合いを大きくしてもよい。また、表示品質変更部１０８は、彩度を低下させる全ての非注視領域について、彩度をゼロにしてもよい（グレースケール画像に変換してもよい）。表示品質変更部１０８は、面画像上における注視領域と非注視領域との間の距離に基づいて、非注視領域の画質を低下させるとともに、非注視領域の画像の彩度を低下させてもよい。

表示画像出力部１０９は、表示品質変更部１０８により非注視領域の画質が低下させられた平面画像データを画像表示装置５へ出力する。具体的に、表示画像出力部１０９は、表示制御部１４のＶＲＡＭに平面画像データを書き込む。表示制御部１４は、ＶＲＡＭに記憶された平面画像データに対応した映像信号を画像表示装置５へ出力する。互いに視差を有する２つの平面画像を表示する方式の場合、表示画像出力部１０９は、２つの平面画像データをＶＲＡＭに書き込む。表示制御部１４は、視差を有する画像の表示方式に応じた映像信号を画像表示装置５へ出力する。

［３．空間表現装置の動作」
次に、図５及び図６を参照して、空間表現装置１の動作を説明する。図５は、本実施形態に係る空間表現装置１のシステム制御部１１による処理例を示すフローチャートである。例えば、ユーザが入力装置４に対して画像の表示を指示する操作を行ったときに、システム制御部１１は、図５に示す処理を実行する。

先ず、空間データ読取部１０１は、空間データ記憶装置２から空間データを取得してＲＡＭに記憶させる（ステップＳ１）。次いで、平面画像変換部１０２は、空間データ、観察位置及び観察方向に基づいて、レンダリングを行うことにより、平面画像データを生成するとともに、奥行きデータを生成する（ステップＳ２）。ここで、平面画像変換部１０２は、例えば入力装置４に含まれるセンサにより検出されたユーザの位置及び向きの少なくとも何れか一方に基づいて、観察位置及び観察方向の少なくとも何れか一方を決定してもよい。或いは、平面画像変換部１０２は、入力装置４に対するユーザの操作に基づいて、観察位置及び観察方向の少なくとも何れか一方を決定してもよい。三次元映像を表示するために、互いに視差のある２つの平面画像データを生成する場合、平面画像変換部１０２は、観察位置を基準として仮想の両眼の位置を決定し、両眼の位置それぞれに対応する２つの平面画像データを生成するとともに、２つの奥行きデータを生成する。なお、空間データ記憶装置２から取得された空間データが平面画像データ及び奥行きデータである場合、ステップＳ２の処理は不要である。

次いで、視線情報読取部１０３は、視線追跡装置３から視線情報を取得して、視線情報に基づいて、画面表示装置５の画面における注視点の座標を取得する（ステップＳ３）。次いで、注視箇所照合部１０４は、注視点の座標に基づいて、平面画像変換部１０２により生成された平面画像データが表す平面画像内でユーザが注視する注視領域を特定する（ステップＳ４）。次いで、注視箇所奥行きデータ取得部１０５は、平面画像変換部１０２により生成された奥行きデータのうち、注視領域に対応するデータを、注視箇所奥行きデータとして取得する（ステップＳ５）。次いで、非注視箇所奥行きデータ取得部１０６は、平面画像変換部１０２により生成された奥行きデータのうち、各非注視領域に対応するデータを、非注視箇所奥行きデータとして取得する（ステップＳ６）。次いで、奥行き差データ取得部１０７は、注視箇所奥行きデータ及び非注視箇所奥行きデータに基づいて、非注視領域ごとに、注視領域に対応する奥行きと非注視領域に対応する奥行きとの差を計算して、奥行き差データを取得する（ステップＳ７）。

次いで、表示品質変更部１０８は、表示品質変更処理を実行する（ステップＳ８）。図６（ａ）は、非注視領域の画像を平滑化する場合の表示品質変更処理の一例を示すフローチャートである。図６（ａ）に示すように、表示品質変更部１０８は、奥行き差データに基づいて、平面画像変換部１０２により生成された平面画像データが表す平面画像の各非注視領域について、注視領域と非注視領域との間の奥行きの差に応じた度合いで、非注視領域内の画像の平滑化する（ステップＳ１１）。表示品質変更部１０８は、奥行きの差が大きいほど、平滑化に用いられるフィルタが適用される画素の範囲を広くしてもよいし、ガウス関数の分散の値を大きくしてもよい。次いで、表示品質変更部１０８は、ステップＳ１１で非注視領域の画像が平滑化させられた平面画像データが表す平面画像の各非注視領域について、注視領域と非注視領域との間の距離に応じた度合いで、非注視領域の画像を平滑化する（ステップＳ１２）。これにより、表示品質変更部１０８は、非注視領域の画像が更に平滑化させられた平面画像データを、表示用の平面画像データとして生成して、表示品質変更処理を終了させる。

図６（ｂ）は、非注視領域をピクセル化する場合の表示品質変更処理の一例を示すフローチャートである。図６（ｂ）に示すように、表示品質変更部１０８は、奥行き差データに基づいて、平面画像変換部１０２により生成された平面画像データが表す平面画像の各非注視領域について、注視領域と非注視領域との間の奥行きの差に応じた度合いで、非注視領域をピクセル化する（ステップＳ２１）。表示品質変更部１０８は、奥行きの差が大きいほど、疑似ピクセル領域のサイズをより大きくしてもよい。次いで、表示品質変更部１０８は、非注視領域の画像がピクセル化させられた平面画像データが表す平面画像の各非注視領域について、注視領域と非注視領域との間の距離に応じた度合いで、非注視領域の画像を平滑化する（ステップＳ２２）。これにより、表示品質変更部１０８は、非注視領域の画像が更に平滑化させられた平面画像データを、表示用の平面画像データとして生成して、表示品質変更処理を終了させる。

表示品質変更処理が終了すると、図５に示すように、表示画像出力部１０９は、表示品質変更処理で生成された表示用の平面画像データを表示制御部１４のＶＲＡＭに書き込むことにより、表示用の平面画像データに対応する映像信号を表示制御部１４から画像表示装置５へ出力させる（ステップＳ９）。これにより、１の平面画像が画像表示装置５に表示される。

次いで、表示画像出力部１０９は、画像の表示を終了させるか否かを判定する（ステップＳ１０）。例えば、ユーザが入力装置４に対して画像の表示を終了させる操作を行ったとき、表示画像出力部１０９は、画像の表示を終了させると判定する（ステップＳ１０：ＹＥＳ）。この場合、表示画像出力部１０９は、図５に示す処理を終了させる。表示画像出力部１０９は、画像の表示を終了させないと判定した場合には（ステップＳ１０：ＮＯ）、処理をステップＳ１に進める。こうしてステップＳ１〜Ｓ１０が繰り返されて、次々と新たな表示用の平面画像データがＶＲＡＭに書き込まれていくことにより、画像表示装置５に動画が表示される。

なお、空間表現装置１に記憶された空間データが変化しないシステムの場合（例えば、仮想空間内のオブジェクトが動かない場合）、２回目以降、表示用の平面画像データに対応する映像信号を出力するときにおいては、ステップＳ１の処理は不要である。最初に空間表現装置１から取得されてＲＡＭに記憶された空間データを用いてステップＳ２〜Ｓ１０が実行されればよい。また、空間表現装置１に記憶された空間データが変化せず、且つ観察位置及び観察方向の何れも固定であるシステムの場合、２回目以降、表示用の平面画像データに対応する映像信号を出力するときにおいては、ステップＳ１及びＳ２の処理は不要である。最初に生成された平面画像データ及び奥行きデータを用いてステップＳ３〜Ｓ１０が実行されればよい。

以上説明したように、本実施形態によれば、空間表現装置１が、観察位置からの眺めを表す平面画像と、観察位置から平面画像の各箇所で表される対象までの奥行きを示す奥行きデータと、を取得する。また、空間表現装置１が、ユーザの視線を検出するセンサによる検出結果に基づいて、取得された平面画像内でユーザが注視する注視箇所を特定する。また、空間表現装置１が、取得された奥行きデータに基づいて、特定された注視箇所と、平面画像内において注視箇所以外の非注視箇所と、の間の奥行きの差を取得する。また、空間表現装置１が、取得された奥行きの差に基づいて、非注視箇所の画質を低下させる。また、空間表現装置１が、非注視箇所の画質が低下させられた平面画像を画像表示装置５に出力する。従って、遠近感が付与された画像を表示させることが可能となる。

また、空間表現装置１が、非注視箇所の画像を平滑化してもよい。この場合、注視箇所で表される対象と非注視箇所で表される対象との間の奥行きの差に基づいて、非注視箇所の画質を自然にぼかすことができる。

また、空間表現装置１が、奥行きの差と、平面画像上での注視箇所と非注視箇所との間の距離と、に基づいて、非注視箇所の画像を平滑化してもよい。この場合、更に平面画像上での注視箇所と非注視箇所との間の距離に基づいて非注視箇所の画像が平滑化されるので、中心視野にある対象及び周辺視野にある対象の見え方を再現することができる。

また、空間表現装置１が、非注視箇所の画像をピクセル化してもよい。この場合、非注視箇所の画質を低下させるための処理速度を向上させることができる。

また、空間表現装置１が、奥行きの差に基づいて、非注視箇所の画像をピクセル化し、且つ、平面画像上での注視箇所と非注視箇所との間の距離に基づいて、非注視箇所の画像を平滑化してもよい。この場合、更に平面画像上での注視箇所と非注視箇所との間の距離に基づいて非注視箇所の画像が平滑化されるので、中心視野にある対象及び周辺視野にある対象の見え方を再現することができる。

また、空間表現装置１が、奥行きの差に基づいて、非注視箇所の画質を低下させ、且つ、平面画像上での注視箇所と非注視箇所との間の距離に基づいて、非注視箇所の画像のサイドを低下させてもよい。この場合、更に平面元画像上での注視箇所と非注視箇所との間の距離に基づいて非注視箇所の画像の彩度が低下されるので、周辺視野では色彩の情報が認識しにくいという現象を再現することができる。

また、空間表現装置１が、互いに視差のある２つの平面画像を取得してもよい。また、空間表現装置１が、２つの平面画像それぞれについて、奥行きの差に基づいて、非注視箇所の画質を低下させてもよい。また、空間表現装置１が、非注視箇所の画質が低下させられた２つの平面画像を画像表示装置５に出力してもよい。この場合、互いに視差のある２つの平面画像が表示されてユーザの頭の中で合成されることで、遠近感のある映像をユーザが認識することができる。更に、これらの平面画像のそれぞれについて、注視箇所で表される対象と非注視箇所で表される対象との間の奥行きの差に基づいて、非注視箇の画質が低下するので、更に遠近感を演出することができる。

また、空間表現装置１が、ユーザの位置及び向きの少なくとも一方を検出するセンサによる検出結果に基づいて、仮想三次元空間における視野範囲を特定してもよい。また、空間表現装置１が、動画を構成する各静止画像として、特定された視野範囲に対応する平面画像を、三次元コンピュータグラフィックスを用いて生成してもよい。この場合、ユーザが自分の位置及び向きを変えることで仮想三次元空間における視野範囲が変化し、この視野範囲に対応した各静止画像が生成される。各静止画像について、注視箇所で表される対象と非注視箇所で表される対象との間の奥行きの差に基づいて、非注視箇の画質が低下する。非注視箇の画質が低下させられた静止画像が順次表示されることで、ユーザの位置及び向きの少なくとも一方の変化に応じた動画が表示されるので、遠近感且つ臨場感のある画像を表示させることができる。

Ｓ 空間表現システム
１ 空間表現装置
２ 空間データ記憶装置
３ 視線追跡装置
４ 入力装置
５ 画像表示装置
１１ システム制御部
１２ 記憶部
１３ インターフェース部
１４ 表示制御部

Claims (10)

1. 観察位置からの眺めを表す二次元画像と、前記観察位置から前記二次元画像の各箇所で表される対象までの奥行きを示す奥行き情報と、を取得する画像取得手段と、
   ユーザの視線を検出する検出手段による検出結果に基づいて、前記画像取得手段により取得された前記二次元画像内で前記ユーザが注視する注視箇所を特定する特定手段と、
   前記画像取得手段により取得された前記奥行き情報に基づいて、前記特定手段により特定された前記注視箇所と、前記二次元画像内において前記注視箇所以外の非注視箇所と、の間の奥行きの差を取得する差取得手段と、
   前記差取得手段により取得された前記奥行きの差に基づいて、前記非注視箇所の画質を低下させる低下手段と、
   前記低下手段により前記非注視箇所の画質が低下させられた前記二次元画像を画像表示装置に出力する出力手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記低下手段は、前記非注視箇所の画像を平滑化することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記低下手段は、前記差取得手段により取得された前記奥行きの差と、前記二次元画像上での前記注視箇所と前記非注視箇所との間の距離と、に基づいて、前記非注視箇所の画像を平滑化することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記低下手段は、前記非注視箇所の画像をピクセル化することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記低下手段は、前記差取得手段により取得された前記奥行きの差に基づいて、前記非注視箇所の画像をピクセル化し、且つ、前記二次元画像上での前記注視箇所と前記非注視箇所との間の距離に基づいて、前記非注視箇所の画像を平滑化することを特徴とする画像処理装置。
6. 請求項１乃至５の何れか１項に記載の画像処理装置において、
   前記低下手段は、前記差取得手段により取得された前記奥行きの差に基づいて、前記非注視箇所の画質を低下させ、且つ、前記二次元画像上での前記注視箇所と前記非注視箇所との間の距離に基づいて、前記非注視箇所の画像の彩度を低下させることを特徴とする画像処理装置。
7. 請求項１乃至６の何れか１項に記載の画像処理装置において、
   前記画像取得手段は、互いに視差のある２つの二次元画像を取得し、
   前記低下手段は、前記２つの二次元画像それぞれについて、前記奥行きの差に基づいて、前記非注視箇所の画質を低下させ、
   前記出力手段は、前記非注視箇所の画質が低下させられた前記２つの二次元画像を前記画像表示装置に出力することを特徴とする画像処理装置。
8. 請求項１乃至７の何れか１項に記載の画像処理装置において、
   前記ユーザの位置及び向きの少なくとも一方を検出する第２検出手段による検出結果に基づいて、仮想三次元空間における視野範囲を特定する特定手段を更に備え、
   前記画像取得手段は、動画を構成する各静止画像として、前記特定手段により特定された前記視野範囲に対応する前記二次元画像を、三次元コンピュータグラフィックスを用いて生成することを特徴とする画像処理装置。
9. コンピュータにより実行される画像処理方法において、
   観察位置からの眺めを表す二次元画像と、前記観察位置から前記二次元画像の各箇所で表される対象までの奥行きを示す奥行き情報と、を取得する画像取得ステップと、
   ユーザの視線を検出する検出手段による検出結果に基づいて、前記画像取得ステップにより取得された前記二次元画像内で前記ユーザが注視する注視箇所を特定する特定ステップと、
   前記画像取得ステップにより取得された前記奥行き情報に基づいて、前記特定ステップにより特定された前記注視箇所と、前記二次元画像内において前記注視箇所以外の非注視箇所と、の間の奥行きの差を取得する差取得ステップと、
   前記差取得ステップにより取得された前記奥行きの差に基づいて、前記非注視箇所の画質を低下させる低下ステップと、
   前記低下ステップにより前記非注視箇所の画質が低下させられた前記二次元画像を画像表示装置に出力する出力ステップと、
   を含むことを特徴とする画像処理方法。
10. コンピュータに、
    観察位置からの眺めを表す二次元画像と、前記観察位置から前記二次元画像の各箇所で表される対象までの奥行きを示す奥行き情報と、を取得する画像取得手段と、
    ユーザの視線を検出する検出手段による検出結果に基づいて、前記画像取得手段により取得された前記二次元画像内で前記ユーザが注視する注視箇所を特定する特定手段と、
    前記画像取得手段により取得された前記奥行き情報に基づいて、前記特定手段により特定された前記注視箇所と、前記二次元画像内において前記注視箇所以外の非注視箇所と、の間の奥行きの差を取得する差取得手段と、
    前記差取得手段により取得された前記奥行きの差に基づいて、前記非注視箇所の画質を低下させる低下手段と、
    前記低下手段により前記非注視箇所の画質が低下させられた前記二次元画像を画像表示装置に出力する出力手段と、
    として機能させることを特徴とする画像処理プログラム。

Images