JP2020017061A - 画像処理装置、画像表示装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像内の所定のオブジェクトの視認性が低下することを抑制しつつ、ユーザの映像酔いを軽減する。【解決手段】本発明の一実施形態における画像処理装置は、仮想空間に設定された仮想カメラの視点に応じた仮想画像を出力する画像処理装置であって、仮想空間に位置する１または複数のオブジェクトのうち１以上のオブジェクトを特定する特定手段と、特定手段により特定された１以上のオブジェクト以外の領域の少なくとも一部の画質が仮想カメラの動きに応じて変更された仮想画像を出力する出力手段とを有する。【選択図】図１

Description

本発明は、画像処理装置、画像表示装置、画像処理方法、及びプログラムに関する。

コンピュータグラフィックスの分野では、三次元の仮想空間内に配置された人や建物のオブジェクトを、当該仮想空間内を移動可能な仮想カメラに投影することによって、当該仮想カメラから見た画像を仮想画像として生成し、表示することが行われている。

この仮想画像を映像としてディスプレイに表示して視聴する場合に、仮想カメラの動きが速いと、視聴者に映像酔いが生じやすくなる。これに対し、特許文献１は、仮想カメラの動きに応じて、画像全体または画像の周辺部の解像度やコントラストを低下させた過渡期画像を生成し、表示することによって、映像酔いを軽減する方法を開示している。

特開第２０１７−５８４９３号公報

しかしながら、特許文献１に開示された方法では、表示画像内の注目すべきオブジェクトの解像度やコントラストが低下し、そのオブジェクトの視認性が低下してしまう虞があった。

本発明はこのような問題に鑑みてなされたものであり、画像内の所定のオブジェクトの視認性が低下することを抑制しつつ、ユーザの映像酔いを軽減することを目的とする。

本発明の一実施形態における画像処理装置は、仮想空間に設定された仮想カメラの視点に応じた仮想画像を出力する画像処理装置であって、前記仮想空間に位置する１または複数のオブジェクトのうち１以上のオブジェクトを特定する特定手段と、前記特定手段により特定された前記１以上のオブジェクト以外の領域の少なくとも一部の画質が前記仮想カメラの動きに応じて変更された仮想画像を出力する出力手段とを有する。

本発明によれば、画像内の所定のオブジェクトの視認性が低下することを抑制しつつ、ユーザの映像酔いを軽減することができる。

第１の実施形態における画像処理システムの構成図である。 第１の実施形態における画像処理装置のハードウェア構成図である。 第１の実施形態における画像処理のフローチャートを示す図である。 第１の実施形態における仮想空間内のオブジェクトおよび仮想カメラの位置を示す図である。 第１の実施形態における仮想画像を示す図である。 第１の実施形態におけるぼかし処理前後の仮想画像を示す図である。 第２の実施形態における画像処理のフローチャートを示す図である。 第２の実施形態における解像度低減処理を説明する図である。 第２の実施形態における解像度低減処理前後の仮想画像を示す図である。 第３の実施形態における画像処理のフローチャートを示す図である。 第３の実施形態における明度変更処理前後の仮想画像を示す図である。 第４の実施形態における仮想空間内のオブジェクトおよび仮想カメラの位置を示す図である。 第４の実施形態におけるぼかし処理前後の仮想画像を示す図である。

以下、図面を参照して、本発明の実施形態について詳細に説明する。

（第１の実施形態）
本実施形態では、三次元の仮想空間内に存在する人や建物などのオブジェクトが仮想空間内に設定された仮想カメラに投影された仮想画像（仮想カメラの視点に応じた仮想画像）において、動きの大きなオブジェクトにぼかし処理（画質変更処理）を行う。本実施形態では、そうすることで、映像酔いを軽減する方法について説明する。なお、以下の実施形態における仮想画像は、全体としてコンピュータグラフィックスで生成された画像であってもよいし、撮影装置による撮影画像に基づいて生成される画像であってもよい。例えば仮想画像は、それぞれ異なる位置に設置された複数の撮影装置により複数の方向から撮影対象領域を撮影することで得られる画像と、仮想視点を示す視点情報とに基づいて生成される、仮想視点画像（自由視点映像）であってもよい。

図１は、本実施形態における画像処理システムの構成を示す。画像処理装置２００は、仮想カメラ移動情報取得部２１０、オブジェクト位置情報取得部２２０、仮想画像取得部２３０、及び画像処理部２４０を有する。また、画像処理装置２００は、仮想カメラ移動情報１４０、オブジェクト位置情報１１０、及び仮想画像１３０の各データを記憶した不図示の記憶装置、並びに表示装置３００（液晶ディスプレイなど）と、ネットワークを介して接続される。仮想カメラ移動情報取得部２１０、オブジェクト位置情報取得部２２０、及び仮想画像取得部２３０は、それぞれ仮想カメラ移動情報１４０、オブジェクト位置情報１１０、及び仮想画像１３０のデータを、ネットワークを介して取得する。なお、画像処理装置２００により処理される仮想画像が撮影画像に基づく仮想視点画像である場合、オブジェクト位置情報１１０は、撮影画像に基づいて撮影対象領域内のオブジェクトの位置を特定することで取得されたデータであってもよい。取得したデータは、画像処理装置２００内の不図示の記録部に記録される。画像処理部２４０は、仮想カメラ移動情報１４０及びオブジェクト位置情報１１０を用いて、仮想画像１３０に対して後述する画像処理を行う。画像処理が行われた仮想画像１３０は、表示装置３００にネットワークを介して送信される。表示装置３００は、受信した仮想画像１３０を表示する。すなわち、表示装置３００は、画像表示装置である。なお、画像処理部２４０により仮想画像１３０が出力される出力先は表示装置３００に限らず、仮想画像１３０を記憶する記憶装置などであってもよい。

図２は、本実施形態における画像処理装置のハードウェア構成図である。画像処理装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、及び通信部２０５を有する。

ＣＰＵ２０１は、画像処理装置２００の全体を制御する中央演算ユニットであり、画像処理装置２００の処理シーケンスを統括的に制御する。ＲＯＭ２０２及び記憶装置２０４は、後述するフローチャートに示す処理を実現するためのプログラムやデータを格納する。ＲＡＭ２０３は、データの一時保存やプログラムのロードに使用される。通信部２０５は、ネットワーク２０６を介した外部装置とのデータ送受信を行う。通信部２０５は、例えば、画像処理装置２００によって画像処理を行った仮想画像１３０を、ネットワーク２０６を介して表示装置３００に送信する。画像処理装置２００の各構成要素は、バス２０７を介して相互に接続される。

図３は、画像処理装置２００による画像処理のフローチャートを示す。フローチャートに示される一連の処理は、画像処理装置２００のＣＰＵ２０１がＲＯＭ２０２または記憶装置２０４に記憶された制御プログラムをＲＡＭ２０３に展開し、実行することにより実施される。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップを意味する。その他のフローチャートについても同様である。

Ｓ３０１において、仮想カメラ移動情報取得部２１０は、仮想カメラ移動情報１４０を取得する。仮想カメラ移動情報１４０は、仮想カメラの時刻ｔにおける位置Ｔ（ｔ）＝（ｔ_x，ｔ_y，ｔ_z）、及び向きｒ（ｔ）＝（ｒ_x，ｒ_y，ｒ_z）を含む。また、仮想カメラ移動情報１４０は、仮想カメラの時刻ｔにおける速度Ｖ（ｔ）＝（ｖｔ_x，ｖｔ_y，ｖｔ_z，ｖｒ_x，ｖｒ_y，ｖｒ_z）を含んでもよい。速度Ｖ（ｔ）は、単位時刻を映像のフレーム間隔とした、仮想カメラの位置と向きの微分値である。また、仮想カメラ移動情報１４０は、時刻ｔの１フレーム前の時刻ｔ−１における仮想カメラの位置Ｔ（ｔ−１）及び向きｒ（ｔ−１）を含んでもよい。図４は、仮想空間内のオブジェクトおよび仮想カメラの位置を示す。オブジェクト及び仮想カメラの各位置は、ＸＹＺ座標で表される。また、図４では、Ｚ軸方向から見たオブジェクト及び仮想カメラの位置が示されている。時刻ｔにおける仮想カメラ１３００、及びその１フレーム前の時刻ｔ−１における仮想カメラ１３１０が、軌跡１４００上に示されている。図示した例では、仮想カメラ１３００は、オブジェクト１１００を中心として、オブジェクト１１００の方向を向いて移動する。そのため、仮想カメラの映像は終始、仮想画像の中央にオブジェクト１１００が写るものとなる。なお、仮想カメラは、不図示の入力装置を介して受信するユーザの指示に応じて動いてもよいし、予め定められたように動いてもよい。オブジェクト１１００は、人のオブジェクトであって、前景オブジェクトの一例である。また、オブジェクト１２１０、１２２０は、建物のオブジェクトであって、背景の一例である。また、仮想空間内のオブジェクトの数は限定されるものではなく、１または複数のオブジェクトを配置することができる。

次いで、Ｓ３０２において、オブジェクト位置情報取得部２２０は、オブジェクト位置情報１１０を取得する。オブジェクト位置情報１１０は、仮想空間内に存在するオブジェクト１１００、１２１０、１２２０のそれぞれの重心の三次元座標（以下、重心座標とも呼ぶ）を含む。図４において、オブジェクト１１００の重心座標は（１８４０，４５２５，９５０）、オブジェクト１２１０の重心座標は（１８１０，５０８２，２８５０）、オブジェクト１２２０の重心座標は（１９００，５２００，３３００）である。なお、オブジェクト位置情報１１０は、オブジェクトの重心に限定されるものではなく、オブジェクトの代表点や、オブジェクトを構成する複数の要素の三次元座標の集合（メッシュポリゴンの頂点群など）でもよい。

次いで、Ｓ３０３において、画像処理部２４０は、オブジェクト位置情報１１０を仮想カメラに投影した画像座標のオプティカルフローの大きさを算出する。具体的には、画像処理部２４０は、オブジェクト位置情報１１０（ここでは、オブジェクトの重心の三次元座標）が投影された画素が、１フレームで何画素（ｐｘ）移動するかを算出する。三次元座標（Ｘ，Ｙ，Ｚ）から画像座標ｕ（ｔ）＝（ｕ，ｖ）への座標系変換は、以下の式（１）による一般的な透視投影の射影変換を用いて行われる。

ここで、記号「〜」は、その両辺が定数倍の違いを許して等しいことを示す。また、Ａ（３×３行列）は、仮想カメラの焦点距離と解像度によって決まる内部パラメータ行列であり、Ｒ（３×３行列）は、仮想カメラの向きｒ（ｔ）からロドリゲスの回転公式によって得られる回転行列である。Ｔ（３×１行列）は、仮想カメラの位置Ｔ（ｔ）から得られる並進ベクトルを表す行列である。

このように、画像処理部２４０は、時刻ｔにおける画像座標ｕ（ｔ）を算出する。同様に、画像処理部２４０は、時刻ｔ−１における画像座標ｕ（ｔ−１）を算出する。画像座標ｕ（ｔ−１）は、時刻ｔ−１における仮想カメラ移動情報１４０を使用して算出することができる。なお、時刻ｔ−１における仮想カメラ移動情報１４０は、時刻ｔにおける仮想カメラの速度Ｖ（ｔ）を使用して、時刻ｔにおける仮想カメラ移動情報１４０から算出するようにしてもよい。図５は、時刻ｔにおける仮想カメラ１３００に、オブジェクト１１００、１２１０、１２２０を投影した仮想画像を示す。仮想画像５０１は、オブジェクト１１００、１２１０、１２２０のそれぞれが投影された像２１００、２２１０、２２２０を含む。また、オブジェクト１１００の重心を、時刻ｔにおける仮想カメラ１３００およびその１フレーム前の時刻ｔ−１における仮想カメラ１３１０にそれぞれ投影した点をｕ１（ｔ）、ｕ１（ｔ−１）として示す。同様に、オブジェクト１２１０の重心を投影した点をｕ２（ｔ）、ｕ２（ｔ−１）として示し、オブジェクト１２２０の重心を投影した点をｕ３（ｔ）、ｕ３（ｔ−１）として示す。この場合、オブジェクト１１００の重心の時刻ｔ−１からｔまでのオプティカルフローは、ベクトル３１１０で表される。また、ベクトル３１１０の大きさは、式（１）により算出された画像座標ｕ１（ｔ）＝（１０３２，９８０）、ｕ１（ｔ−１）＝（１０３８，９７８）より、６．３ｐｘとなる。すなわち、ベクトル３１１０の大きさは、画像座標ｕ１（ｔ）とｕ１（ｔ−１）との間の距離である。同様に、オブジェクト１２１０の重心のオプティカルフロー（すなわち、ベクトル３２１０）の大きさは、式（１）により算出された画像座標ｕ２（ｔ）＝（４００，４３０）、ｕ２（ｔ−１）＝（４４０，４３４）より、４０．２ｐｘとなる。また、オブジェクト１２２０の重心のオプティカルフロー（すなわち、ベクトル３２２０）の大きさは、式（１）により算出された画像座標ｕ３（ｔ）＝（１６８０，３５５）、ｕ３（ｔ−１）＝（１７８０，３６５）より、１００．５ｐｘとなる。このように、画像処理部２４０は、仮想カメラの動きに応じたオブジェクトの像の動きの大きさを導出する動き導出手段として機能する。

Ｓ３０４において、仮想画像取得部２３０は、仮想画像１３０を取得する。仮想画像１３０は、画像処理装置２００の外部でレンダリング処理された図５に示す仮想画像５０１とすることができる。

Ｓ３０５において、画像処理部２４０は、Ｓ３０３で算出された各オブジェクトのオプティカルフローの大きさ（すなわち、導出結果）が、所定の値、例えば、２０ｐｘより大きいかどうかを判定する。各オブジェクトのオプティカルフローの大きさが２０ｐｘ以下の場合は処理を終了する。一方、オプティカルフローの大きさが２０ｐｘより大きいオブジェクトが存在する場合は、Ｓ３０６に進む。図５の仮想画像５０１では、オブジェクト１２１０、１２２０のオプティカルフロー（すなわち、ベクトル３２１０、３２２０）の大きさがともに、２０ｐｘより大きいため、Ｓ３０６に進む。

Ｓ３０６において、画像処理部２４０は、オプティカルフローが所定の値よりも大きいと判定されたオブジェクト１２１０、１２２０の像２２１０、２２２０に対してぼかし処理を行う。ぼかし処理に用いる画像フィルタには、ガウシアンフィルタを用いることができる。ガウシアンフィルタのフィルタサイズは、オプティカルフローの大きさに係数ａ（＝０．１）を乗算して決定する。図６は、本実施形態におけるぼかし処理前後の仮想画像を示す。図６（ａ）は、ぼかし処理前の仮想画像６０１を示し、図６（ｂ）は、ぼかし処理後の仮想画像６０２を示す。図６（ｂ）では、像２２１０及び２２２０が、ぼかし処理によって不鮮明になっている。すなわち、本実施形態では、背景をぼかして、視聴者の視線を前景のオブジェクトに向かせることになる。また、オプティカルフローが大きいほどフィルタサイズが大きなガウシアンフィルタが適用されるため、像２２１０より像２２２０の方が、ぼかし量（すなわち、画質の変更の程度）が大きくなる。このように、画像処理部２４０は、オブジェクトの像の画質を変更する画質変更手段として機能する。

以上のステップを終了すると、画像処理部２４０は、仮想画像を表示装置３００に送信する。表示装置３００は、受信した仮想画像を映像として表示する。

このように、本実施形態では、仮想空間に存在するオブジェクトが投影された仮想画像において、動きの大きなオブジェクト（上述した例では、建物のオブジェクト）にぼかし処理をする。すなわち、動きの大きなオブジェクトの画質を変更することで、視聴者の視線が動きの小さなオブジェクト（上述した例では、人のオブジェクト）の像に向きやすくなる。したがって、動きの小さなオブジェクトの画質を維持したまま、映像酔いを軽減することができる。

なお、上記Ｓ３０６のぼかし処理では、オプティカルフローの大きさに応じてフィルタサイズを決定したが、オプティカルフローの大きさによらず、所定のフィルタサイズ（例えば、フィルタサイズ１０）で一括処理してもよい。また、ガウシアンフィルタではなく、オプティカルフローの方向に応じてモーションぼかしフィルタを用いてもよい。また、代替として、平均化フィルタを用いてもよい。

また、上記の実施形態では、画像処理装置２００がすでに生成された仮想画像を取得し、仮想画像内の各オブジェクトの動きに関する判定を行った結果に基づいて、仮想画像内の特定のオブジェクトに対応する部分に画像処理を行うものとした。ただしこれに限らず、画像処理装置２００が仮想カメラ情報や撮像画像などの素材データに基づいて仮想画像を生成してもよい。この場合に画像処理装置２００は、上述のように一旦仮想画像を生成してから特定の部分に画像処理を行ってもよいし、もしくは素材データに基づいて仮想画像のレンダリングを行う際に特定のオブジェクトに対応する部分の画質を制御してもよい。

（第２の実施形態）
第１の実施形態では、画質の変更処理としてぼかし処理を行ったが、本実施形態では解像度低減処理を行って、映像酔いを軽減する方法について説明する。

以下、第１の実施形態と同様の構成、処理フローについては説明を省略する。

図７は、本実施形態における画像処理の処理フローを示す。Ｓ３０１からＳ３０５の処理は、第１の実施形態における図３のフローチャートと同様である。

Ｓ７０１において、画像処理装置２００は、オプティカルフローが所定の値よりも大きいと判断された像２２１０および２２２０に対して、解像度低減処理を行う。

図８は、本実施形態における解像度低減処理を説明する図である。図８（ａ）は、解像度低減処理前の、像２２１０中の領域の画素および画素値を表す。本実施形態では、１画素に１つの画素値をもつ１チャンネルのグレースケール画像を前提として説明するが、これに限定されず、多チャンネルＲＧＢ画像などでもよい。本実施形態における解像度低減処理では、所定の解像度低減率（例えば、縦、横それぞれ５０％）になるように画素をサブサンプリングし、単純拡大することで解像度を低減する。つまり、サブサンプリングされた画素値を右、下、右下の計３ｐｘの領域にコピーする。こうしてコピーされた結果を、図８（ｂ）に示す。すなわち、図８（ｂ）は、解像度低減処理後の、像２２１０中の領域の画素および画素値を表す。

図９は、本実施形態における解像度低減処理前後の仮想画像を示す。図９（ａ）は、解像度低減処理前の仮想画像９０１を示し、図９（ｂ）は、解像度低減処理後の仮想画像９０２を示す。図９（ｂ）では、解像度低減処理により、対象像（すなわち、像２２１０、２２２０）の解像度が低くなっている。

以上説明したように、本実施形態では、画質の変更処理として、動きの大きなオブジェクト（上述した例では、建物のオブジェクト）の像に解像度低減処理をする。そうすることで、動きの小さなオブジェクト（上述した例では、人のオブジェクト）の像は比較的高い解像度のまま維持されるので、仮想画像内で際立つ。これにより、視聴者の視線が動きの小さなオブジェクトの像に向きやすくなるとともに、動きの小さなオブジェクトの画質を維持したまま、映像酔いを軽減することができる。

なお、解像度低減率は、所定の値（５０％）に限らず、オプティカルフローの大きさに応じて決定してもよい。

（第３の実施形態）
本実施形態では、画質の変更処理として明度変更処理を行って、映像酔いを軽減する方法について説明する。

以下、第１の実施形態と同様の構成、処理フローについては説明を省略する。

図１０は、本実施形態における画像処理の処理フローを示す。Ｓ３０１からＳ３０５の処理は、第１の実施形態における図３のフローチャートと同様である。

Ｓ１００１において、画像処理装置２００は、オプティカルフローが所定の値よりも大きいと判断された像２２１０および２２２０に対して、明度変更処理を行う。明度変更処理では、対象像の各画素の輝度値に、予め定められた所定の明度変更係数を乗算することで、対象像を明るくまたは暗くする。

図１１は、本実施形態における明度変更処理前後の仮想画像を示す。図１１（ａ）は、明度変更処理前の仮想画像１１０１を示す。図１１（ｂ）は、明度変更係数を１．５として、対象像が明るくなるように処理を行った仮想画像１１０２を示す。図１１（ｃ）は、明度変更係数を０．５として、対象像が暗くなるように処理を行った仮想画像１１０３を示す。図１１（ｂ）では、明度変更処理により、像２２１０、及び２２２０の明度が高くなり、明るくなっている。また、図１１（ｃ）では、像２２１０、及び２２２０の明度が低くなり、暗くなっている。

以上説明したように、本実施形態では、画質の変更処理として、動きの大きなオブジェクト（上述した例では、建物のオブジェクト）の像に明度変更処理をする。そうすることで、動きの小さなオブジェクト（上述した例では、人のオブジェクト）の像は、明度が適切な状態で維持されるので、仮想画像内で際立つ。これにより、視聴者の視線が動きの小さなオブジェクトに向きやすくなるとともに、動きの小さなオブジェクトの画質を維持したまま、映像酔いを軽減することができる。

なお、上記処理では明度を変更したが、彩度やコントラストを変更してもよい。すなわち、本実施形態では、明度や彩度、またはコントラストを含む、対象像の色調を変更してもよい。また、明度変更係数には所定の値を用いたが、オプティカルフローの大きさに応じて決定してもよい。

（第４の実施形態）
第１の実施形態では、仮想カメラが、人のオブジェクト１１００を中心として移動する例について説明したが、本実施形態では、仮想カメラが第１の実施形態とは異なる動きをする例について説明する。

以下、第１の実施形態と同様の構成、処理フローについては説明を省略する。

図１２は、本実施形態における仮想空間内のオブジェクトおよび仮想カメラの位置を示す。時刻ｔにおける仮想カメラ１３５０、及びその１フレーム前の時刻ｔ−１における仮想カメラ１３６０が、軌跡１４１０上に示されている。図示した例では、仮想カメラは、オブジェクト１２１０、１２２０の近傍にある回転中心１２０１を中心として回転し、往復するように、回転中心１２０１を向いて移動する。そのため、映像は、仮想画像上をオブジェクト１１００が左右に往復するものとなる。

この場合、図３のＳ３０３において算出されるオプティカルフローの大きさは、オブジェクト１１００のオプティカルフローの大きさが５０．３ｐｘとなる。また、オブジェクト１２１０、１２２０のオプティカルフローの大きさがそれぞれ１９．５ｐｘ、１５．７ｐｘとなる。したがって、オプティカルフローの大きさが２０ｐｘより大きいオブジェクト１１００の像に対してＳ３０６のぼかし処理が行われる。

Ｓ３０６において、画像処理部２４０は、オブジェクト１１００のオプティカルフローの大きさに所定の係数ａ（＝０．１）を乗算して決定したフィルタサイズ５でぼかし処理を行う。

図１３は、本実施形態におけるぼかし処理前後の仮想画像を示す。図１３（ａ）は、ぼかし処理前の仮想画像１３０１を示し、図１３（ｂ）は、ぼかし処理後の仮想画像１３０２を示す。図１３（ｂ）では、像２１００が、ぼかし処理によって不鮮明になっている。すなわち、本実施形態では、前景のオブジェクトをぼかして、視聴者の視線を背景に向かせることになる。

以上説明したように、本実施形態では、仮想カメラの動きによって異なるオブジェクトの像にぼかし処理をする。そうすることで、視聴者の視線が動きの小さなオブジェクトの像に向きやすくなるとともに、動きの小さなオブジェクトの画質を維持したまま、映像酔いを軽減することができる。なお、上述した実施形態ではそれぞれ、ぼかし処理、解像度低減処理、及び明度変更処理（すなわち、色調変更処理）について説明したが、それらを組み合わせて実施してもよい。

また、上述の実施形態では、仮想画像における各オブジェクトの動きの大きさに基づいて特定されたオブジェクトの画質を制御するものとした。ただし、画質の変更の対象の決定方法はこれに限定されない。例えば画像処理装置２００は、移動する仮想カメラに応じた仮想画像を生成する場合に、ユーザ操作などに応じて予め指定されたオブジェクト以外の領域のボケ量が大きくなるように画像処理を行ってもよい。また例えば、画像処理装置２００は、所定の種別のオブジェクト（例えば人物など）以外の領域のボケ量が大きくなるように画像処理を行ってもよい。また例えば、画像処理装置２００は、仮想カメラからの距離が所定値未満であるオブジェクト以外の領域のボケ量が大きくなるように画像処理を行ってもよい。

また、画像処理装置２００が撮像画像に基づく仮想画像を生成する場合に、撮像画像に基づいて撮影対象領域内の所定のオブジェクトが特定され、仮想画像におけるその所定のオブジェクト以外の領域のボケ量が大きくなるように画像処理が行われてもよい。撮像画像に基づいて特定されるオブジェクトは、例えば移動するオブジェクトや、特定の期間にのみ撮影対象領域に存在するオブジェクトであってもよい。

なお、仮想画像内においてボケ量などの画質の変更対象となる領域は、上記のような方法で特定されたオブジェクト以外の領域全体であってもよいし、特定されたオブジェクトの周囲の所定範囲の領域については画質変更が行われなくてもよい。また、仮想画像に含まれるオブジェクトのうち、上記のような方法で特定されたオブジェクト以外のオブジェクトの領域が画質の変更対象となってもよい。すなわち、オブジェクトが存在しない領域については画質変更が行われなくてもよい。また、画像処理装置２００は、上述したぼかし処理や解像度低下処理、及び明度変更処理などの程度を、仮想カメラの移動速度や仮想カメラの画角などに基づいて決定してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ オブジェクト位置情報
１３０ 仮想画像
１４０ 仮想カメラ移動情報
２００ 画像処理装置
２１０ 仮想カメラ移動情報取得部
２２０ オブジェクト位置情報取得部
２３０ 仮想画像取得部
２４０ 画像処理部
３００ 表示装置

Claims (20)

1. 仮想空間に設定された仮想カメラの視点に応じた仮想画像を出力する画像処理装置であって、
   前記仮想空間に位置する１または複数のオブジェクトのうち１以上のオブジェクトを特定する特定手段と、
   前記特定手段により特定された前記１以上のオブジェクト以外の領域の少なくとも一部の画質が前記仮想カメラの動きに応じて変更された仮想画像を出力する出力手段と
   を有することを特徴とする画像処理装置。
2. 前記仮想カメラの移動情報を取得する第１の取得手段と、
   前記仮想空間における前記１または複数のオブジェクトの位置情報を取得する第２の取得手段とを更に備え、
   前記特定手段は、前記移動情報及び前記位置情報に基づいて、前記１以上のオブジェクトを特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記移動情報は、前記仮想カメラの位置、向き、および速度を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記位置情報は、前記オブジェクトが位置する前記仮想空間の三次元座標で表されることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記１または複数のオブジェクトを含む仮想画像を取得する第３の取得手段を更に備え、
   前記出力手段は、前記第３の取得手段により取得された仮想画像に対して画像処理を行うことで前記少なくとも一部の画質が変更された仮想画像を出力することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記出力手段は、ぼかし処理を行うことで前記少なくとも一部の画質が変更された仮想画像を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記ぼかし処理は、ガウシアンフィルタ、平均化フィルタ、または、前記動きの方向に応じたモーションぼかしフィルタを用いて行われることを特徴とする請求項６に記載の画像処理装置。
8. 前記出力手段は、解像度を低減する処理を行うことで前記少なくとも一部の画質が変更された仮想画像を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
9. 前記出力手段は、色調を変更する処理を行うことで前記少なくとも一部の画質が変更された仮想画像を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
10. 前記色調は、明度、彩度、またはコントラストを含むことを特徴とする請求項９に記載の画像処理装置。
11. 前記出力手段は、明度を高くする、または低くする処理を行うことで前記少なくとも一部の画質が変更された仮想画像を出力することを特徴とする請求項９に記載の画像処理装置。
12. 前記出力手段は、仮想画像における動きの大きさが第１オブジェクトよりも大きい第２オブジェクトの領域の画質の変更の程度が、前記第１オブジェクトの領域の画質の変更の程度よりも大きい仮想画像を出力することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記１または複数のオブジェクトのそれぞれの重心の位置、代表点、または当該オブジェクトを構成する複数の要素の三次元座標の集合を用いて、前記１または複数のオブジェクトのそれぞれの像の動きの大きさを導出する動き導出手段を有し、
    前記特定手段は、前記動き導出手段による導出結果に基づいて前記１以上のオブジェクトを特定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記１または複数のオブジェクトの像のオプティカルフローの大きさを導出する動き導出手段を有し、
    前記特定手段は、前記動き導出手段による導出結果に基づいて前記１以上のオブジェクトを特定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
16. 仮想空間に設定された仮想カメラの視点に応じた仮想画像を出力する画像処理方法であって、
    前記仮想空間に位置する１または複数のオブジェクトのうち１以上のオブジェクトを特定する特定工程と、
    前記特定工程により特定された前記１以上のオブジェクト以外の領域の少なくとも一部の画質が前記仮想カメラの動きに応じて変更された仮想画像を出力する出力工程と
    を含むことを特徴とする画像処理方法。
17. 仮想空間を移動する仮想カメラに１または複数のオブジェクトが投影された画像を表示する画像表示装置であって、
    前記１または複数のオブジェクトの像のうち、前記仮想カメラの移動に伴う動きの大きさが所定の値より大きいオブジェクトの像が、その他のオブジェクトの像とは異なる画質で表示されることを特徴とする画像表示装置。
18. 前記仮想カメラの移動に伴う動きの大きさが所定の値より大きいオブジェクトの像は、ボケ量、解像度、及び色調の少なくとも何れかがその他のオブジェクトの像とは異なることを特徴とする請求項１７に記載の画像表示装置。
19. 前記色調は、明度、彩度、またはコントラストを含むことを特徴とする請求項１８に記載の画像表示装置。
20. 前記仮想カメラの移動に伴う動きの大きさが所定の値より大きいオブジェクトの像は、前記動きの大きさが大きいほど、前記画質の変更の程度が大きいことを特徴とする請求項１７乃至１９のいずれか１項に記載の画像表示装置。