JP2023028300A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】現実世界に仮想物体を重畳した複合世界を体験する際に、現実世界における危機察知の機会損失を防止しつつ、複合世界での視覚効果を損なわないようにする。【解決手段】使用者が前方に歩行している際には、危険回避のために使用者の視線を上方に上げる目的で、仮想物体を画面上部へ再配置し、階段を下りるなど使用者が前方かつ下降移動している際には、危険回避のために使用者の視線を下方に下げる目的で、仮想物体を画面下部へ再配置する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、拡張現実（ＡＲ）や複合現実（ＭＲ）に代表されるような、現実世界と仮想物体とを併せ持った環境で複合世界を提供する技術が発展している。例えば、使用者の頭部にヘッドマウントディスプレイ（ＨＭＤ）を装着することによって、眼前の現実世界のビデオ画像に仮想物体を重畳した複合世界を使用者に提供することができる。さらに、各種センサにより使用者の動作をとらえ、複合世界内での動作と同期させることもでき、これまでにない体験を使用者に提供することができる。

使用者が複合世界をあたかも現実世界のように自由に動き回ることで没入感が向上する一方で、現実世界に対する注意がおろそかになる可能性があり、危険な場合には仮想物体への注目度を低下させることが肝要である。状況に応じて仮想物体への注目度を低下させる技術として、特許文献１には、使用者の停止中および移動中を推測し、移動中に重畳画像の透明度を変更する技術が開示されている。

特開２０１５－２２８０９５号公報

前述したように、仮想物体に熱中してしまい、現実世界の危険を察知できずに事故を起こしてしまう場合がある。例えば、うつむいた姿勢で画面に表示される仮想物体に視線を向けているために、正面から来た車の存在に気が付かないことがある。特許文献１に記載の技術では、仮想物体の透明度を上げても仮想物体を注視してしまう可能性があり、危機察知の機会を喪失してしまう場合がある。

本発明は前述の問題点に鑑み、現実世界に仮想物体を重畳した複合世界を体験する際に、現実世界における危機察知の機会損失を防止しつつ、複合世界での視覚効果を損なわないようにすることを目的としている。

本発明に係る画像処理装置は、現実世界の画像に仮想物体を重畳して複合世界の画像を生成する画像処理装置であって、前記画像処理装置の使用者の動作状況に係る情報を取得する取得手段と、前記取得手段によって取得された動作状況に基づいて、前記現実世界の画像における前記仮想物体を配置する位置を決定する決定手段と、前記決定手段によって決定された位置に前記仮想物体を配置した画像を生成する画像処理手段と、を備え、前記決定手段は、前記仮想物体を配置する位置を前記使用者が移動する方向に応じた位置に決定することを特徴とする。

本発明によれば、現実世界に仮想物体を重畳した複合世界を体験する際に、現実世界における危機察知の機会損失を防止しつつ、複合世界での視覚効果を損なわないようにすることができる。

第１の実施形態における仮想物体が重畳された画像の例を示す図である。 画像処理装置のハードウェア構成例を示すブロック図である。 画像処理装置の機能構成例を示すブロック図である。 動作状況データの一例を示す図である。 第１の実施形態における再配置データの例を示す図である。 情報入力部が行う処理手順の一例を示すフローチャートである。 再配置データを更新する処理手順の一例を示すフローチャートである。 再配置座標を更新する詳細な処理手順の一例を示すフローチャートである。 画像処理部が行う処理手順の一例を示すフローチャートである。 第２の実施形態における仮想物体が重畳された画像の例を示す図である。 第２の実施形態における再配置データの例を示す図である。 第２の実施形態において、仮想物体の再配置座標を算出する処理手順の一例を示すフローチャートである。

（第１の実施形態）
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態における画像処理装置が表示する画像の例を示す図である。図１において、画像１０１は使用者が停止している際の画像例である。画像１０１内には、仮想物体１０３、仮想物体１０４、仮想物体１０５がそれぞれ複合世界を提供するためにアプリケーションが要求する座標に重畳されている。一方で画像１０２は、ＨＭＤ装置装着者（使用者）が前方に歩行している際の画像例である。使用者が歩行を開始すると、仮想物体１０３、仮想物体１０４、仮想物体１０５はそれぞれ所定の座標に再配置される。

その際、複数の描画フレームに亘って再配置が行われ、画像１０１で示される座標から使用者が前方に歩行している際の画像１０２で示す座標へ仮想物体が徐々に移動するように視覚効果を伴って表示される。本実施形態では前方に歩行している際に、危険回避のために使用者の視線を上方に上げる目的で、仮想物体を画面上部へ再配置する。

本実施形態では、仮想物体が再配置のために移動を開始するとともに、仮想物体の大きさ、仮想物体間の重なり具合に対する表示方法、ポリゴンモデル、テクスチャの影やライティングの描画方法が変更される。本実施形態の説明では、図１以降を含めて次のように各仮想物体の描画方法を変更する。仮想物体の大きさは、仮想物体１０３は表示されていた時の半分の大きさになり、仮想物体１０４は仮想物体１０４の持つ本来の大きさ（２倍）になる例を示す。仮想物体の重なり具合に対する表示方法は、手前から仮想物体１０５、仮想物体１０４、仮想物体１０３の順になる例を示す。ポリゴンモデルは、仮想物体１０３は低品質、仮想物体１０４は高品質、仮想物体１０５は変更しない例を示す。テクスチャの影およびライティングの描画方法は、仮想物体１０３、仮想物体１０４は省略し、仮想物体１０５には施す例を示す。

また、画像１０６は使用者が階段を下りている際の画像例である。本実施形態では階段を下りるなど使用者が前方かつ下降移動している際に、危険回避のために使用者の視線を下方に下げる目的で、仮想物体を画面下部へ再配置する。仮想物体の大きさの変更や、重なり具合に対する表示方法は使用者が前方に歩行している際の画像１０２と同様である。本実施形態では、使用者の状況が停止中、前方に歩行している際、および階段を下りている際で画像に表示されるフレームレートが変更される。停止中に高品質、その他の動作状況では低品質にする。例えば、停止中は１２０ｆｐｓ（frame per second）、その他の動作状況では３０ｆｐｓになる。

上記設定は本実施形態での一例であり、この設定とは異なった設定／初期値が付与されていてもよい。図１に示した例のような、仮想物体を再配置座標する座標はその限りではなく、図１と異なってもよい。また、使用者が前方に歩行している際の画像１０２を示したが、仮想物体を再配置する使用者の行動はその他の行動をきっかけにしてもよい。例えば、画面前方、後方、左方、右方、上昇、下降、といった方向への移動の種類に応じて、再配置する座標を変化させることが可能である。

図２は、図１の画像を出力する画像処理装置２００のハードウェア構成例を示すブロック図である。ＣＰＵ２０１はプロセッサ、ＲＯＭ２０２はリードオンリメモリ、ＲＡＭ２０３はランダムアクセスメモリ、Ｉ／Ｆ２０４は外部インタフェースを示している。
本実施形態の画像処理装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、Ｉ／Ｆ２０４を有し、それぞれはバス２０５で接続されている。画像処理装置２００の動作はＣＰＵ２０１の制御により行われ、ＲＯＭ２０２やＲＡＭ２０３にロードしたプログラムによって後述するフローチャートの処理が実現される。ＲＡＭ２０３はさらに、ＣＰＵ２０１にて行う処理の一時的なデータを格納するワークメモリとしても利用され、表示する画像データを一時的に保持する画像バッファとしても機能する。Ｉ／Ｆ２０４は外部との通信するインタフェースであり、現実世界の画像データの入力や、使用者の状況を判断するためのデータが入力され、表示する画像データを出力する。

図２にはＣＰＵを１つのみ図示したが、複数のプロセッサで画像処理装置を実現してもよい。また、グラフィックプロセッシングユニット（ＧＰＵ）のような補足的な構成が含まれていてもよい。さらには、一時的なワークメモリを保持する構成としてＲＡＭ２０３のみを示したが、同一あるいは異なる媒体で二次、三次の記憶領域を設けてもよい。その他の媒体としては、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などが考えられる。バス２０５の構成についてもこの限りではなく、多段にして構成要素を接続してもよい。本実施形態を実現するうえで、図２の構成をＨＭＤに具備する。ただし、その限りではなく、図２の構成要素である一部または全部を、ＨＭＤとは別途、有線あるいは無線で接続された装置を設けてもよい。

図３は、画像処理装置２００の機能構成例を示すブロック図である。
図３において、情報入力部３０１は、Ｉ／Ｆ２０４から入力された使用者の動作状況を判断するための状況データを受信し、動作状況データ３０２を更新する。ここで状況データとは、ＨＭＤに備えられた各種センサ等から得られるデータであり、使用者の現在位置、移動速度、向きなどの情報を含んでいる。再配置判断部３０３は、動作状況データ３０２を用いて仮想物体を再配置すべきか否かを判断し、さらに再配置すべきと判断した場合に、再配置のための情報を再配置データ３０５として保持する。画像処理部３０４は、その再配置データ３０５を用いて毎フレームの画像を作成し、表示部３０６に出力する。毎フレームの画像を生成する際に、画像処理部３０４は、ＨＭＤに装着されたカメラからＩ／Ｆ２０４を介して現実世界の画像データを取得し、再配置データ３０５に基づいた仮想物体を重畳する。これにより、図１に示した画像例を使用者が視覚できるようにする。

図４は、動作状況データ３０２の一例を示す図である。本実施形態では、前述したように、情報入力部３０１がＩ／Ｆ２０４を介して使用者の状況データを受け取り、状況データに基づいて動作状況データ３０２を更新し、保持する。図４に示すように、動作状況データ３０２は、使用者の動作状況、速度、進行方向および頭部角度の情報が含まれる。

「動作状況」は、停止中、歩行中、下降中のいずれかの情報を示すものである。なお、画面前方、後方、左方、右方、上昇、下降、といった情報の一部あるいは全部を用いるようにしてもよい。あるいは、下降中については後述の「進行方向」から情報を得るようにして、動作状況には何も情報を保持しないようにしてもよい。「速度」は、使用者の移動の速度を示すものである。「進行方向」は、使用者の進行方向のベクトルを示すものである。「頭部角度」は、使用者の頭部の方向のベクトルを示すものである。また、図４に示した例では、動作状況データ３０２に「速度」の情報を保持するようにしたが、別の情報形態で保持してもよい。例えば、加速度を項目として保持するようにしてもよいし、あるいは進行方向のベクトルに長さの概念を付加して、時間当たりの移動量などの情報を保持してもよい。

図５は、再配置データ３０５の例を示す図である。再配置判断部３０３は、仮想物体１０３、仮想物体１０４、仮想物体１０５のそれぞれについて再配置データ３０５を保持している。

図５において、「再配置前座標」は複合世界を提供する上でアプリケーションが出力を要求する座標を示している。例えば図１における使用者が停止している際の画像１０１における仮想物体１０３、仮想物体１０４、仮想物体１０５の座標を示す。

「再配置時サイズ」は、再配置時の仮想物体の大きさを示している。例えば図１における仮想物体１０３の場合、０．５倍と規定される。なお、サイズ変更する際に縦横の比率が異なるように規定してもよい。
「再配置時ポリゴンモデル」は、再配置時に描画する仮想物体のポリゴンモデルの情報を示している。本実施形態では、低品質、高品質の２種類を各仮想物体にあらかじめ用意しておき、再配置時前から変更するか否か、変更する場合にいずれのポリゴンモデルを表示するかが定義される。なお、この欄にポリゴンモデルを追加して、その値を含めるように定義してもよい。

「再配置時影」は、再配置時に描画する仮想物体のテクスチャに施す影情報を示している。本実施形態では、影情報を用いてテクスチャの描画を行うか否かを、あり・なしの表現で定義している。
「再配置時ライティング」は、再配置時に描画する仮想物体のテクスチャに施すライティング情報を示している。本実施形態では、ライティング情報を用いてテクスチャの描画を行うか否かを、あり・なしの表現で定義している。
なお、再配置時影および再配置時ライティングは、テクスチャに施す画像処理技法をそれぞれ定義するようにしてもよい。

「重畳優先度」は、再配置後の仮想物体の重なり具合に対する表示方法の情報を示している。本実施形態では、最高、高、低の３段階で表現し、高くなるほど手前に存在するように表示する。また、重畳優先度として整数を用いたり、優先度を変えたりしてもよい。
「歩行時配置座標」は、前方に歩行している際の再配置座標を示しており、例えば図１における使用者が前方に歩行している際の画像１０２で示した座標で定義される。
「下降時配置座標」は、階段を下りる際の再配置座標を示しており、例えば図１における使用者が階段を下りている際の画像１０６で示した座標で定義される。

「再配置座標」は、現在の使用者の動作状況に応じた再配置座標を示しており、再配置前座標か歩行時配置座標、または下降時配置座標のいずれかが保持される。
「現在の座標」は、再配置中における当該フレームにおける表示座標を示している。
「フレームレート」は、動作状況毎のフレームレートの品質を示しており、高品質、低品質のいずれかで定義される。なお、フレームレートはそれぞれの動作状況に対して具体的な値（ｆｐｓ）で定義してもよい。

本実施形態で示した再配置時サイズ、再配置時ポリゴンモデル、再配置時影、再配置時ライティング、重畳優先度、フレームレートに示す値の種類はこの限りではない。本実施形態で示した歩行時配置座標として、歩行時における速度の閾値によって１つまたは複数の座標情報を保持してもよい。例えば、歩行、走行、という形で分割してもよいし、例えば２ｍ／ｓごとに違う座標に再配置するようにもしてもよい。

図６は、情報入力部３０１が行う処理手順の一例を示すフローチャートである。使用者がＨＭＤを装着して複合世界の体験を開始した際に図６の処理を開始するが、ＨＭＤの画面表示を開始するタイミングで図６の処理を開始してもよい。
ステップＳ６０１において、情報入力部３０１は、複合世界の体験を継続するか否かを判断する。この判断の結果、複合世界の体験を継続する場合はステップＳ６０２へ進み、継続しない場合は処理を終了する。
ステップＳ６０２において、情報入力部３０１は、Ｉ／Ｆ２０４を介して得られる使用者の状況データを解釈し、動作状況データ３０２の動作状況、速度、進行方向、および頭部角度のデータを更新する。

本実施形態では、常に使用者の状況データを取得して動作状況データ３０２を更新する方法を開示したが、更新するタイミングは特に限定されない。例えば、フレーム毎に更新してもよく、Ｉ／Ｆ２０４を介して得られる使用者の状況データが変化した場合に更新を行うようにしてもよい。

図７は、再配置判断部３０３により再配置データ３０５を更新する処理手順の一例を示すフローチャートである。この処理は、使用者がＨＭＤを装着して複合世界の体験を開始した際、もしくはＨＭＤの画面表示を開始するタイミングで開始される。フレーム出力毎に処理を開始して、そのフレームの画像処理に利用できるようにしてもよい。
ステップＳ７０１において、再配置判断部３０３は、動作状況データ３０２の情報が更新されているか否かを判断する。この判断の結果、更新されている場合はステップＳ７０２に進み、更新されていない場合はステップＳ７０３に進む。

ステップＳ７０２において、再配置判断部３０３は、動作状況データ３０２の更新情報をもとに、再配置データ３０５の各仮想物体の再配置座標を更新する。具体的な処理は図８を用いて後述する。
ステップＳ７０３において、再配置判断部３０３は、複合世界の体験を継続するか否かを判断する。この判断の結果、複合世界の体験を継続する場合はステップＳ７０１へ戻り、継続しない場合は処理を終了する。

図８は、ステップＳ７０２で、再配置判断部３０３により再配置座標を更新する詳細な処理手順の一例を示すフローチャートである。本フローチャートは図７のステップＳ７０２で行う処理を示している。
ステップＳ８０１において、再配置判断部３０３は、動作状況データ３０２における現在の動作状況が停止中であるか否かを判断する。この判断の結果、停止である場合はステップＳ８０２へ進み、そうでない場合はステップＳ８０３へ進む。

ステップＳ８０２において、再配置判断部３０３は、再配置データ３０５の再配置座標を再配置前座標で更新し、処理を終了する。
ステップＳ８０３において、再配置判断部３０３は、動作状況データ３０２の動作状況が下降中であるか否かを判断する。この判断の結果、下降である場合はステップＳ８０４へ進み、そうでない場合はステップＳ８０５へ進む。

ステップＳ８０４において、再配置判断部３０３は、再配置データ３０５の再配置座標を下降時配置座標で更新し、処理を終了する。
ステップＳ８０５においては、動作状況データ３０２の動作状況が歩行中であることを示すことから、再配置判断部３０３は、再配置データ３０５の再配置座標を歩行時配置座標で更新し、処理を終了する。なお、本実施形態で示した動作状況の種類に応じた処理順はこの限りではなく、処理順を入れ替えてもよい。あるいは、歩行中に動作状況データ３０２の速度を参照して、速度によってさらに処理を切り替えてもよい。

図９は、画像処理部３０４が行う処理手順の一例を示すフローチャートである。この処理は現実世界の画像が入力されることによって開始される。
ステップＳ９０１において、画像処理部３０４は、再配置データ３０５の「現在の座標」が再配置座標と同一であるか否かを判断する。この判断の結果、座標が同一である場合はステップＳ９０５へ進み、そうでない場合はステップＳ９０２へ進む。

ステップＳ９０２において、画像処理部３０４は、各仮想物体の次のフレームで表示する座標を算出して、再配置データ３０５の現在の座標を更新する。新たな現在の座標は、更新前の現在の座標から目標である再配置座標へある一定の速度で移動するとした場合の座標を算出することによって算出される。

ステップＳ９０３において、画像処理部３０４は、再配置データ３０５の情報をもとに現実世界の画像に仮想物体を重畳し、表示部３０６で表示する画像データを作成して、画像バッファに保持する。ここで画像処理情報として、再配置データ３０５の再配置時ポリゴンモデルや再配置時影、再配置時ライティングの情報を参照する。また、再配置データ３０５における再配置時サイズで「変更なし」以外が規定されている場合は、更新前のサイズから目標である再配置座標でのサイズへある一定の速度で変化するとした場合の倍率を算出し、仮想物体を拡大または縮小して調整する。
ステップＳ９０４において、画像処理部３０４は、ステップＳ９０３で画像バッファに保持された画像データについて、表示部３０６において表示するのを待機し、ステップＳ９０１へ戻る。

一方、ステップＳ９０５においては、画像処理部３０４は、再配置データ３０５の情報をもとに現実世界の画像に仮想物体を重畳し、表示部３０６で表示する画像データを作成して、画像バッファに保持する。この場合、仮想物体を表示する位置は再配置座標の位置であり、再配置データ３０５に規定されたサイズ、ポリゴンモデル等に従って画像データが生成される。

ステップＳ９０６において、画像処理部３０４は、ステップＳ９０５で画像バッファに保持された画像データについて、表示部３０６において表示するのを待機する。
ステップＳ９０７において、画像処理部３０４は、次に表示させるフレームが存在するか否かを判断する。この判断の結果、次に表示させるフレームが存在する場合はステップＳ９０１に戻り、そうでない場合は処理を終了する。

以上のように本実施形態によれば、視覚効果を伴いながら仮想物体を再配置することで、現実世界における危機察知の機会損失を防止しつつ、使用者の体験を損なわない技術の提供が可能になる。

（第２の実施形態）
本実施形態では、仮想物体を再配置する際に個々の仮想物体に対して座標情報を保持するのではなく、仮想物体を再配置する画像領域の情報を保持する例について説明する。なお、本実施形態に係る画像処理装置の内部構成については図２及び図３と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。

図１０は、本実施形態において表示される画像の例を示す図である。画像１００１は使用者が停止している際の画像例である。一方で画像１００２は使用者が前方に歩行している際の画像例である。第１の実施形態と同様に、使用者が歩行を開始すると仮想物体１０３、仮想物体１０４、仮想物体１０５はそれぞれ示されている座標に再配置される。但し、本実施形態では、使用者が歩行を開始すると、画面上部１／３の領域１００３にそれぞれの仮想物体が写像される。また、画像１００４は、使用者が前方に走行している際の画像例である。本実施形態では、使用者が走行を開始すると、画面上部１／３かつ右側部１／３の領域１００５にそれぞれの仮想物体が写像される。

また、図１０に図示しないが、階段を下りるなど使用者が前方かつ下降移動している際も、歩行時と走行時とで仮想物体を再配置する画像領域を異なるようにする。具体的には、使用者が歩行スピードで下降を開始すると、画面下部１／３の領域にそれぞれの仮想物体が写像され、使用者が駆け足で下降を開始すると、画面下部１／３かつ右側部１／３の領域にそれぞれの仮想物体が写像される。

図１１は、本実施形態における再配置データ３０５の例を示す図である。本実施形態においては、図５の例と比較して歩行時および走行時の配置領域が追加され、歩行時配置座標、下降時配置座標が削除されている。「歩行時配置領域」および「下降時配置領域」には、歩行時および走行時のときに仮想物体の再配置座標を算出するための写像領域の情報が保持される。なお、ｍは左端を０とした場合の横幅の座標サイズ、ｎは上端を０とした場合の縦幅の座標サイズを表している。さらに、「再配置座標」は後述する再配置判断部３０３の処理によって算出される写像座標が保持される。

図１２は、本実施形態において、仮想物体の再配置座標を算出する処理手順の一例を示すフローチャートである。図１２に示す処理は、図８のステップＳ８０４およびＳ８０５の各処理の代わりに行われる。

ステップＳ１２０１において、再配置判断部３０３は、動作状況データ３０２の速度から写像先の画像領域を判定し、さらに再配置データ３０５から歩行時配置領域または下降時配置領域の情報を取得する。この処理では、まず動作状況データ３０２の中の「速度」から、歩行か走行かを判別し、速度が閾値以上である場合に使用者が走行していると判別する。そして、歩行時または走行時における「歩行時配置領域」または「下降時配置領域」の情報を取得する。そして、該当する配置領域の中で写像される再配置座標を算出する。なお、歩行時配置領域または下降時配置領域の中のどの位置を再配置座標とするかについては特に限定されず、該当する領域内であれば、その中で任意に再配置座標を決定してもよい。

以上のように本実施形態によれば、仮想物体を再配置する際にあらかじめ個々の仮想物体に対して座標情報を保持せずに、仮想物体を再配置する範囲に係る画像領域情報を保持する技術の提供が可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 情報入力部、３０３ 再配置判断部、３０４ 画像処理部

Claims (15)

1. 現実世界の画像に仮想物体を重畳して複合世界の画像を生成する画像処理装置であって、
   前記画像処理装置の使用者の動作状況に係る情報を取得する取得手段と、
   前記取得手段によって取得された動作状況に基づいて、前記現実世界の画像における前記仮想物体を配置する位置を決定する決定手段と、
   前記決定手段によって決定された位置に前記仮想物体を配置した画像を生成する画像処理手段と、を備え、
   前記決定手段は、前記仮想物体を配置する位置を前記使用者が移動する方向に応じた位置に決定することを特徴とする画像処理装置。
2. 前記画像処理手段は、複数のフレームに亘って目的とする位置に前記仮想物体が移動するように前記仮想物体を配置することを特徴とする請求項１に記載の画像処理装置。
3. 前記使用者の動作状況が前方への移動である場合に、前記決定手段は、前記仮想物体の目標とする位置が前記現実世界の画像の上部となるように前記仮想物体を配置する位置を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記使用者の動作状況が階段での下降移動である場合に、前記決定手段は、前記仮想物体の目標とする位置が前記現実世界の画像の下部となるように前記仮想物体を配置する位置を決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記決定手段は、さらに前記使用者の移動速度に応じて、前記仮想物体の目標とする位置の範囲を変更することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記画像処理手段は、前記使用者の動作状況に応じてフレームレートを変更することを特徴とする請求項１～５の何れか１項に記載の画像処理装置。
7. 前記画像処理手段は、複数のフレームに亘って前記仮想物体の大きさを調整することを特徴とする請求項１～６の何れか１項に記載の画像処理装置。
8. 前記画像処理手段は、前記仮想物体が複数ある場合に、予め定められた重ね合わせの優先度に基づいて前記複数の仮想物体をそれぞれ配置することを特徴とする請求項１～７の何れか１項に記載の画像処理装置。
9. 前記動作状況は、移動中か否か、速度および進行方向の情報を含むことを特徴とする請求項１～８の何れか１項に記載の画像処理装置。
10. 前記画像処理手段は、前記動作状況に応じて前記仮想物体に画像処理を施して配置することを特徴とする請求項１～９の何れか１項に記載の画像処理装置。
11. 前記画像処理は、前記仮想物体に影を付与する処理であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像処理は、前記仮想物体にライティングを付与する処理であることを特徴とする請求項１０又は１１に記載の画像処理装置。
13. 前記画像処理は、前記仮想物体を描画する品質を変更する処理であることを特徴とする請求項１０～１２の何れか１項に記載の画像処理装置。
14. 現実世界の画像に仮想物体を重畳して複合世界の画像を生成する画像処理装置が実行する画像処理方法であって、
    前記画像処理装置の使用者の動作状況に係る情報を取得する取得工程と、
    前記取得工程において取得された動作状況に基づいて、前記現実世界の画像における前記仮想物体を配置する位置を決定する決定工程と、
    前記決定工程において決定された位置に前記仮想物体を配置した画像を生成する画像処理工程と、を備え、
    前記決定工程においては、前記仮想物体を配置する位置を前記使用者が移動する方向に応じた位置に決定することを特徴とする画像処理方法。
15. 現実世界の画像に仮想物体を重畳して複合世界の画像を生成する画像処理装置を制御するためのプログラムであって、
    前記画像処理装置の使用者の動作状況に係る情報を取得する取得工程と、
    前記取得工程において取得された動作状況に基づいて、前記現実世界の画像における前記仮想物体を配置する位置を決定する決定工程と、
    前記決定工程において決定された位置に前記仮想物体を配置した画像を生成する画像処理工程と、をコンピュータに実行させ、
    前記決定工程においては、前記仮想物体を配置する位置を前記使用者が移動する方向に応じた位置に決定することを特徴とするプログラム。

Images