JP2014106681A5 - - Google Patents

Description

［２−２．機能構成］
図３は、図２に示した画像処理装置１００のメモリ１１５及びプロセッサ１１９により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１２０、モデルデータベース（ＤＢ）１３０、画像処理部１４０、オブジェクト画像生成部１５０、ユーザインタフェース部１６０及びナビゲーション部１７０を備える。

（５）ユーザインタフェース部
ユーザインタフェース部１６０は、図２に示した入力デバイス１０９及びディスプレイ１１１を介して、画像処理装置１００のユーザにユーザインタフェースを提供する。ユーザインタフェース部１６０は、例えば、通常表示モードにおいて、画像取得部１２０から入力される入力画像をそのまま出力画像としてディスプレイ１１１へ出力し、画面に表示させる。また、ユーザインタフェース部１６０は、変形表示モードにおいて、画像処理部１４０から入力される変形画像を出力画像としてディスプレイ１１１へ出力し、画面に表示させる。

図７Ｄを参照すると、変形画像Ｉｍ３２に相当する矩形の画枠の中のブランク部分Ｂ３を占めるオブジェクト画像Ｉｍ３３が示されている。オブジェクト画像Ｉｍ３３は、変形の結果としてカメラ１０１の視点への見通し線を有するようになった、建物Ｊ３２の特徴点とテクスチャとを含む。

次に、画像処理部１４０は、決定した変形基準に従い、モデルＤＢ１３０から取得される実世界モデルを用いて入力画像を変形させ、変形画像を生成する（ステップＳ１０６）。その後のステップＳ１１０及びＳ１１２の処理は、変形画像にブランク部分が存在しない場合にはスキップされる（ステップＳ１０８）。

ステップＳ１１０において、オブジェクト画像生成部１５０は、画像処理部１４０による変形の結果として変形画像に発生するブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を、実世界モデルを用いて生成する（ステップＳ１１０）。次に、画像処理部１４０は、変形画像のブランク部分に、生成されたオブジェクト画像を合成する（ステップＳ１１２）。

［３−１．機能構成］
図１３は、第２の実施形態に係る画像処理装置２００の論理的機能の構成の一例を示すブロック図である。図１３を参照すると、画像処理装置２００は、画像取得部１２０、モデルＤＢ２３０、画像処理部１４０、オブジェクト画像生成部２５０、ユーザインタフェース部１６０、ナビゲーション部１７０、シミュレーション部２８０及びデータ収集部２９０を備える。

Claims (21)

1. 実世界を映した入力画像をある基準に従って変形させることにより生成される変形画像と、前記実世界のオブジェクトであって前記入力画像において隠れている当該オブジェクトに対応するオブジェクト画像とに基づいて、出力画像を生成する処理部、
   を備える画像処理装置。
2. 前記画像処理装置は、前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記ブランク部分に位置すべき前記オブジェクトに対応する前記オブジェクト画像を、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成する生成部、をさらに備え、
   前記処理部は、前記変形画像の前記ブランク部分に、前記生成部により生成される前記オブジェクト画像を合成することにより、前記出力画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記オブジェクト画像は、前記基準に従って前記実世界が変形した場合に前記ブランク部分を占めるはずの画像である、請求項２に記載の画像処理装置。
4. 前記オブジェクト画像は、前記ブランク部分に位置すべきオブジェクトに対応するアイコン画像である、請求項２に記載の画像処理装置。
5. 前記処理部は、前記入力画像に映る道路の曲率が変化するように前記入力画像を変形し、
   前記ブランク部分は、前記道路の曲率に起因して前記入力画像に映らない部分である、
   請求項２〜４のいずれか１項に記載の画像処理装置。
6. 前記処理部は、前記入力画像に映る道路の勾配が変化するように前記入力画像を変形し、
   前記ブランク部分は、前記道路の勾配に起因して前記入力画像に映らない部分である、
   請求項２〜４のいずれか１項に記載の画像処理装置。
7. 前記処理部は、前記入力画像内で検出される特徴点を前記モデルにより定義される特徴点と照合し、照合された特徴点の位置を前記基準に従って移動させることにより、前記変形画像を生成する、請求項５又は請求項６に記載の画像処理装置。
8. 前記処理部は、前記入力画像を表示する画面を介してユーザにより指定される前記道路を、前記変形の対象として選択する、請求項５〜７のいずれか１項に記載の画像処理装置。
9. 前記画像処理装置は、ユーザにより指定される目的地までのナビゲーションを前記ユーザに提供するナビゲーション部、をさらに備え、
   前記処理部は、前記ナビゲーション部により設定される前記目的地までの経路上の前記道路を、前記変形の対象として選択する、
   請求項５〜８のいずれか１項に記載の画像処理装置。
10. 前記画像処理装置は、
    前記入力画像を画面に表示させる第１の表示モードと、前記出力画像を前記画面に表示させる第２の表示モードとを、ユーザが切り替えるためのユーザインタフェースを提供するユーザインタフェース部、
    をさらに備える、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記ユーザインタフェース部は、前記基準をユーザに指定させるためのユーザインタフェースをさらに提供する、請求項１０に記載の画像処理装置。
12. 前記画像処理装置は、前記ユーザの視線を検出する視線検出モジュールを備えるヘッドマウント型の装置であり、
    前記ユーザインタフェース部は、前記視線検出モジュールによる視線検出結果に基づいて、前記第１の表示モードと前記第２の表示モードとを切り替える、
    請求項１０に記載の画像処理装置。
13. 前記処理部は、前記入力画像において他のオブジェクトの背後に隠れている前記オブジェクトが前記出力画像に現れるように、前記オブジェクト画像を前記変形画像に合成することにより、前記出力画像を生成する、請求項１に記載の画像処理装置。
14. 前記画像処理装置は、
    複数の人間の地理的位置に関連付けられる位置関連データを収集するデータ収集部と、
    前記実世界に存在する群衆についてのシミュレーションを、収集される前記位置関連データに基づいて実行するシミュレーション部と、
    をさらに備え、
    前記オブジェクト画像には、隠れている前記オブジェクトに対応する前記実世界の領域について前記シミュレーション部によりシミュレーションされる前記群衆の画像が重畳される、
    請求項１〜１３のいずれか１項に記載の画像処理装置。
15. 前記群衆のスケール、属性及び振る舞いの少なくとも１つが、前記位置関連データに基づいて決定され、前記シミュレーションにおいて再現される、請求項１４に記載の画像処理装置。
16. 画像処理装置により実行される画像処理方法であって、
    実世界を映した入力画像をある基準に従って変形させることにより変形画像を生成することと、
    前記実世界のオブジェクトであって前記入力画像において隠れている当該オブジェクトに対応するオブジェクト画像を取得することと、
    前記変形画像と前記オブジェクト画像とに基づいて、出力画像を生成することと、
    を含む画像処理方法。
17. 画像処理装置を制御するコンピュータを、
    実世界を映した入力画像をある基準に従って変形させることにより生成される変形画像と、前記実世界のオブジェクトであって前記入力画像において隠れている当該オブジェクトに対応するオブジェクト画像とに基づいて、出力画像を生成する処理部、
    として機能させるためのプログラム。
18. 実世界を映した入力画像を取得する画像取得部と、
    ある基準に従って前記入力画像を変形させることにより生成される変形画像と前記実世界のオブジェクトであって前記入力画像において隠れている当該オブジェクトに対応するオブジェクト画像とに基づいて出力画像を生成するサーバ装置へ、前記入力画像を送信し、前記サーバ装置から受信される前記出力画像を画面に表示させる制御部と、
    を備える端末装置。
19. 前記端末装置は、
    前記入力画像を画面に表示させる第１の表示モードと、前記出力画像を前記画面に表示させる第２の表示モードとを、ユーザが切り替えるためのユーザインタフェースを提供するユーザインタフェース部、
    をさらに備える、請求項１８に記載の端末装置。
20. 端末装置により実行される画像処理方法であって、
    実世界を映した入力画像を取得することと、
    ある基準に従って前記入力画像を変形させることにより生成される変形画像と前記実世界のオブジェクトであって前記入力画像において隠れている当該オブジェクトに対応するオブジェクト画像とに基づいて出力画像を生成するサーバ装置へ、前記入力画像を送信することと、
    前記サーバ装置から前記出力画像を受信することと、
    受信された前記出力画像を画面に表示させることと、
    を含む画像処理方法。
21. 端末装置を制御するコンピュータを、
    実世界を映した入力画像を取得する画像取得部と、
    ある基準に従って前記入力画像を変形させることにより生成される変形画像と前記実世界のオブジェクトであって前記入力画像において隠れている当該オブジェクトに対応するオブジェクト画像とに基づいて出力画像を生成するサーバ装置へ、前記入力画像を送信し、前記サーバ装置から受信される前記出力画像を画面に表示させる制御部と、
    として機能させるためのプログラム。