JP2004234457A - 情報処理装置、方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】３次元モデルを持たなくても２次元画像に正しくアノテーションを合成することを目的とする。
【解決手段】経路上の視点位置に対応した２次元画像を取得し、前記経路を分割した道路セグメント情報を取得し、アノテーション情報を取得し、前記２次元画像に前記アノテーション情報を合成する際に、前記道路セグメントのうち視点位置を含む基点セグメントと繋がっており、かつ基点セグメントと一定角度以内の道路セグメントに対応した対象物のアノテーション情報を選択して合成する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像にアノテーションを合成するものに関する。
【０００２】
【従来の技術】
従来、例えば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像（２次元画像）の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、画面に表示して使用者が実世界を疑似体験するということが行なわれていた。ここでパノラマ実写画像とは、ある地点から全周方向にわたって実世界を撮影した画像のことであり、複数台のカメラの光軸を外側に向けるように配置して撮影した複数枚の画像を合成したり、双曲面ミラーや魚眼レンズを利用して撮影した歪んだ画像を幾何学的に変換して得ることができる。また、使用者が経路内で観察したい位置・方向のことを、それぞれ視点位置／視線方向と呼ぶことにする。ここで１枚１枚のパノラマ実写画像には、撮影時にカメラに取り付けたＧＰＳやジャイロセンサなどによって計測した位置／方向情報を対応付けて記録しておく。画像表示の際には、使用者が例えばジョイスティックなどのユーザインタフェースを用いて、視点位置や視線方向を指示する。ジョイスティックを用いる場合は、前後に倒すと前後方向移動、また左右にねじったり倒したりすると左右方向回転などの操作を行なうことができる。さらに、このような実世界を疑似体験するシステムでは、道路などの経路に沿ってパノラマ実写画像の撮影を行なうことで、コンピュータグラフィックス（ＣＧ）による３次元モデルをもとに画像を作成するよりも容易に、かつリアリティーに溢れた表現が可能なシステムを構築することができる。
【０００３】
一方、３次元仮想空間をウォークスルーできる３次元仮想空間表示端末で、アノテーション（注釈）の合成を行なうものがある。使用者はウォークスルーしている際に、視界にある例えば建物のアノテーションを観察することができ、その建物に関する付加的な情報を得ることができる。このような３次元仮想空間表示端末では、３次元仮想空間は例えばＶＲＭＬ（Ｖｉｒｔｕａｌ ＲｅａｌｉｔｙＭｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）と呼ばれる３次元モデルを記述する言語などで構築されている。ここで３次元仮想空間は３次元モデルで構成されているため、使用者の視点位置／視線方向から見て、ある建物（障害物）に隠れて見えない建物のアノテーションは合成しないといったことが可能となる。
【０００４】
【発明が解決しようとする課題】
パノラマ実写画像を利用して実世界の疑似体験を実現する実世界疑似体験システムでは、カメラで撮影した１枚以上のパノラマ実写画像の中から１枚を選択、そして観察したい方向を切り出して表示するので、実世界の３次元モデルを持たない。このような実世界疑似体験システムでは、システムが実世界の３次元モデルを持っていないため、ある建物（障害物）に隠れて見えない建物のアノテーションを合成しないといったことが難しくなる。
【０００５】
例えば図２（ａ）に、使用者から見たパノラマ実写画像中に、”○○株式会社”と”△△デパート”と”●●公園”のアノテーションが合成されている様子を示す。ここで、”○○株式会社”や”△△デパート”の後ろに建物が隠れていない、もしくは隠れているがアノテーション情報を持っていない場合はこのままでよい。しかし、図２（ｂ）に示すように”○○株式会社”や”△△デパート”に隠れており、かつアノテーション情報を持つ建物”□□株式会社”がある場合、システムが３次元モデルを持つ場合と異なり、”□□株式会社”のアノテーションを隠すことが難しかった。なお、各建物がアノテーション情報を持っているか持っていないかの管理は２次元的な地図上で行なえばよい。また、アノテーションの合成位置は、この地図とパノラマ実写画像を対応付けることで決定することができる。
【０００６】
本発明は以上の事情を鑑みてなされたものであり、３次元モデルを持たなくても２次元画像に正しくアノテーションを合成することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目的を達成するために、本発明は以下の構成を備えることを特徴とする。
【０００８】
本願請求項１の発明は、経路上の視点位置に対応した２次元画像を取得する２次元画像取得手段と、前記経路を分割した道路セグメント情報を取得する道路セグメント情報取得手段と、アノテーション情報を取得するアノテーション情報取得手段と、道路セグメントのうち視点位置を含む基点セグメントと繋がっており、かつ基点セグメントと一定角度以内の道路セグメントに対応した対象物のアノテーション情報を選択し、前記２次元画像に合成する合成手段とを備えることを特徴とする。
【０００９】
本願請求項１２の発明は、視点位置に対応した画像を取得し、前記視点位置に対応した道路セグメント情報を取得し、前記道路セグメント情報に基づき、あらかじめ保持されているアノテーション情報群から前記取得した画像に合成すべきアノテーションを選択し、前記選択されたアノテーションを前記画像に合成することを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【００１１】
本実施形態の情報処理装置、方法、プログラムおよび記憶媒体は、例えば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、アノテーションを合成する際に使用される。
【００１２】
図１は本実施形態の概略構成を示すブロック図である。本実施形態による情報処理装置は、画像表示端末１０−１からなる。
【００１３】
画像表示端末１０−１は、操作部１００、視点位置／視線方向計算手段１０１、画像合成制御手段１０４、パノラマ実写画像記憶部１０５、地図情報記憶部１０６、アノテーション情報記憶部１０７、画像表示部１０８からなる。
【００１４】
１００は、操作部であり、例えばジョイスティックやボタンなどから構成される。画像表示端末１０−１の使用者（以下、単に使用者と示す）は、操作部１００のジョイスティックを操作して、視点位置／視線方向計算手段１０１に対して、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい視点位置／視線方向（視点情報）を計算するためのジョイスティック操作情報を送る。また、使用者は操作部１００のボタンを操作して、画像合成制御手段１０４に対して、画像表示部１０８に表示する内容を決定する画像合成内容情報を送る。画像合成内容情報には、地図合成のＯＮ／ＯＦＦ、アノテーション合成のＯＮ／ＯＦＦなどを切り替える画像合成モードなどが含まれる。
【００１５】
ここで、操作部１００に備えられるジョイスティックやボタンは、視点位置／視線方向の操作や画像合成内容の制御を行なうことができるものであれば何でもよく、トラックボールやマウスやキーボードなどによって構成されてもよいことは言うまでもない。
【００１６】
１０１は、視点位置／視線方向計算手段であり、操作部１００からジョイスティック操作情報を受け取り、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい視点位置／視線方向情報を計算する。例えば操作部１００からジョイスティックを前後に倒したというジョイスティック操作情報が送られてきた場合、視点位置をパノラマ実写画像の撮影を行なった経路に沿って切り替え、また操作部１００からジョイスティックを左右にねじったり倒したりしたというジョイスティック操作情報が送られてきた場合、パノラマ実写画像内で見回すように視線方向を変える。視点位置／視線方向計算手段１０１は、画像合成制御手段１０４に対して視点位置／視線方向情報を送る。
【００１７】
この視点位置／視線方向情報は、図３に示すようなものとなる。すなわち、視点位置をあらかじめ定めた道路セグメントＩＤ（図４）と、道路セグメント内でのフレーム番号によってあらわし、視線方向をあらかじめ定めた基準方向（例えば撮影時の北方向を０°とする）に対する相対方向角度（０°以上３６０°未満）としている。しかし、もちろん視点位置／視線方向情報はこれらの記述に限ったものではなく、例えば視点位置を、緯度経度あるいは全パノラマ実写画像のフレーム番号を用いて表したり、視線方向を撮影時の前方向を基準方向にした相対方向角度としてあらわしてもよい。
【００１８】
１０４は、画像合成制御手段であり、視点位置／視線方向計算手段１０１から送られてくる視点位置／視線方向情報（図３）を受け取る。また画像合成制御手段１０４は、画像表示部１０８に表示する内容を示す画像合成内容情報を、操作部１００から受け取る。
【００１９】
さらに、画像合成制御手段１０４は、それらの視点位置／視線方向情報や画像合成内容情報をもとに、パノラマ実写画像記憶部１０５、地図情報記憶部１０６、アノテーション情報記憶部１０７に対して、それぞれパノラマ実写画像、地図情報、アノテーション情報を要求して受け取る。そして画像合成制御手段１０４は、受け取った視点位置／視線方向情報、画像合成内容情報、パノラマ実写画像、地図情報、アノテーション情報をもとに画像表示部１０８に表示する画像を合成し、画像表示部１０８に対して表示画像を送る。また、画像合成制御手段１０４は、操作部１００から送られてくる画像合成内容情報をもとに画像合成モードを管理もしくは変更する。画像合成モードには、例えば地図合成のＯＮ／ＯＦＦ、アノテーション合成のＯＮ／ＯＦＦなどが含まれる。図６（ａ）では、地図合成ＯＮ、アノテーション合成ＯＮであるときの様子が示されている。
【００２０】
１０５は、パノラマ実写画像記憶部であり、ハードディスクなどから構成される。パノラマ実写画像記憶部１０５は、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像を記憶している。パノラマ実写画像は、複数台のカメラの光軸を外側に向けるように配置して撮影した複数枚の画像を合成したり、双曲面ミラーや魚眼レンズを利用して撮影して歪んだ画像を幾何的に変換して得ることができるが、これらの技術は公知であるためここでは詳しく述べない。また１枚１枚のパノラマ実写画像には、撮影時にカメラに取り付けたＧＰＳやジャイロセンサなどによって計測した位置／方向情報を対応付けて記録しておく。パノラマ実写画像記憶部１０５は、画像合成制御手段１０４から要求されたパノラマ実写画像を画像合成制御手段１０４に送る。パノラマ実写画像記憶部１０５は、画像合成制御手段１０４から送られてくる視点位置／視線方向情報に対応したパノラマ実写画像を画像合成制御手段１０４に送る。ここで送るパノラマ実写画像は３６０°全方向のものでもよいが、あらかじめ決められた角度毎に分割しておいてもよい。この場合、視線方向情報に対応した部分のみを送るようにすることで送信するデータ量を削減することができ、送信時の負担を減らすことができる。
【００２１】
ここで、パノラマ実写画像記憶部１０５はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２２】
１０６は、地図情報記憶部であり、ハードディスクなどから構成される。地図情報記憶部１０６は、実世界を疑似体験する経路を含む領域を上から見た２次元の地図画像や、地図経路を構成する道路セグメント情報や、建物情報を記憶している。この地図画像にはあらかじめパノラマ実写画像を撮影した道路などの経路に色付けしておいてもよい。この場合、地図画像を表示する際に使用者が移動できる経路を見分け易くなる。ここで道路セグメント（＝部分経路）とは、図４（ａ）に示すような交差点などで分割された経路の一部で直線とみなせる部分のことを指す。道路セグメントは、図４（ａ）に示すようにそれぞれ道路セグメントＩＤ（＃１〜＃８）がつけられており、各道路セグメントは撮影時の北方向を０°とした角度（０°以上１８０°未満）が対応付けられている（図４（ｂ））。
なお、図４の地図では紙面に向かって上を撮影時の北方向とする。道路セグメントの分割、道路セグメントＩＤの割り振り、角度の対応付けは本実施形態の利用に先立ちＧＵＩなどにより手動で行なっても、自動で行なっても、その組み合わせによって行なってもよい。
【００２３】
また、建物情報とは２次元地図画像中に存在する一つ一つの建物に付けられた建物ＩＤと、各建物に対応する道路セグメントＩＤと、各建物の位置を対応付けておくものである。例えば図１０（ａ）に示すように地図画像中に建物が配置されているとする。Ｆ０１〜Ｆ０９は一つ一つの建物に付けられた建物ＩＤであり、各建物ＩＤには図１０（ｂ）に示すように対応道路セグメントＩＤ（通常は各建物が隣接する道路セグメントのＩＤ）および建物位置が対応付けられている。
ここで、図１０（ｂ）の建物位置には緯度経度を用いているが、これに限る必要は全くない。２次元地図上の建物位置、建物ＩＤ、対応道路セグメントＩＤは、本実施形態の利用に先立ちＧＵＩなどにより手動で行なっても、自動で行なっても、その組み合わせによって行なってもよい。また、各建物と対応している対応道路セグメントＩＤの決め方によってはアノテーションの見え方が大きく変わるので、実際にパノラマ実写画像とアノテーション表示を見ながら修正を行なっても良いことは言うまでもない。また、建物ＩＤは２次元地図画像中に存在する全ての建物について付けてもよいが、主だった建物のみなど一部の建物だけに付けてもよい。
【００２４】
地図情報記憶部１０６は、画像合成制御手段１０４から要求された地図画像や道路セグメント情報や建物情報といった地図情報を画像合成制御手段１０４に送る。地図画像を送る際、記憶している地図画像全体を送ってもよいが、地図画像データが大きい場合には、画像合成制御手段１０４から視点位置／視線方向情報を送ってもらい、複数の区分に分割した地図画像から必要な部分のみを送るようにしてもよい。必要な部分のみを送るようにすることで、送信するデータ量を削減することができるため、送信時の負担を減らすことができる。また、視線方向が地図上で上方向になるように画像を回転してから送ってもよい。
【００２５】
ここで、地図情報記憶部１０６はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２６】
１０７は、アノテーション情報記憶部であり、ハードディスクなどから構成される。アノテーション情報記憶部１０７は、パノラマ実写画像に合成するアノテーションに関する情報を記憶している。アノテーション情報とは、例えば図１１のテーブルに示すような、２次元地図上の各建物ＩＤと対応つけられた各建物に関する情報のことである。アノテーション情報記憶部１０７は、画像合成制御手段１０４から要求されたアノテーション情報を画像合成制御手段１０４に送る。
ここで、アノテーション情報記憶部１０７はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２７】
また、アノテーション情報記憶部１０７から画像合成制御手段１０４にアノテーション情報が送られた後、画像合成制御手段１０４は画像表示部１０８に表示する表示画像を合成するが、その際に使用者の視点位置に応じて、アノテーションのサイズを（近い場合は大きく、遠い場合は小さく）変更したり、アノテーションの濃度を（近い場合は濃く、遠い場合は薄く）変更したり、アノテーションの色を（近い場合は鮮やかに、遠い場合は地味に）変更してもよい。
【００２８】
１０８は、画像表示部であり、プロジェクタおよびスクリーンなどから構成される。画像表示部１０８は、画像合成制御手段１０４から送られた表示画像を表示する。画像表示部１０８は、画像を表示できればなんでもよく、パソコンのＣＲＴ、液晶ディスプレイやテレビモニタなどから構成されてもよいことはいうまでもない。
【００２９】
以上のような構成を備えた画像表示端末１０−１は、パソコンやディスプレイやジョイスティックやキーボードやマウスなどから構成される。
【００３０】
以上のような構成を備えた本実施形態の制御方法について、以下説明する。図５は本実施形態における処理手順を説明するフローチャートである。
【００３１】
本フローチャートに先立ち、パノラマ実写画像記憶部１０５に記憶するパノラマ実写画像を作成しなければならないが、そのステップは既知の技術を用いることとしてここでは説明を省く。
【００３２】
ステップＳ５０１では、システムの初期化を行なう。システムの初期化とはシステムを構成する各機器の電源を入れたり、プログラムを起動したりといった、本実施形態の制御方法を進めるにあたり最初に行なうステップである。システム初期化の時点では、あらかじめ視点位置／視線方向情報が設定されており、対応する画像が画像表示部１０８に表示されているものとする。システムの初期化処理が終わり次第ステップＳ５０２へ進む。
【００３３】
ステップＳ５０２では、画像表示部１０８に表示する画像の画像合成モードを管理もしくは変更するような操作部１００へのボタン入力があったかどうかを判別する。ボタンの入力があった場合は、ステップＳ５０３へ進む。また、ボタンの入力がなかった場合は、ステップＳ５０４へ進む。
【００３４】
ステップＳ５０３では、操作部１００のボタンの入力と合わせて、操作部１００から画像合成制御手段１０４へ画像合成内容情報が送られる。ステップＳ５０３では、画像合成制御手段１０４に送られてきた画像合成内容情報に合わせて、画像表示部１０８に表示する画像の画像合成モードを管理もしくは変更する。画像合成モードには、例えば地図合成のＯＮ／ＯＦＦ、アノテーション合成のＯＮ／ＯＦＦなどが含まれる。画像合成モードを変更するとは、地図合成、アノテーション合成ＯＮ／ＯＦＦを切り替えることである。地図合成のＯＮ／ＯＦＦとは、実世界を疑似体験する経路を含む領域を上から見た２次元の地図画像を、パノラマ実写画像に合成するかどうかということである。（なお、図６（ａ）では地図合成がＯＮ状態である。）アノテーション合成のＯＮ／ＯＦＦとは、パノラマ実写画像にアノテーションを合成するかどうかということである。（なお、図６（ａ）はアノテーション合成がＯＮの状態である。）またアノテーション合成ＯＮの場合には、図６（ｂ）に示すように、図６（ａ）以外のアノテーション（すなわち”○○株式会社”や”△△デパート”に隠れており、かつアノテーション情報を持っている”□□株式会社”のアノテーション）を図６（ａ）で合成した通常のアノテーションと形を変えて区別するように合成してもよい。このとき、形を変える他に、色を変えたり、サイズを小さくしたり、半透明合成したり、もしくはアノテーション情報をもつ建物があるということだけをアイコン合成してもよい。さらに、通常合成のアノテーション以外のアノテーション（すなわち”○○株式会社”や”△△デパート”に隠れており、かつアノテーション情報を持っている”□□株式会社”のアノテーション）を合成するかどうかのＯＮ／ＯＦＦを別途画像合成モードとして持ち、操作部１００のボタンの入力と合わせてＯＮ／ＯＦＦを切り替えてもよい。なお、図６の地図画像では、使用者の視点位置／視線方向を三角印であらわしている。ステップＳ５０３の処理が終了したらステップＳ５０２に戻る。
【００３５】
ステップＳ５０４では、操作部１００のジョイスティックの入力があったかどうかを判別する。ジョイスティックへの入力があった場合は、ステップＳ５０５へ進む。また、ジョイスティックの入力がなかった場合は、ステップＳ５０２へ戻る。
【００３６】
ステップＳ５０５では、ステップＳ５０４でジョイスティックの入力があったものとして、操作部１００から視点位置／視線方向計算手段１０１へとジョイスティック操作情報が送られる。そして、視点位置／視線方向計算手段１０１では、そのジョイスティック操作情報をもとに視点位置／視線方向の計算が行なわれ、画像合成制御手段１０４に視点位置／視線方向情報が送られる。なお計算された視点位置／視線方向は、次に計算されるまではその値を保持されるものとする。視点位置の計算は、具体的にはジョイスティックを前後に倒す入力に従って図３に示す道路セグメントＩＤを切り替えたり、フレーム番号を１つずつ順番に切り替えるといったことで行なわれる。また、視線方向の計算は、具体的にはジョイスティックを左右にねじったり倒す入力に従って図３に示す基準方向に対する相対方向角度を連続的に切り替えるといったことで行なわれる。ステップＳ５０５の処理が終了したらステップＳ５０６に進む。
【００３７】
ステップＳ５０６では、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報をもとに、パノラマ実写画像記憶部１０５に対してパノラマ実写画像を要求する。パノラマ実写画像記憶部１０５は、対応したパノラマ実写画像を画像合成制御手段１０４に送る。ステップＳ５０６の処理が終了したらステップＳ５０７に進む。
【００３８】
ステップＳ５０７では、まず画像合成制御手段１０４が、地図情報記憶部１０６に対して地図画像および地図経路を構成する道路セグメント（交差点などで分割された経路で直線とみなせる部分）情報および建物情報の要求を行なう。そして、地図情報記憶部１０６は、画像合成制御手段１０４に対して地図画像（図４（ａ））および地図経路を構成する道路セグメント情報（図４（ｂ））および建物情報（図１０）を送る。ここで、地図画像には視点位置／視線方向情報をもとに次の交差点先で曲がる道を色付けしておいてもよい。この場合、使用者が次の交差点先で曲がる道を把握し易くなる。また、地図情報記憶部１０６から画像合成制御手段１０４に地図画像を送る際、図１０（ａ）のような建物に関する情報が含まれた地図画像を送ってもよい。
【００３９】
次に、画像合成制御手段１０４は、アノテーションを合成する建物に対応する道路セグメントを探索して求める。道路セグメントの探索とは、使用者がいる道路セグメントを基点セグメントとして、基点セグメントと、繋がっている道路セグメントのなす角度が一定角度以内（例えば５°以内）のものを順々に探索していくことである。図４においては使用者が＃４の道路セグメントにいる場合、繋がっている道路セグメント＃３、＃５、＃６、＃７、＃８のうち、＃４となす角度が５°以内なのは＃３のみである。ここで、基点セグメント＃４と一度探索した道路セグメント＃３、＃５、＃６、＃７、＃８にはフラグを立てておき再度探索されないようにしておく。次に、＃３に繋がっている道路セグメントは＃２、＃４、＃５、＃６だが、フラグの立っていない＃２のみが探索の対象候補となる。しかし、道路セグメント＃２と＃４がなす角度は４５°であるため探索の対象とはならない。以上より、図４において、使用者が＃４の道路セグメントにいる場合の道路セグメントを探索して求めた結果は、＃４および＃３となる。ステップＳ５０７の処理が終了したらステップＳ５０８に進む。
【００４０】
ステップＳ５０８では、ステップＳ５０７で求めた道路セグメント情報をもとにアノテーション合成を行なう建物ＩＤを図１０（ｂ）のテーブルから求め、アノテーション情報記憶部１０７に対して建物ＩＤを送る。アノテーション情報記憶部１０７は、送られてきた建物ＩＤに対応したアノテーション情報を選択されたアノテーション情報として、画像合成制御手段１０４に送る。ステップＳ５０８の処理が終了したらステップＳ５０９に進む。
【００４１】
ステップＳ５０９では、画像合成制御手段１０４が、画像合成モード、視点位置／視線方向情報、パノラマ実写画像、地図画像、道路セグメント情報、建物情報、アノテーション情報をもとに、画像表示部１０８に表示する画像を合成して、画像表示部１０８に送る。画像表示部１０８は送られた画像を表示する。アノテーション合成の際は、ステップＳ５０７で求めた道路セグメント探索結果に対応した建物ＩＤのアノテーションを合成すればよい。合成する位置は使用者の視点位置／視線方向および建物情報に含まれる建物の位置から計算すればよい。ステップＳ５０７で求めた道路セグメント探索結果は、使用者がいる道路セグメントを基点セグメントとして、基点セグメントと、繋がっている道路セグメントのなす角度が一定角度以内（例えば５°以内）のものを順々に探索していったものである。よって、使用者は、ステップＳ５０７で求めた道路セグメント探索結果、すなわち使用者がいる道路セグメントから見て直線と見なせる道路セグメントに対応した建物のアノテーションのみ観察することができる。このように地図画像の道路形状（経路の形状）をもとに合成するアノテーションを選択することで、３次元モデルを持たなくても画像中の建物（障害物）とアノテーションの関係を正しく表現できる。また、図６（ｂ）に示すように、図６（ａ）以外のアノテーション（すなわち”○○株式会社”や”△△デパート”に隠れており、かつアノテーション情報を持っている”□□株式会社”のアノテーション）を図６（ａ）で合成した通常のアノテーションと形を変えて区別するように合成してもよい。このとき、形を変える他に、色を変えたり、サイズを小さくしたり、半透明合成したり、もしくはアノテーション情報をもつ建物があるということだけをアイコン合成してもよい。さらに、通常合成のアノテーション以外のアノテーション（すなわち”○○株式会社”や”△△デパート”に隠れており、かつアノテーション情報を持っている”□□株式会社”のアノテーション）を合成するかどうかのＯＮ／ＯＦＦを別途画像合成モードとして持ち、操作部１００のボタンの入力と合わせてＯＮ／ＯＦＦを切り替えてもよい。ステップＳ５０９の処理が終了したらステップＳ５１０に進む。
【００４２】
ステップＳ５１０では、使用者が終了処理を行なっていた場合、システムを終了させる。システムを終了させるとは、プログラムを終了させたり、システムを構成する各機器の電源を切ったりといった本実施形態の制御方法を終わらせるために最後に行なうステップである。使用者が終了処理を行なっていない場合は、ステップＳ５０２に戻る。
【００４３】
以上説明したように、例えば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、画像中に存在する建物などのアノテーションを合成する際に、使用者が指定した経路上の位置から見て直線と見なせる道路に隣接する建物のアノテーションを選択することで、３次元モデルを持たなくても実写画像（２次元画像）に正しくアノテーションを合成することができる。
【００４４】
（他の実施形態）
上記実施形態の変形例である他の実施形態を説明する。
【００４５】
他の実施の形態では、視点情報として視点位置のみを用いるようにしてもよい。
【００４６】
また、他の実施の形態では、地図画像の大きさ、解像度、さらには一つの画面内での地図画像の合成位置を使用者が操作部１００を操作して手動で変更するようにしてもよい。
【００４７】
また、他の実施の形態では、画像中のアノテーションを合成する建物の階数に応じて画面内におけるアノテーションを合成する位置（縦方向）を変えたり、パノラマ実写画像を撮影する際の条件（カメラの高さ、画角）によって画面内におけるアノテーションを合成する位置（縦方向）を変えてもよい。
【００４８】
建物の高さに応じてアノテーションを合成する位置（縦方向）を変えるときには、例えば地図情報記憶部１０６に各建物の階数に関する情報を記憶しておき、階層が低いほど低い位置に、階層が高いほど高い位置に合成することでより認識性が増す。
【００４９】
また、他の実施の形態では、アノテーション合成対象物は建物に限らず、画像に表示されるもの全て、あるいは撮影を行なった場所自体を対象としてもよい。
また、アノテーション合成する内容は名前だけに限らず、もっと詳細な情報を合成してもよいし、アノテーション情報を持つことを示すアイコンだけを合成して、そのアイコンを選択するとアノテーション情報を合成するようにしてもよい。
【００５０】
また、他の実施の形態では、視点位置／視線方向を操作部１００から操作して決定するだけではなく、あらかじめ決められた視点位置／視線方向の操作情報によって自動的に決定してもよい。
【００５１】
また、他の実施の形態では、図５のステップＳ５０７のように道路セグメントの探索を毎回行なわずに、あらかじめ探索結果を求めておき、テーブルなどに記憶したものを読み出してきて利用してもよい。例えば図４（ａ）の経路においては、各道路セグメントを基点セグメントして、道路セグメントＩＤと、アノテーションを合成する建物に対応する道路セグメントＩＤを全て求めて図９のようなテーブルにあらかじめ用意する。図９のテーブルは、合成するアノテーションを選択する際に、ステップＳ５０７で道路セグメントを探索する代わりに利用される。ここで、使用者が道路セグメントＩＤ＃４に存在するときは、道路セグメントＩＤが＃３および＃４に対応する建物ＩＤのアノテーションを合成すればよい。なお、図９のテーブルは地図情報記憶部１０６に記憶され、画像合成制御手段１０４からの要求に従って送られる。
【００５２】
また、他の実施の形態では、パノラマ実写画像記憶部１０５あるいは地図情報記憶部１０６あるいはアノテーション情報記憶部１０７に記憶するデータを、図示しないサーバに記憶しておき、そのデータを図示しない通信手段を経由して画像表示端末にダウンロードしてもよい。こうすることで新しいパノラマ実写画像や地図情報やアノテーション情報などを効率的に画像表示端末で追加・変更することができる。
【００５３】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００５４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００５５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャート（図５）に対応するプログラムコードが格納されることになる。
【００５８】
以上説明したように、例えば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、画像中に存在する建物などのアノテーションを合成する際に、使用者が指定した経路上の位置から見て直線と見なせる道路に隣接する建物のアノテーションを選択することで、３次元モデルを持たなくても実写画像（２次元画像）に正しくアノテーションを合成することができる。
【００５９】
【発明の効果】
３次元モデルを持たなくても２次元画像に正しくアノテーションを合成することができる。
【図面の簡単な説明】
【図１】本発明の一つの実施形態における情報処理装置の構成を示すブロック図である。
【図２】従来例を説明するための図である。
【図３】視点位置／視線方向情報を説明するための図である。
【図４】地図画像と道路セグメント情報を説明するための図である。
【図５】本発明の一つの実施形態における情報処理装置の動作を説明するためのフローチャートである。
【図６】アノテーションや地図画像の合成などを説明するための図である。
【図７】道路セグメントの探索結果をあらかじめ求めた結果を示すテーブルである。
【図８】アノテーション合成する建物情報を説明するための図である。
【図９】アノテーション情報を説明するための図である。

Claims (12)

1. 経路上の視点位置に対応した２次元画像を取得する２次元画像取得手段と、
   前記経路を分割した道路セグメント情報を取得する道路セグメント情報取得手段と、
   アノテーション情報を取得するアノテーション情報取得手段と、
   道路セグメントのうち視点位置を含む基点セグメントと繋がっており、かつ基点セグメントと一定角度以内の道路セグメントに対応した対象物のアノテーション情報を選択し、前記２次元画像に合成する合成手段とを備えることを特徴とする情報処理装置。
2. 前記２次元画像はパノラマ２次元画像であり、
   前記２次元画像取得手段は、視点位置に対応したパノラマ２次元画像のうち視線方向に応じた一部分を切り出した２次元画像を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記道路セグメントは、経路の中で直線とみなせる部分的な経路に分割されていることを特徴とする請求項１乃至２のいずれかに記載の情報処理装置。
4. 経路上の視点位置に対応した２次元画像を取得し、
   前記経路を分割した道路セグメント情報を取得し、
   アノテーション情報を取得し、
   道路セグメントのうち視点位置を含む基点セグメントと繋がっており、かつ基点セグメントと一定角度以内の道路セグメントに対応した対象物のアノテーション情報を選択し、前記２次元画像に合成することを特徴とする情報処理方法。
5. 前記２次元画像はパノラマ２次元画像であり、
   前記２次元画像を取得する際に、視点位置に対応したパノラマ２次元画像のうち視線方向に応じた一部分を切り出した２次元画像を取得することを特徴とする請求項４に記載の情報処理方法。
6. 前記道路セグメントは、経路の中で直線とみなせる部分的な経路に分割されていることを特徴とする請求項４乃至５のいずれかに記載の情報処理方法。
7. ２次元画像中のアノテーション対象物あるいは２次元画像を撮像したときのカメラ高さや画角によってアノテーションの合成位置を縦方向に変えることを特徴とする請求項４乃至６のいずれかに記載の情報処理方法。
8. 視点位置を含む基点セグメントと繋がっており、かつ基点セグメントと一定角度以内の道路セグメントを、順次探索して求めることを特徴とする請求項４乃至７のいずれかに記載の情報処理方法。
9. 視点位置を含む基点セグメントと繋がっており、かつ基点セグメントと一定角度以内の道路セグメントは、各道路セグメントを基点セグメントとして、全ての基点セグメントについてあらかじめ求めて保存したテーブルから取得することを特徴とする請求項４乃至７のいずれかに記載の情報処理方法。
10. 請求項４乃至９のいずれかに記載の情報処理方法を実現するためのプログラム。
11. 請求項４乃至９のいずれかに記載の情報処理方法を実現するためのプログラムを記録した記録媒体。
12. 視点位置に対応した画像を取得し、
    前記視点位置に対応した道路セグメント情報を取得し、
    前記道路セグメント情報に基づき、あらかじめ保持されているアノテーション情報群から前記取得した画像に合成すべきアノテーションを選択し、
    前記選択されたアノテーションを前記画像に合成することを特徴とする情報処理方法。

Images