JP2004234455A - 情報処理方法および画像再生装置 - Google Patents
情報処理方法および画像再生装置 Download PDFInfo
- Publication number
- JP2004234455A JP2004234455A JP2003023823A JP2003023823A JP2004234455A JP 2004234455 A JP2004234455 A JP 2004234455A JP 2003023823 A JP2003023823 A JP 2003023823A JP 2003023823 A JP2003023823 A JP 2003023823A JP 2004234455 A JP2004234455 A JP 2004234455A
- Authority
- JP
- Japan
- Prior art keywords
- annotation
- image
- display position
- map
- annotation display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
【課題】アノテーションの表示位置の決定を簡便にすることによって、多数の画像に対しても少ない労力や時間でアノテーションを合成表示可能にする。
【解決手段】地図上での視点位置、視線方向を決定する視点位置・視線方向決定し、複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定し、前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する。
【選択図】 図１
【解決手段】地図上での視点位置、視線方向を決定する視点位置・視線方向決定し、複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定し、前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、実写画像をもとに構築される仮想空間において、実写画像上に表示するアノテーション位置を設定するものに関する。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を、計算機を用いて仮想空間として表現する試みが提案されている（例えば遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ、ＰＡ−３−４、ｐｐ．２７６−２７７、１９９７年）、または廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築（２）−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第２回大会論文集、ｐｐ．６７−７０、１９９７年）などを参照）。
【０００３】
実写画像データをもとに撮影した現実空間を仮想空間として表現する手法としては、実写画像データから現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や写実性の点で限界がある。一方、幾何形状モデルの再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。また、都市や町のような広大な空間の幾何形状モデルを作成するためには膨大な時間や労力が必要とされるが、ＩＢＲ技術ではそのような時間や労力は必要とされない。
【０００４】
ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各画像フレームと仮想空間内の位置を対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応する画像フレームを取得し、これを再生する。
【０００５】
このような仮想空間内のウォークスルーにおいて、体験者が各視点位置で所望の方向を見ることができるように、各視点位置に対応する画像フレームを再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておく。再生時には、体験者の仮想空間内の視点位置に基づいてパノラマ画像を読出し、視線方向に基づいて部分画像をパノラマ画像から切出して表示する。仮想空間における視点位置の軌跡が撮影装置を搭載した車輌の軌跡と同一である場合、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。
【０００６】
さらに、画像内のビルの上にビルの名前などのアノテーション（注釈）を合成して表示することにより、観察者により豊かな情報を提供することができる。また実写画像上では暗くて見えにくい標識などをアノテーションとして見やすく表示することも可能である。
【０００７】
【発明が解決しようとする課題】
仮想空間が幾何形状モデルにより記述されている場合には容易にアノテーションを所望の位置に合成表示することが可能であるが、幾何形状モデルを持たないＩＢＲ技術により仮想空間が構築されている場合には、画像ごとにアノテーションの表示位置を決定しなければならない。
【０００８】
しかし、これまで、前述のようなＩＢＲ技術によって構築されている仮想空間にアノテーションを合成表示する際には、画像ごとに手作業で表示位置を決定する必要があるため、画像の数が膨大な場合にはアノテーション表示位置を決定する作業にかなりの手間がかかっていた。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、アノテーションの表示位置の決定を簡便にすることにある。
【００１０】
【課題を解決するための手段】
以上の目的を達成するために、本発明は以下の構成を有することを特徴とする。
【００１１】
本願請求項１の発明は、地図上での視点位置、視線方向を決定する視点位置・視線方向決定工程と、複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定するアノテーション表示位置決定工程と、前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する合成工程を備えることを特徴とする。
【００１２】
本願請求項７の発明は、実写画像を用いて表現される仮想空間内においてウォークスルーを実現する画像再生装置で用いる実写画像にアノテーション画像を合成するための情報処理方法であって、複数の実写画像のそれぞれにおけるアノテーション表示位置を設定し、
前記複数の実写画像のそれぞれにおいて設定されたアノテーション表示位置を用いて、該複数の実写画像間に位置する他の実写画像に対するアノテーション表示位置を算出し、
前記算出されたアノテーション表示位置に基づき、実写画像にアノテーション画像を合成することを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００１４】
＜第１実施形態＞
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを、現実空間の位置に対応する地図上の位置と対応付けて保持する。そして、体験者の仮想空間における視点位置（地図上の位置）と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。
【００１５】
図１は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムを構成する画像再生装置１は、操作部１０、視点位置・視線方向決定部２０、地図データ保存部３０、画像再生制御部４０、アノテーション表示位置決定部５０、アノテーションデータ保存部６０、画像データ保存部７０、表示部８０を有する。
【００１６】
図２は、本実施形態における画像再生装置１のハード構成を示すブロック図である。図２に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図２において、ディスク１０５は画像データ保存部７０を構成するものである。なおディスク１０５は、同時に地図データ保存部３０、アノテーションデータ保存部６０をも構成する。
【００１７】
ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行することにより、視点位置・視線方向決定部２０、画像再生制御部４０、アノテーション表示位置決定部５０として機能する。
【００１８】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２及びフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部８０を構成する。
【００１９】
マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像再生装置１へのユーザの操作入力を行うためのものであり、上述の操作部１０を構成する。
【００２０】
次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置１の動作の概要について説明する。
【００２１】
操作部１０は、マウス、キーボード、ジョイスティック等を備える。操作部１０は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。本実施形態では、視点位置・視線方向の制御にジョイスティックを用いているが、ゲームコントローラ等の他の入力装置で行ってもよい。ジョイスティックは、スティックの傾斜角と回転角を独立に制御することができる。本実施形態では、ジョイスティックを傾斜させる操作を仮想空間内での視点位置の移動に、ジョイスティックを左右に回転させる操作を視線方向の回転に対応させる。
【００２２】
地図データ保存部３０は、２次元地図画像データを格納する。
【００２３】
視点位置・視線方向決定部２０は、操作部１０からの移動パラメータ、回転パラメータをもとに、地図データ保存部３０に保存されている地図画像上における観察者の視点位置、視線方向を決定する。
【００２４】
画像データ保存部７０は、地図上の各位置に対応したパノラマ画像データを格納する。画像データ保存部７０は、画像再生装置１のローカルに存在する必要はなく、ネットワーク上に設置して、ネットワークを介して画像データを読み出してもよい。
【００２５】
画像再生制御部４０は、視点位置・視線方向決定部２０から、観察者の地図上での視点位置及び視線方向を受け取り、その視点位置に対応した画像データを画像データ保存部７０から読み出す。なお、本実施形態において、地図上の視点位置と画像データを対応づける対応付けデータは、次のデータ格納形態をとる。
【００２６】
すなわち、観察者の移動を撮影経路上に限定して、経路を交差点（分岐点）や曲がり角といった区分点で区切り、区分点と、２つの区分点に挟まれた道として表現する。区分点は２次元地図画像上に設定され、道は区分点に挟まれた線分となる。各区分点や道にはＩＤが割り当てられ、区分点には対応する実空間の位置で撮影されたパノラマ画像が、道には両端の区分点に割り当てられたパノラマ画像に挟まれたパノラマ画像群が割り当てられる。図３はこの様子を説明する図である。図３において、ＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。そしてＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応するパノラマ画像が特定されると、区分点Ｃ１にはフレーム番号ｎのパノラマ画像が、区分点Ｃ２にはフレーム番号ｎ＋ｍのパノラマ画像が割り当てられる。区分点にパノラマ画像が割り当てられると、道Ｒ１には自動的にフレーム番号ｎ＋１からｎ＋ｍ−１までのパノラマ画像群が割り当てられる。
【００２７】
また、図４に示すように、各区分点、各パノラマ画像は地図上での２次元座標を属性として持つ。地図上での２次元座標は、ＧＰＳデータによって得られる緯度・経度データから求められるが、コンピュータ・ビジョンを利用して画像情報から求めてもよい。また、両端の区分点の座標のみを求め、区分点間の道に含まれる各パノラマ画像の地図上の２次元座標は補間によって求めてもよい。
【００２８】
画像再生制御部４０は、アノテーション表示位置決定部５０に地図上の視点位置を与える。アノテーション表示位置決定部５０は、受け取った視点位置情報をもとにアノテーションの表示位置を決定し、画像再生制御部４０にアノテーション表示位置を与える。アノテーションの表示位置の決定方法は後述する。画像再生制御部４０は、表示部８０に表示する画角にあわせてパノラマ画像を切出して射影変換を行い、アノテーション表示位置に従ってアノテーション画像を合成して表示部８０に表示する画像を生成する。
【００２９】
表示部８０は画像再生制御部４０において生成された画像を表示する。
【００３０】
次に、アノテーション表示位置決定部５０の動作について詳細に説明する。図５に示すように、本実施形態では、区分点に挟まれる道上において、パノラマ画像の正面方向は道の方向に平行、つまり撮影時の進行方向に平行であるとする。
【００３１】
図６はアノテーション表示位置決定部５０におけるアノテーション表示位置決定方法を示す図である。簡単のために、区分点Ｃ１をｘｙ平面の原点とし、区分点Ｃ２をｘ軸上に取る（すなわち道Ｒ１はｘ軸の一部となる）。
【００３２】
図６において、区分点Ｃ１、区分点Ｃ２、建物Ａのアノテーションを表示したい位置の地図上の座標はそれぞれ（０，０）、（ｘ２，０）、（ｘｏ，ｙｏ）である。区分点Ｃ１に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ１（ｒａｄ）で表すと、次式で表される。
【００３３】
【外１】
【００３４】
また、区分点Ｃ２に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ２（ｒａｄ）で表すと、次式で表される。
【００３５】
【外２】
【００３６】
同様にして、道Ｒ１上の点（ｘ，０）に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θで表すと、次式で表される。
【００３７】
【外３】
【００３８】
アノテーション表示位置決定部５０は、上記の式によりアノテーションを表示する水平方向の位置を決定する。図７は、アノテーション表示位置決定部５０の動作を説明するフローチャートである。まずステップＳ１０１において、新たな視点情報（視点位置、視線方向）を獲得する。次にステップＳ１０２において、ステップＳ１０１で獲得した視点情報から決定される道が、前のフレームと同じ道である場合にはステップＳ１０５に進む。前のフレームと異なる新たな道である場合には、ステップＳ１０３に進む。ステップＳ１０３において、該当する道においてアノテーションを表示するオブジェクトを決定する。本実施形態では、複数のオブジェクトに対してアノテーションを表示することができる。ステップＳ１０３においてアノテーションを表示するオブジェクトを決定した後、ステップＳ１０４に進む。ステップＳ１０４において、該当する道の両端の区分点のうちどちらか一方の区分点をｘｙ平面の原点とし、道がｘ軸となるよう座標軸を回転させて、アノテーションを表示するすべてのオブジェクトの相対位置を計算する。次にステップＳ１０５において、アノテーションを表示するすべてのオブジェクトについて、上記の式により該当する視点位置に対応したパノラマ画像におけるアノテーションの表示位置（パノラマ画像の正面方向からの相対角度）θを求める。ステップＳ１０６において終了判定を行い、まだ終了しない場合は、ステップＳ１０１において新たに視点情報を獲得する。
【００３９】
図８は、画像再生制御部４０におけるアノテーション合成の処理を説明する図である。アノテーション表示位置決定部５０においてアノテーション表示位置θが決定されると、画像再生制御部４０は視線方向と画角αに応じてパノラマ画像を切出す。切出したパノラマ画像上に、アノテーションデータ保存部から読み出されたアノテーション画像が合成され、表示画像が生成される。パノラマ画像を透視投影画像に変換する斜影変換はパノラマ画像に対してのみ行われる。
【００４０】
以上のように、第１実施形態によれば、アノテーションを表示したいオブジェクト位置と観察者の視点位置の２次元地図上での座標から、アノテーションの表示位置を決定することにより、多数の画像に対してアノテーション表示位置を決定する際の労力や時間を節約することが可能になる。
【００４１】
＜第２実施形態＞
上記第１実施形態では、アノテーションを表示したいオブジェクト位置と観察者の視点位置の地図上での座標によって、アノテーションの表示位置を決定した。第２実施形態では、オブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定することにより、オブジェクト位置や視点位置の地図上での座標の精度が低い場合でも適切な位置にアノテーションを表示する。
【００４２】
図９は、２枚のパノラマ画像からオブジェクト位置を決定する方法を説明する図である。本実施形態においては、視点位置の地図上での座標をもとにオブジェクトの地図上の位置を決定する。オブジェクトの地図上での位置は、道ごとに決定され、アノテーション表示位置を計算する際には、視点位置が存在する道で決定されたオブジェクトの地図上での位置を用いる。図９では、簡単のために区分点Ｃ１をｘｙ平面の原点とし、区分点Ｃ２をｘ軸上に取る（すなわち道Ｒ１はｘ軸の一部となる）。区分点Ｃ１、Ｃ２の座標はそれぞれ（０，０）、（ｘ２，０）である。道Ｒ１では、パノラマ画像の正面方向は常にｘ軸の正の方向である。
アノテーションを表示したいオブジェクトＡの区分点Ｃ１からの観察方向（正面方向からの相対方向）がθ１、区分点Ｃ２からの観察方向がθ２である場合、オブジェクトの地図上での座標（ｘｏ，ｙｏ）は次式から求められる。
【００４３】
【外４】
【００４４】
【外５】
【００４５】
図１０は、オブジェクトごとに２枚のパノラマ画像からオブジェクトの地図上の位置を決定する手順を説明するフローチャートである。まずステップＳ２０１において、アノテーションを表示したいオブジェクトを決定する。次に、ステップＳ２０２において、該オブジェクトのアノテーションを表示するすべての道においてオブジェクトの位置決定が終了したかどうかを判別する。すべての道において位置決定が終了していない場合には、ステップＳ２０３に進み、該オブジェクトの位置決定を行う道を決定し、ステップＳ２０４において、上記の式によって該道におけるオブジェクトの位置を算出する。ステップＳ２０２においてすべての道においてオブジェクトの位置決定が終了している場合には、ステップＳ２０５に進む。ステップＳ２０５において、アノテーションを表示させたいオブジェクトすべてについて位置決定が終了している場合には、位置決定を終了し、終了していない場合には、ステップＳ２０１に戻って次のオブジェクトを決定する。
【００４６】
図１１は、本実施形態におけるオブジェクトの位置決定を行うためのグラフィカルユーザインタフェース（ＧＵＩ）１０００の図である。ＧＵＩは、２次元地図画像を表示する地図表示ウィンドウ１０１０、地図表示ウィンドウ上で選択した道の両端の区分点に対応するパノラマ画像を表示するパノラマ画像表示ウィンドウ１０２０、１０２１、オブジェクト追加ボタン１０３０、既存オブジェクトボタン１０４０、更新ボタン１０５０より構成される。
【００４７】
まだ位置決定を行っていない新規のオブジェクトの位置決定を行う場合には、オブジェクト追加ボタン１０３０をマウスでクリックする。すでに位置決定を行ったオブジェクトの位置を修正する場合には、既存オブジェクトボタン１０４０をマウスでクリックし、表示されるオブジェクトのリストの中から所望のオブジェクトを選択する。
【００４８】
地図表示ウィンドウ１０１０には、２次元地図画像の上に区分点と道が表示されている。ユーザがオブジェクトの位置決定をしたい道をマウスでクリックすると、パノラマ画像表示ウィンドウ１０２０、１０２１に、選択した道の両端の区分点に対応するパノラマ画像が表示される。
【００４９】
なお、２枚の代表的なパノラマ画像は道の両端の区分点に対応するパノラマ画像でなくても構わず、地図上からユーザが独立に指定した位置におけるパノラマ画像であっても構わない。たとえば、同一の道上の区分点でない位置のパノラマ画像を用いても構わない。
【００５０】
図１２は、上記のＧＵＩにおけるオブジェクトの位置決定方法を示す図である。ここでは、区分点Ｃ１と区分点Ｃ２に挟まれた道Ｒ１におけるオブジェクトＡの位置決定を行う場合について説明する。道Ｒ１をマウスでクリックするとパノラマ画像表示ウィンドウ１０２０、１０２１にはそれぞれ区分点Ｃ１、Ｃ２に対応したパノラマ画像が表示される。まず、パノラマ画像表示ウィンドウ１０２０において、オブジェクトＡが観察される方向をマウスでクリックする。クリックすると、パノラマ画像表示ウィンドウ１０２０上のクリックした点上を通るパノラマ画像の垂直方向に平行な直線が引かれ、地図表示ウィンドウ１０１０には、クリックされた方向を示す直線が引かれる。次に、パノラマ表示ウィンドウ１０２１において、同様の操作を行う。その結果、地図表示ウィンドウ１０１０上で２直線が交わる点が道Ｒ１におけるオブジェクトＡの位置であると算出される。
【００５１】
オブジェクトの位置決定を、すべてのアノテーションを表示したい道について行ったら、更新ボタン１０５０をクリックすることにより位置データを保存する。
【００５２】
図１３は、アノテーションを表示したいオブジェクトと区分点・道を地図上に示した図である。図１３では、オブジェクト（建物Ａ）が、道Ｒ１、Ｒ２、Ｒ３、Ｒ４から観察することが可能になっている。このオブジェクトに対して、道Ｒ１と道Ｒ２においてアノテーションを表示する場合には、道Ｒ１に対しては区分点Ｃ１とＣ２に対応するパノラマ画像からオブジェクトの位置を算出し、道Ｒ２に対しては区分点Ｃ２とＣ３に対応するパノラマ画像からオブジェクトの位置を算出する。図１４に、アノテーションを表示するオブジェクトの属性を示す。道Ｒ１においてアノテーション表示位置を決定する場合にはオブジェクトの地図上の位置座標として（ｘｏ１，ｙｏ１）を用い、道Ｒ２においてアノテーション表示位置を決定する場合にはオブジェクトの地図上の位置座標として（ｘｏ２，ｙｏ２）を用いる。アノテーション画像は道ごとに異なる画像を表示してもよい。
また、図１４ではアノテーション画像はＪＰＥＧ画像であるが、他の画像フォーマットでもよいし、動画像でもよい。
【００５３】
アノテーション表示位置決定部５０は、上述のように決められたオブジェクトの地図上の位置座標を用いて、アノテーションを表示する位置を決定する。
【００５４】
以上のように、第２実施形態によれば、オブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定することにより、オブジェクト位置や視点位置の地図上での座標の精度が低い場合でも適切な位置にアノテーションを表示することが可能になる。
【００５５】
また、ＧＵＩを用いることにより、オブジェクトの地図上での位置決定を簡便に行うことが可能になる。
【００５６】
＜第３実施形態＞
上記第２実施形態では、アノテーションを表示したいオブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定した。第３実施形態では、パノラマ画像単位でアノテーション表示位置を設定可能にして優先的に用いることで、より適切な位置へのアノテーション表示を行う。
【００５７】
図１５は、パノラマ画像単位でアノテーション表示位置の設定を行うＧＵＩ２０００の図である。地図表示ウィンドウ１０１０、パノラマ画像表示ウィンドウ１０２０、１０２１、オブジェクト追加ボタン１０３０、既存オブジェクトボタン１０４０、更新ボタン１０５０は図１１と同一であるので説明を省略する。パノラマ画像表示ウィンドウ１０２２は、選択されている道上の任意の点に対応するパノラマ画像を表示する。
【００５８】
図１６は、上記のＧＵＩにおけるパノラマ画像単位のアノテーション表示位置決定方法を説明する図である。オブジェクトＡの位置を２つの区分点におけるパノラマ画像の観察方向から決定した後、道上の点をマウスでクリックする。クリックすると、パノラマ画像表示ウィンドウ１０２２に、クリックした点に対応するパノラマ画像が表示され、同時にオブジェクトＡの位置から決定されるアノテーション表示位置が、パノラマ画像の垂直方向に平行な直線で示される。パノラマ画像の地図上での位置座標の精度が低い場合、示されたアノテーション表示位置は、実際に表示したい位置よりずれることがある。そのため、パノラマ画像表示ウィンドウ１０２２上で適切なアノテーション表示位置をクリックする。このようにパノラマ画像単位で決定されたアノテーション表示位置は、アノテーション表示位置決定部５０において、オブジェクトの地図上の位置と視点位置から決定されるアノテーション表示位置よりも優先的に用いられる。
【００５９】
図１７は、第３実施形態における、アノテーションを表示したいオブジェクトの属性を示す図である。オブジェクト（建物Ａ）は、道Ｒ１において２枚のパノラマ画像（フレーム番号ｎ、ｍ）に対して個別にアノテーション表示位置を設定している。個別に設定されるアノテーション表示位置はパノラマ画像の正面方向からの相対角度θｎ、θｍによって記述される。
【００６０】
図１８は、第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。ステップＳ２０１からステップＳ２０５は図１０と同一であるので説明を省略する。図１９において、ステップＳ３０１でパノラマ画像単位でアノテーション表示位置を決定しない場合はＢに進む。決定する場合は、ステップＳ３０２において、アノテーション表示位置を決定するパノラマ画像を選択し決定する。次にステップＳ３０３において、該パノラマ画像におけるアノテーション表示位置を設定する。ステップＳ３０４において終了判定を行い、他のパノラマ画像についてアノテーション表示位置を決定する場合には、ステップＳ３０２に戻る。
【００６１】
図２０は、アノテーション表示位置決定部５０において、あるオブジェクトのアノテーション表示位置を決定する手順を示すフローチャートである。ステップＳ３１１において、該オブジェクトに対して視点位置に対応するパノラマ画像においてアノテーション表示位置が設定されている場合には、そのアノテーション表示位置をそのまま用いる。設定されていない場合には、オブジェクト位置と視点位置からアノテーション表示位置を決定し、それを用いる。その後、ステップＳ３１３においてアノテーション表示位置を決定し、終了する。
【００６２】
以上のように、第３実施形態によれば、パノラマ画像単位でアノテーション表示位置を設定可能にして優先的に用いることで、より適切な位置へのアノテーション表示を行うことが可能になる。
【００６３】
また、ＧＵＩを用いることにより、パノラマ画像単位でのアノテーション表示位置を簡便に設定することが可能になる。
【００６４】
＜第４実施形態＞
上記第１実施形態〜第３実施形態では、観察者の地図上での視点位置およびオブジェクトの地図上での位置からアノテーションの表示位置を決定したが、第４実施形態では、地図上での位置を用いずに簡便にアノテーション表示位置を決定する。
【００６５】
図２１は、第４実施形態におけるアノテーション表示位置の決定方法を説明する図である。区分点Ｃ１から始まり区分点Ｃ２で終わる道Ｒ１は、直線で表され、区分点Ｃ１、区分点Ｃ２に対応するパノラマ画像及び道Ｒ１に対応付けられたパノラマ画像群の正面方向はすべて同一（区分点Ｃ１からＣ２へ向かう方向）であるとする。また、区分点Ｃ１にはフレーム番号ｎのパノラマ画像が、区分点Ｃ２にはフレーム番号ｎ＋ｍ（ｍ＞０）のパノラマ画像が、道Ｒ１にはフレーム番号ｎ＋１からｎ＋ｍ−１までのパノラマ画像が対応付けされているとする。
【００６６】
図２１における建物Ａのアノテーションを、道Ｒ１に対応付けられたパノラマ画像群に表示する場合、まず道Ｒ１の両端の区分点Ｃ１、Ｃ２における建物Ａの観察方向θ１、θ２を求める。観察方向θ１、θ２はあらかじめ前処理で求めておく。また、θ１、θ２は、道ごとに求める。
【００６７】
アノテーション表示位置決定部５０において、区分点Ｃ１、区分点Ｃ２からの建物Ａの観察方向がそれぞれθ１、θ２である場合、道Ｒ１上のフレーム番号ｎ＋ｉ（ｉ＞０）のパノラマ画像における建物Ａのアノテーション表示位置θｉは、以下の式に示すように線形補間で求める。
【００６８】
【外６】
【００６９】
以上のように、第４実施形態によれば、２地点のパノラマ画像におけるオブジェクトの観察方向を線形補間することにより、２地点に挟まれる道に対応付けられたパノラマ画像群へのアノテーション表示位置の決定を簡便に行うことが可能になる。また、線形補間であるため、計算量を減らすことが可能になる。
【００７０】
＜第５実施形態＞
上記第４実施形態では、２地点のパノラマ画像におけるオブジェクトの観察方向を線形補間することによりアノテーション表示位置を求めた。第５実施形態では、非線形の補間を行うことでより精度高くアノテーション表示位置を求める。
【００７１】
図２２は、図２１に示されるθ１、θ２と、θｉとの関係を示す図である。横軸はフレーム番号、縦軸はオブジェクトの観察方向を示す。図２２ではθ１、θ２の範囲を、
【外７】
に限定している。また、道Ｒ１において、各フレームの撮影位置の間隔は等間隔であるとする。図２２（ａ）は
【外８】
の場合の、道Ｒ１の各フレームにおけるオブジェクトの観察方向を示す図である。また、図２２（ｂ）は
【外９】
の場合の、道Ｒ１の各フレームにおけるオブジェクトの観察方向を示す図である。また、図２２（ｃ）は、
の場合の、道Ｒ１の各フレームにおけるオブジェクトの観察方向を示す図である。図２２に示すように、パノラマ画像が等間隔で撮影されていると仮定すると、オブジェクトの観察方向は線形に変化するのではなく、非線形に変化する。図２２に示す非線形曲線は、θ１、θ２より求まる逆正接関数となる。
【００７２】
アノテーション表示位置決定部５０は、オブジェクトのアノテーション表示位置を決定する際に、道を挟む２つの区分点からのオブジェクトの観察方向θ１、θ２からも泊まる逆正接関数を補間関数として用いてアノテーション表示位置θｉを決定する。計算量を減らすために、補間関数は上記の逆正接関数を直線近似したものを用いてもよい。
【００７３】
また、逆正接関数の計算量を減らすために、フレーム番号とアノテーション表示位置の関係をあらかじめテーブルとして持っておいてもよい。図２３に示すように、−π＜θ１≦π、−π＜θ２≦πである場合、オブジェクトの観察方向θ１、θ２の値によって、フレーム番号とアノテーション表示位置の対応関係は６種類の逆正接関数の形に分類される。アノテーション表示位置決定部５０は、あらかじめ代表的なθ１、θ２の値で６種類のパターンのフレーム番号とアノテーション表示位置の関係の対応テーブルを保持しておき、現在の道の両端の区分点からのオブジェクトの観察方向θ１、θ２から、６つパターンのうちどれに近いかを判別し、フレーム番号によってテーブルの値を参照する。６つのパターンのうちどれに近いかどうかはあらかじめ判別しておいてもよい。対応テーブルは、道に対応付けられたパノラマ画像の枚数によって変化するが、あらかじめ十分細かい解像度で対応テーブルを作成しておき、該当する道のパノラマ画像の枚数によってスケーリングすることで対応テーブルの数を抑制する。なお、本実施形態では対応テーブルの数を６つにしているが、ＲＡＭの容量などに応じて増やすことが可能である。また、最初は少ない数の対応テーブルにしておき、実際のアノテーション表示位置を見て現在の対応テーブルでは近似しきれない場合は、表示がずれている道の両端の区分点におけるオブジェクトの観察方向を用いて決定される補間関数を随時追加していって精度を上げることが可能である。
【００７４】
以上のように、第５実施形態によれば、２地点のパノラマ画像におけるオブジェクトの観察方向から求めた逆正接関数を用いた補間を行うことにより、２地点に挟まれる道に対応付けられたパノラマ画像群へのアノテーション表示位置の決定をより精度高く行うことが可能になる。
【００７５】
＜その他の実施形態＞
上記実施形態ではパノラマ画像を用いているがパノラマ画像でなくても構わない。
【００７６】
また前述した実施形態の機能を実現するためのソフトウエアのプログラムコードをネットワークを介して供給し供給することも本発明の範疇に含まれる。
【００７７】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段は本発明を構成する。
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００７８】
【発明の効果】
以上説明したように、本発明によれば、アノテーションの表示位置の決定を簡便にすることができる。
【図面の簡単な説明】
【図１】本実施形態におけるウォークスルーシステムの機能構成を説明するブロック図である。
【図２】本実施形態における画像再生装置１のハード構成を示す図である。
【図３】本実施形態における仮想空間の表現方法を説明する図である。
【図４】区分点、道の属性の一例を示す図である。
【図５】パノラマ画像と道の方向の対応を説明する図である。
【図６】アノテーション表示位置決定部５０におけるアノテーション表示位置決定方法を示す図である。
【図７】アノテーション表示位置決定部５０の動作を説明するフローチャートである。
【図８】画像再生制御部４０におけるアノテーション合成の処理を説明する図である。
【図９】２枚のパノラマ画像からオブジェクト位置を決定する方法を説明する図である。
【図１０】オブジェクトごとに２枚のパノラマ画像からオブジェクトの地図上の位置を決定する手順を説明するフローチャートである。
【図１１】オブジェクトの位置決定を行うためのグラフィカルユーザインタフェース（ＧＵＩ）１０００を示す図である。
【図１２】ＧＵＩ１０００におけるオブジェクトの位置決定方法を示す図である。
【図１３】アノテーションを表示したいオブジェクトと区分点・道を地図上に示した図である。
【図１４】アノテーションを表示するオブジェクトの属性の一例を示す図である。
【図１５】パノラマ画像単位でアノテーション表示位置の設定を行うＧＵＩ２０００を示す図である。
【図１６】ＧＵＩ２０００におけるパノラマ画像単位のアノテーション表示位置決定方法を説明する図である。
【図１７】第３実施形態における、アノテーションを表示したいオブジェクトの属性を示す図である。
【図１８】第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。
【図１９】第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。
【図２０】アノテーション表示位置決定部５０において、あるオブジェクトのアノテーションを決定する手順を示すフローチャートである。
【図２１】第４実施形態におけるアノテーション表示位置の決定方法を説明する図である。
【図２２】２地点のパノラマ画像からのオブジェクトの観察方向θ１、θ２と、２地点に挟まれる道上のパノラマ画像からのオブジェクトの観察方向θｉとの関係を示す図である。
【図２３】オブジェクトの観察方向θ１、θ２の値による、フレーム番号とアノテーション表示位置の対応関係を示す図である。
【発明の属する技術分野】
本発明は、実写画像をもとに構築される仮想空間において、実写画像上に表示するアノテーション位置を設定するものに関する。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を、計算機を用いて仮想空間として表現する試みが提案されている（例えば遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ、ＰＡ−３−４、ｐｐ．２７６−２７７、１９９７年）、または廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築（２）−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第２回大会論文集、ｐｐ．６７−７０、１９９７年）などを参照）。
【０００３】
実写画像データをもとに撮影した現実空間を仮想空間として表現する手法としては、実写画像データから現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や写実性の点で限界がある。一方、幾何形状モデルの再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。また、都市や町のような広大な空間の幾何形状モデルを作成するためには膨大な時間や労力が必要とされるが、ＩＢＲ技術ではそのような時間や労力は必要とされない。
【０００４】
ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各画像フレームと仮想空間内の位置を対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応する画像フレームを取得し、これを再生する。
【０００５】
このような仮想空間内のウォークスルーにおいて、体験者が各視点位置で所望の方向を見ることができるように、各視点位置に対応する画像フレームを再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておく。再生時には、体験者の仮想空間内の視点位置に基づいてパノラマ画像を読出し、視線方向に基づいて部分画像をパノラマ画像から切出して表示する。仮想空間における視点位置の軌跡が撮影装置を搭載した車輌の軌跡と同一である場合、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。
【０００６】
さらに、画像内のビルの上にビルの名前などのアノテーション（注釈）を合成して表示することにより、観察者により豊かな情報を提供することができる。また実写画像上では暗くて見えにくい標識などをアノテーションとして見やすく表示することも可能である。
【０００７】
【発明が解決しようとする課題】
仮想空間が幾何形状モデルにより記述されている場合には容易にアノテーションを所望の位置に合成表示することが可能であるが、幾何形状モデルを持たないＩＢＲ技術により仮想空間が構築されている場合には、画像ごとにアノテーションの表示位置を決定しなければならない。
【０００８】
しかし、これまで、前述のようなＩＢＲ技術によって構築されている仮想空間にアノテーションを合成表示する際には、画像ごとに手作業で表示位置を決定する必要があるため、画像の数が膨大な場合にはアノテーション表示位置を決定する作業にかなりの手間がかかっていた。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、アノテーションの表示位置の決定を簡便にすることにある。
【００１０】
【課題を解決するための手段】
以上の目的を達成するために、本発明は以下の構成を有することを特徴とする。
【００１１】
本願請求項１の発明は、地図上での視点位置、視線方向を決定する視点位置・視線方向決定工程と、複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定するアノテーション表示位置決定工程と、前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する合成工程を備えることを特徴とする。
【００１２】
本願請求項７の発明は、実写画像を用いて表現される仮想空間内においてウォークスルーを実現する画像再生装置で用いる実写画像にアノテーション画像を合成するための情報処理方法であって、複数の実写画像のそれぞれにおけるアノテーション表示位置を設定し、
前記複数の実写画像のそれぞれにおいて設定されたアノテーション表示位置を用いて、該複数の実写画像間に位置する他の実写画像に対するアノテーション表示位置を算出し、
前記算出されたアノテーション表示位置に基づき、実写画像にアノテーション画像を合成することを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００１４】
＜第１実施形態＞
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを、現実空間の位置に対応する地図上の位置と対応付けて保持する。そして、体験者の仮想空間における視点位置（地図上の位置）と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。
【００１５】
図１は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムを構成する画像再生装置１は、操作部１０、視点位置・視線方向決定部２０、地図データ保存部３０、画像再生制御部４０、アノテーション表示位置決定部５０、アノテーションデータ保存部６０、画像データ保存部７０、表示部８０を有する。
【００１６】
図２は、本実施形態における画像再生装置１のハード構成を示すブロック図である。図２に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図２において、ディスク１０５は画像データ保存部７０を構成するものである。なおディスク１０５は、同時に地図データ保存部３０、アノテーションデータ保存部６０をも構成する。
【００１７】
ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行することにより、視点位置・視線方向決定部２０、画像再生制御部４０、アノテーション表示位置決定部５０として機能する。
【００１８】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２及びフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部８０を構成する。
【００１９】
マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像再生装置１へのユーザの操作入力を行うためのものであり、上述の操作部１０を構成する。
【００２０】
次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置１の動作の概要について説明する。
【００２１】
操作部１０は、マウス、キーボード、ジョイスティック等を備える。操作部１０は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。本実施形態では、視点位置・視線方向の制御にジョイスティックを用いているが、ゲームコントローラ等の他の入力装置で行ってもよい。ジョイスティックは、スティックの傾斜角と回転角を独立に制御することができる。本実施形態では、ジョイスティックを傾斜させる操作を仮想空間内での視点位置の移動に、ジョイスティックを左右に回転させる操作を視線方向の回転に対応させる。
【００２２】
地図データ保存部３０は、２次元地図画像データを格納する。
【００２３】
視点位置・視線方向決定部２０は、操作部１０からの移動パラメータ、回転パラメータをもとに、地図データ保存部３０に保存されている地図画像上における観察者の視点位置、視線方向を決定する。
【００２４】
画像データ保存部７０は、地図上の各位置に対応したパノラマ画像データを格納する。画像データ保存部７０は、画像再生装置１のローカルに存在する必要はなく、ネットワーク上に設置して、ネットワークを介して画像データを読み出してもよい。
【００２５】
画像再生制御部４０は、視点位置・視線方向決定部２０から、観察者の地図上での視点位置及び視線方向を受け取り、その視点位置に対応した画像データを画像データ保存部７０から読み出す。なお、本実施形態において、地図上の視点位置と画像データを対応づける対応付けデータは、次のデータ格納形態をとる。
【００２６】
すなわち、観察者の移動を撮影経路上に限定して、経路を交差点（分岐点）や曲がり角といった区分点で区切り、区分点と、２つの区分点に挟まれた道として表現する。区分点は２次元地図画像上に設定され、道は区分点に挟まれた線分となる。各区分点や道にはＩＤが割り当てられ、区分点には対応する実空間の位置で撮影されたパノラマ画像が、道には両端の区分点に割り当てられたパノラマ画像に挟まれたパノラマ画像群が割り当てられる。図３はこの様子を説明する図である。図３において、ＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。そしてＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応するパノラマ画像が特定されると、区分点Ｃ１にはフレーム番号ｎのパノラマ画像が、区分点Ｃ２にはフレーム番号ｎ＋ｍのパノラマ画像が割り当てられる。区分点にパノラマ画像が割り当てられると、道Ｒ１には自動的にフレーム番号ｎ＋１からｎ＋ｍ−１までのパノラマ画像群が割り当てられる。
【００２７】
また、図４に示すように、各区分点、各パノラマ画像は地図上での２次元座標を属性として持つ。地図上での２次元座標は、ＧＰＳデータによって得られる緯度・経度データから求められるが、コンピュータ・ビジョンを利用して画像情報から求めてもよい。また、両端の区分点の座標のみを求め、区分点間の道に含まれる各パノラマ画像の地図上の２次元座標は補間によって求めてもよい。
【００２８】
画像再生制御部４０は、アノテーション表示位置決定部５０に地図上の視点位置を与える。アノテーション表示位置決定部５０は、受け取った視点位置情報をもとにアノテーションの表示位置を決定し、画像再生制御部４０にアノテーション表示位置を与える。アノテーションの表示位置の決定方法は後述する。画像再生制御部４０は、表示部８０に表示する画角にあわせてパノラマ画像を切出して射影変換を行い、アノテーション表示位置に従ってアノテーション画像を合成して表示部８０に表示する画像を生成する。
【００２９】
表示部８０は画像再生制御部４０において生成された画像を表示する。
【００３０】
次に、アノテーション表示位置決定部５０の動作について詳細に説明する。図５に示すように、本実施形態では、区分点に挟まれる道上において、パノラマ画像の正面方向は道の方向に平行、つまり撮影時の進行方向に平行であるとする。
【００３１】
図６はアノテーション表示位置決定部５０におけるアノテーション表示位置決定方法を示す図である。簡単のために、区分点Ｃ１をｘｙ平面の原点とし、区分点Ｃ２をｘ軸上に取る（すなわち道Ｒ１はｘ軸の一部となる）。
【００３２】
図６において、区分点Ｃ１、区分点Ｃ２、建物Ａのアノテーションを表示したい位置の地図上の座標はそれぞれ（０，０）、（ｘ２，０）、（ｘｏ，ｙｏ）である。区分点Ｃ１に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ１（ｒａｄ）で表すと、次式で表される。
【００３３】
【外１】
また、区分点Ｃ２に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ２（ｒａｄ）で表すと、次式で表される。
【００３５】
【外２】
同様にして、道Ｒ１上の点（ｘ，０）に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θで表すと、次式で表される。
【００３７】
【外３】
アノテーション表示位置決定部５０は、上記の式によりアノテーションを表示する水平方向の位置を決定する。図７は、アノテーション表示位置決定部５０の動作を説明するフローチャートである。まずステップＳ１０１において、新たな視点情報（視点位置、視線方向）を獲得する。次にステップＳ１０２において、ステップＳ１０１で獲得した視点情報から決定される道が、前のフレームと同じ道である場合にはステップＳ１０５に進む。前のフレームと異なる新たな道である場合には、ステップＳ１０３に進む。ステップＳ１０３において、該当する道においてアノテーションを表示するオブジェクトを決定する。本実施形態では、複数のオブジェクトに対してアノテーションを表示することができる。ステップＳ１０３においてアノテーションを表示するオブジェクトを決定した後、ステップＳ１０４に進む。ステップＳ１０４において、該当する道の両端の区分点のうちどちらか一方の区分点をｘｙ平面の原点とし、道がｘ軸となるよう座標軸を回転させて、アノテーションを表示するすべてのオブジェクトの相対位置を計算する。次にステップＳ１０５において、アノテーションを表示するすべてのオブジェクトについて、上記の式により該当する視点位置に対応したパノラマ画像におけるアノテーションの表示位置（パノラマ画像の正面方向からの相対角度）θを求める。ステップＳ１０６において終了判定を行い、まだ終了しない場合は、ステップＳ１０１において新たに視点情報を獲得する。
【００３９】
図８は、画像再生制御部４０におけるアノテーション合成の処理を説明する図である。アノテーション表示位置決定部５０においてアノテーション表示位置θが決定されると、画像再生制御部４０は視線方向と画角αに応じてパノラマ画像を切出す。切出したパノラマ画像上に、アノテーションデータ保存部から読み出されたアノテーション画像が合成され、表示画像が生成される。パノラマ画像を透視投影画像に変換する斜影変換はパノラマ画像に対してのみ行われる。
【００４０】
以上のように、第１実施形態によれば、アノテーションを表示したいオブジェクト位置と観察者の視点位置の２次元地図上での座標から、アノテーションの表示位置を決定することにより、多数の画像に対してアノテーション表示位置を決定する際の労力や時間を節約することが可能になる。
【００４１】
＜第２実施形態＞
上記第１実施形態では、アノテーションを表示したいオブジェクト位置と観察者の視点位置の地図上での座標によって、アノテーションの表示位置を決定した。第２実施形態では、オブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定することにより、オブジェクト位置や視点位置の地図上での座標の精度が低い場合でも適切な位置にアノテーションを表示する。
【００４２】
図９は、２枚のパノラマ画像からオブジェクト位置を決定する方法を説明する図である。本実施形態においては、視点位置の地図上での座標をもとにオブジェクトの地図上の位置を決定する。オブジェクトの地図上での位置は、道ごとに決定され、アノテーション表示位置を計算する際には、視点位置が存在する道で決定されたオブジェクトの地図上での位置を用いる。図９では、簡単のために区分点Ｃ１をｘｙ平面の原点とし、区分点Ｃ２をｘ軸上に取る（すなわち道Ｒ１はｘ軸の一部となる）。区分点Ｃ１、Ｃ２の座標はそれぞれ（０，０）、（ｘ２，０）である。道Ｒ１では、パノラマ画像の正面方向は常にｘ軸の正の方向である。
アノテーションを表示したいオブジェクトＡの区分点Ｃ１からの観察方向（正面方向からの相対方向）がθ１、区分点Ｃ２からの観察方向がθ２である場合、オブジェクトの地図上での座標（ｘｏ，ｙｏ）は次式から求められる。
【００４３】
【外４】
【外５】
図１０は、オブジェクトごとに２枚のパノラマ画像からオブジェクトの地図上の位置を決定する手順を説明するフローチャートである。まずステップＳ２０１において、アノテーションを表示したいオブジェクトを決定する。次に、ステップＳ２０２において、該オブジェクトのアノテーションを表示するすべての道においてオブジェクトの位置決定が終了したかどうかを判別する。すべての道において位置決定が終了していない場合には、ステップＳ２０３に進み、該オブジェクトの位置決定を行う道を決定し、ステップＳ２０４において、上記の式によって該道におけるオブジェクトの位置を算出する。ステップＳ２０２においてすべての道においてオブジェクトの位置決定が終了している場合には、ステップＳ２０５に進む。ステップＳ２０５において、アノテーションを表示させたいオブジェクトすべてについて位置決定が終了している場合には、位置決定を終了し、終了していない場合には、ステップＳ２０１に戻って次のオブジェクトを決定する。
【００４６】
図１１は、本実施形態におけるオブジェクトの位置決定を行うためのグラフィカルユーザインタフェース（ＧＵＩ）１０００の図である。ＧＵＩは、２次元地図画像を表示する地図表示ウィンドウ１０１０、地図表示ウィンドウ上で選択した道の両端の区分点に対応するパノラマ画像を表示するパノラマ画像表示ウィンドウ１０２０、１０２１、オブジェクト追加ボタン１０３０、既存オブジェクトボタン１０４０、更新ボタン１０５０より構成される。
【００４７】
まだ位置決定を行っていない新規のオブジェクトの位置決定を行う場合には、オブジェクト追加ボタン１０３０をマウスでクリックする。すでに位置決定を行ったオブジェクトの位置を修正する場合には、既存オブジェクトボタン１０４０をマウスでクリックし、表示されるオブジェクトのリストの中から所望のオブジェクトを選択する。
【００４８】
地図表示ウィンドウ１０１０には、２次元地図画像の上に区分点と道が表示されている。ユーザがオブジェクトの位置決定をしたい道をマウスでクリックすると、パノラマ画像表示ウィンドウ１０２０、１０２１に、選択した道の両端の区分点に対応するパノラマ画像が表示される。
【００４９】
なお、２枚の代表的なパノラマ画像は道の両端の区分点に対応するパノラマ画像でなくても構わず、地図上からユーザが独立に指定した位置におけるパノラマ画像であっても構わない。たとえば、同一の道上の区分点でない位置のパノラマ画像を用いても構わない。
【００５０】
図１２は、上記のＧＵＩにおけるオブジェクトの位置決定方法を示す図である。ここでは、区分点Ｃ１と区分点Ｃ２に挟まれた道Ｒ１におけるオブジェクトＡの位置決定を行う場合について説明する。道Ｒ１をマウスでクリックするとパノラマ画像表示ウィンドウ１０２０、１０２１にはそれぞれ区分点Ｃ１、Ｃ２に対応したパノラマ画像が表示される。まず、パノラマ画像表示ウィンドウ１０２０において、オブジェクトＡが観察される方向をマウスでクリックする。クリックすると、パノラマ画像表示ウィンドウ１０２０上のクリックした点上を通るパノラマ画像の垂直方向に平行な直線が引かれ、地図表示ウィンドウ１０１０には、クリックされた方向を示す直線が引かれる。次に、パノラマ表示ウィンドウ１０２１において、同様の操作を行う。その結果、地図表示ウィンドウ１０１０上で２直線が交わる点が道Ｒ１におけるオブジェクトＡの位置であると算出される。
【００５１】
オブジェクトの位置決定を、すべてのアノテーションを表示したい道について行ったら、更新ボタン１０５０をクリックすることにより位置データを保存する。
【００５２】
図１３は、アノテーションを表示したいオブジェクトと区分点・道を地図上に示した図である。図１３では、オブジェクト（建物Ａ）が、道Ｒ１、Ｒ２、Ｒ３、Ｒ４から観察することが可能になっている。このオブジェクトに対して、道Ｒ１と道Ｒ２においてアノテーションを表示する場合には、道Ｒ１に対しては区分点Ｃ１とＣ２に対応するパノラマ画像からオブジェクトの位置を算出し、道Ｒ２に対しては区分点Ｃ２とＣ３に対応するパノラマ画像からオブジェクトの位置を算出する。図１４に、アノテーションを表示するオブジェクトの属性を示す。道Ｒ１においてアノテーション表示位置を決定する場合にはオブジェクトの地図上の位置座標として（ｘｏ１，ｙｏ１）を用い、道Ｒ２においてアノテーション表示位置を決定する場合にはオブジェクトの地図上の位置座標として（ｘｏ２，ｙｏ２）を用いる。アノテーション画像は道ごとに異なる画像を表示してもよい。
また、図１４ではアノテーション画像はＪＰＥＧ画像であるが、他の画像フォーマットでもよいし、動画像でもよい。
【００５３】
アノテーション表示位置決定部５０は、上述のように決められたオブジェクトの地図上の位置座標を用いて、アノテーションを表示する位置を決定する。
【００５４】
以上のように、第２実施形態によれば、オブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定することにより、オブジェクト位置や視点位置の地図上での座標の精度が低い場合でも適切な位置にアノテーションを表示することが可能になる。
【００５５】
また、ＧＵＩを用いることにより、オブジェクトの地図上での位置決定を簡便に行うことが可能になる。
【００５６】
＜第３実施形態＞
上記第２実施形態では、アノテーションを表示したいオブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定した。第３実施形態では、パノラマ画像単位でアノテーション表示位置を設定可能にして優先的に用いることで、より適切な位置へのアノテーション表示を行う。
【００５７】
図１５は、パノラマ画像単位でアノテーション表示位置の設定を行うＧＵＩ２０００の図である。地図表示ウィンドウ１０１０、パノラマ画像表示ウィンドウ１０２０、１０２１、オブジェクト追加ボタン１０３０、既存オブジェクトボタン１０４０、更新ボタン１０５０は図１１と同一であるので説明を省略する。パノラマ画像表示ウィンドウ１０２２は、選択されている道上の任意の点に対応するパノラマ画像を表示する。
【００５８】
図１６は、上記のＧＵＩにおけるパノラマ画像単位のアノテーション表示位置決定方法を説明する図である。オブジェクトＡの位置を２つの区分点におけるパノラマ画像の観察方向から決定した後、道上の点をマウスでクリックする。クリックすると、パノラマ画像表示ウィンドウ１０２２に、クリックした点に対応するパノラマ画像が表示され、同時にオブジェクトＡの位置から決定されるアノテーション表示位置が、パノラマ画像の垂直方向に平行な直線で示される。パノラマ画像の地図上での位置座標の精度が低い場合、示されたアノテーション表示位置は、実際に表示したい位置よりずれることがある。そのため、パノラマ画像表示ウィンドウ１０２２上で適切なアノテーション表示位置をクリックする。このようにパノラマ画像単位で決定されたアノテーション表示位置は、アノテーション表示位置決定部５０において、オブジェクトの地図上の位置と視点位置から決定されるアノテーション表示位置よりも優先的に用いられる。
【００５９】
図１７は、第３実施形態における、アノテーションを表示したいオブジェクトの属性を示す図である。オブジェクト（建物Ａ）は、道Ｒ１において２枚のパノラマ画像（フレーム番号ｎ、ｍ）に対して個別にアノテーション表示位置を設定している。個別に設定されるアノテーション表示位置はパノラマ画像の正面方向からの相対角度θｎ、θｍによって記述される。
【００６０】
図１８は、第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。ステップＳ２０１からステップＳ２０５は図１０と同一であるので説明を省略する。図１９において、ステップＳ３０１でパノラマ画像単位でアノテーション表示位置を決定しない場合はＢに進む。決定する場合は、ステップＳ３０２において、アノテーション表示位置を決定するパノラマ画像を選択し決定する。次にステップＳ３０３において、該パノラマ画像におけるアノテーション表示位置を設定する。ステップＳ３０４において終了判定を行い、他のパノラマ画像についてアノテーション表示位置を決定する場合には、ステップＳ３０２に戻る。
【００６１】
図２０は、アノテーション表示位置決定部５０において、あるオブジェクトのアノテーション表示位置を決定する手順を示すフローチャートである。ステップＳ３１１において、該オブジェクトに対して視点位置に対応するパノラマ画像においてアノテーション表示位置が設定されている場合には、そのアノテーション表示位置をそのまま用いる。設定されていない場合には、オブジェクト位置と視点位置からアノテーション表示位置を決定し、それを用いる。その後、ステップＳ３１３においてアノテーション表示位置を決定し、終了する。
【００６２】
以上のように、第３実施形態によれば、パノラマ画像単位でアノテーション表示位置を設定可能にして優先的に用いることで、より適切な位置へのアノテーション表示を行うことが可能になる。
【００６３】
また、ＧＵＩを用いることにより、パノラマ画像単位でのアノテーション表示位置を簡便に設定することが可能になる。
【００６４】
＜第４実施形態＞
上記第１実施形態〜第３実施形態では、観察者の地図上での視点位置およびオブジェクトの地図上での位置からアノテーションの表示位置を決定したが、第４実施形態では、地図上での位置を用いずに簡便にアノテーション表示位置を決定する。
【００６５】
図２１は、第４実施形態におけるアノテーション表示位置の決定方法を説明する図である。区分点Ｃ１から始まり区分点Ｃ２で終わる道Ｒ１は、直線で表され、区分点Ｃ１、区分点Ｃ２に対応するパノラマ画像及び道Ｒ１に対応付けられたパノラマ画像群の正面方向はすべて同一（区分点Ｃ１からＣ２へ向かう方向）であるとする。また、区分点Ｃ１にはフレーム番号ｎのパノラマ画像が、区分点Ｃ２にはフレーム番号ｎ＋ｍ（ｍ＞０）のパノラマ画像が、道Ｒ１にはフレーム番号ｎ＋１からｎ＋ｍ−１までのパノラマ画像が対応付けされているとする。
【００６６】
図２１における建物Ａのアノテーションを、道Ｒ１に対応付けられたパノラマ画像群に表示する場合、まず道Ｒ１の両端の区分点Ｃ１、Ｃ２における建物Ａの観察方向θ１、θ２を求める。観察方向θ１、θ２はあらかじめ前処理で求めておく。また、θ１、θ２は、道ごとに求める。
【００６７】
アノテーション表示位置決定部５０において、区分点Ｃ１、区分点Ｃ２からの建物Ａの観察方向がそれぞれθ１、θ２である場合、道Ｒ１上のフレーム番号ｎ＋ｉ（ｉ＞０）のパノラマ画像における建物Ａのアノテーション表示位置θｉは、以下の式に示すように線形補間で求める。
【００６８】
【外６】
以上のように、第４実施形態によれば、２地点のパノラマ画像におけるオブジェクトの観察方向を線形補間することにより、２地点に挟まれる道に対応付けられたパノラマ画像群へのアノテーション表示位置の決定を簡便に行うことが可能になる。また、線形補間であるため、計算量を減らすことが可能になる。
【００７０】
＜第５実施形態＞
上記第４実施形態では、２地点のパノラマ画像におけるオブジェクトの観察方向を線形補間することによりアノテーション表示位置を求めた。第５実施形態では、非線形の補間を行うことでより精度高くアノテーション表示位置を求める。
【００７１】
図２２は、図２１に示されるθ１、θ２と、θｉとの関係を示す図である。横軸はフレーム番号、縦軸はオブジェクトの観察方向を示す。図２２ではθ１、θ２の範囲を、
【外７】
【外８】
【外９】
【００７２】
アノテーション表示位置決定部５０は、オブジェクトのアノテーション表示位置を決定する際に、道を挟む２つの区分点からのオブジェクトの観察方向θ１、θ２からも泊まる逆正接関数を補間関数として用いてアノテーション表示位置θｉを決定する。計算量を減らすために、補間関数は上記の逆正接関数を直線近似したものを用いてもよい。
【００７３】
また、逆正接関数の計算量を減らすために、フレーム番号とアノテーション表示位置の関係をあらかじめテーブルとして持っておいてもよい。図２３に示すように、−π＜θ１≦π、−π＜θ２≦πである場合、オブジェクトの観察方向θ１、θ２の値によって、フレーム番号とアノテーション表示位置の対応関係は６種類の逆正接関数の形に分類される。アノテーション表示位置決定部５０は、あらかじめ代表的なθ１、θ２の値で６種類のパターンのフレーム番号とアノテーション表示位置の関係の対応テーブルを保持しておき、現在の道の両端の区分点からのオブジェクトの観察方向θ１、θ２から、６つパターンのうちどれに近いかを判別し、フレーム番号によってテーブルの値を参照する。６つのパターンのうちどれに近いかどうかはあらかじめ判別しておいてもよい。対応テーブルは、道に対応付けられたパノラマ画像の枚数によって変化するが、あらかじめ十分細かい解像度で対応テーブルを作成しておき、該当する道のパノラマ画像の枚数によってスケーリングすることで対応テーブルの数を抑制する。なお、本実施形態では対応テーブルの数を６つにしているが、ＲＡＭの容量などに応じて増やすことが可能である。また、最初は少ない数の対応テーブルにしておき、実際のアノテーション表示位置を見て現在の対応テーブルでは近似しきれない場合は、表示がずれている道の両端の区分点におけるオブジェクトの観察方向を用いて決定される補間関数を随時追加していって精度を上げることが可能である。
【００７４】
以上のように、第５実施形態によれば、２地点のパノラマ画像におけるオブジェクトの観察方向から求めた逆正接関数を用いた補間を行うことにより、２地点に挟まれる道に対応付けられたパノラマ画像群へのアノテーション表示位置の決定をより精度高く行うことが可能になる。
【００７５】
＜その他の実施形態＞
上記実施形態ではパノラマ画像を用いているがパノラマ画像でなくても構わない。
【００７６】
また前述した実施形態の機能を実現するためのソフトウエアのプログラムコードをネットワークを介して供給し供給することも本発明の範疇に含まれる。
【００７７】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段は本発明を構成する。
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００７８】
【発明の効果】
以上説明したように、本発明によれば、アノテーションの表示位置の決定を簡便にすることができる。
【図面の簡単な説明】
【図１】本実施形態におけるウォークスルーシステムの機能構成を説明するブロック図である。
【図２】本実施形態における画像再生装置１のハード構成を示す図である。
【図３】本実施形態における仮想空間の表現方法を説明する図である。
【図４】区分点、道の属性の一例を示す図である。
【図５】パノラマ画像と道の方向の対応を説明する図である。
【図６】アノテーション表示位置決定部５０におけるアノテーション表示位置決定方法を示す図である。
【図７】アノテーション表示位置決定部５０の動作を説明するフローチャートである。
【図８】画像再生制御部４０におけるアノテーション合成の処理を説明する図である。
【図９】２枚のパノラマ画像からオブジェクト位置を決定する方法を説明する図である。
【図１０】オブジェクトごとに２枚のパノラマ画像からオブジェクトの地図上の位置を決定する手順を説明するフローチャートである。
【図１１】オブジェクトの位置決定を行うためのグラフィカルユーザインタフェース（ＧＵＩ）１０００を示す図である。
【図１２】ＧＵＩ１０００におけるオブジェクトの位置決定方法を示す図である。
【図１３】アノテーションを表示したいオブジェクトと区分点・道を地図上に示した図である。
【図１４】アノテーションを表示するオブジェクトの属性の一例を示す図である。
【図１５】パノラマ画像単位でアノテーション表示位置の設定を行うＧＵＩ２０００を示す図である。
【図１６】ＧＵＩ２０００におけるパノラマ画像単位のアノテーション表示位置決定方法を説明する図である。
【図１７】第３実施形態における、アノテーションを表示したいオブジェクトの属性を示す図である。
【図１８】第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。
【図１９】第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。
【図２０】アノテーション表示位置決定部５０において、あるオブジェクトのアノテーションを決定する手順を示すフローチャートである。
【図２１】第４実施形態におけるアノテーション表示位置の決定方法を説明する図である。
【図２２】２地点のパノラマ画像からのオブジェクトの観察方向θ１、θ２と、２地点に挟まれる道上のパノラマ画像からのオブジェクトの観察方向θｉとの関係を示す図である。
【図２３】オブジェクトの観察方向θ１、θ２の値による、フレーム番号とアノテーション表示位置の対応関係を示す図である。
Claims (12)
- 地図上での視点位置、視線方向を決定する視点位置・視線方向決定工程と、
複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定するアノテーション表示位置決定工程と、
前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する合成工程を備えることを特徴とする情報処理方法。 - 前記地図は、２次元地図画像であることを特徴とする請求項１に記載の画像再生方法。
- 前記アノテーション表示位置決定工程は、前記複数のパノラマ画像間に挟まれるパノラマ画像のアノテーション表示位置を、前記決定されたオブジェクトの地図上での位置を用いて決定することを特徴とする請求項１または２に記載の情報処理方法。
- 前記決定されたアノテーション表示位置を、マニュアル調整できることを特徴とする請求項３記載の情報処理方法。
- 地図表示部とパノラマ画像表示部を有するグラフィカルユーザインターフェースを有し、
該地図表示部を用いて前記複数のパノラマ画像を選択し、
前記パノラマ画像表示部に表示された前記選択されたパノラマ画像上で、前記オブジェクトの観察方向を指定することを特徴とする請求項１乃至４のいずれかに記載の情報処理方法。 - 請求項１乃至５のいずれかに記載の画像再生方法をコンピュータによって実現させるための制御プログラム。
- 実写画像を用いて表現される仮想空間内においてウォークスルーを実現する画像再生装置で用いる実写画像にアノテーション画像を合成するための情報処理方法であって、
複数の実写画像のそれぞれにおけるアノテーション表示位置を設定し、
前記複数の実写画像のそれぞれにおいて設定されたアノテーション表示位置を用いて、該複数の実写画像間に位置する他の実写画像に対するアノテーション表示位置を算出し、
前記算出されたアノテーション表示位置に基づき、実写画像にアノテーション画像を合成することを特徴とする情報処理方法。 - 前記複数の実写画像のそれぞれにおけるアノテーション表示位置の設定は、ユーザのマニュアル指示に応じて行われ、
さらに、前記算出されたアノテーション表示位置を、ユーザのマニュアル指示に基づく調整可能であることを特徴とする請求項７記載の情報処理方法。 - 前記他の実写画像に対するアノテーション表示位置は、前記複数の実写画像のそれぞれにおいて設定されたアノテーション表示位置を補間することにより算出されることを特徴とする請求項７または８記載の情報処理方法。
- 前記補間は非線形補間であり、
あらかじめ保持されている複数の非線形曲線から、前記複数の実写画像におけるオブジェクトのアノテーション位置に基づき非線形曲線が決定されることを特徴する請求項９に記載の情報処理方法。 - 請求項１乃至１０のいずれかに記載の情報処理方法を実現するためのプログラム。
- 地図上での視点位置、視線方向を決定する視点位置・視線方向決定手段と、
複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定するアノテーション表示位置決定手段と、
前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する画像再生制御手段を備えることを特徴とする画像再生装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003023823A JP2004234455A (ja) | 2003-01-31 | 2003-01-31 | 情報処理方法および画像再生装置 |
| US10/763,222 US20040174386A1 (en) | 2003-01-31 | 2004-01-26 | Information processing method and image reproduction apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003023823A JP2004234455A (ja) | 2003-01-31 | 2003-01-31 | 情報処理方法および画像再生装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004234455A true JP2004234455A (ja) | 2004-08-19 |
Family
ID=32923211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003023823A Pending JP2004234455A (ja) | 2003-01-31 | 2003-01-31 | 情報処理方法および画像再生装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040174386A1 (ja) |
| JP (1) | JP2004234455A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014162823A1 (ja) * | 2013-04-04 | 2014-10-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP2015153426A (ja) * | 2014-02-18 | 2015-08-24 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 着目場所の拡張視界の生成 |
| WO2019043755A1 (ja) * | 2017-08-28 | 2019-03-07 | 三菱電機株式会社 | 拡張現実コンテンツ生成装置および拡張現実コンテンツ生成方法 |
| KR20200010909A (ko) * | 2018-07-23 | 2020-01-31 | (주)지니트 | 파노라마 크로마키 합성 시스템 및 방법 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2559726C (en) * | 2004-03-24 | 2015-10-20 | A9.Com, Inc. | System and method for displaying images in an online directory |
| US8154599B2 (en) * | 2005-07-29 | 2012-04-10 | Panasonic Corporation | Imaging region adjustment device |
| US8855856B2 (en) * | 2007-05-08 | 2014-10-07 | GM Global Technology Operations LLC | Vehicle roll control method using controllable friction force of MR dampers |
| US8009178B2 (en) * | 2007-06-29 | 2011-08-30 | Microsoft Corporation | Augmenting images for panoramic display |
| US20110096091A1 (en) * | 2008-06-24 | 2011-04-28 | Monmouth University | System and method for viewing and marking maps |
| US9164975B2 (en) | 2008-06-24 | 2015-10-20 | Monmouth University | System and method for viewing and marking maps |
| US20120105577A1 (en) * | 2010-11-01 | 2012-05-03 | Olympus Imaging Corp. | Panoramic image generation device and panoramic image generation method |
| CN103636187B (zh) * | 2011-08-30 | 2016-11-16 | 松下电器产业株式会社 | 摄像装置 |
| US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
| JP6056127B2 (ja) * | 2011-10-31 | 2017-01-11 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP6346445B2 (ja) | 2014-01-10 | 2018-06-20 | キヤノン株式会社 | 処理装置、処理装置の制御方法、およびプログラム |
| JP2016062486A (ja) * | 2014-09-19 | 2016-04-25 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
| EP3040835B1 (en) * | 2014-12-31 | 2021-12-01 | Nokia Technologies Oy | Image navigation |
| US20170103558A1 (en) * | 2015-10-13 | 2017-04-13 | Wipro Limited | Method and system for generating panoramic images with real-time annotations |
| US10764494B2 (en) | 2018-05-25 | 2020-09-01 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using composite pictures |
| US10666863B2 (en) * | 2018-05-25 | 2020-05-26 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using overlapping partitioned sections |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10255069A (ja) * | 1997-03-10 | 1998-09-25 | Canon Inc | 画像処理システム |
| JPH10255081A (ja) * | 1997-03-10 | 1998-09-25 | Canon Inc | 画像処理方法及び画像処理装置 |
| US6064399A (en) * | 1998-04-03 | 2000-05-16 | Mgi Software Corporation | Method and system for panel alignment in panoramas |
| JP4146938B2 (ja) * | 1998-09-08 | 2008-09-10 | オリンパス株式会社 | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
| US6563529B1 (en) * | 1999-10-08 | 2003-05-13 | Jerry Jongerius | Interactive system for displaying detailed view and direction in panoramic images |
| JP2002258740A (ja) * | 2001-03-02 | 2002-09-11 | Mixed Reality Systems Laboratory Inc | 画像記録装置及び画像再生装置とそれらの方法 |
| JP4072330B2 (ja) * | 2001-10-31 | 2008-04-09 | キヤノン株式会社 | 表示装置および情報処理方法 |
| US7411594B2 (en) * | 2002-01-15 | 2008-08-12 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| US6968973B2 (en) * | 2003-05-31 | 2005-11-29 | Microsoft Corporation | System and process for viewing and navigating through an interactive video tour |
-
2003
- 2003-01-31 JP JP2003023823A patent/JP2004234455A/ja active Pending
-
2004
- 2004-01-26 US US10/763,222 patent/US20040174386A1/en not_active Abandoned
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014162823A1 (ja) * | 2013-04-04 | 2014-10-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN105264572A (zh) * | 2013-04-04 | 2016-01-20 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
| JPWO2014162823A1 (ja) * | 2013-04-04 | 2017-02-16 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN105264572B (zh) * | 2013-04-04 | 2018-09-21 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
| JP2015153426A (ja) * | 2014-02-18 | 2015-08-24 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 着目場所の拡張視界の生成 |
| WO2019043755A1 (ja) * | 2017-08-28 | 2019-03-07 | 三菱電機株式会社 | 拡張現実コンテンツ生成装置および拡張現実コンテンツ生成方法 |
| JPWO2019043755A1 (ja) * | 2017-08-28 | 2019-12-19 | 三菱電機株式会社 | 拡張現実コンテンツ生成装置および拡張現実コンテンツ生成方法 |
| KR20200010909A (ko) * | 2018-07-23 | 2020-01-31 | (주)지니트 | 파노라마 크로마키 합성 시스템 및 방법 |
| KR102133735B1 (ko) | 2018-07-23 | 2020-07-21 | (주)지니트 | 파노라마 크로마키 합성 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040174386A1 (en) | 2004-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004234455A (ja) | 情報処理方法および画像再生装置 | |
| US7411594B2 (en) | Information processing apparatus and method | |
| US7626596B2 (en) | Image reproducing method and apparatus for displaying annotations on a real image in virtual space | |
| US20200082501A1 (en) | Digital Mapping System | |
| CA2820299C (en) | A digital mapping system | |
| US7382374B2 (en) | Computerized method and computer system for positioning a pointer | |
| WO2011111239A1 (ja) | ３次元地図描画システム | |
| JP2000020757A (ja) | 立体画像処理装置、ユーザ・インタフェース装置、立体表示用バッファ制御方法及びその制御装置、立体画像表示装置、そしてプログラム記憶媒体 | |
| JP2013084307A (ja) | パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション | |
| US6714198B2 (en) | Program and apparatus for displaying graphical objects | |
| JP2003067784A (ja) | 情報処理装置 | |
| JP2002140731A (ja) | 画像処理装置および方法、画像処理システム、記録媒体 | |
| JP2005174024A (ja) | 画像生成装置及び方法 | |
| JP2004062755A (ja) | 画像提示装置および情報処理方法 | |
| JPH05135154A (ja) | ３次元ウインドウを用いたグラフイツクデータ処理システム | |
| JP2003208635A (ja) | 画像再生装置及び情報処理方法 | |
| JP2004070609A (ja) | 画像再生装置及び方法 | |
| JPH11238143A (ja) | 画像処理方法、仮想現実感の提示方法およびそのプログラムの記憶媒体 | |
| Tatzgern et al. | Embedded virtual views for augmented reality navigation | |
| JP2004350006A (ja) | 案内情報提供方法、サーバ、案内情報表示装置、案内情報提供プログラム及び案内情報表示制御プログラム | |
| EP1720090B1 (en) | Computerized method and computer system for positioning a pointer | |
| JPH11232483A (ja) | 情報処理装置および情報記録媒体 | |
| JP3306264B2 (ja) | 描画装置および描画方法 | |
| JPH08194834A (ja) | 三次元画像表示制御装置および三次元画像表示制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061017 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061114 |