JP2005174024A - Image forming apparatus and method - Google Patents

Image forming apparatus and method Download PDF

Info

Publication number
JP2005174024A
JP2005174024A JP2003413814A JP2003413814A JP2005174024A JP 2005174024 A JP2005174024 A JP 2005174024A JP 2003413814 A JP2003413814 A JP 2003413814A JP 2003413814 A JP2003413814 A JP 2003413814A JP 2005174024 A JP2005174024 A JP 2005174024A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
position
annotation
region
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003413814A
Other languages
Japanese (ja)
Inventor
Takaaki Endo
Akihiro Katayama
Daisuke Kotake
Yukio Sakakawa
Masahiro Suzuki
幸雄 坂川
大輔 小竹
昭宏 片山
隆明 遠藤
雅博 鈴木
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To change a method for deciding the display position of annotation according to a relative position between an annotation object and a person who has had an experience, and so always display the annotation at proper positions. <P>SOLUTION: A real photographic image is extracted on the basis of a visual point position in a virtual space from real photographic images at a plurality of spots, and an output image is prepared on the basis of the extracted real photographic image. It is decided in which region among a plurality of regions which is set with respect to the annotation the visual point position exists, and the display method of annotation is switched on the basis of the decision result (S103). In this case, those plurality of regions include a first region including at least a portion of the regions where the object of annotation exists and a second region in the periphery of the first region. When the visual point position is present in the first region, the display position of the annotation is fixed to the predetermined position of an output image, and when the visual point position is present in the second region, the display position of the annotation in the output image is decided on the basis of the visual point position and display coordinates set in the annotation. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、実空間の撮影によって得られた画像データをもとに構築される仮想空間の画像上へのアノテーションの表示技術に関する。 The present invention relates to a display technology of the annotation onto the image of the virtual space constructed on the basis of image data obtained by photographing a real space.

移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を計算機を用いて仮想空間として表現する試みが提案されている(例えば非特許文献1、または非特許文献2などを参照)。 Photographed real space by onboard imaging apparatus to the mobile, based on the captured photographed image data, attempts to express has been proposed a captured real space as a virtual space using computer (for example, non-patent Referring to such document 1 or non-Patent Document 2).

実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データから現実空間の幾何形状モデルを再現し、従来のCG技術で表現する手法が挙げられるが、モデルの正確性や写実性の点で限界がある。 Based on the photographed image data, as a method of representing a captured real space as a virtual space, to reproduce the geometric model of the physical space from the photographed image data, but a technique for representing the conventional CG techniques are mentioned, Model there is a limit in terms of accuracy and realism of. 一方、幾何形状モデルの再現を行わずに、実写画像を用いて仮想空間を表現するImage-Based Rendering(IBR)技術が近年注目を集めている。 On the other hand, without reproducing the geometric models, Image-Based Rendering (IBR) technology to represent the virtual space using the photographed image has attracted attention in recent years. IBR技術は実写画像に基づいて仮想空間画像を生成するので、写実的な仮想空間の表現が可能である。 Since IBR technique to generate a virtual space image based on the photographed image, it is possible to express a realistic virtual space. また、都市や町のような広大な空間の幾何形状モデルを作成するためには膨大な時間や労力が必要とされるが、IBR技術ではそのような幾何形状モデルは不要であり、幾何形状モデル作成のための時間や労力は必要とされない。 Although being required a lot of time and effort to create a vast geometric model of the space, such as cities and towns, such geometric models in IBR technology is not necessary, geometric models time and effort for the creation is not required.

IBR技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。 To construct a walkthrough available virtual space using the IBR technique, it is necessary to perform generation and presentation of an image corresponding to the position of the virtual space of the viewer. そのため、この種のシステムにおいては、実写画像データの各画像フレームと仮想空間内の位置を対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応する画像フレームを取得し、これを再生する。 Therefore, in this kind of system, to keep in association with positions in the virtual space and each image frame of the photographed image data, acquiring an image frame corresponding based on the position and viewing direction in the virtual space of the viewer and, to play it.

このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向を見ることができるように、各視点位置に対応する画像フレームを再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておく。 In such a walk-through virtual space, to be able to experience sees a desired direction at each viewpoint, covers a wider range than the field angle at the time of reproducing the image frame corresponding to each viewpoint keep in the panoramic image to be. そして、再生時には、体験者の仮想空間内の視点位置に基づいてパノラマ画像を読出し、視線方向に基づいて部分画像をパノラマ画像から切出して表示する。 Then, during playback, displays cut out partial images from the panoramic image based on a panoramic image reading, in the viewing direction based on the viewpoint position of the virtual space of the viewer. 仮想空間における視点位置の軌跡が撮影装置を搭載した車輌の軌跡と同一である場合、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。 If the trajectory of the viewpoint position in the virtual space is the same as the trajectory of the vehicle equipped with the imaging apparatus, the observer can though enjoy the feeling as if he is running riding in the vehicle.

さらに、再生中の画像内のビルの上にビルの名前などのアノテーション(注釈)を合成して表示することにより、より豊かな情報を観察者に提供することができる。 Further, by displaying synthesized annotations, such as the name of the building on the building in the image being reproduced (annotation), it can provide richer information to the viewer. また実写画像上では暗くて見えにくい標識などをアノテーションとして見やすく表示することも可能である。 It is also possible to display easily visible and difficult to label look dark as annotations in the photographed image.

仮想空間をウォークスルーする体験者にアノテーションを有効に表示するために、アノテーションの対象となるオブジェクト(アノテーション対象物)と体験者の相対的な動きに合わせてアノテーションの画像内の表示位置が決まる。 In order to effectively display the annotation virtual space experience who walkthrough, subject to the object (annotation object) annotation and determines the display position of the image of the annotation in accordance with the relative movement of the viewer. 例えば、画像内の建築物の上にアノテーションを表示している場合、体験者の視線方向が変われば画像内の建築物の表示位置が変わり、それにあわせてアノテーションの表示位置も変わる。 For example, if you are viewing the annotations on top of the building in the image, the display position of the building in the image change if Kaware line-of-sight direction of the viewer, also changes the display position of the annotation in conjunction with it. 体験者にとってアノテーションは常にアノテーション対象物の上に存在するので、体験者は画像中のオブジェクトとアノテーションとの関連を容易に把握できる。 Since for viewer annotation is always present on the annotation object viewer can easily grasp the association between the object and the annotation in the image.

しかし、アノテーション対象物の物体や建築物等に近づきすぎると、アノテーションの表示位置が不適切になる場合がある。 However, if too close to the object and buildings such annotation object, there is a case where the display position of the annotation is incorrect. 例えば、アノテーションが建物の上の方で表示されている場合、その建物に近づくとアノテーションが視界から外れたりする。 For example, if the annotation is displayed in the top of the building, it approaches the building annotation or out of sight. さらに、体験者とアノテーション対象物が相対的に近くになると、体験者の動きに応じたアノテーションの動きが激しくなり、その動きが体験者に違和感を与えたりすることもある。 Furthermore, there is the viewer and annotation object is relatively close, movement of the annotation in response to the movement of the viewer is intensified, also that the motion or giving an uncomfortable feeling to the viewer. さらに、アノテーション対象物が面積を有する場合、例えば体験者の位置がアノテーション対象の地域内や建築物の中などであった場合は、体験者の位置にかかわらず体験者との相対的な位置は同じになり、画像内でのアノテーションの表示する位置が不定になる。 Furthermore, when having annotations object area, for example, if viewer position was like in the area or building annotation object, the relative position between the viewer regardless of the position of the viewer the same, the display position of the annotation in the image becomes unstable.

本発明は、上記の課題に鑑みてなされたものであり、その目的は、アノテーション対象物と体験者との相対的な位置によってアノテーションの表示位置の決定方法を変更し、常に適切な位置にアノテーションを表示可能とすることにある。 The present invention has been made in view of the above problems, and its object is to change the method of determining the display position of the annotation by the relative position between the viewer and the annotation object always annotation in position to make it possible display.
また、本発明の他の目的は、アノテーション対象物と体験者との相対的な位置がはっきりしていない場合等でもアノテーション表示位置を求めることにある。 Another object of the present invention is to obtain the annotation display position in such a case the relative position between the viewer and the annotation object is not clear.

上記の目的を達成するための本発明の一態様による画像生成方法は、 Image generating method according to an aspect of the present invention for achieving the above object,
複数地点の実写画像より、仮想空間における視点位置に基づいて実写画像を抽出し、抽出された実写画像に基づいて出力画像を生成する画像生成方法であって、 From photographed images of a plurality of points, an image generating method for generating an output image based on extracts photographed image based on the viewpoint position in the virtual space, the extracted photographed image,
アノテーションに関する複数の領域が設定された仮想空間中において、視点位置が該複数の領域のいずれに存在するかを判定する判定工程と、 In the virtual space in which a plurality of regions for the annotation is set, a determination step of determining whether the viewpoint position exists in any of said plurality of regions,
前記判定工程の判定結果に基づいて前記アノテーションの表示方法を切り換える切り替え工程とを備え、 And a switching step of switching the display method of the annotations based on the determination result of the determining step,
前記複数の領域は前記アノテーションの対象物の存在する領域の少なくとも一部を含む第1領域と、該第1領域の周辺の第2領域とを含み、 Wherein the plurality of regions includes a first region including at least a portion of the existing area of ​​the object of the annotation, and a second region surrounding the first region,
前記切り替え工程は、前記視点位置が前記第1領域にある場合は前記アノテーションの表示位置を出力画像の所定位置に固定する第1方法を採用し、前記視点位置が前記第2領域にある場合は、該視点位置と前記アノテーションに設定されている表示座標とに基づいて前記出力画像における該アノテーションの表示位置を決定する第2方法を採用する。 Wherein the switching step, when the viewpoint position is in the first region adopts a first method of fixing in position of the output image display position of the annotation, if the viewpoint position is in said second region , adopting the second method for determining the display position of the annotation in the output image based on the display coordinate set in the annotation and the visual point position.

本発明によれば、アノテーション対象物と体験者との相対的な位置によってアノテーションの表示位置の決定方法が変更され、常に適切な位置にアノテーションを表示することが可能となる。 According to the present invention, a method of determining the display position of the annotation by the relative position between the viewer and the annotation object is changed, it is possible to display the annotations to always place.

以下、添付図面を参照しながら、本発明の好適な一実施形態を説明する。 Hereinafter, with reference to the accompanying drawings, illustrating a preferred embodiment of the present invention.

まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。 First, a description will be given walk-through system of the virtual space according to the present embodiment. 本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを現実空間の位置に対応する地図上の位置と対応付けて保持する。 In the present embodiment, for example, to generate a panoramic image data from the photographed image data obtained by photographing by a plurality of imaging devices mounted on a mobile object such as an automobile, the map corresponding to the panoramic image data on the position of the real space held in association with the position of the upper. そして、体験者の仮想空間における視点位置(地図上の位置)と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。 Then, the viewpoint position in the virtual space of the viewer according to the viewing direction (the position on the map), by generating a display image from the panoramic image data stored, to achieve a walk-through in the virtual space.

図1は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。 Figure 1 is a block diagram illustrating a functional configuration of a walk-through system according to the present embodiment. 本ウォークスルーシステムを構成する画像再生装置1は、操作部10、視点位置・視線方向決定部20、地図データ保存部30、画像再生制御部40、アノテーション表示位置決定部50、アノテーションデータ保存部60、画像データ保存部70、表示部80を有する。 Image reproducing apparatus 1 constituting this walk-through system, the operation unit 10, the viewpoint position and the sight line direction determining unit 20, a map data storage unit 30, an image reproduction control unit 40, the annotation display position determination unit 50, the annotation data storage unit 60 the image data storage unit 70, a display unit 80. 各部の機能については、以降の説明により明らかとなろう。 For the function of each part, it will become apparent from the following description.

図2は、本実施形態における画像再生装置1のハード構成を示すブロック図である。 Figure 2 is a block diagram showing a hardware configuration of an image reproducing apparatus 1 according to this embodiment. 図2に示したハード構成は通常のパーソナルコンピュータの構成と同等である。 Hardware configuration shown in FIG. 2 is equivalent to the ordinary personal computer configurations. 図2において、ディスク105は画像データ保存部70を構成するものである。 2, the disk 105 is to constitute the image data storage unit 70. なおディスク105は、同時に地図データ保存部30、アノテーションデータ保存部60をも構成する。 Incidentally disc 105, at the same time the map data storage unit 30, also constitute the annotation data storage unit 60. ディスク105としては、ハードディスク、CD、DVD等が挙げられる。 The disc 105, hard disk, CD, DVD, and the like.

CPU101は、ディスク105またはROM106、または外部記憶装置(不図示)に保存され、RAM107にロードされたプログラムを実行することにより、視点位置・視線方向決定部20、画像再生制御部40、アノテーション表示位置決定部50として機能する。 CPU101 is stored on disk 105 or ROM106, or external storage device, (not shown), by executing the program loaded in the RAM 107, the viewpoint position and the sight line direction determining unit 20, an image reproduction control unit 40, the annotation display position functions as determining unit 50.

CPU101が表示コントローラ102に対して各種の表示指示を行うことにより、表示コントローラ102及びフレームバッファ103によって表示器104に所望の表示がなされる。 By CPU101 to perform various display instruction to the display controller 102, a desired display is performed on the display unit 104 by the display controller 102 and frame buffer 103. なお、図2では表示コントローラ102としてCRTC、表示器104としてCRTを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。 Incidentally, CRTC as the display controller 102 in FIG. 2, although the CRT as the display 104, the display is not limited to a cathode ray tube, it is of course may be a liquid crystal display or the like. なお、CRTC102、フレームバッファ103及びCRT104は、上述の表示部80を構成する。 Incidentally, CRTC102, frame buffer 103 and CRT104 constitute the display unit 80 described above.

マウス108、キーボード109及びジョイスティック110は、当該画像再生装置1へのユーザの操作入力を行うためのものであり、上述の操作部10を構成する。 Mouse 108, a keyboard 109 and a joystick 110 is for performing a user operation input to the image reproducing apparatus 1, constituting the operation unit 10 described above.

次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置1の動作の概要について説明する。 Then, in the walk-through system of the present embodiment having the above configuration, the outline of the operation of the image reproducing apparatus 1 will be described.

操作部10は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。 Operation unit 10, the movement parameters of the viewpoint position, and generates a rotation parameter of the viewing direction. 本実施形態では、視点位置・視線方向の制御にジョイスティック110を用いるものとするが、ゲームコントローラ等の他の入力装置で行ってもよいことは明らかである。 In the present embodiment, it is assumed to use a joystick 110 on the viewpoint position and the sight line direction of the control, it is clear that may be performed by other input devices such as a game controller. ジョイスティック110は、スティックの傾斜角と回転角を独立に制御することができる。 Joystick 110 can be controlled independently the rotation angle and inclination angle of the stick. 本実施形態では、ジョイスティック110のスティックを傾斜させる操作を仮想空間内における視点位置の移動に、スティックを左右に回転させる操作を仮想空間内における視線方向の回転に対応させる。 In the present embodiment, the operation for inclining the stick of the joystick 110 the movement of the viewpoint position in the virtual space, to correspond the operation of rotating the stick from side to side rotation of the viewing direction in the virtual space.

地図データ保存部30は、2次元の地図データを格納する。 The map data storage unit 30 stores the 2-dimensional map data. この地図データに基づいて地図画像を生成、表示することができる。 Generates a map image based on the map data, it can be displayed. 視点位置・視線方向決定部20は、操作部10により入力された移動パラメータ、回転パラメータをもとに、地図データ保存部30に保存されている2次元地図上における観察者の視点位置、視線方向を決定する。 Viewpoint position and the sight line direction determining section 20, the movement parameter input through the operation unit 10, on the basis of the rotation parameters, the observer's viewpoint position on the two-dimensional map stored in the map data storage unit 30, viewing direction to determine. すなわち、ウォークスルーを体験する体験者の仮想空間における視点位置及び視線方向は、この2次元地図上の位置、方向に対応する。 In other words, the viewpoint position and viewing direction in the virtual space experience who experience walkthroughs position on the two-dimensional map, corresponding to the direction.

画像データ保存部70は、2次元地図上の各位置に対応したパノラマ画像データを格納する。 Image data storage unit 70 stores the panoramic image data corresponding to each position on the two-dimensional map. なお、画像データ保存部70は画像再生装置1にローカルに存在する必要はない。 The image data storage unit 70 need not be present locally in an image reproducing apparatus 1. 例えば、ネットワーク上に画像データ保存部70を設置しておき、ネットワークを介して画像データを読み出すようにしてもよい。 For example, previously installed image data storage unit 70 on the network may be read image data via the network.

画像再生制御部40は、視点位置・視線方向決定部20から、観察者の地図上での視点位置及び視線方向を受け取り、その視点位置に対応したパノラマ画像データを画像データ保存部70から読み出す。 Image reproduction control unit 40, from the viewpoint position-sight direction determining section 20 receives the viewpoint and line-of-sight direction on the observer's map, reads the panoramic image data corresponding to the viewpoint position from the image data storage unit 70. 画像データ保存部70から視点位置に対応したパノラマ画像データを読み出すために、本実施形態では地図上の視点位置と画像データを対応づける対応付けデータを用いる。 To read the panoramic image data corresponding to the viewpoint position from the image data storage unit 70, in the present embodiment using the correspondence data associating viewpoint position and the image data on the map. この対応付けデータはシステム中のどこに保存されてもよいが、本実施形態では画像データ保存部70に保存されるものとする。 The mapping data may be stored anywhere in the system, but in the present embodiment shall be stored in the image data storage unit 70. 対応付けデータは例えば以下のデータ格納形態を有する。 Mapping data has the following data stored configuration example.

すなわち、観察者の移動を撮影経路上に限定して、経路を交差点(分岐点)や曲がり角といった区分点で区切り、区分点と、2つの区分点に挟まれた道とを用いて表現する。 That is, by limiting the movement of the observer on the imaging path, expressed using separate the route at an intersection segment point, such as (branch point) and corners, the segment point, and a road sandwiched between two demarcation points. 区分点は2次元地図上に設定され、道は区分点に挟まれた線分となる。 Segment point is set on a 2-dimensional map, the road becomes a line segment sandwiched between the segment point. 各区分点や道にはIDが割り当てられ、区分点には対応する実空間の位置で撮影されたパノラマ画像が、道には両端の区分点に割り当てられたパノラマ画像に挟まれたパノラマ画像群が割り当てられる。 Each division point and the road ID assigned, panoramic image in segment point was taken at the position of the corresponding real space, a panoramic image group sandwiched between panoramic images assigned to division point of both ends of the road It is assigned. 図3はこの様子を説明する図である。 Figure 3 is a view for explaining this state. 図3において、IDがC1である区分点とC2である区分点に挟まれた線分(道)にR1というIDが付与されている。 In FIG. 3, ID of the segment ID is sandwiched segment point is the division point is C1 C2 (road) R1 is granted. そしてGPSデータ等に基づいて区分点C1とC2に対応するパノラマ画像が特定されると、区分点C1にはフレーム番号nのパノラマ画像が、区分点C2にはフレーム番号n+mのパノラマ画像が割り当てられる。 When the panoramic image corresponding to the demarcation points C1 and C2 on the basis of the GPS data or the like is identified, the panoramic image of the frame number n is the segment point C1 is a panoramic image of the frame number n + m is assigned to the division point C2 . 区分点にパノラマ画像が割り当てられると、道R1には自動的にフレーム番号n+1からn+m−1までのパノラマ画像群が割り当てられる。 When panoramic images are assigned to division point, automatically panoramic images from the frame numbers n + 1 to n + m-1 is allocated to the road R1.

また、図4に示すように、各区分点、各パノラマ画像は2次元地図上での2次元座標を属性として持つ。 Further, as shown in FIG. 4, each segment point, the panorama images has a 2-dimensional coordinates on a two-dimensional map as attributes. なお、地図上での2次元座標は、GPSデータによって得られる緯度・経度データから求められるが、コンピュータ・ビジョンを利用して画像情報から求めてもよい。 The two-dimensional coordinates on the map is obtained from the latitude and longitude data obtained by the GPS data may be obtained from the image information using a computer vision. 或いは、両端の区分点の座標のみを求め、区分点間の道に含まれる各パノラマ画像の2次元地図上の2次元座標は補間(例えば、図3において、区分点C1とC2の間の道をm等分して、各区切り位置にm−1個のパノラマ画像(n+1〜n+m−1)を割り当てる)によって求めてもよい。 Alternatively, only the calculated coordinates of the division point of the two ends, the two-dimensional coordinates on the two-dimensional map of the panoramic image included in the road between segment point interpolation (e.g., in FIG. 3, the road between the demarcation points C1 and C2 the m aliquoted, may be obtained by m-1 pieces of the panoramic image in the break position (n + 1 to n + m-1) assign). 以上のような対応付けデータを用いることにより、画像再生制御部40は2次元地図上の視点位置に対応した画像データを画像データ保存部70〜取得することができる。 By using the mapping data as described above, the image reproduction control unit 40 may be image data storage unit 70 to acquire image data corresponding to the viewpoint position on the two-dimensional map.

また、画像再生制御部40は、アノテーション表示位置決定部50に地図上の視点位置を与える。 The image reproduction control unit 40 gives a viewpoint position on the map in the annotation display position determination unit 50. アノテーション表示位置決定部50は、受け取った視点位置情報をもとにアノテーションの表示位置を決定し、画像再生制御部40にアノテーション表示位置を与える。 Annotation display position determination unit 50, the received viewpoint data to determine the display position of the annotation in the original, providing the annotation display position on the image reproduction control unit 40. アノテーションの表示位置の決定方法については後述する。 Method will be described later determines the display position of the annotation. 画像再生制御部40は、視点位置に対応したパノラマ画像より、表示部80に表示する画角にあわせて部分画像を切出して射影変換を行い、アノテーション表示位置決定部50より受けとったアノテーション表示位置に従ってアノテーション画像を合成して表示部80に表示する画像を生成する。 Image reproduction control unit 40, from the panoramic image corresponding to the viewpoint position, performs projective transformation cut out a partial image in accordance with the angle to be displayed on the display unit 80, in accordance with the annotation display position received from annotation display position determination unit 50 the annotation images are synthesized to generate the image to be displayed on the display unit 80. 表示部80は画像再生制御部40において生成された画像を表示する。 Display unit 80 displays the image generated by the image reproduction control unit 40.

次に、アノテーション表示位置決定部50の動作について詳細に説明する。 Next, detailed description will be given of the operation of the annotation display position determination unit 50. 図5に示すように、本実施形態では、区分点に挟まれる道上において、パノラマ画像の正面方向は道の方向に平行、つまり撮影時の進行方向に平行であるとする。 As shown in FIG. 5, in the present embodiment, on the road sandwiched demarcation points, the front direction of the panoramic image parallel to the direction of the road, and that is, parallel to the traveling direction at the time of shooting.

本実施形態では、アノテーション対象物に関して仮想空間中に複数の領域を設定し、体験者が(視点位置が)どの領域に存在するかによってアノテーションの表示位置の決定方法を変える。 In the present embodiment, setting a plurality of areas in a virtual space with respect to the annotation object viewer is (viewpoint position) change the method of determining the display position of the annotation depending exists in which region. 本実施形態では、アノテーションの表示位置の決定方法を決めるために、各アノテーション対象物に対して、仮想空間を4つの領域(アノテーション表示モード領域)に分ける。 In the present embodiment, in order to determine the method of determining the display position of the annotation for each annotated object, divide the virtual space into four regions (the annotation display mode area). 図6は、本実施形態を説明するための一例を示す図であり、地図データによって表される地図601を示す。 Figure 6 is a diagram illustrating an example for describing the present embodiment, a map 601 represented by the map data. 地図601には、公園602がある。 The map 601, there is a park 602. 図7では図6に示した地図上において、アノテーション対象物(公園602)に対する領域の設定例を示す図である。 In the map shown in FIG. 6, FIG. 7 is a diagram showing a setting example of a region for the annotation object (Park 602). 図7の例では、公園602がアノテーション対象物であって、星印701はそのアノテーションの2次元地図上の位置である。 In the example of FIG. 7, the park 602 a annotation object, asterisk 701 is the position on the two-dimensional map of the annotation. 702は対象物のある領域、703は領域702を含み、702より広い領域である。 Region 702 with the object 703 includes a region 702, which is wider than 702 regions. 更に領域704は領域703を含み、領域703より広い。 Further region 704 comprises a region 703, wider than the region 703. 更に、領域705は仮想空間のその他の領域である。 Further, region 705 is the other area of ​​the virtual space. なお、領域702,703,704,705は、それぞれ表示モード領域A、B、C、Dと呼ぶこともある。 The region 702, 703, 704 and 705 are respectively displayed mode region A, B, C, also referred to as D.

なお、上記の各領域の決定方法は、例えばアノテーション対象物が体験者の視野のどのぐらいを占めるかによって決定することができる。 Incidentally, the method of determining the respective regions described above may be for example the annotation object is determined according occupies How much of the field of view of the viewer. 一例を挙げれば、次のような基準で決定することができる。 In one example, it can be determined by the following criteria. まず、アノテーション対象物602の領域は、領域702とする。 First, the area of ​​the annotation object 602, a region 702. 体験者が領域702の外にいて、さらに、体験者の水平視野の25%以下をアノテーション対象物が占める体験者の位置を領域705とする。 Viewer is had outside the region 702, further, the position of the viewer occupied annotated object less than 25% of the horizontal field of view of viewer and region 705. また、体験者の水平視野の25%から50%をアノテーション対象物が占める体験者の位置を領域704とする。 Also, the position of the viewer to 25% of the horizontal field of view of the viewer occupied annotation object 50 percent and area 704. そして、体験者の水平視野の50%以上をアノテーション対象物が占める体験者の位置を領域703とする。 Then, the position of the viewer occupied annotated object more than 50% of the horizontal field of view of viewer and region 703.
また、ここでは、説明のために四角い領域を例としてあげているが、この形に限るものではなく、例えば図8に示すように、アノテーション対象物からの距離で領域を決めても良いし、そのほかの領域の決め方でも良い。 Also, here, although as an example the rectangular area for the purpose of explanation, not limited to this form, for example as shown in FIG. 8, to the distance from the annotation object may be determined region, that may be a method of determining the other areas.

図9は、アノテーション表示位置決定部50の動作を説明するフローチャートである。 Figure 9 is a flowchart for explaining the operation of the annotation display position determination unit 50. まずステップS101において、新たな視点情報(視点位置、視線方向)を獲得する。 First, in step S101, it acquires the new viewpoint information (viewpoint position, the line-of-sight direction). 次にステップS102において、ステップS101で獲得した視点情報から該当する視点位置情報に基づいてアノテーションを表示すべき対象物を探索する。 In step S102, searches the object to be displayed annotations on the basis of the viewpoint position information corresponding the viewpoint information acquired in step S101. アノテーション対象物の検索条件は、体験者の視野に入っていることとする。 Search conditions of the annotation object, and it has entered the field of view of the viewer. すなわち、ステップS102では、体験者の視野に入っているアノテーション対象物が検索される。 That is, in step S102, the annotation objects contained in the visual field of the viewer is searched. 本実施形態では、複数の対象物に対してアノテーションを表示することができ、以下では、1つ又は複数のアノテーション対象物が検索された場合の処理を説明する。 In the present embodiment, it is possible to view the annotations for a plurality of objects, in the following, one or more annotation objects describing the process executed when it is retrieved.

ステップ102において、検索されたアノテーション対象物より1つ目のアノテーション対象物を決定し、ステップS103へ進む。 In step 102, determines a first annotation object from the search annotation object, the process proceeds to step S103. ステップS103において、該当する視点位置に対応したパノラマ画像におけるアノテーションの表示位置を計算する。 In step S103, it calculates the display position of the annotation in the panoramic image corresponding to the relevant viewpoint position. ステップS103の詳細な処理については、図10のフローチャートを参照して後述する。 The detailed process of step S103, described below with reference to the flowchart of FIG. 10. 次に、ステップS104において終了判定を行う。 Next, the end determination in step S104. ステップS102で検索されたアノテーション対象物のうち、まだステップS103の処理を終えていないアノテーション対象物が存在する場合はステップS105に進む。 Of the retrieved annotation object in step S102, if there is still annotation objects not finished the process of step S103, the process proceeds to step S105. ステップS105において、次のアノテーション対象物を決定し、ステップS103の処理に戻る。 In step S105, it determines the next annotation object, the process returns to step S103. ステップS104においてアノテーションを表示させるべき対象物すべてについてアノテーションの表示位置が決定している場合には、本処理を終了する。 When the display position of the annotation for all objects to be displayed annotations is determined in step S104, the process ends.

図10は、図9のステップS103のアノテーション表示位置を計算する詳細な処理の説明をするフローチャートである。 Figure 10 is a flow chart for a description of the detailed processing of calculating the annotation display position of the step S103 of FIG. 9. ステップS111、S112とS113において、ステップS101で得られた体験者の視点位置がアノテーション対象物に対してどの表示モード領域に入っているのかを判断する。 In step S 111, S112 and S113, viewer viewpoint position obtained in step S101 to determine whether they contained any display mode area with respect to the annotation object. 本実施形態では、体験者の視点位置が表示モード領域A〜Dのいずれの表示モード領域いるかに従って、アノテーション表示の位置決定方法が異なる。 In the present embodiment, in accordance with any display mode area dolphin of the display mode region A~D viewer viewpoint position, the position determination method of the annotation display is different.

ステップS111において、視点位置が表示モード領域Aにあると判断した場合には、ステップS114へ進む。 In step S111, when the viewpoint position is determined to be in the display mode region A, the process proceeds to step S114. 一方、視点位置は表示モード領域Aには無く、表示モード領域Bにあると判断された場合はステップS112からステップS115へ進む。 On the other hand, the viewpoint position is not in the display mode region A, if it is determined that the display mode area B proceeds from step S112 to step S115. また、視点位置が表示モード領域Cにあると判断された場合はステップS113からステップS116へ進み、視点位置が表示モード領域A〜Cのいずれにも無い(即ち表示モード領域Dにある)と判断された場合はステップS113からステップS117へ進む。 Also, if the viewpoint position is determined to be in the display-mode region C proceeds from step S113 to step S116, the viewpoint position (in other words the display mode area D) either to no display mode area A~C a determination If it is proceeds from step S113 to step S117. ステップS114、S115、S116及びS117のいずれかにおいてアノテーション表示位置を決定すると、ステップS103のアノテーション表示位置計算処理を終えたことになるので、処理は図10のフローチャートに戻る。 Upon determining the annotation display position in any of the steps S114, S115, S116 and S117, it means that finished annotation display position calculation processing in step S103, the process returns to the flowchart of FIG. 10.

以下、ステップS114〜S117の各領域毎の表示位置決定処理について詳細に説明する。 It is described in detail below display position determination process for each of the regions of step S114~S117.

まず、視点位置が表示モード領域Dにいる場合のアノテーション表示位置の決定処理(ステップS117)を説明する。 First, determination processing of annotation display position when the viewpoint position is in the display mode area D a (step S117) will be described. この場合のアノテーション表示位置の計算では、アノテーション対象物と視点位置との相対的な位置関係に基づいて画像内の表示位置が決まる。 In the calculation of the annotation display position of the case, the display position of the image is determined based on the relative positional relationship between the annotation object and the viewpoint position. この表示位置決定方法に従えば、例えば、体験者が仮想空間を見回している間、アノテーションの表示位置を画像内のアノテーション対象物の映像の上に常に表示させることができる。 According to the display position determination method, for example, viewer can always be displayed during the display position of the annotation over the image of the annotation object in an image which looked virtual space.

図11はステップS117におけるアノテーション表示位置決定方法を説明する図である。 Figure 11 is a diagram illustrating an annotation display position determination process at step S117. 図11において、1202は区分点C1、1201は区分点C1に対応するパノラマ画像、1209は区分点C2、1204は道R1、1206はアノテーション対象物、1205は対象物1206のアノテーションを表示すべき地図上での位置、1207は道R1上の視点位置、1208は視点位置1207に対応するパノラマ画像、1203は視点位置1207に対応したパノラマ画像1208におけるアノテーションの表示位置(パノラマ画像の正面方向からの相対角度θ)である。 11, 1202 demarcation points C1,1201 panoramic image corresponding to the division points C1, 1209 the division point C2,1204 road R1,1206 annotation object map 1205 to be displayed annotation object 1206 position of above 1207 viewpoint position on the road R1, 1208 panoramic image corresponding to the viewpoint position 1207, 1203 display position of the annotation in the panoramic image 1208 corresponding to the viewpoint position 1207 (from the front direction of the panoramic image relative it is the angle θ).

簡単のために、区分点C1をxy平面の原点とし、区分点C2をx軸上の点1209に取る(すなわち道R1はx軸の一部となる)。 For simplicity, the division point C1 is the origin of the xy plane, take the demarcation points C2 to a point 1209 on the x-axis (i.e. the road R1 becomes part of the x-axis). 図11において、区分点C1、区分点C2、対象物1206のアノテーションを表示したい位置1205の地図上の座標はそれぞれ(0,0)、(x 2 ,0)、(x o ,y o )である。 11, segment point C1, demarcation points C2, the coordinates on the map location 1205 to be displayed annotation object 1206, respectively (0,0), (x 2, 0), at (x o, y o) is there. 道R1上での点1207の地図上の座標は(x,0)である。 Coordinates on the map of a point 1207 on the road R1 is (x, 0). 点1207に対応するパノラマ画像において、対象物1206のアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ(rad)で表すと、次式で表される。 In the panoramic image corresponding to the point 1207, the position in the horizontal direction to view the annotation of objects 1206, expressed in relative angle from the front direction of the panoramic image theta (rad), is expressed by the following equation.

即ち、視点位置が表示モード領域Dにある場合(ステップS117)は、アノテーション表示位置の(1205)の視点位置(1207)に対する相対位置を計算し、当該視点位置に対応するパノラマ画像(1208)におけるアノテーションの表示位置(パノラマ画像の正面方向からの相対角度)θを上記式(1)により求める。 That is, when the viewpoint position is the display mode area D (step S117), the relative position is calculated with respect to the viewpoint position of the (1205) annotation display position (1207), in the panoramic image (1208) corresponding to the viewpoint position the display position of the annotation theta (relative angle from the front direction of the panoramic image) obtained by the above equation (1).

次に、視点位置が表示モード領域Aにある場合のアノテーション表示位置の決定方法(ステップS114)を説明する。 Next, a method of determining the annotation display position when the viewpoint position is in the display mode area A (step S114). 表示モード領域Aでは、視点位置は、アノテーション対象物の中と想定する。 In the display mode region A, the viewpoint position is assumed to an annotation object. 例えば、アノテーション対象である公園の敷地内や、建物の中などに視点位置がある場合である。 For example, on-site and the park is an annotation object, the building is a case where there is a viewpoint position and the like. 体験者の視点位置が表示モード領域Aにある場合は、対象物のアノテーションの表示位置を、シーンを表示する画面上の所定位置に固定し、表示モード領域A内で視点位置や視線方向が変わってもアノテーションの表示位置は変わらないようにする。 If viewer viewpoint position is in the display mode region A, the display position of the annotation of the object, is fixed at a predetermined position on the screen that displays the scene changed viewpoint position or the line-of-sight direction in the display mode area A the display position of the annotation even if is to remain unchanged. なお、表示モード領域Aでのアノテーションの表示位置については種々の決定方法が考えられる。 Incidentally, conceivable various determination methods for the display position of the annotation in the display mode region A. 例えば、仮想空間全体で一つの表示位置に決めても良いし、アノテーション対象物毎にアノテーションの固定表示位置を決めても良い。 For example, it may be determined in one of the display position in the whole virtual space, it may be determined fixed display position of the annotation for each annotated object. また、システムで予め定められた位置としても良いし、体験時に体験者が好みの位置に決められるようにしても良い。 Further, may be used as the predetermined position in the system, viewer may also be determined in the desired position during experience.

次に、視点位置が表示モード領域Bにある場合のアノテーション表示位置の決定方法(ステップS115)について説明する。 Next, a method determining the annotation display position when the viewpoint position is in the display mode area B (step S115). 表示モード領域Bはアノテーション対象物が隣接する領域であり、この領域においては、体験者の視線方向が対象物の方に向くと当該対象物が視野の全体或いは大部分を占めるようになり、対象物の反対方向に視線が向くと当該対象物が見えなくなる(視野の外に出てしまう)。 Display mode region B is a region to which an annotation object adjacent, in this region, the viewing direction of the viewer is to occupy faces the whole or most of the object field towards the object, the object the object can not be seen when facing the line of sight in the opposite direction of the object (resulting in out of the field of view).

図12は視点位置が表示モード領域Bにいる場合を説明する図である。 Figure 12 is a diagram illustrating a case where the viewpoint position is in the display mode area B. 1301はアノテーション対象物(例えば公園、ビル等)、1302は2次元地図上でのアノテーションの位置、1303は対象物1301に対しての表示モード領域B、1304は視点位置とその位置に対応するパノラマ画像、1304〜1313は道1314上でのパノラマ画像である。 1301 Annotation object (e.g. parks, buildings, etc.), 1302 position of annotations on a two-dimensional map, 1303 display mode area B, 1304 with respect to the object 1301 corresponding to the viewpoint position and its position panorama image, from 1304 to 1313 is a panoramic image of on the road 1314.

図13は、表示モード領域Bに視点位置があるときのシーンの例である。 Figure 13 is an example of a scene when the viewpoint is located in the display mode area B. 1401はビル等のアノテーション対象物、1402はアノテーション対象物1401に対するアノテーションの地図上に設定された表示位置を示す。 1401 Annotation objects such as buildings, 1402 shows the set display position on the annotation map for annotation object 1401. 1403は対象物1401の表示するアノテーションである。 1403 is an annotation to display the object 1401. 1404は表示モード領域B内における一つの視点位置と対応するパノラマ画像であり、1405は表示モード領域B内のもう一つの視点位置と対応するパノラマ画像である。 1404 is a panoramic image corresponding to one of the viewpoint position in the display mode region B, 1405 is a panoramic image corresponding to another viewpoint position in the display mode region B. 1406と1408は視点1404から視線方向1410で対象物1401を見たときの画像である。 1406 and 1408 is an image when viewing the object 1401 in the viewing direction 1410 from the viewpoint 1404. 同様に、1407と1409は視点位置1405と視線方向1411で対象物1401を見たときの画像である。 Similarly, 1407 and 1409 is an image when viewing the object 1401 at the viewpoint position 1405 and the line-of-sight direction 1411. 画像1406と1407では、アノテーション1403は地図上のアノテーション設定位置に対する表示位置に表示している。 In the image 1406 and 1407, the annotation 1403 is displayed on the display position for the annotation set position on the map. そのため、アノテーションは夫々の画像において半分ずつしか表示されない。 Therefore, the annotation is not displayed only by half the image of each. それに対し、画像1408と1409では、アノテーションの表示位置は画像上の所定の位置に固定さている。 In contrast, the image 1408 and 1409, the display position of the annotation is fixed in position on the image. 図13を見て分かるように画像1408と1409でのアノテーションの表示位置の方がより有効的である。 Towards the display position of the annotation in the image 1408 and 1409 as seen in FIG. 13 is more effective.

従って、本実施形態では、視点位置が表示モード領域Bにいる場合のアノテーション表示位置の決定方法を以下のとおりとする。 Accordingly, in this embodiment, the viewpoint position is as follows a method of determining the annotation display position when you are in the display mode area B. まず、視線方向がアノテーション対象物に向いていれば表示モード領域Aと同様の決定方法を採用する。 First, a line-of-sight direction to adopt the same determination method and display mode area A if facing the annotated object. つまり、対象物が視野に入っている場合、視点位置と対象物の相対位置が変わってもアノテーションの画像上の表示位置は変わらず、固定にする。 That is, when the object is contained in the visual field, without changing the display position on the annotation of the image they change the relative positions of the viewpoint position and the object, be fixed. そして、対象物がある程度体験者の視野から出た場合(たとえば、対象物の50%以上が視野から出た場合)、異なる表示モード領域の処理をする。 Then, when the object leaves the somewhat survivors field of view (e.g., if more than 50% of the target object leaves the field of view), the processing of the different display mode region. 例えば、視線方向が対象物に向いていない場合には、アノテーションを表示しないようにする。 For example, when the viewing direction is not directed to the object, so as not to display the annotations. 図13で言うと、例えば視線方向がビル1401の反対側に向いたような場合には、ビル1401のアノテーションを表示しない。 In terms of Figure 13, if for example, viewing direction, as oriented in the opposite side of the building 1401, does not display the annotation of the building 1401.

次に、視点位置が表示モード領域Cにある場合のアノテーション表示位置の決定方法(ステップS1106)を説明する。 Next, a method of determining the annotation display position when the viewpoint position is in the display mode area C (step S1106). 上述した様に、表示モード領域Dでは視点位置と対象物体の相対値が変わるとアノテーションの表示位置も変化し、表示モード領域Bではアノテーション表示位置が固定されている。 As described above, also changes the display position of the annotation when the relative value of the display mode area D at the viewpoint position and the target object is changed, the annotation display position in the display mode region B is fixed. 表示モード領域Cはそれら表示モード領域Dと表示モード領域Bの中間にあり、表示モード領域Dから表示モード領域B(或いはその逆)へのアノテーション表示位置のスムースな移行を実現するための表示方法が表示モード領域Cにおいて実行される。 Display mode area C is in the middle of the display mode region B and their display mode area D, a display method for realizing the display mode region B (or vice versa) smooth transition of the annotation display position to the display mode area D There are performed in the display mode region C.

図14は視点位置が表示モード領域Cにいる場合を説明する図である。 Figure 14 is a diagram illustrating a case where the viewpoint position is in the display mode area C. 1501はアノテーション対象物(例えば公園、ビル等)、1502は2次元地図上でのアノテーションの位置を示す。 1501 Annotation object (e.g. parks, buildings, etc.), 1502 indicates the position of the annotation on a two-dimensional map. また、1503は対象物1501に対しての表示モード領域B、1504は対象物1501に対しての表示モード領域Cを示す。 Further, 1503 display mode area B, 1504 with respect to the object 1501 indicates the display mode region C with respect to the object 1501. 1508は表示モード領域Cに入っている視点位置とその位置に対応するパノラマ画像を示し、1505〜1513は道1514上でのパノラマ画像を示している。 1508 shows a panoramic image corresponding to the position and viewpoint position contained in the display mode area C, 1505-1513 shows a panoramic image on the road 1514.

図15は、表示モード領域D、表示モード領域Cと表示モード領域Bに視点位置がある場合の表示シーンとそれぞれのアノテーション表示を示す。 Figure 15 shows a display scenes and each annotation display when there is a viewpoint position in the display mode area B display mode area D, the display mode area C. 1604は表示するアノテーションである。 1604 is an annotation to be displayed. 1601は視点位置が表示モード領域Dにある、例えば図14の位置1507(表示モード領域D)にあるときのアノテーションの表示状態を示す。 1601 viewpoint position is in the display mode area D, for example, shows a display state of the annotation when in the position 1507 (display mode region D) in FIG. 14. 上述した様に、表示モード領域Dでは視点と対象物の相対位置によってアノテーションの表示位置が変わる。 As described above, the display position of the annotation is changed by the relative position of the display mode region in viewpoint and the object D. 1603は視点位置が表示モード領域B(1503)内にある、例えば位置1510の点にあり、さらに対象物1501に視線が向かっているときのアノテーションの表示例を示す。 1603 viewpoint position is in the display mode area B (1503) in, for example, is in terms of position 1510, shows a display example of annotation when towards more line of sight to the object 1501. アノテーションは固定の位置で表示している。 Annotations are displayed in a fixed position. 1602は視点位置が表示モード領域C、例えば位置1508にある場合のアノテーションの表示例を示す。 1602 viewpoint position display mode area C, showing a display example of annotation when, for example, at position 1508. 本実施形態では、視点が表示モード領域Cにある場合のアノテーションの表示位置は、表示モード領域Dの時の表示位置と表示モード領域Bの表示位置の中間的な位置に決定する。 In the present embodiment, the display position of the annotation when the viewpoint is in the display mode area C is determined to an intermediate position of the display position and the display position of the display mode region B when the display mode area D. その決定方法は、例えば線形補間による方法でも良いが、そのほかの決定方法でも良い。 The determination method, for example may be a method by linear interpolation, but may be other determination methods.

ここでは、線形補間によってアノテーション表示位置を決める場合を図17を参照して説明する。 Here, with reference to FIG. 17 illustrating a case where determining an annotation display position by linear interpolation. 説明のために、表示モード領域Cにおける視点位置は位置1508にあるものとして説明する。 For illustration, the viewpoint position in the display mode area C is described as being in the position 1508. まず、位置1508から表示モード領域Dの表示位置計算方法で表示位置を計算する。 First, calculating the display position in the display position calculation process of the display mode area D from the position 1508. つまり、視点の位置1508とアノテーションの位置1502の相対位置に応じたパノラマ画像上のアノテーション表示位置を、例えば上述の式(1)を用いて算出する。 In other words, the annotation display position on the panoramic image corresponding to the relative positions of 1508 and the annotation position 1502 of the viewpoint, for example, calculated using the above equation (1). 次に、表示モード領域Bにおける固定の表示位置(切り出し範囲の画像における所定位置)を取得する。 Next, it acquires the display position of the fixation in the display mode area B (the predetermined position in the cut-out range of the image). そして、表示モード領域Cの視点位置1508でのアノテーションの表示位置は、表示モード領域Dから表示モード領域Cに入る直前の視点位置1507の2次元地図上の位置((x 1507 ,y 1507 ))とそのときの表示位置Hd、表示モード領域Cから表示モード領域Bに入った直後の視点位置1510の2次元地図上の位置((x 1510 ,y 1510 ))とそのときの表示位置Hb、及び表示モード領域Cの視点位置1508の2次元地図上の視点位置((x 1508 ,y 1508 ))から、次式(2)により算出される。 Then, the display position of the annotation in the display mode region C of the viewpoint position 1508, position on the 2-dimensional map of the previous viewpoint position 1507 to enter the display mode region C from the display mode region D ((x 1507, y 1507 )) a display position Hd that time, two-dimensional position on the map ((x 1510, y 1510) ) of the display mode indication from the region C mode immediately after entering the area B viewpoint position 1510 and the display position Hb of the time, and from the viewpoint position on the two-dimensional map display mode area C of the viewpoint position 1508 ((x 1508, y 1508 )), it is calculated by the following equation (2).

なお、アノテーション表示の高さ方向の位置は、位置1507におけるアノテーション表示位置の高さVdと、位置1510におけるアノテーション表示位置の高さVbを用いて、水平方向位置(Hc、式(2))と同様に以下の式(3)により求めることができる。 Incidentally, the vertical position of the annotation display, the height Vd of the annotation display position at position 1507, with a height Vb annotation display position at position 1510, the horizontal position and (Hc, Formula (2)) can be determined similarly by the following equation (3). なお、図17ではHcとVcで決まるパノラマ表示位置が(Hd,Vd)と(Hb,Vb)を結ぶ破線上より外れた位置に示したが、式(2)、(3)を用いて算出された位置(Hc,Vc)は破線上となる。 Incidentally, the panorama display position determined in FIG. 17 Hc and Vc is (Hd, Vd) and (Hb, Vb) is shown at a position deviated from the broken line connecting the formula (2), with (3) calculating position (Hc, Vc) becomes the dashed line. 但し、図17に示した破線の傾きは視線方向によりHbの位置が変わるので、視線方向により変化することになる。 However, dashed slope shown in FIG. 17 since the position of the Hb changes by viewing direction, will change the viewing direction.

上記では、表示モード領域Dと表示モード領域Bでの表示位置から表示モード領域Cでの表示位置を線形的に計算する際に2次元地図上でのパノラマ画像の距離を利用したが、パノラマ画像の枚数によって線形的に表示位置を算出しても良い。 In the above, utilizing the distance of the panoramic image on a two-dimensional map when the linearly calculating the display position of the display mode region C from the display position in the display mode region B and display mode area D, the panoramic image the number of may be calculated linearly display position. 例えば、位置1508から位置1507までのパノラマ画像の枚数と、位置1508から位置1510までのパノラマ画像の枚数に基づいて表示位置を算出する。 For example, the number of panoramic images from the position 1508 to the position 1507, and calculates the display position on the basis of the number of the panoramic image from the position 1508 to the position 1510.

図16は、画像再生制御部40におけるアノテーション合成の処理を説明する図である。 Figure 16 is a drawing describing the processing of annotation synthesis in the image reproduction control unit 40. ここでは、視点位置が表示モード領域Dにあると仮定する。 Here, it is assumed that the viewpoint position is in the display mode area D. アノテーション表示位置決定部50はアノテーション表示位置θを決定する。 Annotation display position determination unit 50 determines the annotation display position theta. 画像再生制御部40は視線方向と画角αに応じてパノラマ画像を切出す。 Image reproduction control unit 40 cuts out the panoramic image in accordance with the line-of-sight direction and angle alpha. そして、切出したパノラマ画像上に、アノテーションデータ保存部60から読み出されたアノテーション画像が合成され、表示画像が生成される。 Then, on the clipped panoramic image, the annotation image read from the annotation data storage unit 60 are combined, the display image is generated. パノラマ画像を透視投影画像に変換する斜影変換はパノラマ画像に対してのみ行われる。 Bevel conversion for converting the panoramic image into a perspective projection image is performed only for the panoramic image. 視点位置が他の領域にある場合は同様に、切り出したパノラマ画像の上に、固定の位置や線形補間により計算された位置にアノテーション画像が合成される。 Similarly when the viewpoint position is in another area, on the cut-out panoramic image, the annotation images are combined with the calculated position by the position and the linear interpolation of fixed.

以上のように、上記実施形態によれば、アノテーションを表示したい対象物位置と観察者の視点位置の2次元地図上での相対位置によってアノテーション表示モードを切り換えることで、観察者の視点が対象物から遠い位置にいても、対象物の中にいても観察者に対象物のアノテーションを分かりやすく表示することが可能になる。 As described above, according to the above embodiment, by the relative position on the two-dimensional map of the observer's viewpoint position and object position you want to view the annotation switch the annotation display mode, the viewpoint of the observer is the object can have from distant position, it is possible to clearly display the annotation object to the observer can have in the object.

なお、本発明は、複数の機器(例えばホストコンピュータ,インタフェイス機器,リーダ,プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機,ファクシミリ装置など)に適用してもよい。 The present invention is a plurality of devices (eg, host computer, interface, reader, printer) or to a system constituted by an apparatus comprising a single device (e.g., copying machine, facsimile machine) it may be applied to.

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。 Another object of the present invention, a storage medium storing software program codes for realizing the functions of the above embodiments is supplied to a system or an apparatus and a computer (or CPU or MPU) storage medium also by reading and executing the program code stored in, of course, it is achieved.

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program codes read from the storage medium realizes the functions of the embodiments and the storage medium storing the program code constitutes the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。 As the storage medium for supplying the program code, for example, it may be used a flexible disk, a hard disk, an optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, and the like.

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by the computer executes the readout program codes, besides the functions of the above-described embodiments are realized, based on an instruction of the program code, an OS running on the computer (the operating system) It performs a part or entire process but also to a case where the functions of the above-described embodiments are realized by those processes.

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, the program code read from the storage medium are written in a memory of a function expansion unit connected to a function expansion board inserted into the computer or on the basis of the instructions of the program code, the function expansion a CPU or the like provided in the board or function expansion unit performs part or all of the actual processing so that the program codes and the functions of the above-described embodiments are realized by those processes.

本実施形態におけるウォークスルーシステムの機能構成を説明するブロック図である。 It is a block diagram illustrating a functional configuration of a walk-through system in the embodiment. 本実施形態における画像再生装置1のハード構成を示す図である。 It is a diagram showing a hardware configuration of an image reproducing apparatus 1 according to this embodiment. 本実施形態における仮想空間の表現方法を説明する図である。 It is a diagram illustrating a representation of the virtual space in this embodiment. 区分点、道の属性の一例を示す図である。 Segment point is a diagram showing an example of road attribute. パノラマ画像と道の方向の対応を説明する図である。 It is a diagram illustrating the direction of the corresponding panoramic image and the road. 仮想環境の2次元地図の一例を示す図である。 Is a diagram illustrating an example of a 2-dimensional map of the virtual environment. アノテーション対象物を中心とした仮想環境の複数の領域を地図上に示した図である。 A plurality of areas of the virtual environment centered on annotation object is a diagram showing on the map. アノテーション表示モード領域を対象物からの距離によって決められた一例を示す図である。 Is a diagram illustrating an example of a predetermined annotation display mode area by the distance from the object. アノテーション表示位置決定部50の動作を説明するフローチャートである。 It is a flowchart for explaining the operation of the annotation display position determination unit 50. アノテーション表示モード領域によって、アノテーション表示位置の決定方法を説明するフローチャートである。 The annotation display mode region is a flowchart illustrating a method of determining the annotation display position. 観察者の視点位置がアノテーション表示モード領域Dにいる場合のアノテーション表示位置決定方法を示す図である。 Observer's viewpoint position is a diagram illustrating an annotation display position determination method when you are in the annotation display mode area D. 観察者の視点位置がアノテーション表示モード領域Bにいる場合のアノテーション表示位置決定方法を説明する図である。 Observer's viewpoint position is a diagram illustrating an annotation display position determination method when you are in the annotation display mode area B. 観察者の視点位置がアノテーション表示モード領域Bにいる場合のアノテーション表示位置決定方法を説明する図である。 Observer's viewpoint position is a diagram illustrating an annotation display position determination method when you are in the annotation display mode area B. 観察者の視点位置がアノテーション表示モード領域Cにいる場合のアノテーション表示位置の利点を説明する図である。 Observer's viewpoint position is a diagram for explaining the advantages of the annotation display position when you are in the annotation display mode area C. 観察者の視点位置がアノテーション表示モード領域D、領域Cと領域Bにいる時の表示シーンとそれぞれのアノテーション表示を示す図である。 Observer's viewpoint position annotation display mode area D, is a diagram showing a display scenes and each annotation display when you are in the regions C and B. 画像再生制御部40における観察者の視点位置がアノテーション表示モード領域Dにいる時のアノテーション合成の処理を説明する図である。 Observer's viewpoint position in the image reproduction control unit 40 is a diagram illustrating processing of annotations synthesis when in the annotation display mode area D. 領域Cに視点位置がある場合のアノテーション表示位置の決定方法を説明する図である。 It is a diagram for explaining a method for determining the annotation display position when the viewpoint is located in a region C.

Claims (9)

  1. 複数地点の実写画像より、仮想空間における視点位置に基づいて実写画像を抽出し、抽出された実写画像に基づいて出力画像を生成する画像生成方法であって、 From photographed images of a plurality of points, an image generating method for generating an output image based on extracts photographed image based on the viewpoint position in the virtual space, the extracted photographed image,
    アノテーションに関する複数の領域が設定された仮想空間中において、視点位置が該複数の領域のいずれに存在するかを判定する判定工程と、 In the virtual space in which a plurality of regions for the annotation is set, a determination step of determining whether the viewpoint position exists in any of said plurality of regions,
    前記判定工程の判定結果に基づいて前記アノテーションの表示方法を切り換える切り替え工程とを備え、 And a switching step of switching the display method of the annotations based on the determination result of the determining step,
    前記複数の領域は前記アノテーションの対象物の存在する領域の少なくとも一部を含む第1領域と、該第1領域の周辺の第2領域とを含み、 Wherein the plurality of regions includes a first region including at least a portion of the existing area of ​​the object of the annotation, and a second region surrounding the first region,
    前記切り替え工程は、前記視点位置が前記第1領域にある場合は前記アノテーションの表示位置を出力画像の所定位置に固定する第1方法を採用し、前記視点位置が前記第2領域にある場合は、該視点位置と前記アノテーションに設定されている表示座標とに基づいて前記出力画像における該アノテーションの表示位置を決定する第2方法を採用することを特徴とする画像出力方法。 Wherein the switching step, when the viewpoint position is in the first region adopts a first method of fixing in position of the output image display position of the annotation, if the viewpoint position is in said second region an image output method characterized by employing the second method for determining the display position of the annotation in the output image based on the display coordinate set in the annotation and the visual point position.
  2. 前記複数の領域は、前記第1領域の周辺に隣接した第3領域を含み、 Wherein the plurality of regions includes a third region adjacent to the periphery of the first region,
    前記切り替え工程は、前記視点位置が前記第3領域に存在する場合は、前記第1方法に従った前記アノテーションの表示を視線方向に基づいてオン/オフさせる第3方法を採用することを特徴とする請求項1に記載の画像出力方法。 The switching step includes, if the viewpoint position exists in the third region, and characterized by using a third method of turning on / off based on the display of the annotation in accordance with the first method in the gaze direction the image output method according to claim 1.
  3. 前記複数の領域は、前記第2領域と前記第3領域の間の第4領域を含み、 Wherein the plurality of regions includes a fourth region between the second region and the third region,
    前記切り換え工程は、前記視点位置が前記第4領域に存在する場合は、該第4領域と該第2領域の境界位置において前記第2方法を用いて決定される画像上のアノテーションの表示位置と、前記第1方法における画像上の前記所定位置との間に該アノテーションの表示位置を決定する第4方法を採用することを特徴とする請求項1又は2に記載の画像出力方法。 The switching step, when the viewpoint position is present in the fourth region, the display position of the annotation in the image determined using the second method at the boundary position of the fourth region and the second region an image output method according to claim 1 or 2, characterized by using a fourth method of determining the display position of the annotation between the predetermined position on the image in the first method.
  4. 前記第4方法は、前記第2領域から前記第4領域を経て前記第3領域へと侵入する経路上を前記視点位置が移動する場合、前記経路が前記第2領域へ侵入する近傍において前記第2方法を用いて決定される画像上のアノテーションの表示位置と、前記第3方法にける該画像上の前記所定位置の間を結ぶ線分上であって、該経路の前記第2領域への侵入位置と該経路の前記第3領域への侵入位置と該経路上の現在の視点位置とに基づいて該アノテーションの表示位置を決定することを特徴とする請求項3に記載の画像出力方法。 The fourth method, when the path on entering into the fourth said via region third region from said second region is the viewpoint position moves, the in the vicinity of the route is entering the second region second the display position of the annotation in the image determined using the 2 methods, a on the line segment connecting between the predetermined position on kicking the image in the third method, to the second region of the pathway the image output method according to claim 3, wherein the determining the display position of the annotation based on the current viewpoint position of the penetration position that correlates path to the third region of the penetration position and the route.
  5. 前記実写画像はパノラマ画像であり、 The photographed image is a panoramic image,
    前記視点位置に基づいて対応するパノラマ画像を選択し、視線方向に基づいて該パノラマ画像から部分画像を切り出す切り出し工程を更に備え、 The viewpoint selecting the corresponding panoramic image based on the position, further comprising a cutout step of cutting out a partial image from the panoramic image based on the viewing direction,
    前記第2方法は、前記パラノラマ画像において前記アノテーションの表示位置を決定することを特徴とする請求項1に記載の画像出力方法。 The second method, an image output method according to claim 1, wherein the determining the display position of the annotation in the Paranorama image.
  6. 前記複数の領域は、2次元地図上において設定されることを特徴とする請求項1に記載の画像出力方法。 Wherein the plurality of regions, an image output method according to claim 1, characterized in that it is set in a two-dimensional map.
  7. 複数地点の実写画像より、仮想空間における視点位置に基づいて実写画像を抽出し、抽出された実写画像に基づいて出力画像を生成する画像生成装置であって、 From photographed images of a plurality of points, an image generating apparatus for generating an output image based on extracts photographed image based on the viewpoint position in the virtual space, the extracted photographed image,
    アノテーションに関する複数の領域が設定された仮想空間中において、視点位置が該複数の領域のいずれに存在するかを判定する判定手段と、 In the virtual space in which a plurality of regions for the annotation is set, a determination unit configured to determine the viewpoint position exists in any of said plurality of regions,
    前記判定手段の判定結果に基づいて前記アノテーションの表示方法を切り換える切り替え手段とを備え、 And a switching means for switching the display of the annotation based on a determination result of said determination means,
    前記複数の領域は前記アノテーションの対象物の存在する領域の少なくとも一部を含む第1領域と、該第1領域の周辺の第2領域とを含み、 Wherein the plurality of regions includes a first region including at least a portion of the existing area of ​​the object of the annotation, and a second region surrounding the first region,
    前記切り替え手段は、前記視点位置が前記第1領域にある場合は前記アノテーションの表示位置を出力画像の所定位置に固定する第1方法を採用し、前記視点位置が前記第2領域にある場合は、該視点位置と前記アノテーションに設定されている表示座標とに基づいて前記出力画像における該アノテーションの表示位置を決定する第2方法を採用することを特徴とする画像出力装置。 It said switching means, when the viewpoint position is in the first region adopts a first method of fixing in position of the output image display position of the annotation, if the viewpoint position is in said second region an image output apparatus characterized by employing a second method of determining the display position of the annotation in the output image based on the display coordinate set in the annotation and the visual point position.
  8. 請求項1乃至6のいずれかに記載の画像出力方法をコンピュータに実行させるための制御プログラム。 A control program for executing an image output method according to the computer in any one of claims 1 to 6.
  9. 請求項1乃至6のいずれかに記載の画像出力方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。 Storage medium storing a control program for executing an image output method according to the computer in any one of claims 1 to 6.
JP2003413814A 2003-12-11 2003-12-11 Image forming apparatus and method Withdrawn JP2005174024A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003413814A JP2005174024A (en) 2003-12-11 2003-12-11 Image forming apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003413814A JP2005174024A (en) 2003-12-11 2003-12-11 Image forming apparatus and method

Publications (1)

Publication Number Publication Date
JP2005174024A true true JP2005174024A (en) 2005-06-30

Family

ID=34733839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003413814A Withdrawn JP2005174024A (en) 2003-12-11 2003-12-11 Image forming apparatus and method

Country Status (1)

Country Link
JP (1) JP2005174024A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011524571A (en) * 2008-06-12 2011-09-01 マイクロソフト コーポレーション Device's built-in 3d Content Integration
JP2011215412A (en) * 2010-03-31 2011-10-27 Zenrin Datacom Co Ltd Map image processing device, map image processing method, and map image processing program
JP2013084273A (en) * 2012-10-15 2013-05-09 Olympus Corp Image display device, image display method, and program for image display
JP5288214B2 (en) * 2007-12-18 2013-09-11 ソニー株式会社 Data processing apparatus, data processing method, and program
JP2014222446A (en) * 2013-05-14 2014-11-27 大日本印刷株式会社 Video output device, video output method, and program
JP2015069445A (en) * 2013-09-30 2015-04-13 大日本印刷株式会社 Video output device, video output method, and program
JP2015069444A (en) * 2013-09-30 2015-04-13 大日本印刷株式会社 Video output device, video output method, and program
KR101814604B1 (en) * 2011-08-30 2018-01-04 삼성전자주식회사 Digital photographing apparatus and control method thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5288214B2 (en) * 2007-12-18 2013-09-11 ソニー株式会社 Data processing apparatus, data processing method, and program
JP2011524571A (en) * 2008-06-12 2011-09-01 マイクロソフト コーポレーション Device's built-in 3d Content Integration
JP2011215412A (en) * 2010-03-31 2011-10-27 Zenrin Datacom Co Ltd Map image processing device, map image processing method, and map image processing program
KR101814604B1 (en) * 2011-08-30 2018-01-04 삼성전자주식회사 Digital photographing apparatus and control method thereof
JP2013084273A (en) * 2012-10-15 2013-05-09 Olympus Corp Image display device, image display method, and program for image display
JP2014222446A (en) * 2013-05-14 2014-11-27 大日本印刷株式会社 Video output device, video output method, and program
JP2015069445A (en) * 2013-09-30 2015-04-13 大日本印刷株式会社 Video output device, video output method, and program
JP2015069444A (en) * 2013-09-30 2015-04-13 大日本印刷株式会社 Video output device, video output method, and program

Similar Documents

Publication Publication Date Title
Chen Quicktime VR: An image-based approach to virtual environment navigation
US6885939B2 (en) System and method for advanced 3D visualization for mobile navigation units
Kopf et al. Street slide: browsing street level imagery
US20020187831A1 (en) Pseudo 3-D space representation system, pseudo 3-D space constructing system, game system and electronic map providing system
US20020113865A1 (en) Image processing method and apparatus
US4857902A (en) Position-dependent interactivity system for image display
US20090240431A1 (en) Panoramic Images Within Driving Directions
US20080106593A1 (en) System and process for synthesizing location-referenced panoramic images and video
US20130135315A1 (en) Method, system and software program for shooting and editing a film comprising at least one image of a 3d computer-generated animation
US20130321461A1 (en) Method and System for Navigation to Interior View Imagery from Street Level Imagery
US20090135178A1 (en) Method and system for constructing virtual space
US20030142115A1 (en) Information processing apparatus and method
US20040139080A1 (en) Hierarchical system and method for on-demand loading of data in a navigation system
US20110214072A1 (en) System and method for creating and broadcasting interactive panoramic walk-through applications
JP2009017540A (en) Image capturing device, additional information providing server, and additional information filtering system
US20120214590A1 (en) System and method for acquiring virtual and augmented reality scenes by a user
US20100225643A1 (en) Controlling a Three-Dimensional Virtual Broadcast Presentation
JP2006059136A (en) Viewer apparatus and its program
JP2003227722A (en) Navigation system
US20090195650A1 (en) Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
CN101082926A (en) Modeling approachused for trans-media digital city scenic area
US20130155180A1 (en) Parallax compensation
US20110273470A1 (en) Image processing device, information processing device, image processing method, and information processing method
US20040228544A1 (en) Image processing method and apparatus for generating panoramic image
JPH11259502A (en) Image information display device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070306