JP2004012717A

JP2004012717A - Picture displaying method

Info

Publication number: JP2004012717A
Application number: JP2002164880A
Authority: JP
Inventors: Susumu Horiguchi; 堀口　進; Vanijja Vajirasak; バジラサク　バニジャ
Original assignee: D Link Corp
Current assignee: D Link Corp
Priority date: 2002-06-05
Filing date: 2002-06-05
Publication date: 2004-01-15
Anticipated expiration: 2022-06-05
Also published as: JP3983108B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a picture displaying means by which pictorial information photographed in a real space can be displayed on a display screen as if an observer freely moves around within the real space and observes surroundings. <P>SOLUTION: An omnidirectional picture photographed at a lattice point set in the real space or an animation piece between adjacent lattice points is stored in association with the camera point. When a moving direction of observer'eye in a virtual plane is specified, a partial picture cut out from the omnidirectional picture related to a moving starting point with a prescribed visual angle in the specified moving direction is displayed on a display. Size change of the partial picture occurred in relation to moving amount of a virtual observer is complemented with sequential zoom-up of the partial picture and is displayed. When the virtual observer reaches an adjacent lattice point in the direction, the omnidirectional picture stored in association with a reached point is read-in and the partial picture in the moving direction is cut out and is displayed. The moving direction of the virtual observer is maintained or changed at each lattice point and the operation is repeated. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、実空間で撮影した画像を観察者があたかもその実空間内で動き回ったり周囲を見回したりしているようにディスプレイに表示する方法に関するものである。
【０００２】
【従来の技術】
ディスプレイ画面上に地図や鳥瞰図などの地域画を表示し、この地域画上の予め定められた特定地点に対応する位置に地点記号を重ねて表示して、その地点記号がポイントされたときに、当該地点の景観を示す画像をディスプレイ画面上に表示する画像表示方法は公知である。
【０００３】
また特開２００１−２１５９４１号公報には、観察者が位置や方角を統合的に制御可能にする画像情報の表示方法として、ディスプレイ画面上に表示された地域画上に方向指示要素を備えた地点記号を表示し、当該地点の方向指定情報が入力されたときに、当該地点に対応する画像情報から指定方向の画像部分を切り出して表示する画像表示方法が、この発明の出願人によって提案されている。
【０００４】
更に上記公報及び特開２００１−４３８９号公報、特開２０００−２４４８１２号公報などには、地域画上に移動経路を示す軌跡記号を表示し、当該軌跡に沿って移動体を移動させたときの景観の変化を示す動画情報を表示する方法が提案されている。
【０００５】
【発明が解決しようとする課題】
上記のような従来の画像表示手段は、地域画上に表示された複数の移動軌跡の景観情報を観察者に自由に選択させて表示させることができるという特徴がある。しかし従来の方法では、観察者は地域画上の予め定められた特定の移動軌跡を選択できるだけであり、地域内を自由に動き回って周囲の景観を見るということができない。
【０００６】
この発明は、観察者が実空間内で自由に動き回って周囲を観察するように、当該実空間で撮影した画像情報をディスプレイ画面に表示することを可能にする画像表示手段を提供することを課題としており、より少ない補助記憶領域、メモリ容量及びＣＰＵ速度で実現することが可能な上記方法を得ることを課題としている。
【０００７】
【課題を解決するための手段】
上記課題を解決したこの出願の請求項１の発明に係る画像の表示方法は、実空間で所定領域を占める二次元平面に分散設定した多数の撮影点（実施例では格子点）で撮影した全方位画像をその撮影点と関連させて電子計算機の記憶装置に記憶し、前記所定領域に対応して設定された仮想平面内を移動する仮想移動体（観察者の仮想平面内での目）の移動方向が指定されたときに、当該仮想移動体の移動開始座標に対応する撮影点に関連させた全方位画像から指定された移動方向の所定の視野角で切出される部分画像を電子計算機のディスプレイに表示し、仮想移動体の当該方向への移動量に関連して生ずる前記視野角で切出される部分画像の大きさの変化を当該部分画像の連続的なズームアップで補完して表示し、仮想移動体が当該方向の隣接する撮影点に対応する座標に達したときに到達座標に対応する撮影点に関連させて記憶した全方位画像を読込んで前記移動方向の前記視野角に対応する部分画像を切出して表示し、各撮影点に対応する座標点で仮想移動体の移動方向を維持又は変換して上記動作を繰り返すというものである。
【０００８】
請求項２の発明に係る画像の表示方法は、撮影点が縦横の格子の交点に設定されている請求項１記載の画像の表示方法である。請求項２の方法によれば、多数の撮影点での全方位画像の撮影及びその記憶装置への入力並びに電子計算機内での演算処理とが容易になるという実益がある。
【０００９】
上記課題を解決する第２の方法である請求項３の発明は、実空間で所定領域を占める二次元平面に設定した縦横の格子の格子線に沿って移動しながら撮影した動画をその格子点間隔ごとに切離した動画片にしてその両端の格子点に関連づけて電子計算機の記憶装置に記憶し、前記所定領域に対応して設定された仮想平面内を移動する仮想移動体の移動方向が指定されたときに、仮想移動体の移動方向が上記格子線の方向に一致するときは、その移動開始点から隣接する到達点に至る格子点間の動画片を再生して電子計算機のディスプレイに表示し、その再生が終了したときに到達点における全方位画像から前記移動方向の所定の視野角で切出される部分画像を切出して表示し、指定された移動方向が格子線から外れた方向であるときは、当該仮想移動体の移動開始点の全方位画像から指定された移動方向の前記視野角で切出される部分画像をディスプレイに表示し、仮想移動体の当該方向への移動量に関連して生ずる前記視野角で切出される部分画像の大きさの変化を当該部分画像の連続的なズームアップで補完して表示し、仮想移動体が当該方向の隣接する格子点に達したときに到達点の全方位画像を読込んで前記移動方向の視野に対応する部分画像を切出して表示し、各格子点で仮想移動体の移動方向を維持又は変換して上記動作を繰り返すことを特徴とする、移動体視野の表示方法である。
【００１０】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態を説明する。図１は、この発明の方法を実施するためのハードウェア構成の一例を示した図で、ディスプレイ１と、２本のジョイスティック２、３と、本体装置４とを備えている。本体装置４は、ＣＰＵとメモリ及びハードディスクなどの補助記憶装置を内蔵しており、この補助記憶装置には画像データベース、画像表プログラム、画像切出しプログラム、画像補完プログラム、動画再生プログラムなどが登録されている。
【００１１】
実施例１の方法では、データベースに登録する全方位画像は、観察しようとする実空間を所定間隔の縦横の格子線Ｌｘ、Ｌｙで区画したときの各格子点Ｐにおける全方位画像として取得される。この全方位画像は、例えば魚眼レンズを上に向けたビデオカメラを実空間に想定した格子線Ｌｘ、Ｌｙに沿って一定速度で移動しながら撮影し、各格子点位置におけるフレームをその格子点の座標をインデックスにして記憶することによって行われる。
【００１２】
撮影された全方位画像は、図４（ａ）に示すように、円板状の画像となるが、これを所望の実空間の高さに対応する半径方向の幅でリング状に切り取って（図４（ａ）の領域Ａ）、これを図４（ｂ）に示すような３６０度の円筒を展開した画像に補正して画像データベースに登録する。
【００１３】
登録された画像情報は、ある格子点が指定されたときに、その格子点座標に基づいて検索され、メモリに読み込まれる。メモリに読み込まれた全方位画像は、切出しプログラムで矩形の部分画像に切出され、当該部分画像が画像表示プログラムによってディスプレイ１に表示される。切出しプログラムは、ビュー方向の情報を受取ったとき、その方向情報と予め登録されている視野角とに基づいて、当該方向の部分画像を切出す。すなわち、図５に示すように、円筒状の全方位画像Ｍから視野角２αの領域の画像を切出して、画像表示プログラムに送り、画像表示プログラムは受取った部分画像をディスプレイ１に表示する。
【００１４】
ビュー方向は、方向ジョイスティック２の操作方向やマウスのドラッグ方向などによって指令する。従って、観察者が方向ジョイスティック２を好みの方向に操作すれば、現在の格子点における任意の方向の画像をディスプレイ１に表示できる。
【００１５】
観察者が観察エリアを移動したときに連続的に変化する画像は、ズーム技術を応用した補完プログラムによって生成される。すなわち、図５において、現在格子点位置Ｐで所定の視野角２αの部分画像を見ながら、その方向に距離ｄだけ移動すると、その移動地点Ｑにおける視野角２αは変化せず、従って移動前の格子点Ｐにいたときの部分画像の幅ａに対してｄだけ移動した後の移動地点Ｑにおける部分画像の幅ａ′は、式１で与えられる。
【式１】

ここでｈは記憶した全方位画像の実空間における被対象物までの距離である。この関係からズーム率ａ′／ａは、式２で表される。
【式２】

ここで、αの２倍が視野角、ｄは現在格子点からの移動距離、ａは各格子点で表示する部分画像の幅である。観察者が移動するとき、移動距離ｄは、移動速度ｖに現在格子点を出発又は通過してからの時間Δｔを乗じた値となるから、移動速度と経過時間から距離ｄを算出してやれば、ズーム率ａ′／ａが算出できる。従って、切出した画像をこのズーム率に応じて拡大してディスプレイ１に表示することにより、観察者がある方向に移動すると、その移動に応じて画像が変化する。観察者が移動方向に隣接する次の格子点に到達したとき、補完プログラムによって補完された部分画像は、到達した格子点の全方位画像の当該移動方向の部分画像によって置き換えられる。
【００１６】
実空間の広さに対して格子点間隔が粗すぎると、この補完画像から新しい部分画像への置き換えの際に、格子点から被対象物までの距離の大小による画像の飛躍が生ずる。この問題は、格子点間隔を小さくし、隣接する格子点へ移動方向を制限することによって解決することができる。図３に示すように、縦横の格子を等間隔とし、観察者の移動方向を格子線に沿う方向と斜め４５度の方向とに制限すれば、格子点間隔を０．５ｍとしたとき、補完によって処理しなければならない最大の移動距離は、０．７０７ｍとなる。視野角２α＝２０度として部分画像の切出し幅ａ＝６ｍとすると、最大格子点間隔０．７ｍとして観察に耐え得る連続画像が得られる。
【００１７】
次に図６に示すフローチャートを参照して、第１実施例の画像表示方法を説明する。観察が開始されると、デフォルトの格子点座標とビュー方向とが与えられ、当該座標で検索した全方位画像がメモリに読み込まれ、デフォルト方向の部分画像が設定された視野角ないし画像幅で切出されてディスプレイ１に表示される。この状態で観察者が方向ジョイスティック２を操作すると、その操作方向によって指令されたビュー方向の部分画像が同様に切出されてディスプレイ１に表示される。観察者が移動ジョイスティック３を操作すると、その操作方向が８方向に近似して入力され、ビュー方向がその移動方向に設定されて表示画面が移動方向の部分画像となり、予め設定された移動速度又は移動ジョイスティックの操作量によって指定される移動速度ｖに直前の格子点を出発又は通過してからの経過時間Δｔを乗じた移動距離ｄが算出され、切出しプログラムが切出し画像のズーム率を計算して、移動量に応じて拡大された部分画像をディスプレイ１に表示する。移動距離ｄが当該方向の格子点間隔に達すると、到達した格子点座標で検索された全方位画像がメモリに読み込まれ、当該全方位画像の移動方向をビュー方向とする部分画像が切出されて、ズーミングにより補完された画像と置き換えられる。
【００１８】
観察者が移動ジョイスティック３の操作方向を変更しなければ、到達した格子点を通過点として上記と同じ動作が繰り返され、観察者はある方向の格子点を渡り歩くようにして進行方向の画像を観察してゆく。観察者が移動ジョイスティック３の操作方向を変換すると、次の格子点に達したときに、ビュー方向と移動方向とが切換えられ、新たな方向での画像表示が繰り返される。従って、格子点間隔を十分小さく取ることによって、観察者は観察エリア内を自由に移動することができるようになる。そして、観察者が移動ジョイスティックの操作を止めれば移動は停止し、その位置で方向ジョイスティック２を操作することにより、自由にビュー方向を変えて周囲を見回すことができる。
【００１９】
上記第１実施例は、各格子点に当該地点に対応する全方位の静止画像を登録して、これを当該格子点の座標をキーにして呼び出すようにした例である。前述したように、実空間の映像は、格子線に沿う全方位の動画として撮影できる。そこで他の方法として、縦横の格子線に沿って撮影した動画を格子点間隔に対応する長さで切り刻んで動画片とし、各動画片をその両端の格子点の座標をキーにして画像データベースに登録する例を第２実施例として示す。
【００２０】
まずデフォルトの格子点座標とビュー方向とが読込まれる。第２実施例では、前回終了時のものがデフォルトとなっている。この第２実施例では、各格子点が指定されたときに、その格子点から四方に延びる線分に対応する動画片がメモリに読み込まれる。この読み込みは、格子点座標で画像データベースを検索することによって実現できる。
【００２１】
現在格子点に表示可能なフレーム（静止画像）は、読み込まれた４個の動画片の現在格子点側の端にあるから、そのどれを表示するかを判定させるために、予め優先フレームを決めておかなければならない。どれを優先フレームとするかは任意であるが、例えばＸ方向の最後のフレーム（動画片は格子線に沿って一方向に撮影した動画を格子点位置で切断した切片であるから、Ｘ方向の２個の動画片のうち、一方の最初のフレームと他方の最後のフレームとが現在格子点側のフレームである）というように決めておく。格子点位置で表示される画像は、この優先フレームの全方位画像からビュー方向に切出された部分画像である。この状態で方向ジョイスティック２が操作されると、優先フレームの全方位画像が指令された方向で切出された表示される。この動作は第１実施例と同様である。
【００２２】
移動ジョイスティック３が操作されたとき、操作方向を８方向に近似して移動方向を取得することは第１実施例と同じであるが、移動方向が格子線方向であるときの表示が第１実施例と大きく異なる。そのため取得した方向が格子線方向か斜めの方向かを判定する判定ステップが設けられ、格子線方向であるときは動画片の再生動作、斜め方向であるときは第１実施例で説明した補完ズーミング動作で移動中の画像を表示する。
【００２３】
すなわち、この第２実施例では、格子線に沿う方向に移動するときの格子点間の画像は、連続的な動画像として記憶されているので、その動画片を再生してやればよい。この場合、撮影方向と移動方向が同じであれば正方向、反対であれば逆方向に動画片を再生することになる。
【００２４】
メモリ容量を小さくしたいときは、画像データベースからメモリに動画片を読み込むときに、各線分に対応する全方位動画像を現在格子点から隣接する格子点に向う方向の部分画像に切出してメモリに読み込み、最後のフレームのみ（最後のフレームを優先フレームとしたとき）を全方位画像のまま読み込む。
【００２５】
この第２実施例の場合には、斜め４５度の方向に移動するとき、対応する動画像がないので、斜め方向移動の場合にのみ、前記補完プログラムによる画面表示を行う。すなわち、移動ジョイスティックで指定された移動方向を近似した方向が斜め方向であったとき、現在格子点の全方位画像から当該斜め方向の部分画像を切出して、移動距離に応じて補完方法でズーミングすることによって移動中の画像を表示し、対角線上にある隣接する格子点に達したときに、到達格子点における優先フレームの全方位画像から移動方向に切出した部分画像に置き換えることにより、斜め方向の移動を可能にするのである。
【００２６】
図７は、この第２実施例のフローチャートを示すもので、観察が開始されると、最初の格子点座標とビュー方向とが読み込まれ、その格子点から延びる４つの格子線の方向の動画片がメモリに読み込まれて、予め定めた優先フレームのビュー方向の部分画像が表示される。観察者が方向ジョイスティックを操作したときの処理は、第１実施例と同じである。操作者が移動ジョイスティックを操作したとき、取得した移動方向（近似した移動方向）が格子線の方向であれば、メモリの読み取られた当該方向の動画片を再生する。この動画片の再生が終了すると、隣接する次の格子点に達したことになるから、到達格子点の移動してきた方向の動画片を除く３方向の動画片がメモリに読み込まれる。また、移動方向が斜め方向であると判断されたときは、第１実施例と同様な方法で格子点間の部分画像がズーミングにより補完されて表示され、対角方向に隣接する格子点に達したときに、到達格子点の４方向の動画片がメモリに読み込まれて優先するフレームの移動方向の部分画像が表示される。
【図面の簡単な説明】
【図１】実施例のハードウェア構成を示す図
【図２】観察エリアに設定された格子点を示す説明図
【図３】格子点間の観察者の移動を示す説明図
【図４】各格子点又は格子線上で撮影された円形の画像から所定高さの円筒状の全方位画像への変換を示す説明図
【図５】仮想空間内での目の移動を部分画像のズーミング処理により補完する方法を示した説明図
【図６】第１実施例の画像表示手順を示すフローチャート
【図７】第２実施例の画像表示手順を示すフローチャート
【符号の説明】
１　ディスプレイ
２，３　ジョイスティック
２α視野角
４　本体装置
Ｍ　全方位画像
Ｌｘ，Ｌｙ　格子線
Ｐ　格子点[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method of displaying an image photographed in a real space on a display as if the observer is moving around in the real space or looking around.
[0002]
[Prior art]
Display a regional image such as a map or a bird's eye view on the display screen, superimpose and display a point symbol at a position corresponding to a predetermined specific point on this regional image, and when the point symbol is pointed, An image display method for displaying an image showing the scenery of the point on a display screen is known.
[0003]
Japanese Patent Application Laid-Open No. 2001-215941 discloses a method of displaying image information that enables an observer to integrally control a position and a direction, by using a point provided with a direction indicating element on a regional image displayed on a display screen. An image display method of displaying a symbol and cutting out and displaying an image portion in a specified direction from image information corresponding to the point when direction specification information of the point is input has been proposed by the applicant of the present invention. I have.
[0004]
Further, the above publication, JP-A-2001-4389, JP-A-2000-244812, and the like, display a trajectory symbol indicating a moving route on a regional image, and display the trajectory when the moving body is moved along the trajectory. A method of displaying moving image information indicating a change in landscape has been proposed.
[0005]
[Problems to be solved by the invention]
The conventional image display means as described above has a feature that the observer can freely select and display landscape information of a plurality of movement trajectories displayed on a regional image. However, according to the conventional method, the observer can only select a predetermined specific movement trajectory on the area image, and cannot move freely in the area to see the surrounding scenery.
[0006]
An object of the present invention is to provide an image display unit that enables image information captured in a real space to be displayed on a display screen so that an observer can move around freely in the real space and observe the surroundings. It is an object of the present invention to obtain the above method that can be realized with a smaller auxiliary storage area, a smaller memory capacity, and a smaller CPU speed.
[0007]
[Means for Solving the Problems]
The image display method according to the first aspect of the present invention, which solves the above problem, is a method for displaying images at a number of imaging points (lattice points in the embodiment) distributed on a two-dimensional plane occupying a predetermined area in a real space. The azimuth image is stored in a storage device of the computer in association with the photographing point, and a virtual moving object (eye in the virtual plane of the observer) moving in a virtual plane set corresponding to the predetermined area is stored. When the moving direction is designated, a partial image cut out at a predetermined viewing angle in the designated moving direction from the omnidirectional image associated with the shooting point corresponding to the movement start coordinate of the virtual moving object is used by the electronic computer. Display on the display, complementing and displaying the change in the size of the partial image cut out at the viewing angle that occurs in association with the amount of movement of the virtual moving object in the direction by continuous zoom-in of the partial image , The virtual moving object is When the coordinates corresponding to the shooting point to be reached are reached, the omnidirectional image stored in association with the shooting point corresponding to the arrival coordinates is read and the partial image corresponding to the viewing angle in the moving direction is cut out and displayed. The movement direction of the virtual moving body is maintained or converted at the coordinate point corresponding to the shooting point, and the above operation is repeated.
[0008]
An image display method according to a second aspect of the present invention is the image display method according to the first aspect, wherein the photographing point is set at the intersection of the vertical and horizontal grids. According to the method of the second aspect, there is a real advantage that it is easy to take an omnidirectional image at a number of photographing points, input the image to a storage device, and perform arithmetic processing in an electronic computer.
[0009]
A second method for solving the above-mentioned problem is that the moving image taken while moving along the grid lines of the vertical and horizontal grids set on a two-dimensional plane occupying a predetermined area in the real space is stored in the grid points. A moving image piece separated at each interval is stored in a storage device of the computer in association with grid points at both ends thereof, and a moving direction of a virtual moving body moving in a virtual plane set corresponding to the predetermined area is designated. When the moving direction of the virtual moving object coincides with the direction of the above-mentioned grid line, the moving picture piece between the grid points from the movement start point to the adjacent arrival point is reproduced and displayed on the display of the computer. Then, when the reproduction is completed, a partial image cut out from the omnidirectional image at the arrival point at a predetermined viewing angle in the moving direction is cut out and displayed, and the specified moving direction is a direction deviating from the grid line. When A partial image cut out from the omnidirectional image of the movement start point of the virtual moving object at the viewing angle in the designated moving direction is displayed on the display, and the visual field generated in relation to the moving amount of the virtual moving object in the direction is displayed. The change in the size of the partial image cut out at the corner is complemented and displayed by continuous zoom-up of the partial image, and when the virtual moving object reaches an adjacent grid point in the direction, the omnidirectional orientation of the arrival point The image is read, a partial image corresponding to the visual field in the moving direction is cut out and displayed, and the above operation is repeated by maintaining or converting the moving direction of the virtual moving body at each grid point. The display method.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an example of a hardware configuration for implementing the method of the present invention, and includes a display 1, two

joysticks

2, 3, and a main unit 4. The main unit 4 has a built-in auxiliary storage device such as a CPU, a memory, and a hard disk. In the auxiliary storage device, an image database, an image table program, an image clipping program, an image complementing program, a moving image reproducing program, and the like are registered. I have.
[0011]
In the method of the first embodiment, the omnidirectional image registered in the database is obtained as an omnidirectional image at each grid point P when the real space to be observed is partitioned by vertical and horizontal grid lines Lx and Ly at predetermined intervals. . This omnidirectional image is captured, for example, by moving a video camera with a fisheye lens facing upward at a constant speed along grid lines Lx and Ly assumed in real space, and a frame at each grid point position is represented by coordinates of the grid point. Is stored as an index.
[0012]
The captured omnidirectional image becomes a disk-shaped image as shown in FIG. 4A, which is cut into a ring shape with a radial width corresponding to a desired height of the real space ( An area A in FIG. 4A is corrected to an image obtained by developing a 360-degree cylinder as shown in FIG. 4B and registered in the image database.
[0013]
When a certain grid point is designated, the registered image information is searched based on the grid point coordinates and read into the memory. The omnidirectional image read into the memory is cut out into a rectangular partial image by the cutout program, and the partial image is displayed on the display 1 by the image display program. When receiving the information on the view direction, the cutout program cuts out a partial image in the direction based on the direction information and the previously registered viewing angle. That is, as shown in FIG. 5, an image in a region having a viewing angle of 2α is cut out from the cylindrical omnidirectional image M and sent to the image display program, and the image display program displays the received partial image on the display 1.
[0014]
The view direction is specified by the operation direction of the direction joystick 2 or the drag direction of the mouse. Therefore, if the observer operates the directional joystick 2 in a desired direction, an image in an arbitrary direction at the current grid point can be displayed on the display 1.
[0015]
An image that changes continuously when the observer moves through the observation area is generated by a complementary program that applies a zoom technique. That is, in FIG. 5, if the user moves by the distance d in the direction while viewing the partial image at the current grid point position P at the predetermined viewing angle 2α, the viewing angle 2α at the moving point Q does not change. The width a 'of the partial image at the moving point Q after moving by d with respect to the width a of the partial image at the lattice point P is given by Expression 1.
(Equation 1)

Here, h is the distance to the object in the real space of the stored omnidirectional image. From this relationship, the zoom ratio a '/ a is expressed by Expression 2.
[Equation 2]

Here, twice the viewing angle is α, d is the moving distance from the current grid point, and a is the width of the partial image displayed at each grid point. When the observer moves, the moving distance d is a value obtained by multiplying the moving speed v by the time Δt from departure or passing through the current grid point, so if the distance d is calculated from the moving speed and the elapsed time, The zoom ratio a '/ a can be calculated. Therefore, when the observer moves in a certain direction by enlarging the clipped image in accordance with the zoom ratio and displaying the enlarged image on the display 1, the image changes in accordance with the movement. When the observer reaches the next grid point adjacent to the moving direction, the partial image complemented by the complementing program is replaced by the partial image of the omnidirectional image of the reached grid point in the moving direction.
[0016]
If the grid point interval is too coarse with respect to the size of the real space, when the complementary image is replaced with a new partial image, an image jump occurs due to the size of the distance from the grid point to the object. This problem can be solved by reducing the grid point interval and restricting the movement direction to adjacent grid points. As shown in FIG. 3, if the vertical and horizontal grids are set at equal intervals, and the movement direction of the observer is limited to a direction along the grid lines and a direction at an oblique angle of 45 degrees, when the grid point interval is set to 0.5 m, interpolation is performed. The maximum moving distance that has to be processed is 0.707 m. Assuming that the viewing angle 2α = 20 degrees and the cutout width a of the partial image is a = 6 m, a continuous image that can withstand observation is obtained with a maximum lattice point interval of 0.7 m.
[0017]
Next, an image display method according to the first embodiment will be described with reference to a flowchart shown in FIG. When the observation is started, default lattice point coordinates and a view direction are given, an omnidirectional image searched at the coordinates is read into the memory, and a partial image in the default direction is cut at the set viewing angle or image width. And is displayed on the display 1. When the observer operates the directional joystick 2 in this state, a partial image in the view direction specified by the operation direction is similarly cut out and displayed on the display 1. When the observer operates the moving joystick 3, the operating direction is input by approximating eight directions, the view direction is set to the moving direction, the display screen becomes a partial image in the moving direction, and the moving speed or the moving speed set in advance is set. The moving distance d is calculated by multiplying the moving speed v specified by the operation amount of the moving joystick by the elapsed time Δt from departure or passing through the immediately preceding grid point, and the clipping program calculates the zoom rate of the clipped image. Then, the partial image enlarged according to the moving amount is displayed on the display 1. When the moving distance d reaches the grid point interval in the direction, the omnidirectional image searched at the reached grid point coordinates is read into the memory, and a partial image having the moving direction of the omnidirectional image as the view direction is cut out. Is replaced with the image complemented by zooming.
[0018]
If the observer does not change the operation direction of the moving joystick 3, the same operation as described above is repeated with the reached lattice point as a passing point, and the observer walks the lattice point in a certain direction to observe an image in the traveling direction. I will do it. When the observer changes the operation direction of the movement joystick 3, when the next grid point is reached, the view direction and the movement direction are switched, and image display in a new direction is repeated. Therefore, the observer can move freely within the observation area by setting the grid point interval to be sufficiently small. When the observer stops operating the moving joystick, the movement stops. By operating the directional joystick 2 at that position, the user can freely change the view direction and look around.
[0019]
The first embodiment is an example in which an omnidirectional still image corresponding to the point is registered at each grid point, and this is called using the coordinates of the grid point as a key. As described above, an image in the real space can be captured as an omnidirectional moving image along the grid lines. Therefore, as another method, a moving image taken along vertical and horizontal grid lines is cut into lengths corresponding to the grid point intervals to form moving image fragments, and each moving image fragment is stored in an image database using the coordinates of the grid points at both ends as keys. An example of registration is shown as a second embodiment.
[0020]
First, default grid point coordinates and view directions are read. In the second embodiment, the one at the end of the previous time is the default. In the second embodiment, when each grid point is designated, a moving picture piece corresponding to a line segment extending in four directions from the grid point is read into the memory. This reading can be realized by searching the image database with grid point coordinates.
[0021]
Since the frames (still images) that can be displayed at the current grid point are at the current grid point end of the four read moving picture pieces, a priority frame is determined in advance in order to determine which of them is to be displayed. Must be kept. Which frame is the priority frame is arbitrary. For example, the last frame in the X direction (moving image piece is a section obtained by cutting a moving image taken in one direction along a grid line at a grid point position, Of the two moving picture pieces, the first frame on one side and the last frame on the other side are the frames on the current grid point side in advance. The image displayed at the lattice point position is a partial image cut out in the view direction from the omnidirectional image of the priority frame. When the direction joystick 2 is operated in this state, the omnidirectional image of the priority frame is displayed cut out in the commanded direction. This operation is the same as in the first embodiment.
[0022]
When the movement joystick 3 is operated, the operation direction is obtained by approximating the operation direction to eight directions as in the first embodiment, but the display when the movement direction is the grid line direction is performed in the first embodiment. Very different from the example. Therefore, a determination step is provided for determining whether the acquired direction is the grid line direction or the oblique direction. When the direction is the grid line direction, the moving image piece is reproduced, and when the obtained direction is the oblique direction, the complementary zooming described in the first embodiment is performed. The moving image is displayed by the operation.
[0023]
That is, in the second embodiment, since the image between the grid points when moving in the direction along the grid line is stored as a continuous moving image, the moving image piece may be reproduced. In this case, the moving image piece is reproduced in the forward direction if the shooting direction is the same as the moving direction, and in the reverse direction if the moving direction is opposite.
[0024]
If you want to reduce the memory capacity, when reading a moving image piece from the image database to the memory, cut out the omnidirectional moving image corresponding to each line segment into a partial image in the direction from the current grid point to the adjacent grid point and read it into the memory Only the last frame (when the last frame is the priority frame) is read as an omnidirectional image.
[0025]
In the case of the second embodiment, since there is no corresponding moving image when moving in the direction of 45 degrees diagonally, the screen display by the complementing program is performed only in the case of diagonal movement. That is, when the direction approximating the moving direction specified by the moving joystick is an oblique direction, a partial image in the oblique direction is cut out from the omnidirectional image of the current grid point, and zooming is performed in a complementary manner according to the moving distance. By displaying the moving image by this, when reaching the adjacent grid point on the diagonal, by replacing the partial image cut out in the moving direction from the omnidirectional image of the priority frame at the reaching grid point, in the oblique direction It allows movement.
[0026]
FIG. 7 shows a flowchart of the second embodiment. When the observation is started, the coordinates of the first grid point and the view direction are read, and the moving image piece in the direction of four grid lines extending from the grid point is read. Is read into the memory, and a partial image of the predetermined priority frame in the view direction is displayed. The processing when the observer operates the directional joystick is the same as in the first embodiment. When the operator operates the moving joystick, if the obtained moving direction (approximate moving direction) is the direction of the lattice line, the moving image piece read from the memory in the direction is reproduced. When the reproduction of the moving image piece is completed, the next adjacent grid point has been reached. Therefore, the moving image pieces in three directions except the moving image piece in the moving direction of the arrival grid point are read into the memory. When it is determined that the moving direction is oblique, the partial image between the grid points is complemented by zooming and displayed in the same manner as in the first embodiment, and reaches the diagonally adjacent grid point. Then, the moving image fragments in the four directions of the arrival grid point are read into the memory, and the partial images in the moving direction of the priority frame are displayed.
[Brief description of the drawings]
FIG. 1 is a diagram showing a hardware configuration of an embodiment. FIG. 2 is an explanatory diagram showing grid points set in an observation area. FIG. 3 is an explanatory diagram showing movement of an observer between grid points. FIG. 5 is an explanatory diagram showing conversion of a circular image captured on a grid point or a grid line into a cylindrical omnidirectional image having a predetermined height. FIG. 6 is a flowchart showing an image display procedure of the first embodiment. FIG. 7 is a flowchart showing an image display procedure of the second embodiment.
Reference Signs List 1

display

2, 3 joystick 2α viewing angle 4 main unit M omnidirectional image Lx, Ly grid line P grid point

Claims

An omnidirectional image photographed at a number of photographing points distributed and set on a two-dimensional plane occupying a predetermined area in the real space is stored in association with the photographing points, and moved in a virtual plane set corresponding to the predetermined area. When the moving direction of the virtual moving object to be specified is specified, a portion cut out from the omnidirectional image associated with the shooting point corresponding to the movement start coordinate of the virtual moving object at a predetermined viewing angle in the specified moving direction. The image is displayed on the display, and the change in the size of the partial image cut out at the viewing angle that occurs in relation to the amount of movement of the virtual moving object in the direction is complemented by continuous zoom-in of the partial image. Displaying the omnidirectional image associated with the imaging point corresponding to the arrival coordinates when the virtual moving body reaches the coordinates corresponding to the adjacent imaging point in the direction, and reading the partial image corresponding to the visual field in the moving direction. Cut out and display And maintaining or converting the moving direction of the mobile virtual coordinate point corresponding to each photographing point and repeating the above operations, the display method of the image.

2. The image display method according to claim 1, wherein the photographing points are set at intersections of vertical and horizontal grids.

A moving picture taken while moving along the vertical and horizontal grid lines set on a two-dimensional plane occupying a predetermined area in the real space is stored as a moving picture piece cut at each grid point interval in association with the grid points at both ends thereof And
When the moving direction of the virtual moving body moving in the virtual plane set corresponding to the predetermined area is designated,
When the moving direction of the virtual moving object coincides with the direction of the grid line, the moving image piece between the grid points from the movement start point to the adjacent arrival point is reproduced and displayed on the display, and when the reproduction ends. Cut out and display a partial image cut out at a predetermined viewing angle in the moving direction from the omnidirectional image at the arrival point,
When the specified moving direction is a direction deviating from the grid line, a partial image cut out from the omnidirectional image of the moving start point of the virtual moving object at the viewing angle in the specified moving direction is displayed on the display. Displaying the change in the size of the partial image cut out at the viewing angle, which is generated in relation to the amount of movement of the virtual moving object in the direction, by supplementing the continuous image with a continuous zoom-in, and displaying the virtual moving object. When the vehicle reaches an adjacent grid point in the direction, the omnidirectional image of the arrival point is read, a partial image corresponding to the visual field in the moving direction is cut out and displayed, and the moving direction of the virtual moving body is maintained at each grid point. Alternatively, a method for displaying a visual field of a moving object, comprising converting and repeating the above operation.