JP2010191607A - Method and device for generating and displaying image, server device, and image display terminal - Google Patents

Method and device for generating and displaying image, server device, and image display terminal Download PDF

Info

Publication number
JP2010191607A
JP2010191607A JP2009034215A JP2009034215A JP2010191607A JP 2010191607 A JP2010191607 A JP 2010191607A JP 2009034215 A JP2009034215 A JP 2009034215A JP 2009034215 A JP2009034215 A JP 2009034215A JP 2010191607 A JP2010191607 A JP 2010191607A
Authority
JP
Japan
Prior art keywords
viewpoint
image
dimensional
projection image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009034215A
Other languages
Japanese (ja)
Inventor
Shingo Hebishima
伸吾 蛇島
Masashi Fujita
将史 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Information and Control Systems Inc
Hitachi Information and Control Solutions Ltd
Original Assignee
Hitachi Ltd
Hitachi Information and Control Systems Inc
Hitachi Information and Control Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Information and Control Systems Inc, Hitachi Information and Control Solutions Ltd filed Critical Hitachi Ltd
Priority to JP2009034215A priority Critical patent/JP2010191607A/en
Publication of JP2010191607A publication Critical patent/JP2010191607A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To allow even an image display terminal of low processing power to display a scenery in a three-dimensional space, which is viewed from a moving visual point, in reality. <P>SOLUTION: When receiving information including the position of a visual point from a display terminal device 4, a server device 2 divides a space ahead of a visual point into a plurality of blocks based on a distance from the visual point, and extracts information belonging to each block from three-dimensional space information 31, and generates blocked three-dimensional space information 32 (three-dimensional space information blocking processing 22), and generates a two-dimensional photographic image 33 to be projected on a screen virtually installed in a boundary at the opposite side of the visual point based on the blocked three-dimensional space information 32 of each block (two-dimensional projection image generation processing part 23), and transmits it to the display terminal device 4. The display terminal device 4 generates a superimposed image by overlapping the received two-dimensional projective images 51 of each block in the order of the far distance from the visual point, and displays it on a display device 70 (two-dimensional projection image superimposed display processing part 44). <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、所定の3次元空間の中の移動する視点から見えるその3次元空間内の風景を2次元の表示画面に表示するための画像生成表示システム、画像生成表示方法、サーバ装置および画像表示端末に関する。   The present invention relates to an image generation display system, an image generation display method, a server device, and an image display for displaying a landscape in a three-dimensional space that can be seen from a moving viewpoint in a predetermined three-dimensional space on a two-dimensional display screen. Regarding terminals.

近年、カーナビゲーション装置は、車両の位置や走行速度に応じて、市街地の立体表示や鳥瞰地図表示などを行うことが可能となってきている。また、インターネットに接続されたパソコンでは、移動する視点から眺望した市街地や観光地などの3次元の鳥瞰画像を、その視点の移動に合わせてリアルタイムで表示させることができる。   In recent years, a car navigation apparatus can perform a three-dimensional display of a city area, a bird's-eye view map display, or the like in accordance with the position and traveling speed of a vehicle. In addition, a personal computer connected to the Internet can display a three-dimensional bird's-eye image of a city area or a sightseeing spot viewed from a moving viewpoint in real time according to the movement of the viewpoint.

一般に、所定の3次元空間の内部における物の配置および形状を定める情報(例えば、等高線などで表された山、川、海岸などの3次元地形情報、建物などの3次元形状情報、など)がサーバ装置に蓄積されている場合に、その3次元空間の内部に含まれる移動視点(例えば、車両や航空機などの窓)から見える風景の表示画像(例えば、鳥瞰図など)を、そのサーバ装置にネットワークを介して接続された画像表示端末にリアルな動きとして表示するには、次の(1)〜(3)のような方法が考えられる。   Generally, information that determines the arrangement and shape of an object within a predetermined three-dimensional space (for example, three-dimensional terrain information such as mountains, rivers, and coasts represented by contour lines, three-dimensional shape information such as buildings) When stored in the server device, a display image (for example, a bird's eye view) of a landscape seen from a moving viewpoint (for example, a window of a vehicle, an aircraft, etc.) included in the three-dimensional space is networked to the server device. The following methods (1) to (3) are conceivable for displaying a realistic motion on an image display terminal connected via the network.

(1)表示対象の3次元空間の内部における物の配置および形状を定める情報(以下、「3次元空間情報」という)そのものを、画像表示端末(パソコン、ナビゲーション装置など)に送信しておき、画像表示端末自身が視点の移動とともに変化する表示画像を1コマずつ生成し、表示する。
(2)サーバ装置があらかじめ連続したウォークスルー画像を生成しておき、画像表示端末が、そのウォークスルー画像を送信して、表示する。
(3)サーバ装置が視点の移動に伴う1コマごとの表示画像をリアルタイムで生成しつつ、配信し、画像表示端末がその配信された表示画像をそのまま表示する。
(1) The information (hereinafter referred to as “three-dimensional space information”) that determines the arrangement and shape of an object within the three-dimensional space to be displayed is transmitted to an image display terminal (such as a personal computer or a navigation device). The image display terminal itself generates and displays a display image that changes as the viewpoint moves one frame at a time.
(2) The server apparatus generates a continuous walk-through image in advance, and the image display terminal transmits and displays the walk-through image.
(3) The server device generates and displays a display image for each frame accompanying the movement of the viewpoint in real time, and the image display terminal displays the distributed display image as it is.

例えば、特許文献1に記載のカーナビゲーション装置では、前記(1)の方法が採用されているが、この場合には、送信される3次元空間情報の情報量が大きくなるので、画像表示端末にとっては、その3次元空間情報を格納しておくための記憶容量が負担となる。さらに、その画像表示端末には、3次元空間情報から表示画像を生成するための専用のプログラムをあらかじめインストールしておく必要があり、その表示画像の生成処理も、画像表示端末にとって大きな負担となる。   For example, in the car navigation device described in Patent Document 1, the method (1) is adopted, but in this case, since the amount of information of the transmitted three-dimensional spatial information becomes large, it is necessary for the image display terminal. The storage capacity for storing the three-dimensional spatial information becomes a burden. In addition, a dedicated program for generating a display image from the three-dimensional space information needs to be installed in advance in the image display terminal, and the display image generation processing is a heavy burden on the image display terminal. .

また、前記(2)の方法では、画像表示端末は、3次元空間情報から表示画像を生成する必要がないので、画像表示端末の処理負荷は小さいが、あらかじめ生成されている表示画像以外の表示画像を表示することができない。従って、この場合には、画像表示端末には、事前に定められたルートに沿って移動する視点からの表示画像しか表示することができない。   In the method (2), since the image display terminal does not need to generate a display image from the three-dimensional space information, the processing load on the image display terminal is small, but a display other than the display image generated in advance is displayed. The image cannot be displayed. Therefore, in this case, the image display terminal can display only a display image from a viewpoint that moves along a predetermined route.

また、前記(3)の方法を用いると、画像表示端末は、表示画像を生成するための専用のプログラムがなくても、一般のウエブブラウザ上で、任意の視点からの表示画像を表示することが可能になる。その一方、サーバ装置は、視点位置の移動に合わせて1コマごとに鳥瞰図などの表示画像を生成し、配信していくことが必要となるため、その処理量や配信すべき情報量が大きくなる。とくに、1コマごとに大画面の3次元鳥瞰図などを生成する場合や、各コマの表示画像で光の反射やフレア効果などを考慮した精密なレンダリングを行う場合には、サーバ装置の処理負荷はさらに大きなものとなる。   Further, when the method (3) is used, the image display terminal can display a display image from an arbitrary viewpoint on a general web browser without a dedicated program for generating a display image. Is possible. On the other hand, since the server device needs to generate and distribute a display image such as a bird's eye view for each frame in accordance with the movement of the viewpoint position, the processing amount and the amount of information to be distributed increase. . In particular, when generating a 3D bird's-eye view of a large screen for each frame, or when performing precise rendering in consideration of light reflection and flare effects on the display image of each frame, the processing load on the server device is It will be even bigger.

特許文献2には、サーバ装置および画像表示端末の処理負荷を軽減する方法として、サーバ装置がユーザ(視点)位置から所定の距離範囲の限られた範囲の空間の3次元空間情報とその背景の2次元画像とを画像表示端末へダウンロードしておき、画像表示端末がその限られた範囲の3次元空間情報とその背景の2次元画像とを用いて、あたかもリアルな3次元空間の表示画像を生成する技術が開示されている。   In Patent Document 2, as a method for reducing the processing load on the server device and the image display terminal, the server device has three-dimensional space information on a limited range of a predetermined distance range from the user (viewpoint) position and the background of the information. The two-dimensional image is downloaded to the image display terminal, and the image display terminal uses the limited three-dimensional space information and the background two-dimensional image to display a real three-dimensional space display image. A technique for generating is disclosed.

この場合、サーバ装置は、視点がその限られた範囲の空間の中央部にある限りは、3次元空間情報と背景の2次元画像とを新たに画像表示端末へダウンロードする必要はなく、視点がその空間の周辺部に移動したとき、その視点が中央に位置する新たな3次元空間情報とその背景の2次元画像とをダウンロードすればよい。従って、サーバ装置の処理負荷は軽減され、また、画像表示端末へ配信される情報量も削減される。さらに、画像表示端末は、限られた範囲の3次元空間情報と背景の2次元画像とを用いて表示画像を生成すればよいので、その処理負荷は軽減される。   In this case, as long as the viewpoint is in the center of the limited space, the server device does not need to newly download the three-dimensional space information and the background two-dimensional image to the image display terminal. When moving to the peripheral part of the space, new three-dimensional space information whose viewpoint is located at the center and the two-dimensional image of the background may be downloaded. Accordingly, the processing load on the server device is reduced, and the amount of information distributed to the image display terminal is also reduced. Furthermore, the image display terminal only needs to generate a display image using a limited range of three-dimensional spatial information and a background two-dimensional image, so that the processing load is reduced.

特開2007−279067号公報JP 2007-279067 A 特願平10−312471号公報Japanese Patent Application No. 10-31471

しかしながら、特許文献2に記載の発明の場合、画像表示端末は、3次元空間情報から表示画像を生成し、表示するための専用のプログラムを必要とし、その実行には、それ相応の処理負荷を負担する必要がある。また、専用のプログラムが必要であることから、低価格の処理能力の低い画像表示端末に通常インストールされているウエブブラウザでは、視点の移動に伴って変化する表示画像をリアルに表示させることはできない。   However, in the case of the invention described in Patent Document 2, the image display terminal requires a dedicated program for generating and displaying a display image from the three-dimensional space information, and the execution of the program requires a corresponding processing load. It is necessary to bear. In addition, since a dedicated program is required, a web browser normally installed on a low-priced image display terminal with low processing capability cannot display a display image that changes as the viewpoint moves in real. .

本発明の目的は、専用の表示画像生成プログラムを備えていない処理能力の低い画像表示端末であっても、3次元空間の中の移動する視点から見えるその3次元空間内の風景の表示画像をよりリアルに表示することが可能な画像生成表示方法、画像生成表示システム、サーバ装置および画像表示端末を提供することにある。   An object of the present invention is to display a display image of a landscape in a three-dimensional space that can be viewed from a moving viewpoint in the three-dimensional space even if the image display terminal has a low processing capability and does not have a dedicated display image generation program. An object of the present invention is to provide an image generation and display method, an image generation and display system, a server device, and an image display terminal that can display more realistically.

本発明の画像生成表示システムは、所定の3次元空間の形状を表した3次元空間情報を保持したサーバ装置と、その3次元空間内における視点の位置情報を入力するとともに、その視点から見える前記3次元空間内の風景を表示する表示端末装置と、を含んで構成される。そして、そのサーバ装置は、表示端末装置から前記3次元空間内の視点の位置を含む情報を受信したときには、その視点の前方の空間を視点からの距離によって複数のブロックに区分し、その複数のブロックのそれぞれのブロックに属するブロック化3次元空間情報を前記3次元空間情報から生成し、前記ブロックの視点と反対側の境界に仮想的なスクリーンを設定し、そのブロックのブロック化3次元空間情報を用いて、前記視点からの視線によってそのスクリーンに投影される2次元投影画像を生成し、生成した2次元投影画像を表示端末装置に送信する。一方、表示端末装置は、サーバ装置から送信された2次元投影画像を受信し、それぞれのブロックに対応する2次元投影画像を、前記視点からの距離が遠いブロックの画像が奥になるように重ね合わせて、重畳画像を生成し、生成した重畳画像を表示装置に表示する。   The image generation and display system of the present invention inputs a server device that holds three-dimensional space information representing a shape of a predetermined three-dimensional space, and position information of a viewpoint in the three-dimensional space, and is visible from the viewpoint And a display terminal device that displays a landscape in a three-dimensional space. Then, when the server device receives information including the position of the viewpoint in the three-dimensional space from the display terminal device, the server device divides the space ahead of the viewpoint into a plurality of blocks according to the distance from the viewpoint, Blocked three-dimensional spatial information belonging to each block is generated from the three-dimensional spatial information, a virtual screen is set on the boundary opposite to the viewpoint of the block, and the blocked three-dimensional spatial information of the block Is used to generate a two-dimensional projection image projected onto the screen by the line of sight from the viewpoint, and the generated two-dimensional projection image is transmitted to the display terminal device. On the other hand, the display terminal device receives the two-dimensional projection image transmitted from the server device, and superimposes the two-dimensional projection image corresponding to each block so that the image of the block far from the viewpoint is in the back. In addition, a superimposed image is generated, and the generated superimposed image is displayed on the display device.

本発明においては、視点の位置に応じて、所定の3次元空間をその視点前方の空間を複数のブロックに区分し、各ブロックに属する3次元空間情報から2次元投影画像を生成するというような処理負荷の大きい処理は、サーバ装置によって行われる。従って、表示端末装置は、視点位置に応じて、複数ブロックの2次元投影画像を、適宜、左右上下に移動させたり、拡大や縮小したりして、重畳するだけ処理を行えばよいので、表示端末装置の処理負荷は小さくて済む。   In the present invention, a predetermined three-dimensional space is divided into a plurality of blocks according to the position of the viewpoint, and a two-dimensional projection image is generated from the three-dimensional space information belonging to each block. Processing with a large processing load is performed by the server device. Therefore, the display terminal device only has to perform the process of superimposing the two-dimensional projection image of a plurality of blocks according to the viewpoint position by appropriately moving the image to the left, right, up, and down, enlarging or reducing it. The processing load on the terminal device can be small.

本発明によれば、専用の表示画像生成プログラムを備えていない処理能力の低い画像表示端末であっても、3次元空間の中の移動する視点から見えるその3次元空間内の風景の表示画像をよりリアルに表示することが可能となる。   According to the present invention, even in an image display terminal with a low processing capability that does not have a dedicated display image generation program, a display image of a landscape in the three-dimensional space that can be seen from a moving viewpoint in the three-dimensional space. It becomes possible to display more realistically.

本発明の実施形態に係る画像生成表示システムの構成の例を示した図。The figure which showed the example of the structure of the image production | generation display system which concerns on embodiment of this invention. 本発明の実施形態に係るサーバ装置において行われる処理の内容を説明するための図。The figure for demonstrating the content of the process performed in the server apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る表示端末装置において行われる処理の内容を説明するための図。The figure for demonstrating the content of the process performed in the display terminal device which concerns on embodiment of this invention. サーバ装置において2次元投影画像を生成するために、スクリーンおよび視点の移動経路の例を示した図。The figure which showed the example of the movement path | route of a screen and a viewpoint, in order to produce | generate a two-dimensional projection image in a server apparatus. 各スクリーン画像を重畳して得られる重畳画像の例を示した図。The figure which showed the example of the superimposed image obtained by superimposing each screen image. 視点位置が「位置:A」および「位置:B」の場合の表示画像の例を示した図。The figure which showed the example of the display image in case a viewpoint position is "position: A" and "position: B". 視点位置が「位置:C」および「位置:D」の場合の表示画像の例を示した図。The figure which showed the example of the display image in case a viewpoint position is "position: C" and "position: D". 2次元投影画像表示スクリーンの大きさと、表示端末装置が2次元投影画像の生成をサーバ装置に依頼するタイミングとの関係を説明するための図。The figure for demonstrating the relationship between the magnitude | size of a two-dimensional projection image display screen, and the timing which a display terminal device requests the production | generation of a two-dimensional projection image to a server apparatus. 左右に移動する視点を考慮したスクリーンバッファの例を示した図。The figure which showed the example of the screen buffer which considered the viewpoint moved to right and left. 前後に移動する視点を考慮したスクリーンバッファの例を示した図。The figure which showed the example of the screen buffer which considered the viewpoint which moves back and forth. 視点が同じ位置で回転する場合の投影画像生成の例を説明するための図。The figure for demonstrating the example of a projection image generation in case a viewpoint rotates in the same position. 3次元空間情報のブロック化処理を補足する例を示した図。The figure which showed the example which supplements the blocking process of three-dimensional spatial information. 本発明の実施形態に係る画像生成表示システムの構成の変形例を示した図。The figure which showed the modification of the structure of the image production | generation display system which concerns on embodiment of this invention.

以下、本発明の実施形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

最初に、図1を参照して、本発明の実施形態に係る画像生成表示システムの構成の例について説明する。図1に示すように、画像生成表示システム1は、サーバ装置2に複数の表示端末装置4が通信ネットワーク3を介して接続されて構成される。   Initially, with reference to FIG. 1, the example of a structure of the image generation display system which concerns on embodiment of this invention is demonstrated. As shown in FIG. 1, the image generation display system 1 is configured by connecting a plurality of display terminal devices 4 to a server device 2 via a communication network 3.

サーバ装置2は、演算処理部20と記憶部30とを少なくとも備えた高度の処理能力を有するコンピュータによって構成され、その記憶部30には、所定の3次元空間の内部における物の配置や形状を記述した情報である3次元空間情報31(例えば、等高線データなどで表された標高地図データなど)を保持している。そして、その演算処理部20は、2次元投影画像生成依頼受信処理部21、3次元空間情報ブロック化処理部22、2次元投影画像生成処理部23、2次元投影画像送信処理部24を含んで構成される。   The server device 2 is configured by a computer having a high processing capability including at least an arithmetic processing unit 20 and a storage unit 30, and the storage unit 30 stores the arrangement and shape of objects in a predetermined three-dimensional space. Three-dimensional spatial information 31 (for example, elevation map data represented by contour line data, etc.), which is described information, is held. The arithmetic processing unit 20 includes a two-dimensional projection image generation request reception processing unit 21, a three-dimensional spatial information blocking processing unit 22, a two-dimensional projection image generation processing unit 23, and a two-dimensional projection image transmission processing unit 24. Composed.

すなわち、演算処理部20は、通信ネットワーク3を介して表示端末装置4から送信される2次元投影画像生成依頼情報を受信し(2次元投影画像生成依頼受信処理部21)、その受信した2次元投影画像生成依頼情報に基づき、3次元空間情報31から複数のブロック化3次元空間情報32を生成し(3次元空間情報ブロック化処理部22)、その複数のブロック化3次元空間情報32からそれぞれ2次元投影画像33を生成し(2次元投影画像生成処理部23)、その生成し複数の2次元投影画像33を、通信ネットワーク3を介して表示端末装置4へ送信する(2次元投影画像送信処理部24)。   That is, the arithmetic processing unit 20 receives the two-dimensional projection image generation request information transmitted from the display terminal device 4 via the communication network 3 (two-dimensional projection image generation request reception processing unit 21), and receives the received two-dimensional Based on the projection image generation request information, a plurality of blocked three-dimensional space information 32 is generated from the three-dimensional space information 31 (three-dimensional space information blocking unit 22), and each of the plurality of blocked three-dimensional space information 32 is generated. A two-dimensional projection image 33 is generated (two-dimensional projection image generation processing unit 23), and the generated two-dimensional projection images 33 are transmitted to the display terminal device 4 via the communication network 3 (two-dimensional projection image transmission). Processing unit 24).

3次元空間情報ブロック化処理部22および2次元投影画像生成処理部23による処理、ならびに、ブロック化3次元空間情報32および2次元投影画像33の具体例については、別途、図2を参照して詳しく説明する。   The processing by the three-dimensional spatial information blocking processing unit 22 and the two-dimensional projection image generation processing unit 23 and specific examples of the blocked three-dimensional spatial information 32 and the two-dimensional projection image 33 will be described separately with reference to FIG. explain in detail.

一方、表示端末装置4は、演算処理部40、記憶部50、入力装置60、表示装置70などを含んだパーソナルコンピュータなどによって構成され、その処理性能は、必ずしも高性能である必要はない。そして、その演算処理部40は、視点位置&注視点位置取得部41、2次元投影画像生成依頼送信処理部42、2次元投影画像受信処理部43、2次元投影画像重畳表示処理部44を含んで構成される。   On the other hand, the display terminal device 4 is configured by a personal computer including the arithmetic processing unit 40, the storage unit 50, the input device 60, the display device 70, and the like, and the processing performance is not necessarily high. The arithmetic processing unit 40 includes a viewpoint position & gazing point position acquisition unit 41, a two-dimensional projection image generation request transmission processing unit 42, a two-dimensional projection image reception processing unit 43, and a two-dimensional projection image superimposed display processing unit 44. Consists of.

すなわち、演算処理部40は、ユーザなどによって入力装置60から入力される視点位置および注視点位置の座標位置情報を取得し(視点位置&注視点位置取得処理部41)、その取得した視点位置および注視点の座標位置情報を添付した2次元投影画像生成依頼情報を、通信ネットワーク3を介してサーバ装置2へ送信する(2次元投影画像生成依頼送信処理部42)。また、演算処理部40は、その2次元投影画像生成依頼情報に応じてサーバ装置2から通信ネットワーク3を介して送信される複数の2次元投影画像を受信して、記憶部50に2次元投影画像51として格納し(2次元投影画像受信処理部43)、その複数の2次元投影画像51を、適宜、拡大、縮小、移動処理して、表示装置70へ重畳表示する(2次元投影画像重畳表示処理部44)。   That is, the arithmetic processing unit 40 acquires the viewpoint position and the coordinate position information of the gazing point position input from the input device 60 by the user or the like (view point position & gazing point position acquisition processing unit 41), and the acquired viewpoint position and The two-dimensional projection image generation request information attached with the coordinate position information of the gazing point is transmitted to the server device 2 via the communication network 3 (two-dimensional projection image generation request transmission processing unit 42). In addition, the arithmetic processing unit 40 receives a plurality of two-dimensional projection images transmitted from the server device 2 via the communication network 3 according to the two-dimensional projection image generation request information, and performs two-dimensional projection on the storage unit 50. This is stored as an image 51 (two-dimensional projection image reception processing unit 43), and the plurality of two-dimensional projection images 51 are appropriately enlarged, reduced, and moved, and superimposed on the display device 70 (two-dimensional projection image superimposition). Display processor 44).

なお、2次元投影画像重畳表示処理部44の処理の具体例については、別途、図3を参照して詳しく説明する。   A specific example of the processing of the two-dimensional projection image superimposing display processing unit 44 will be described in detail separately with reference to FIG.

図1において、通信ネットワーク3は、ここではインターネットであるとするが、通信範囲が限定されたLAN(Local Aria Network)やWAN(Wide Aria Network)であってもよい。このとき、サーバ装置2は、いわゆるWEBサーバとして機能し、表示端末装置4は、WEBブラウザを備えるものとする。   In FIG. 1, the communication network 3 is assumed to be the Internet here, but may be a LAN (Local Aria Network) or a WAN (Wide Aria Network) with a limited communication range. At this time, the server device 2 functions as a so-called WEB server, and the display terminal device 4 includes a WEB browser.

続いて、図2を参照して、サーバ装置2において実行される処理について詳細に説明する。ここで、図2(a)は、サーバ装置2の演算処理部20により実行される処理の処理フローの例を示した図、図2(b)は、2次元投影画像生成処理の具体例を示した図である。ここでは、標高地図データから鳥瞰図を表示するための2次元投影画像を生成する例を示している。   Next, processing executed in the server device 2 will be described in detail with reference to FIG. Here, FIG. 2A is a diagram illustrating an example of a processing flow of processing executed by the arithmetic processing unit 20 of the server device 2, and FIG. 2B is a specific example of two-dimensional projection image generation processing. FIG. Here, an example of generating a two-dimensional projection image for displaying a bird's eye view from altitude map data is shown.

サーバ装置2の演算処理部20は、まず、2次元投影画像生成依頼受信処理を実行する(ステップS11)。すなわち、演算処理部20は、表示端末装置4から送信される2次元投影画像生成依頼情報を受信する。ここで、2次元投影画像生成依頼情報は、表示端末装置4がサーバ装置2に対して2次元投影画像の生成を求めるコマンド情報であり、その情報には、当該3次元空間情報31によって記述される空間(以下、当該空間という)の中に設定された視点8および注視点(図示省略)の位置情報が含まれている。   The arithmetic processing unit 20 of the server device 2 first executes a two-dimensional projection image generation request reception process (step S11). That is, the arithmetic processing unit 20 receives the two-dimensional projection image generation request information transmitted from the display terminal device 4. Here, the 2D projection image generation request information is command information for the display terminal device 4 to request the server device 2 to generate a 2D projection image, and the information is described by the 3D space information 31. Position information of a viewpoint 8 and a gazing point (not shown) set in a space (hereinafter referred to as the space).

次に、演算処理部20は、3次元空間情報ブロック化処理を実行する(ステップS12)。すなわち、演算処理部20は、前記受信した2次元投影画像生成依頼情報から視点8および注視点の位置情報を取り出し、その視点8および注視点に基づき、視線を定める。視線は、視点8から注視点へ向かうベクトルとして表される。次に、演算処理部20は、当該空間の視点8の前方(視線方向)の空間を、所定の距離ごとに区分し、複数のブロックを生成する。   Next, the arithmetic processing unit 20 executes a three-dimensional spatial information blocking process (step S12). That is, the arithmetic processing unit 20 extracts the position information of the viewpoint 8 and the gazing point from the received two-dimensional projection image generation request information, and determines the line of sight based on the viewpoint 8 and the gazing point. The line of sight is expressed as a vector from the viewpoint 8 toward the gazing point. Next, the arithmetic processing unit 20 divides the space in front of the viewpoint 8 in the space (the direction of the line of sight) for each predetermined distance, and generates a plurality of blocks.

図2(b)の下半部分は、視点8の前方の空間が、近距離ブロック、中距離ブロック、遠距離ブロックおよび背景ブロックにブロック化された状態を表している。さらに、図2(b)では、当該空間(3次元空間情報31によって記述される空間)は、等高線9が描かれた地図として表され、また、それぞれにブロック化された空間の境界は、その地図上に描かれた太い実線として表されている。   The lower half of FIG. 2B shows a state in which the space in front of the viewpoint 8 is blocked into a short distance block, a medium distance block, a long distance block, and a background block. Further, in FIG. 2B, the space (the space described by the three-dimensional space information 31) is represented as a map on which the contour lines 9 are drawn, and the boundaries of the spaces that are blocked in each space are It is represented as a thick solid line drawn on the map.

すなわち、図2(b)の下半部分は、視点8の前方の3次元空間情報31が、近距離ブロックデータ321、中距離ブロックデータ322、遠距離ブロックデータ323および背景ブロックデータ324にブロック化されることを表しており、そのブロック化された各ブロックの3次元空間情報31を総称してブロック化3次元空間情報32と呼ぶ。   That is, in the lower half of FIG. 2B, the three-dimensional spatial information 31 in front of the viewpoint 8 is blocked into short-distance block data 321, medium-distance block data 322, long-distance block data 323, and background block data 324. The three-dimensional spatial information 31 of each block that has been blocked is collectively referred to as the blocked three-dimensional spatial information 32.

このとき、視点8の前方の空間をブロック化するブロック数は、ここでは4ブロックとしているが、4ブロックに限定されることはない。また、背景ブロックは、原理的には、視線方向に沿って無限遠点まで続くが、適宜、有限の距離としてもよい。また、各ブロックの横幅、上下幅は、次に説明するスクリーンの大きさに基づき、適宜、定められる。また、隣接するブロックは、互いに同じ空間を重複して含んでもよい。   At this time, the number of blocks for blocking the space in front of the viewpoint 8 is four blocks here, but is not limited to four blocks. In principle, the background block continues to the point of infinity along the line-of-sight direction, but may be a finite distance as appropriate. Further, the horizontal width and vertical width of each block are appropriately determined based on the size of the screen described below. Adjacent blocks may include the same space overlapping each other.

なお、このようにして求められた各ブロックのブロック化3次元空間情報32は、一時的に記憶部30に保持される。   In addition, the blocked three-dimensional spatial information 32 of each block obtained in this way is temporarily held in the storage unit 30.

次に、演算処理部20は、2次元投影画像生成処理を実行する(ステップS13)。すなわち、演算処理部20は、当該空間をステップS12の処理でブロック化した各ブロックの視点8と反対側の境界にそれぞれ仮想的なスクリーンを設定し、視点8から各ブロックのブロック化3次元空間情報32によって記述される空間形状を介して見える風景を各スクリーンに投影する処理を実行する。   Next, the arithmetic processing unit 20 executes a two-dimensional projection image generation process (step S13). In other words, the arithmetic processing unit 20 sets a virtual screen at the boundary opposite to the viewpoint 8 of each block obtained by blocking the space in the process of step S12, and blocks each block from the viewpoint 8 into a blocked three-dimensional space. A process of projecting a landscape seen through the spatial shape described by the information 32 onto each screen is executed.

なお、このとき設定される各スクリーンは、視点8からの視線に対して略垂直な平面であり、その2次元投影画像生成処理は、次のような特徴を有している。   Each screen set at this time is a plane substantially perpendicular to the line of sight from the viewpoint 8, and the two-dimensional projection image generation processing has the following characteristics.

まず、第1に、各スクリーンに投影される2次元投影画像33が、それぞれ対応するブロックのブロック化3次元空間情報32のみを用いてそれぞれ独立に生成されることである。すなわち、この処理では、演算処理部20は、近距離ブロックデータ321のみを用いて近距離スクリーンに投影される近距離スクリーン画像331を生成し、中距離ブロックデータ322のみを用いて中距離スクリーンに投影される中距離スクリーン画像332を生成し、遠距離ブロックデータ323のみを用いて遠距離スクリーンに投影される遠距離スクリーン画像333を生成し、背景ブロックデータ324のみを用いて背景スクリーンに投影される背景スクリーン画像334を生成する。   First, the two-dimensional projection image 33 projected on each screen is independently generated using only the blocked three-dimensional space information 32 of the corresponding block. That is, in this process, the arithmetic processing unit 20 generates a short-distance screen image 331 to be projected on the short-distance screen using only the short-distance block data 321 and uses only the medium-distance block data 322 for the medium-distance screen. A projected mid-range screen image 332 is generated, a long-range screen image 333 is generated that is projected onto the long-range screen using only the long-range block data 323, and is projected onto the background screen using only the background block data 324. A background screen image 334 is generated.

第2に、それぞれの2次元投影画像33を投影するスクリーンの大きさを、それぞれ独立に設定可能にしたことである。後記するが、通常は、視点8から遠いスクリーンほど、大きなスクリーンにする。そうすることによって、表示端末装置4へ送信すべき2次元投影画像33のデータ量と送信回数を削減することができる。   Secondly, the size of the screen for projecting each two-dimensional projection image 33 can be set independently. As will be described later, normally, the screen farther from the viewpoint 8 is made larger. By doing so, it is possible to reduce the amount of data and the number of transmissions of the two-dimensional projection image 33 to be transmitted to the display terminal device 4.

第3に、それぞれの2次元投影画像33の表示精度(表示画像の画素数)を、それぞれ独立に設定可能にしたことである。通常は、近距離スクリーン画像331など視点8に近い2次元投影画像33ほど、その表示精度高く設定し、背景スクリーン画像334など視点8から遠い2次元投影画像33ほど、その表示精度を低く設定する。こうすることによって、サーバ装置2から表示端末装置4へ送信する2次元投影画像33のデータ量を削減することができる。   Third, the display accuracy (number of pixels of the display image) of each two-dimensional projection image 33 can be set independently. Normally, the two-dimensional projection image 33 closer to the viewpoint 8 such as the short-range screen image 331 is set with higher display accuracy, and the two-dimensional projection image 33 farther from the viewpoint 8 such as the background screen image 334 is set with lower display accuracy. . By doing so, the data amount of the two-dimensional projection image 33 transmitted from the server device 2 to the display terminal device 4 can be reduced.

第4に、近距離スクリーン画像331、中距離スクリーン画像332および遠距離スクリーン画像333の背景部分を、透明であるとし、背景スクリーン画像334の背景部分は、不透明であるとしたことである。こうすることによって、表示端末装置4では、複数のスクリーン画像331〜334を容易に重ね合わせることができるようになる。   Fourth, the background portions of the short-range screen image 331, the medium-range screen image 332, and the long-range screen image 333 are assumed to be transparent, and the background portion of the background screen image 334 is assumed to be opaque. By doing so, the display terminal device 4 can easily superimpose a plurality of screen images 331 to 334.

なお、以上のようにして生成された各スクリーンに投影された2次元投影画像33は、一時的に記憶部30に保持される。   The two-dimensional projection image 33 projected on each screen generated as described above is temporarily held in the storage unit 30.

次に、演算処理部20は、2次元投影画像送信処理を実行する(ステップS14)。すなわち、演算処理部20は、前記処理にて生成した2次元投影画像33を通信ネットワーク3を介して、表示端末装置4へ送信する。   Next, the arithmetic processing unit 20 executes a two-dimensional projection image transmission process (step S14). That is, the arithmetic processing unit 20 transmits the two-dimensional projection image 33 generated by the above process to the display terminal device 4 via the communication network 3.

続いて、図3を参照して、表示端末装置4において実行される処理について詳細に説明する。ここで、図3(a)は、表示端末装置4の演算処理部40により実行される処理の処理フローの例を示した図、図3(b)は、2次元投影画像の重畳処理を模式的に示した図である。   Next, the process executed in the display terminal device 4 will be described in detail with reference to FIG. Here, FIG. 3A is a diagram illustrating an example of a processing flow of processing executed by the arithmetic processing unit 40 of the display terminal device 4, and FIG. 3B is a schematic diagram of superimposing processing of a two-dimensional projection image. FIG.

図3(a)に示すように、表示端末装置4の演算処理部40は、まず、視点位置&注視点位置取得処理を実行する(ステップS21)。すなわち、演算処理部40は、キーボード、マウス、タブレット、ジョイスティックなどの入力装置60を介して、適宜、入力される視点位置および注視点位置を取得する。そして、演算処理部40は、その取得された視点位置および注視点位置に対して、新たな2次元投影画像51の取得が必要であるか否かを判定する(ステップS22)。その判定の基準については、別途図面を参照して説明する。   As shown in FIG. 3A, the arithmetic processing unit 40 of the display terminal device 4 first executes viewpoint position & gazing point position acquisition processing (step S21). That is, the arithmetic processing unit 40 acquires the viewpoint position and the gazing point position that are appropriately input via the input device 60 such as a keyboard, a mouse, a tablet, or a joystick. Then, the arithmetic processing unit 40 determines whether or not a new two-dimensional projection image 51 needs to be acquired for the acquired viewpoint position and gazing point position (step S22). The criteria for the determination will be described separately with reference to the drawings.

演算処理部40は、ステップS22で新たな2次元投影画像51の取得が必要であると判定した場合には(ステップS22でYes)、2次元投影画像生成依頼送信処理を実行し(ステップS23)、サーバ装置2に2次元投影画像生成依頼情報を送信し、サーバ装置2に2次元投影画像の生成を要求する。このとき、2次元投影画像生成依頼情報には、視点位置および注視点位置の情報を含める。   If it is determined in step S22 that a new two-dimensional projection image 51 needs to be acquired (Yes in step S22), the arithmetic processing unit 40 executes a two-dimensional projection image generation request transmission process (step S23). Then, the server apparatus 2 is transmitted with 2D projection image generation request information, and the server apparatus 2 is requested to generate a 2D projection image. At this time, the information on the viewpoint position and the point of gaze position is included in the two-dimensional projection image generation request information.

次に、演算処理部40は、サーバ装置2によって新たに生成され、サーバ装置2から送信される2次元投影画像33の受信待の状態となる(ステップS24)。そして、サーバ装置2から2次元投影画像33が送信されると、それを受信するための2次元投影画像受信処理を実行する(ステップS25)。受信された2次元投影画像33は、表示端末装置4では、2次元投影画像51として記憶部50に保持される。   Next, the arithmetic processing unit 40 enters a state of waiting for reception of the two-dimensional projection image 33 newly generated by the server device 2 and transmitted from the server device 2 (step S24). Then, when the two-dimensional projection image 33 is transmitted from the server device 2, a two-dimensional projection image reception process for receiving it is executed (step S25). The received two-dimensional projection image 33 is held in the storage unit 50 as the two-dimensional projection image 51 in the display terminal device 4.

次に、演算処理部40は、その記憶部50に保持された2次元投影画像51を用いて、2次元投影画像重畳表示処理を実行する(ステップS26)。ここで、2次元投影画像の重畳処理とは、図3(b)に示すように、背景スクリーン画像514を下に(奥に)配置して、その上に(手前に)遠距離スクリーン画像513、中距離スクリーン画像512および近距離スクリーン画像511を順次に重ねた合成画像を生成する処理である。このとき、背景スクリーン画像514以外の背景部分を、透明化して重ね合わせる。演算処理部40は、以上のように重畳して生成した画像を、表示装置70に表示する。   Next, the arithmetic processing unit 40 executes a two-dimensional projection image superimposed display process using the two-dimensional projection image 51 held in the storage unit 50 (step S26). Here, as shown in FIG. 3B, the superimposing process of the two-dimensional projection image is performed by arranging a background screen image 514 on the lower side (in the back) and a long-distance screen image 513 on the front side (on the front side). This is a process of generating a composite image in which the middle-range screen image 512 and the short-range screen image 511 are sequentially superimposed. At this time, background portions other than the background screen image 514 are made transparent and overlapped. The arithmetic processing unit 40 displays the image generated by superimposing as described above on the display device 70.

また、演算処理部40は、ステップS22で新たな2次元投影画像51の取得が必要でないと判定した場合には(ステップS22でNo)、サーバ装置2に2次元投影画像生成依頼情報を送信することなく、それまで記憶部50に保持されている2次元投影画像51を用いて、2次元投影画像重畳表示処理を実行する(ステップS26)。   In addition, when it is determined in step S22 that acquisition of a new two-dimensional projection image 51 is not necessary (No in step S22), the arithmetic processing unit 40 transmits the two-dimensional projection image generation request information to the server device 2. Without using the two-dimensional projection image 51 held in the storage unit 50 until then, a two-dimensional projection image superimposed display process is executed (step S26).

次に、演算処理部40は、ステップS21へ戻って、視点位置&注視点位置取得処理を実行し、入力装置60を介して入力される新たな視点位置および注視点位置を取得する。すなわち、演算処理部40は、ステップS21〜ステップS26の処理を繰り返し実行することによって、移動する視点位置および注視点位置に追従して変化する、その視点8から見える当該空間内の風景を表示装置70に表示することが可能となる。   Next, the arithmetic processing unit 40 returns to step S <b> 21, executes viewpoint position & gazing point position acquisition processing, and acquires a new viewpoint position and gazing point position input via the input device 60. That is, the arithmetic processing unit 40 displays the scenery in the space seen from the viewpoint 8 that changes following the moving viewpoint position and the gazing point position by repeatedly executing the processes of Steps S21 to S26. 70 can be displayed.

以上のように、本実施形態では、演算処理部40は、可能であれば、複数スクリーンの2次元投影画像51を重ね合わせるだけで、視点8から見える画像を生成している。そして、その視点8から見える画像、つまり、表示装置70に表示される画像を、よりリアルに立体画像の動きに近いものに見せるために、その2次元投影画像51の重畳処理では、次のような工夫が施されている。   As described above, in this embodiment, the arithmetic processing unit 40 generates an image that can be seen from the viewpoint 8 only by superimposing the two-dimensional projection images 51 of a plurality of screens, if possible. Then, in order to make the image seen from the viewpoint 8, that is, the image displayed on the display device 70 look more realistically close to the movement of the stereoscopic image, the superimposition processing of the two-dimensional projection image 51 is as follows. Are devised.

すなわち、各スクリーン画像511〜514は、視点8の移動に合わせて、それぞれ、独立しての左右上下への移動、および、拡大または縮小が可能なようにされている。そして、例えば、視点8が左右上下方向へ移動した場合には、その視点8の移動とともに、各スクリーン画像511〜514を、視点8に近いスクリーン画像ほど大きく移動させ、また、遠いスクリーン画像ほど小さく移動させる。また、視点8が視線方向に沿って、前進または後退した場合には、視点8に近いスクリーン画像ほど大きい変化で拡大または縮小し、視点8に遠いスクリーン画像は、わずかの程度にしか拡大または縮小をさせない。   That is, the screen images 511 to 514 can be independently moved left and right and up and down, and enlarged or reduced in accordance with the movement of the viewpoint 8. For example, when the viewpoint 8 moves in the horizontal and vertical directions, as the viewpoint 8 moves, the screen images 511 to 514 are moved larger as the screen image is closer to the viewpoint 8, and smaller as the screen image is farther away. Move. Further, when the viewpoint 8 moves forward or backward along the line-of-sight direction, the screen image closer to the viewpoint 8 is enlarged or reduced with a larger change, and the screen image far from the viewpoint 8 is enlarged or reduced only slightly. I will not let you.

以上のような2次元投影画像51の重畳処理により、表示装置70に表示される画像には、あたかもリアルな立体感および遠近感が生まれる。   By superimposing the two-dimensional projection image 51 as described above, the image displayed on the display device 70 has a realistic stereoscopic effect and perspective.

続いて、図4〜図7を参照して、2次元投影画像51の重畳処理によって得られる表示画像の具体例について説明する。   Subsequently, a specific example of a display image obtained by superimposing the two-dimensional projection image 51 will be described with reference to FIGS.

図4において、等高線9が描かれた地図は、ある3次元空間情報31を表し、その3次元空間情報31は、近距離スクリーン341a、中距離スクリーン342a、中遠距離スクリーン342b、遠距離スクリーン343aおよび背景スクリーン344aによって、近距離ブロックデータ321a、中距離ブロックデータ322a、中遠距離ブロックデータ322b、遠距離ブロックデータ323aおよび背景ブロックデータ324aに分割されている。そのブロック数は、図2の場合(4ブロック)と異なり、5ブロックである。   In FIG. 4, the map on which the contour line 9 is drawn represents certain three-dimensional space information 31, and the three-dimensional space information 31 includes a short-distance screen 341 a, a medium-distance screen 342 a, a medium-distance screen 342 b, a long-distance screen 343 a and The background screen 344a is divided into short distance block data 321a, medium distance block data 322a, medium / long distance block data 322b, long distance block data 323a and background block data 324a. Unlike the case of FIG. 2 (4 blocks), the number of blocks is 5 blocks.

また、各スクリーン341a〜344aには、それぞれ「画像:1」、「画像:2」、「画像:3」、「画像:4」および「画像:背景」というスクリーン画像(2次元投影画像33)が投影されているとする。   The screens 341a to 344a have screen images (two-dimensional projection image 33) of “image: 1”, “image: 2”, “image: 3”, “image: 4”, and “image: background”, respectively. Is projected.

ここで、図5(a)は、各スクリーン画像の例を示したものである(ただし、図では、「画像:1」および「画像:4」のみ表示)。また、図5(b)は、表示端末装置4で、各スクリーン画像が重畳された重畳画像の例である。このとき、「画像:1」〜「画像:4」の背景部分は、透明であり、それらの画像がサーバ装置2で生成されるときには、その背景部分は、透明色(例えば、青色)が設定されている。   Here, FIG. 5A shows an example of each screen image (however, only “image: 1” and “image: 4” are displayed in the figure). FIG. 5B is an example of a superimposed image in which each screen image is superimposed on the display terminal device 4. At this time, the background portions of “image: 1” to “image: 4” are transparent, and when these images are generated by the server device 2, the background portion is set to a transparent color (for example, blue). Has been.

そして、表示端末装置4における重畳表示では、各スクリーン画像の背景部分は透明化され、その結果として、表示装置70に表示される画像では、図5(b)に示すように、視点8から遠い順に各スクリーン画像が奥側に配置され、それらが3次元状に重なり合って見える。   In the superimposed display on the display terminal device 4, the background portion of each screen image is made transparent. As a result, the image displayed on the display device 70 is far from the viewpoint 8 as shown in FIG. The screen images are sequentially arranged on the back side, and they appear to overlap in a three-dimensional manner.

そこで、ユーザがマウスなどの入力装置60を操作することにより、視点8の位置を、例えば、図4に示すように、「位置:A」、「位置:B」、「位置:C」、「位置:D」へと、斜め前方に移動させると、その視点位置に応じて、その表示範囲35も移動し、その結果、表示装置70に表示される画像も、図6(a)、図6(b)、図7(a)および図7(b)に示す画像のように変化する。   Therefore, when the user operates the input device 60 such as a mouse, the position of the viewpoint 8 is changed to “position: A”, “position: B”, “position: C”, “ When it is moved diagonally forward to “position: D”, the display range 35 is also moved according to the viewpoint position, and as a result, the images displayed on the display device 70 are also shown in FIGS. It changes like the images shown in (b), FIG. 7 (a) and FIG. 7 (b).

図6および図7から分かるように、視点8が右に移動するに従って、視点8に近いスクリーン画像は素早く左に移動し、一方、視点8から遠くのスクリーン画像は緩やかに左に移動している。また、視点8が接近することにより、とくに、近距離スクリーンの「画像:1」は、急速に拡大表示されていることが分かる。このような表示が視点8の移動とともにリアルタイムで行われると、ユーザは、仮想空間内をあたかも実際に移動しているような体感を得ることができる。   As can be seen from FIGS. 6 and 7, as the viewpoint 8 moves to the right, the screen image close to the viewpoint 8 quickly moves to the left, while the screen image far from the viewpoint 8 moves slowly to the left. . In addition, when the viewpoint 8 approaches, in particular, it can be seen that “image: 1” on the short-distance screen is rapidly enlarged and displayed. When such display is performed in real time along with the movement of the viewpoint 8, the user can feel as if he / she is actually moving in the virtual space.

なお、このようなスクリーン画像の重畳表示は、表示端末装置4においてなされるが、その表示処理には、3次元空間情報31も必要でなく、また、3次元空間情報31から2次元投影画像を生成するプログラムも必要でない。表示端末装置4は、個人が使用する一般的なパソコンに通常インストールされている通常のWEBブラウザにより、これらのスクリーン画像を重畳表示することができる。   Note that such a superimposed display of the screen image is performed in the display terminal device 4, but the display process does not require the 3D space information 31, and a 2D projection image is obtained from the 3D space information 31. There is no need for a program to generate. The display terminal device 4 can superimpose and display these screen images by a normal WEB browser normally installed in a general personal computer used by an individual.

続いて、図8〜図10を参照して、サーバ装置2と表示端末装置4との間で2次元投影画像33を送受信するタイミングや、視点8の移動に伴う2次元投影画像33切り替えの方法などについて説明する。   Subsequently, referring to FIGS. 8 to 10, the timing for transmitting and receiving the two-dimensional projection image 33 between the server device 2 and the display terminal device 4, and the method for switching the two-dimensional projection image 33 accompanying the movement of the viewpoint 8. Etc. will be explained.

前記したように(図3参照)、表示端末装置4の演算処理部20は、2次元投影画像51が必要となったとき(ステップS22でYes)、2次元投影画像生成依頼送信処理を実行して(ステップS23)、サーバ装置2に対して新たな2次元投影画像33を生成し、送信してくれることを求める。   As described above (see FIG. 3), the arithmetic processing unit 20 of the display terminal device 4 executes the two-dimensional projection image generation request transmission process when the two-dimensional projection image 51 is required (Yes in step S22). (Step S23), the server apparatus 2 is requested to generate and transmit a new two-dimensional projection image 33.

ここで、「2次元投影画像51が必要となったとき」とは、視点位置または注視点位置の移動によって、それまで記憶部50に保持している2次元投影画像51では重畳画像を生成できなくなったときをいう。具体的には、記憶部50に保持している2次元投影画像51(各スクリーン画像)が、視点8の視野、つまり、表示範囲35内に収まらなくなったときをいう。   Here, “when the two-dimensional projection image 51 is needed” means that a superimposed image can be generated in the two-dimensional projection image 51 held in the storage unit 50 until then by the movement of the viewpoint position or the gazing point position. When it is gone. Specifically, it means a case where the two-dimensional projection image 51 (each screen image) held in the storage unit 50 does not fit in the visual field of the viewpoint 8, that is, the display range 35.

本実施形態では、サーバ装置2は、視点8の移動方向などを考慮した上で、例えば、図8に示すように、2次元投影画像33(各スクリーン画像)を生成するための各スクリーン341〜344の大きさを表示範囲35よりも広くしておく。そうすれば、視点8が多少移動しても、表示範囲35が各スクリーン341〜344から外れることはないので、表示端末装置4は、視点8の移動のたびごとにサーバ装置2に対し、新たな2次元投影画像33の生成を求める必要がなくなる。従って、サーバ装置2は、表示端末装置4への2次元投影画像33(図2参照)の送信頻度を削減することができる。その結果、サーバ装置2の処理負荷も軽減され、また、通信ネットワーク3に対する通信量の負荷も軽減される。   In the present embodiment, the server device 2 considers the moving direction of the viewpoint 8 and the like, for example, as shown in FIG. 8, each screen 341-1 for generating a two-dimensional projection image 33 (each screen image). The size of 344 is made wider than the display range 35. Then, even if the viewpoint 8 moves a little, the display range 35 does not deviate from the screens 341 to 344, so the display terminal device 4 renews the server device 2 every time the viewpoint 8 moves. It is no longer necessary to obtain a two-dimensional projection image 33. Therefore, the server device 2 can reduce the transmission frequency of the two-dimensional projection image 33 (see FIG. 2) to the display terminal device 4. As a result, the processing load on the server device 2 is also reduced, and the load on the communication amount for the communication network 3 is also reduced.

また、図8に示すように、背景スクリーン344や遠距離スクリーン343の大きさを近距離スクリーン341の大きさよりもさらに大きくしておいた場合を考える。そして、例えば、視点8が「位置:A」から「位置:B」へ移動したときには、近距離スクリーン341は、その表示範囲35から外れてしまう。一方、中距離スクリーン342、遠距離スクリーン343および背景スクリーン344は、その表示範囲35内に含まれている。   Further, as shown in FIG. 8, consider a case where the size of the background screen 344 and the long-distance screen 343 is made larger than the size of the short-distance screen 341. For example, when the viewpoint 8 moves from “position: A” to “position: B”, the short distance screen 341 falls outside the display range 35. On the other hand, the middle range screen 342, the long range screen 343, and the background screen 344 are included in the display range 35.

このような場合には、表示端末装置4は、サーバ装置2に対して、すべてのスクリーン画像の生成を求めるのではなく、近距離スクリーン画像のみの生成を求める。サーバ装置2は、その求めに応じて、新たな近距離ブロックデータ321Cおよび新たな近距離スクリーン341Cを設定し、近距離スクリーン341Cに投影された近距離スクリーン画像のみを2次元投影画像33として表示端末装置4へ送信する。   In such a case, the display terminal device 4 does not request the server device 2 to generate all screen images, but requests only the short-range screen images to be generated. In response to the request, the server apparatus 2 sets new short-distance block data 321C and a new short-distance screen 341C, and displays only the short-distance screen image projected on the short-distance screen 341C as the two-dimensional projection image 33. It transmits to the terminal device 4.

従って、サーバ装置2は、限定されたスクリーンについての2次元投影画像33のみを生成して表示端末装置4へ送信すればよいので、その処理負荷が軽減され、また、通信ネットワーク3に対する通信量の負荷も軽減される。   Accordingly, the server device 2 only needs to generate and transmit the two-dimensional projection image 33 for the limited screen to the display terminal device 4, so that the processing load is reduced and the amount of communication with the communication network 3 is reduced. The load is also reduced.

以上のように、表示端末装置4は、2次元投影画像51が必要となったときには、サーバ装置2にその生成と送信とを依頼して、その依頼に応じてサーバ装置2から送信された2次元投影画像51を用いて表示装置70に表示すべき重畳画像を生成する。このとき、サーバ装置2における処理や通信ネットワーク3における通信遅延のために、サーバ装置2から2次元投影画像33の送信に必要以上の遅延が生じた場合には、サーバ装置2における1コマごとの表示に遅延が生じ、視点8とともに移動して表示される当該空間内の風景の臨場感が著しく損なわれる。   As described above, when the display terminal device 4 needs the two-dimensional projection image 51, the display terminal device 4 requests the server device 2 to generate and transmit the two-dimensional projection image 51, and 2 transmitted from the server device 2 in response to the request. A superimposed image to be displayed on the display device 70 is generated using the three-dimensional projection image 51. At this time, if a delay more than necessary occurs in the transmission of the two-dimensional projection image 33 from the server device 2 due to processing in the server device 2 or communication delay in the communication network 3, each frame in the server device 2 is transmitted. A delay occurs in the display, and the realistic sensation of the scenery in the space moved and displayed together with the viewpoint 8 is remarkably impaired.

そこで、本実施形態では、スクリーンバッファの概念を導入する。スクリーンバッファとは、そのとき設定されているスクリーンに隣接して、視点8の移動する先を予測して設けられる新たなスクリーンをいう。例えば、図9に示すように、視点8が「位置:A」から「位置:B」へ右方向に移動している場合には、サーバ装置2は、そのとき使用中の近距離スクリーン341に隣接して、視点8の右移動に備えた近距離スクリーンバッファ341Bを設ける。   Therefore, in this embodiment, the concept of a screen buffer is introduced. The screen buffer is a new screen that is provided adjacent to the screen that is set at that time and that is provided by predicting the destination to which the viewpoint 8 moves. For example, as illustrated in FIG. 9, when the viewpoint 8 moves rightward from “position: A” to “position: B”, the server device 2 displays the near-field screen 341 in use at that time. Adjacent to this, a short-distance screen buffer 341B provided for the right movement of the viewpoint 8 is provided.

すなわち、サーバ装置2は、近距離ブロックデータ321を用いて近距離スクリーン341に投影した近距離スクリーン画像を生成するときには、そのとき同時に、あるいは、そのとき以降、表示範囲35がその近距離スクリーン341から外れる少し前までに、視点8の右移動に備えた近距離ブロックデータ321Bを用いて近距離スクリーンバッファ341Bに投影した近距離スクリーンバッファ画像を生成する。そして、このようにして生成された近距離スクリーンバッファ画像を、表示端末装置4へ送信する。   That is, when the server apparatus 2 generates a short-distance screen image projected on the short-distance screen 341 using the short-distance block data 321, the display range 35 is displayed in the short-distance screen 341 at the same time or thereafter. A short distance screen buffer image projected onto the short distance screen buffer 341B is generated by using the short distance block data 321B prepared for the right movement of the viewpoint 8 just before deviating from the range. Then, the short-range screen buffer image generated in this way is transmitted to the display terminal device 4.

従って、表示端末装置4は、その表示範囲が近距離スクリーン341から外れても、近距離スクリーンバッファ画像を用いて、速やかに表示装置70に表示すべき重畳画像を生成することができる。つまり、サーバ装置2における処理遅延、通信ネットワーク3における通信遅延などによって生じる表示遅延を防止することができる。   Therefore, the display terminal device 4 can quickly generate a superimposed image to be displayed on the display device 70 using the short-distance screen buffer image even if the display range is out of the short-distance screen 341. That is, it is possible to prevent display delay caused by processing delay in the server device 2, communication delay in the communication network 3, and the like.

また、スクリーンバッファを設けるとき、近距離ブロックデータ321と、視点8の右移動に備えた近距離ブロックデータ321Bとの間に、重複ブロックデータ321Dによる重複部を設けておくと、重畳対象の2次元投影画像の切り替えを行ったとき、その画像のつなぎ目に生じがちな表示の隙間や不連続な表示を目立たなくすることができ、ユーザが感じる表示画像の違和感を緩和する、または、なくすことができる。   In addition, when a screen buffer is provided, if an overlapping portion of the overlapping block data 321D is provided between the short-distance block data 321 and the short-distance block data 321B prepared for the right movement of the viewpoint 8, 2 When switching between two-dimensional projection images, display gaps and discontinuous display that tend to occur at the joints of the images can be made inconspicuous, and the discomfort of the display image felt by the user can be alleviated or eliminated. it can.

なお、スクリーンバッファの概念は、近距離スクリーン341だけではなく、中距離スクリーン342など他のスクリーンに対しても適用することができる。   Note that the concept of the screen buffer can be applied not only to the short distance screen 341 but also to other screens such as the intermediate distance screen 342.

さらに、スクリーンバッファの概念は、前後に移動する視点8に対しても適用することができる。図10には、近距離スクリーン341に対して、視点8の前進に備えた近距離スクリーンバッファ341Fの例が示されている。すなわち、サーバ装置2は、視点8が前進したときの近距離スクリーンバッファ341Fを設け、その近距離スクリーンバッファ341Fに対する近距離スクリーンバッファ画像を生成し、表示端末装置4へ送信しておく。ただし、この場合、近距離スクリーンバッファ341Fは、近距離スクリーン341が表示範囲35から外れることによって設けられるわけではない。   Further, the concept of the screen buffer can be applied to the viewpoint 8 that moves back and forth. FIG. 10 shows an example of the short-distance screen buffer 341 </ b> F prepared for the advance of the viewpoint 8 with respect to the short-distance screen 341. That is, the server device 2 provides a short-distance screen buffer 341 </ b> F when the viewpoint 8 moves forward, generates a short-distance screen buffer image for the short-distance screen buffer 341 </ b> F, and transmits it to the display terminal device 4. However, in this case, the short distance screen buffer 341 </ b> F is not provided when the short distance screen 341 is out of the display range 35.

一般に、視点8が前進すると、近距離スクリーン画像の大きさは急激に大きくなり、その表示画像は次第に粗くなる。そこで、表示端末装置4は、そのとき重畳表示に利用中の近距離スクリーン画像の大きさまたは画像の粗さが、所定の大きさまたは粗さになったときには、重畳表示に利用するスクリーン画像を、あらかじめ送信しておいた近距離スクリーンバッファ画像に切替える。このようにすることによって、とくに近距離スクリーン画像の表示画像が粗くなることを防止することができる。   In general, when the viewpoint 8 moves forward, the size of the short-range screen image increases rapidly, and the display image becomes gradually coarser. Therefore, when the size of the short-distance screen image currently used for the superimposed display or the roughness of the image becomes a predetermined size or roughness, the display terminal device 4 displays the screen image used for the superimposed display. , Switch to the short-distance screen buffer image sent in advance. By doing in this way, it can prevent that the display image of a short distance screen image becomes coarse especially.

また、この場合には、近距離スクリーンバッファ341Fに対して設けられた近距離ブロックデータ321Fは、中距離スクリーン342に対する中距離ブロックデータ322との間で、重複ブロックデータ321Eを持つようにしておくのが好ましい。そうすることによって、視点8の前進に伴う近距離スクリーン画像と中距離スクリーン画像との境界の画像の変化を、よりリアルに表現することが可能となる。   In this case, the short-distance block data 321F provided for the short-distance screen buffer 341F has overlapping block data 321E with the intermediate-distance block data 322 for the intermediate-distance screen 342. Is preferred. By doing so, it becomes possible to more realistically represent the change in the image at the boundary between the short-distance screen image and the medium-distance screen image as the viewpoint 8 advances.

続いて、図11を参照して、視点8が同じ位置で回転する場合の投影画像生成について説明する。視点8が回転する場合には、注視点80の位置が急激に変化するので、極端な場合を想定すると、視点8の周り360度すべてをカバーする視点回転用スクリーンバッファ34Kを用意しておく必要がある。その場合には、サーバ装置2にとって、そのバッファスクリーン画像を生成するだけでも大きな処理負担となる。   Next, with reference to FIG. 11, generation of a projection image when the viewpoint 8 rotates at the same position will be described. When the viewpoint 8 rotates, the position of the gazing point 80 changes abruptly. Therefore, assuming an extreme case, it is necessary to prepare a viewpoint rotation screen buffer 34K that covers all 360 degrees around the viewpoint 8. There is. In that case, the server apparatus 2 becomes a heavy processing burden just by generating the buffer screen image.

ところで、視点8が回転する場合、そのスクリーン画像は、大きく変化するので、ユーザには流れたような画像として見える。従って、視点8が回転しているときには、そのスクリーン画像を、必ずしも、高精度に表示する必要はない。   By the way, when the viewpoint 8 rotates, the screen image changes greatly, so that it appears to the user as a flowing image. Therefore, when the viewpoint 8 is rotating, it is not always necessary to display the screen image with high accuracy.

そこで、本実施形態では、サーバ装置2は、視点8が静止またはゆっくり移動しているときに表示中の投影画像スクリーン34Mに隣接して、少なくとも1つの視点回転用スクリーンバッファ34Kを設け、その視点回転用スクリーンバッファ34Kに基づくスクリーン画像を生成し、表示端末装置4へ送信しておく。なお、図11(a)では、視点回転用スクリーンバッファ34Kは、視点8の全周に設けられているが、必ずしも、全周に渡って設けておく必要はない。また、このとき、投影画像スクリーン34Mへ投影される画像は、画素数が、例えば、1280ピクセル×1024ピクセルの精密画像である。それに対し、視点回転用スクリーンバッファ34Kへ投影される画像は、画素数が、例えば、128ピクセル×102ピクセルの画素で構成された画像を、投影画像スクリーン34Mと同じ大きさのスクリーンに投影した粗画像である。   Therefore, in this embodiment, the server device 2 is provided with at least one viewpoint rotation screen buffer 34K adjacent to the projected image screen 34M being displayed when the viewpoint 8 is stationary or moving slowly, and the viewpoint A screen image based on the rotation screen buffer 34K is generated and transmitted to the display terminal device 4. In FIG. 11A, the viewpoint rotation screen buffer 34 </ b> K is provided on the entire circumference of the viewpoint 8, but is not necessarily provided over the entire circumference. At this time, the image projected onto the projection image screen 34M is a precise image having a number of pixels of, for example, 1280 pixels × 1024 pixels. On the other hand, the image projected onto the viewpoint rotation screen buffer 34K is a rough image obtained by projecting an image having a pixel number of, for example, 128 pixels × 102 pixels onto a screen having the same size as the projection image screen 34M. It is an image.

そして、視点8が所定の回転速度以上の速さで回転した場合には、表示端末装置4は、その粗画像の視点回転用スクリーンバッファ34Kの画像を用いて、表示装置70に表示すべき重畳画像を生成する。なお、このとき、その粗画像の重畳画像には、必ずしもリアルな立体感は必要ではないので、3次元空間情報31をブロック化するブロック数を減らし、例えば、中距離スクリーン画像と背景スクリーン画像とだけで重畳画像を生成してもよい。   When the viewpoint 8 is rotated at a speed equal to or higher than a predetermined rotation speed, the display terminal device 4 uses the image of the coarse image viewpoint rotation screen buffer 34K to superimpose to be displayed on the display device 70. Generate an image. At this time, the superimposed image of the coarse image does not necessarily require a realistic stereoscopic effect, so the number of blocks for blocking the three-dimensional spatial information 31 is reduced, for example, a medium-range screen image and a background screen image A superimposed image may be generated only by using the above.

また、視点8が所定の回転速度以上の速さで回転した後、その回転速度があるところで所定の速度以下になった場合には、表示端末装置4は、例えば、図11(b)に示すように、そのとき表示されている粗画像を、その粗画像が生成されたスクリーンと同じ位置にある新たな投影画像スクリーン34Nに投影された精密画像に切り替える。ただし、その場合には、その精密画像(2次元投影画像33)の生成をサーバ装置2に依頼する必要があるので、その処理遅延などを考慮して、その依頼は早めに行うようにする。   In addition, after the viewpoint 8 rotates at a speed equal to or higher than a predetermined rotation speed, when the rotation speed falls below a predetermined speed at a certain speed, the display terminal device 4 is shown in FIG. As described above, the coarse image displayed at that time is switched to the fine image projected on the new projection image screen 34N at the same position as the screen on which the coarse image was generated. However, in this case, since it is necessary to request the server apparatus 2 to generate the precision image (two-dimensional projection image 33), the request is made early considering the processing delay and the like.

このように、粗画像を用いて重畳画像を表示することにしたことにより、サーバ装置2における処理負担を軽減することができるとともに、サーバ装置2から表示端末装置4へ送信する情報量を削減することができるので、通信ネットワーク3に対する通信負荷をも軽減することができる。   As described above, since the superimposed image is displayed using the coarse image, the processing load on the server device 2 can be reduced, and the amount of information transmitted from the server device 2 to the display terminal device 4 can be reduced. Therefore, the communication load on the communication network 3 can be reduced.

なお、表示端末装置4は、当初に表示していた投影画像スクリーン34Mの精密画像のデータを記憶部50に残したままにしておいてもよい。とくに、視点8の回転量が小さい場合には、遠距離スクリーンや背景スクリーンに対する投影画像は、改めて生成する必要がない場合も多いので、サーバ装置2の処理量を減じ、通信ネットワーク3の通信負荷を現ずる意味で、残しておく効果は大きい。   The display terminal device 4 may leave the precision image data of the projected image screen 34M that was initially displayed in the storage unit 50. In particular, when the amount of rotation of the viewpoint 8 is small, it is often unnecessary to generate a projection image on the long-distance screen or the background screen. Therefore, the processing amount of the server device 2 is reduced and the communication load of the communication network 3 is reduced. The effect of leaving is great.

以上、本発明の実施形態によれば、表示端末装置4は、2次元投影画像51だけを用いて、所定の3次元空間の中の移動する視点8から見えるその3次元空間内の風景の表示画像をリアルに表示することが可能となる。しかも、その処理内容は、通常のパソコンなどにインストールされているWEBブラウザで簡単に実現することができるものであり、従って、本実施形態は、それほど性能が高くない一般的なパソコンに対しても、容易に適用することができる。   As described above, according to the embodiment of the present invention, the display terminal device 4 uses only the two-dimensional projection image 51 to display the scenery in the three-dimensional space that can be seen from the moving viewpoint 8 in the predetermined three-dimensional space. Images can be displayed realistically. Moreover, the processing content can be easily realized by a WEB browser installed in a normal personal computer. Therefore, the present embodiment can be applied to a general personal computer with not so high performance. Can be easily applied.

続いて、図12を参照して、3次元空間情報31のブロック化処理について補足する。本実施形態では、3次元空間情報31のブロック化処理は、あらかじめ所定の3次元空間すべてについて行うことをせず、視点位置の移動とともに、その視点位置の近傍に、その都度、3次元空間情報31をブロック化するためのブロックを生成する。   Then, with reference to FIG. 12, it supplements about the blocking process of the three-dimensional space information 31. FIG. In the present embodiment, the block processing of the three-dimensional space information 31 is not performed for all the predetermined three-dimensional spaces in advance, and the three-dimensional space information is moved in the vicinity of the viewpoint position as the viewpoint position is moved. A block for blocking 31 is generated.

例えば、図12に示すように視点8が「位置:A」にあるときには、サーバ装置2は、その視点位置と注視点(図示省略)とに応じて、近距離ブロックデータ321、・・・、遠距離ブロックデータ323、・・・などで定義される各ブロックを設定する。また、視点8が「位置:B」へ移動したときには、同様に、その視点位置と注視点(図示省略)とに応じて、新たな近距離ブロックデータ321N、・・・、新たな遠距離ブロックデータ323N、・・・で定義される各ブロックを設定する。   For example, as illustrated in FIG. 12, when the viewpoint 8 is at “position: A”, the server device 2 determines the short-distance block data 321,..., According to the viewpoint position and the point of sight (not shown). Each block defined by the long-distance block data 323,... Is set. Similarly, when the viewpoint 8 moves to “position: B”, new short-distance block data 321N,..., New long-distance block are similarly generated according to the viewpoint position and the gazing point (not shown). Each block defined by the data 323N,... Is set.

このとき、視点8の移動に伴い不要となった各ブロックデータは、削除してもよい。また、視点位置の移動が小さいとき、新たなブロックデータの作成が必ずしも必要とされないことについては、図8〜図10を参照し、その効果も含めて説明した通りである。   At this time, each piece of block data that becomes unnecessary as the viewpoint 8 moves may be deleted. Also, the fact that the creation of new block data is not necessarily required when the movement of the viewpoint position is small is as described with reference to FIGS.

続いて、図13を参照して、本実施形態の変形例について説明する。この変形例では、サーバ装置2aの構成は、図1に示したサーバ装置2の構成と同じである。すなわち、サーバ装置2aは、表示端末装置4aからの求めに応じて、2次元投影画像生成処理部23により、3次元空間情報31(例えば、標高地図データ)から所定のスクリーン(図13では、中距離スクリーン342、遠距離スクリーン343、背景スクリーン344)に投影された2次元投影画像33を生成し、生成した2次元投影画像33を表示端末装置4aへ送信する。   Subsequently, a modification of the present embodiment will be described with reference to FIG. In this modification, the configuration of the server device 2a is the same as the configuration of the server device 2 shown in FIG. That is, the server device 2a performs a predetermined screen (in FIG. 13, in FIG. 13) from the three-dimensional spatial information 31 (for example, elevation map data) by the two-dimensional projection image generation processing unit 23 in response to a request from the display terminal device 4a. The two-dimensional projection image 33 projected on the distance screen 342, the long-distance screen 343, and the background screen 344) is generated, and the generated two-dimensional projection image 33 is transmitted to the display terminal device 4a.

それに対し、表示端末装置4aの構成は、その記憶部(図示省略)が注目オブジェクト3次元情報52を保持すること、そして、その演算処理部(図示省略)が注目オブジェクト表示画像生成処理部45を備えること、の2点において、図1に示した表示端末装置4の構成と相違している。ここで、注目オブジェクト310とは、視点8の前方の近傍にあり、ユーザがとくに関心を抱いているような建築物や地物をいう。   On the other hand, in the configuration of the display terminal device 4a, the storage unit (not shown) holds the attention object three-dimensional information 52, and the arithmetic processing unit (not shown) includes the attention object display image generation processing unit 45. It is different from the configuration of the display terminal device 4 shown in FIG. Here, the attention object 310 refers to a building or a feature that is in the vicinity of the front of the viewpoint 8 and that the user is particularly interested in.

注目オブジェクト3次元情報52は、その注目オブジェクト310の3次元の外観形状が所定の3次元形状データで記述された情報である。そして、表示端末装置4aの演算処理部は、注目オブジェクト表示画像生成処理部45により、注目オブジェクト310の注目オブジェクト表示スクリーン340への投影画像を生成する。なお、図13では、注目オブジェクト表示スクリーン340は、近距離スクリーンに代わるものとして、設けられているが、近距離スクリーンが設けられ、その近距離スクリーンよりも、さらに、視点8に近い側に設けられたスクリーンであってもよい。   The attention object three-dimensional information 52 is information in which the three-dimensional appearance shape of the attention object 310 is described by predetermined three-dimensional shape data. Then, the arithmetic processing unit of the display terminal device 4 a generates a projected image of the target object 310 on the target object display screen 340 by the target object display image generation processing unit 45. In FIG. 13, the object-of-interest display screen 340 is provided as an alternative to the short-distance screen. However, the short-distance screen is provided, and is provided closer to the viewpoint 8 than the short-distance screen. Screen.

また、表示端末装置4aの演算処理部は、2次元投影画像重畳表示処理部44により、サーバ装置2aから送信された2次元投影画像33と、注目オブジェクト表示画像生成処理部45により生成された注目オブジェクト表示スクリーン340への投影画像との重畳画像を生成し、図示しない表示装置に表示する。   In addition, the arithmetic processing unit of the display terminal device 4a includes the two-dimensional projection image 33 transmitted from the server device 2a and the attention object display image generation processing unit 45 generated by the two-dimensional projection image superimposed display processing unit 44. A superimposed image with the projection image on the object display screen 340 is generated and displayed on a display device (not shown).

以上のように、本実施形態の変形例では、注目オブジェクト表示画像生成処理部45の機能を実現するためには、3次元形状データを表示するためのプログラムが必要となるが、その表示処理は、注目オブジェクト310の表示に限定されるので、表示端末装置4aへの処理負荷は限定的な範囲に留められる。従って、表示端末装置4aは、ユーザの移動する視点8から見える注目オブジェクト310を含む風景の動きを、ユーザにストレスを感じさせることなく、1コマごとにリアルに表示することが可能となる。   As described above, in the modification of the present embodiment, in order to realize the function of the target object display image generation processing unit 45, a program for displaying three-dimensional shape data is required. Since it is limited to the display of the attention object 310, the processing load on the display terminal device 4a is limited to a limited range. Therefore, the display terminal device 4a can realistically display the movement of the landscape including the attention object 310 that can be seen from the viewpoint 8 where the user moves without causing the user to feel stress.

1 画像生成表示システム
2 サーバ装置
3 通信ネットワーク
4 表示端末装置
20 演算処理部
21 2次元投影画像生成依頼受信処理部
22 3次元空間情報ブロック化処理部
23 2次元投影画像生成処理部
24 2次元投影画像送信処理部
30 記憶部
31 3次元空間情報
32 ブロック化3次元空間情報
33 2次元投影画像
40 演算処理部
41 視点位置&注視点位置取得部
42 2次元投影画像生成依頼送信処理部
43 2次元投影画像受信処理部
44 2次元投影画像重畳表示処理部
45 注目オブジェクト表示画像生成処理部
50 記憶部
51 2次元投影画像
52 注目オブジェクト3次元情報
60 入力装置
70 表示装置
80 注視点
310 注目オブジェクト
321 近距離ブロックデータ
322 中距離ブロックデータ
323 遠距離ブロックデータ
324 背景ブロックデータ
331,511 近距離スクリーン画像
332,512 中距離スクリーン画像
333,513 遠距離スクリーン画像
334,514 背景スクリーン画像
340 注目オブジェクト表示スクリーン
341 近距離スクリーン
342 中距離スクリーン
343 遠距離スクリーン
344 背景スクリーン
DESCRIPTION OF SYMBOLS 1 Image generation display system 2 Server apparatus 3 Communication network 4 Display terminal apparatus 20 Arithmetic processing part 21 2D projection image generation request reception process part 22 3D spatial information block process part 23 2D projection image generation process part 24 2D projection Image transmission processing unit 30 Storage unit 31 Three-dimensional spatial information 32 Blocked three-dimensional spatial information 33 Two-dimensional projection image 40 Arithmetic processing unit 41 Viewpoint position & gazing point position acquisition unit 42 Two-dimensional projection image generation request transmission processing unit 43 Two-dimensional Projection image reception processing unit 44 Two-dimensional projection image superimposed display processing unit 45 Object-of-interest display image generation processing unit 50 Storage unit 51 Two-dimensional projection image 52 Object-of-interest three-dimensional information 60 Input device 70 Display device 80 Point of interest 310 Object of interest 321 Near Distance block data 322 Medium distance block data 32 Long-distance block data 324 Background block data 331,511 Short-distance screen image 332,512 Medium-distance screen image 333,513 Long-distance screen image 334,514 Background screen image 340 Attention object display screen 341 Short-distance screen 342 Medium-distance screen 343 Distant Distance screen 344 Background screen

Claims (16)

所定の3次元空間の形状を表した3次元空間情報を保持したサーバ装置と、
前記3次元空間内における視点の位置情報を入力するとともに、前記視点から見える前記3次元空間内の風景を表示する表示端末装置と、
を含んで構成された画像生成表示システムにおける画像生成表示方法であって、
前記サーバ装置は、
前記表示端末装置から前記3次元空間内の視点の位置を含む情報を受信したときには、前記視点の前方の空間を前記視点からの距離によって複数のブロックに区分し、前記複数のブロックのそれぞれのブロックに属するブロック化3次元空間情報を、前記3次元空間情報から生成し、
前記ブロックの前記視点と反対側の境界に仮想的なスクリーンを設定し、そのブロックのブロック化3次元空間情報を用いて、前記視点からの視線によってそのスクリーンに投影される2次元投影画像を生成し、
前記生成した2次元投影画像を前記表示端末装置に送信し、
前記表示端末装置は、
前記サーバ装置から送信された前記2次元投影画像を受信し、
前記それぞれのブロックに対応する前記2次元投影画像を、前記視点からの距離が遠いブロックの画像が奥になるように重ね合わせて、重畳画像を生成し、
前記生成した重畳画像を表示装置に表示すること
を特徴とする画像生成表示方法。
A server device holding three-dimensional space information representing the shape of a predetermined three-dimensional space;
A display terminal device for inputting position information of a viewpoint in the three-dimensional space and displaying a landscape in the three-dimensional space visible from the viewpoint;
An image generation and display method in an image generation and display system configured to include:
The server device
When the information including the position of the viewpoint in the three-dimensional space is received from the display terminal device, the space ahead of the viewpoint is divided into a plurality of blocks according to the distance from the viewpoint, and each block of the plurality of blocks Generating the blocked three-dimensional spatial information belonging to the three-dimensional spatial information,
A virtual screen is set at the boundary of the block opposite to the viewpoint, and a two-dimensional projection image projected onto the screen by a line of sight from the viewpoint is generated using the block-formed three-dimensional spatial information of the block. And
Transmitting the generated two-dimensional projection image to the display terminal device;
The display terminal device
Receiving the two-dimensional projection image transmitted from the server device;
The two-dimensional projection image corresponding to each block is superimposed so that the image of the block far from the viewpoint is in the back to generate a superimposed image,
An image generation and display method, comprising: displaying the generated superimposed image on a display device.
前記サーバ装置は、
前記視点の前方の空間を複数のブロックに区分するとき、それぞれ隣接するブロックが重複する部分を有するように前記ブロック化3次元空間情報を生成すること
を特徴とする請求項1に記載の画像生成表示方法。
The server device
2. The image generation according to claim 1, wherein when the space ahead of the viewpoint is divided into a plurality of blocks, the blocked three-dimensional space information is generated so that adjacent blocks have overlapping portions. Display method.
前記サーバ装置は、
前記2次元投影画像を生成するとき、前記視点に近いスクリーンに投影する前記2次元投影画像ほど高精度な画像として生成し、前記視点に遠いスクリーンに投影する前記2次元投影画像ほど精度を落とした画像として生成すること
を特徴とする請求項1に記載の画像生成表示方法。
The server device
When generating the two-dimensional projection image, the two-dimensional projection image projected onto the screen closer to the viewpoint is generated as a higher-precision image, and the accuracy of the two-dimensional projection image projected onto the screen farther from the viewpoint is reduced. The image generation / display method according to claim 1, wherein the image generation / display method is generated as an image.
前記表示端末装置は、
前記視点が移動したときには、前記それぞれのブロックに対応する前記2次元投影画像を、その視点の移動に応じて、左右上下に移動させるとともに、拡大または縮小して、前記重畳画像を生成すること
を特徴とする請求項1に記載の画像生成表示方法。
The display terminal device
When the viewpoint moves, the two-dimensional projection image corresponding to each block is moved left and right and up and down according to the movement of the viewpoint, and enlarged or reduced to generate the superimposed image. The image generation and display method according to claim 1, wherein
前記表示端末装置は、さらに、
前記視点の前方の近傍に位置する所定の注目オブジェクトの3次元形状情報を保持し、
前記注目オブジェクトの前記視点と反対側に仮想的に設けられたスクリーンに投影される前記注目オブジェクトの2次元投影画像を、前記注目オブジェクトの3次元形状情報に基づき生成し、
前記生成した注目オブジェクトの2次元投影画像と、前記サーバ装置から受信した前記2次元投影画像と、を重ね合わせて、重畳画像を生成すること
を特徴とする請求項1に記載の画像生成表示方法。
The display terminal device further includes:
Holding three-dimensional shape information of a predetermined object of interest located near the front of the viewpoint;
Generating a two-dimensional projection image of the target object projected on a screen virtually provided on the opposite side of the viewpoint of the target object based on the three-dimensional shape information of the target object;
The image generation and display method according to claim 1, wherein the generated two-dimensional projection image of the object of interest and the two-dimensional projection image received from the server device are superimposed to generate a superimposed image. .
所定の3次元空間の形状を表した3次元空間情報を保持したサーバ装置と、
前記3次元空間内における視点の位置情報を入力するとともに、前記視点から見える前記3次元空間内の風景を表示する表示端末装置と、
を含んで構成された画像生成表示システムであって、
前記サーバ装置は、
前記表示端末装置から前記3次元空間内の視点の位置を含む情報を受信したときには、前記視点の前方の空間を前記視点からの距離によって複数のブロックに区分し、前記複数のブロックのそれぞれのブロックに属するブロック化3次元空間情報を、前記3次元空間情報から生成し、
前記ブロックの前記視点と反対側の境界に仮想的なスクリーンを設定し、そのブロックのブロック化3次元空間情報を用いて、前記視点からの視線によってそのスクリーンに投影される2次元投影画像を生成し、
前記生成した2次元投影画像を前記表示端末装置に送信し、
前記表示端末装置は、
前記サーバ装置から送信された前記2次元投影画像を受信し、
前記それぞれのブロックに対応する前記2次元投影画像を、前記視点からの距離が遠いブロックの画像が奥になるように重ね合わせて、重畳画像を生成し、
前記生成した重畳画像を表示装置に表示すること
を特徴とする画像生成表示システム。
A server device holding three-dimensional space information representing the shape of a predetermined three-dimensional space;
A display terminal device for inputting position information of a viewpoint in the three-dimensional space and displaying a landscape in the three-dimensional space visible from the viewpoint;
An image generation and display system configured to include:
The server device
When the information including the position of the viewpoint in the three-dimensional space is received from the display terminal device, the space ahead of the viewpoint is divided into a plurality of blocks according to the distance from the viewpoint, and each block of the plurality of blocks Generating the blocked three-dimensional spatial information belonging to the three-dimensional spatial information,
A virtual screen is set at the boundary of the block opposite to the viewpoint, and a two-dimensional projection image projected onto the screen by a line of sight from the viewpoint is generated using the block-formed three-dimensional spatial information of the block. And
Transmitting the generated two-dimensional projection image to the display terminal device;
The display terminal device
Receiving the two-dimensional projection image transmitted from the server device;
The two-dimensional projection image corresponding to each block is superimposed so that the image of the block far from the viewpoint is in the back to generate a superimposed image,
An image generation and display system, wherein the generated superimposed image is displayed on a display device.
前記サーバ装置は、
前記視点の前方の空間を複数のブロックに区分するとき、それぞれ隣接するブロックが重複する部分を有するように前記ブロック化3次元空間情報を生成すること
を特徴とする請求項6に記載の画像生成表示システム。
The server device
7. The image generation according to claim 6, wherein when the space in front of the viewpoint is divided into a plurality of blocks, the blocked three-dimensional space information is generated so that adjacent blocks have overlapping portions. Display system.
前記サーバ装置は、
前記2次元投影画像を生成するとき、前記視点に近いスクリーンに投影する前記2次元投影画像ほど高精度な画像として生成し、前記視点に遠いスクリーンに投影する前記2次元投影画像ほど精度を落とした画像として生成すること
を特徴とする請求項6に記載の画像生成表示システム。
The server device
When generating the two-dimensional projection image, the two-dimensional projection image projected onto the screen closer to the viewpoint is generated as a higher-precision image, and the accuracy of the two-dimensional projection image projected onto the screen farther from the viewpoint is reduced. The image generation / display system according to claim 6, wherein the image generation / display system is generated as an image.
前記表示端末装置は、
前記視点が移動したときには、前記それぞれのブロックに対応する前記2次元投影画像を、その視点の移動に応じて、左右上下に移動させるとともに、拡大または縮小して、前記重畳画像を生成すること
を特徴とする請求項6に記載の画像生成表示システム。
The display terminal device
When the viewpoint moves, the two-dimensional projection image corresponding to each block is moved left and right and up and down according to the movement of the viewpoint, and enlarged or reduced to generate the superimposed image. The image generation and display system according to claim 6, wherein
前記表示端末装置は、さらに、
前記視点の前方の近傍に位置する所定の注目オブジェクトの3次元形状情報を保持し、
前記注目オブジェクトの前記視点と反対側に仮想的に設けられたスクリーンに投影される前記注目オブジェクトの2次元投影画像を、前記注目オブジェクトの3次元形状情報に基づき生成し、
前記生成した注目オブジェクトの2次元投影画像と、前記サーバ装置から受信した前記2次元投影画像と、を重ね合わせて、重畳画像を生成すること
を特徴とする請求項6に記載の画像生成表示システム。
The display terminal device further includes:
Holding three-dimensional shape information of a predetermined object of interest located near the front of the viewpoint;
Generating a two-dimensional projection image of the target object projected on a screen virtually provided on the opposite side of the viewpoint of the target object based on the three-dimensional shape information of the target object;
The image generation and display system according to claim 6, wherein the generated two-dimensional projection image of the object of interest and the two-dimensional projection image received from the server device are superimposed to generate a superimposed image. .
所定の3次元空間の形状を表した3次元空間情報を保持したサーバ装置であって、
前記3次元空間内における視点の位置情報を入力するとともに、前記視点から見える前記3次元空間内の風景を表示する表示端末装置から、前記視点の位置情報を含む情報を受信したときには、前記視点の前方の空間を前記視点からの距離によって複数のブロックに区分し、前記複数のブロックのそれぞれのブロックに属するブロック化3次元空間情報を、前記3次元空間情報から生成し、
前記ブロックの前記視点と反対側の境界に仮想的なスクリーンを設定し、そのブロックのブロック化3次元空間情報を用いて、前記視点からの視線によってそのスクリーンに投影される2次元投影画像を生成し、
前記生成した2次元投影画像を前記表示端末装置に送信すること
を特徴とするサーバ装置。
A server device holding three-dimensional space information representing a shape of a predetermined three-dimensional space,
When the position information of the viewpoint in the three-dimensional space is input and information including the position information of the viewpoint is received from a display terminal device that displays a landscape in the three-dimensional space that can be seen from the viewpoint, Dividing the front space into a plurality of blocks according to the distance from the viewpoint, and generating block-formed three-dimensional spatial information belonging to each of the plurality of blocks from the three-dimensional spatial information,
A virtual screen is set at the boundary of the block opposite to the viewpoint, and a two-dimensional projection image projected onto the screen by the line of sight from the viewpoint is generated using the block-formed three-dimensional spatial information of the block. And
The server device, wherein the generated two-dimensional projection image is transmitted to the display terminal device.
前記サーバ装置は、
前記視点の前方の空間を複数のブロックに区分するとき、それぞれ隣接するブロックが重複する部分を有するように前記ブロック化3次元空間情報を生成すること
を特徴とする請求項11に記載のサーバ装置。
The server device
The server apparatus according to claim 11, wherein when the space ahead of the viewpoint is divided into a plurality of blocks, the blocked three-dimensional space information is generated so that adjacent blocks have overlapping portions. .
前記サーバ装置は、
前記2次元投影画像を生成するとき、前記視点に近いスクリーンに投影する前記2次元投影画像ほど高精度な画像として生成し、前記視点に遠いスクリーンに投影する前記2次元投影画像ほど精度を落とした画像として生成すること
を特徴とする請求項11に記載のサーバ装置。
The server device
When generating the two-dimensional projection image, the two-dimensional projection image projected onto the screen closer to the viewpoint is generated as a higher-precision image, and the accuracy of the two-dimensional projection image projected onto the screen farther from the viewpoint is reduced. The server device according to claim 11, wherein the server device is generated as an image.
所定の3次元空間の形状を表した3次元空間情報を保持し、前記3次元空間内に設定される視点の前方の空間を、前記視点からの距離によって複数のブロックに区分し、前記複数のブロックのそれぞれのブロックに属するブロック化3次元空間情報を、前記3次元空間情報から生成し、前記ブロックの前記視点と反対側の境界に仮想的なスクリーンを設定し、そのブロックのブロック化3次元空間情報を用いて、前記視点からの視線によってそのスクリーンに投影して2次元投影画像を生成するサーバ装置が、送信する前記2次元投影画像を用いて、前記3次元空間内の前記視点から見える前記3次元空間内の風景を表示する表示端末装置であって、
前記それぞれのブロックに対応する前記2次元投影画像を、前記視点からの距離が遠いブロックの画像が奥になるように重ね合わせて、重畳画像を生成し、
前記生成した重畳画像を表示装置に表示すること
を特徴とする画像表示端末装置。
Holding three-dimensional space information representing the shape of a predetermined three-dimensional space, dividing a space ahead of the viewpoint set in the three-dimensional space into a plurality of blocks according to a distance from the viewpoint; Blocked three-dimensional spatial information belonging to each block of the block is generated from the three-dimensional spatial information, a virtual screen is set at a boundary opposite to the viewpoint of the block, and the block-converted three-dimensional A server device that generates a two-dimensional projection image by projecting onto the screen with a line of sight from the viewpoint using the spatial information is visible from the viewpoint in the three-dimensional space using the transmitted two-dimensional projection image A display terminal device for displaying a landscape in the three-dimensional space,
The two-dimensional projection image corresponding to each block is superimposed so that the image of the block far from the viewpoint is in the back to generate a superimposed image,
An image display terminal device that displays the generated superimposed image on a display device.
前記表示端末装置は、
前記視点が移動したときには、前記それぞれのブロックに対応する前記2次元投影画像を、その視点の移動に応じて、左右上下に移動させるとともに、拡大または縮小して、前記重畳画像を生成すること
を特徴とする請求項14に記載の画像表示端末装置。
The display terminal device
When the viewpoint moves, the two-dimensional projection image corresponding to each block is moved left and right and up and down according to the movement of the viewpoint, and enlarged or reduced to generate the superimposed image. The image display terminal device according to claim 14, characterized in that:
前記表示端末装置は、さらに、
前記視点の前方の近傍に位置する所定の注目オブジェクトの3次元形状情報を保持し、
前記注目オブジェクトの前記視点と反対側に仮想的に設けられたスクリーンに投影される前記注目オブジェクトの2次元投影画像を、前記注目オブジェクトの3次元形状情報に基づき生成し、
前記生成した注目オブジェクトの2次元投影画像と、前記サーバ装置から受信した前記2次元投影画像と、を重ね合わせて、重畳画像を生成すること
を特徴とする請求項14に記載の画像表示端末装置。
The display terminal device further includes:
Holding three-dimensional shape information of a predetermined object of interest located near the front of the viewpoint;
Generating a two-dimensional projection image of the target object projected on a screen virtually provided on the opposite side of the viewpoint of the target object based on the three-dimensional shape information of the target object;
The image display terminal device according to claim 14, wherein a superimposed image is generated by superimposing the generated two-dimensional projection image of the object of interest and the two-dimensional projection image received from the server device. .
JP2009034215A 2009-02-17 2009-02-17 Method and device for generating and displaying image, server device, and image display terminal Pending JP2010191607A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009034215A JP2010191607A (en) 2009-02-17 2009-02-17 Method and device for generating and displaying image, server device, and image display terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009034215A JP2010191607A (en) 2009-02-17 2009-02-17 Method and device for generating and displaying image, server device, and image display terminal

Publications (1)

Publication Number Publication Date
JP2010191607A true JP2010191607A (en) 2010-09-02

Family

ID=42817602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009034215A Pending JP2010191607A (en) 2009-02-17 2009-02-17 Method and device for generating and displaying image, server device, and image display terminal

Country Status (1)

Country Link
JP (1) JP2010191607A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013187129A1 (en) * 2012-06-12 2013-12-19 ソニー株式会社 Information processing device, information processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869545A (en) * 1994-08-31 1996-03-12 Sony Corp Interactive image providing method
JP2000132706A (en) * 1998-10-27 2000-05-12 Sony Computer Entertainment Inc Recording medium, image processor and image processing method
JP2002042152A (en) * 2000-07-25 2002-02-08 Namco Ltd Image processing device, image processing method, and recording medium recording image processing program
JP2002140731A (en) * 2000-11-01 2002-05-17 Esuroku:Kk Picture processor, picture processing system and recording medium
JP2003308542A (en) * 2002-04-15 2003-10-31 Sony Corp Virtual three-dimensional space image management system and method, and computer program
JP2005275795A (en) * 2004-03-24 2005-10-06 Namco Ltd Program, information storage medium and image generation system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869545A (en) * 1994-08-31 1996-03-12 Sony Corp Interactive image providing method
JP2000132706A (en) * 1998-10-27 2000-05-12 Sony Computer Entertainment Inc Recording medium, image processor and image processing method
JP2002042152A (en) * 2000-07-25 2002-02-08 Namco Ltd Image processing device, image processing method, and recording medium recording image processing program
JP2002140731A (en) * 2000-11-01 2002-05-17 Esuroku:Kk Picture processor, picture processing system and recording medium
JP2003308542A (en) * 2002-04-15 2003-10-31 Sony Corp Virtual three-dimensional space image management system and method, and computer program
JP2005275795A (en) * 2004-03-24 2005-10-06 Namco Ltd Program, information storage medium and image generation system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013187129A1 (en) * 2012-06-12 2013-12-19 ソニー株式会社 Information processing device, information processing method, and program
JPWO2013187129A1 (en) * 2012-06-12 2016-02-04 ソニー株式会社 Information processing apparatus, information processing method, and program
US9773333B2 (en) 2012-06-12 2017-09-26 Sony Corporation Information processing device, information processing method, and program

Similar Documents

Publication Publication Date Title
US9626790B1 (en) View-dependent textures for interactive geographic information system
JP5899232B2 (en) Navigation with guidance through geographically located panoramas
EP3170151B1 (en) Blending between street view and earth view
KR101623288B1 (en) Rendering system, rendering server, control method thereof, program, and recording medium
US11484790B2 (en) Reality vs virtual reality racing
CN102067179A (en) Swoop navigation
JP5997640B2 (en) 3D image output apparatus and background image generation apparatus
US20160203624A1 (en) System and Method for Providing Combined Multi-Dimensional Map Views
US10607410B2 (en) Displaying visual information of views captured at geographic locations
JP2002366975A (en) Program and device for displaying three-dimensional model
US20220327781A1 (en) Stereoscopic rendering of virtual 3d objects
KR20150064057A (en) three dimensional map display system
CN110546951B (en) Composite stereoscopic image content capture
WO2016117267A1 (en) Three-dimensional map display system
JP2002140731A (en) Picture processor, picture processing system and recording medium
JP2010191607A (en) Method and device for generating and displaying image, server device, and image display terminal
US11341727B2 (en) Location-based platform for multiple 3D engines for delivering location-based 3D content to a user
KR102192153B1 (en) Method and program for providing virtual reality image
US20190259198A1 (en) Systems and methods for generating visual representations of a virtual object for display by user devices
US10540824B1 (en) 3-D transitions
KR101990373B1 (en) Method and program for providing virtual reality image
CN114616035A (en) Hybrid streaming
JP6601392B2 (en) Display control apparatus, display control method, and program
WO2022113246A1 (en) Image processing device and image processing method
KR101940272B1 (en) Apparatus and method for enlarging 3-dimensional virtual contents

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120626