JP2011128838A

JP2011128838A - Image display device

Info

Publication number: JP2011128838A
Application number: JP2009286131A
Authority: JP
Inventors: Teruyasu Kawamata; 輝泰河又
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-12-17
Filing date: 2009-12-17
Publication date: 2011-06-30

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display device for superimposing an image of a virtual object on an image in a real space, and an image display method for displaying the virtual object approaching a user of the image display device in the real space so as not to be hidden by virtual object image display and notifying the user of the approaching object. <P>SOLUTION: An approaching object visibility determining part 117 compares a display area of an approaching object detected by an approaching object detecting part 111 with a display area of a virtual object image retrieved by a display target virtual object retrieving part 110, and determines the visibility of the approaching object depending on whether the area for displaying the approaching object is above a predetermined ratio or not. When it is determined that there is no visibility of an approaching object, a virtual object display position changing part 116 changes the display position of the virtual object image so that a user finds the approaching object more easily. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、現実空間画像上に仮想物体の画像を重畳して利用者に提示する画像表示装置に関するものである。 The present invention relates to an image display device that superimposes an image of a virtual object on a real space image and presents it to a user.

従来の画像表示装置としては、仮想現実システムに対するインターフェースとして利用者が装着し、物理的環境における接近物に関して警告を与えるようなヘッドマウントディスプレイに関する衝突警告システムが開示されている（例えば、特許文献１）。 As a conventional image display device, a collision warning system related to a head-mounted display that is worn by a user as an interface to a virtual reality system and gives a warning regarding an approaching object in a physical environment is disclosed (for example, Patent Document 1). ).

この文献によれば、物理的環境において接近物を検出した場合に、仮想的環境の映像表示を終了する、もしくは物理的環境の映像を前記仮想的環境の映像表示に代えて供給することで利用者に衝突の危険性を指示することができる。 According to this document, when an approaching object is detected in a physical environment, the virtual environment video display is terminated, or the physical environment video is supplied instead of the virtual environment video display. The person can be instructed of the danger of collision.

特表平１０−５０４９１７号公報Japanese National Patent Publication No. 10-504917

しかしながら、前記従来の構成では、衝突の危険性を検出した場合には、仮想的環境の映像表示はすべて終了されるので、仮想現実システムを利用しながら街中を歩く場合など、接近物が頻繁に検出されるシーンでは仮想的環境の映像を参照できない時間が長くなり、利用者に不便を強いるという課題を有していた。 However, in the conventional configuration, when the danger of a collision is detected, the video display of the virtual environment is all terminated, so that an approaching object is frequently used when walking in the city while using the virtual reality system. In the detected scene, the time during which the image of the virtual environment cannot be referred to becomes long, and there is a problem that the user is inconvenienced.

本発明は、接近物を検出した場合には利用者に当該接近物を提示しながら、可能な限り仮想的環境の映像をも提示することができる画像表示装置を提供することを目的とする。 An object of the present invention is to provide an image display device capable of presenting an image of a virtual environment as much as possible while presenting an approaching object to a user when an approaching object is detected.

前記従来の課題を解決するために、本発明の画像表示装置は、現実空間の画像と仮想物体の画像とを表示する画像表示部と、当該画像表示装置に接近する物体および当該接近する物体の前記画像表示装置における画像表示領域を検出する接近物検出部と、前記接近物検出部が検出した接近する物体の画像表示領域と前記画像表示部における仮想物体の画像の表示領域とが重複すると判定された場合に、前記仮想物体の画像の前記画像表示部における表示を変更する仮想物体画像変更部と、を備えている。 In order to solve the conventional problems, an image display device according to the present invention includes an image display unit that displays an image of a real space and an image of a virtual object, an object approaching the image display device, and an object approaching the image display device. It is determined that an approaching object detection unit that detects an image display area in the image display device, an image display area of an approaching object detected by the approaching object detection unit, and a display area of an image of a virtual object in the image display unit overlap And a virtual object image changing unit that changes the display of the image of the virtual object in the image display unit.

本構成によって、仮想物体の画像表示方法を変更できるので、接近物を検出した場合に接近物を隠蔽しないように仮想物体の画像を表示することで、利用者が接近物に気づきやすいように接近物と仮想物体の画像の両方を提示することができる。 With this configuration, the virtual object image display method can be changed, so when an approaching object is detected, the virtual object image is displayed so that the approaching object is not concealed so that the user can easily recognize the approaching object. Both images of objects and virtual objects can be presented.

本発明の第一の実施の形態における画像表示装置の機能構成を示す図The figure which shows the function structure of the image display apparatus in 1st embodiment of this invention. 本発明の第一の実施の形態における画像表示装置を利用する現実空間を説明する図The figure explaining the real space using the image display apparatus in 1st embodiment of this invention 本発明の第一の実施の形態における現実空間画像撮像領域取得部１０６が出力する現実空間画像撮像領域情報の例を説明する図The figure explaining the example of the real space image imaging area information which the real space image imaging area acquisition part 106 in 1st embodiment of this invention outputs. 本発明の第一の実施の形態における仮想物体データベース１０９が保持する仮想物体の表示情報の例を示す図The figure which shows the example of the display information of the virtual object which the virtual object database 109 in 1st embodiment of this invention hold | maintains 本発明の第一の実施の形態における接近物検出部１１１が検出した危険な接近物の例を示す図The figure which shows the example of the dangerous approaching object which the approaching object detection part 111 in 1st embodiment of this invention detected. 本発明の第一の実施の形態における接近物可視性判定部１１７の判定方法の具体例を示す図（ａ）現実空間画像の図（ｂ）仮想物体画像の表示例の図（ｃ）接近物と仮想物体とを重畳して表示した際の重複表示領域の図The figure which shows the specific example of the determination method of the approaching object visibility determination part 117 in 1st embodiment of this invention (a) The figure of a real space image (b) The figure of the example of a display of a virtual object image (c) Approaching object Of the overlapping display area when a virtual object is superimposed and displayed 本発明の第一の実施の形態における仮想物体表示位置変更部１１６が、仮想物体表示位置を変更する方法の具体例を示す図（ａ）仮想物体の表示位置変更前の状態を示す図（ｂ）仮想物体の表示位置変更後の状態を示す図The figure which shows the specific example of the method by which the virtual object display position change part 116 in 1st embodiment of this invention changes a virtual object display position (a) The figure which shows the state before the display position change of a virtual object (b) ) Diagram showing the state after changing the display position of the virtual object 本発明の第一の実施の形態における仮想物体付加画像生成部１１５が生成する仮想物体付加画像の具体例を示す図（ａ）仮想物体の表示位置変更前の状態を示す図（ｂ）仮想物体の表示位置変更後の状態を示す図The figure which shows the specific example of the virtual object addition image which the virtual object addition image generation part 115 in 1st embodiment of this invention produces | generates (a) The figure which shows the state before the display position change of a virtual object (b) Virtual object The state after the display position change of 本発明の第一の実施の形態における仮想物体付加画像生成部１１５が生成する仮想物体付加画像の具体例を示す図（ａ）仮想物体の表示位置変更前の状態を示す図（ｂ）仮想物体の表示位置変更後の状態を示す図The figure which shows the specific example of the virtual object addition image which the virtual object addition image generation part 115 in 1st embodiment of this invention produces | generates (a) The figure which shows the state before the display position change of a virtual object (b) Virtual object The state after the display position change of 本発明の第一の実施の形態における仮想物体画像変更部１１４の処理を説明するフローチャートThe flowchart explaining the process of the virtual object image change part 114 in 1st embodiment of this invention. 本発明の第一の実施の形態における仮想物体画像変更部１１４によって変更された仮想物体画像と仮想物体付加画像を示す図The figure which shows the virtual object image and virtual object addition image which were changed by the virtual object image change part 114 in 1st embodiment of this invention. 表示サイズを縮小した仮想物体画像の具体例を示す図The figure which shows the specific example of the virtual object image which reduced the display size 透過度を変更した仮想物体画像の具体例を示す図The figure which shows the specific example of the virtual object image which changed the transparency 本来の仮想物体画像の代わりに表示する代替の仮想物体画像の具体例を示す図The figure which shows the specific example of the alternative virtual object image displayed instead of an original virtual object image 本発明の第一の実施の形態における画像表示装置の処理を示すフローチャートThe flowchart which shows the process of the image display apparatus in 1st embodiment of this invention. 本発明の第一の実施の形態における画像表示装置によって提示される合成画像の具体例を示す図The figure which shows the specific example of the synthesized image shown by the image display apparatus in 1st embodiment of this invention. 本発明の第二の実施の形態における画像表示装置の機能構成を示す図The figure which shows the function structure of the image display apparatus in 2nd embodiment of this invention. 本発明の第三の実施の形態における画像表示装置の機能構成を示す図The figure which shows the function structure of the image display apparatus in 3rd embodiment of this invention.

（実施の形態１）本発明の第一の実施の形態を図面を参照して詳細に説明する。図１は本発明の第一の実施の形態の画像表示装置の機能構成を示す図である。 (Embodiment 1) A first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram showing a functional configuration of the image display apparatus according to the first embodiment of the present invention.

カメラ１０１は、画像表示装置に搭載され、画像表示装置を利用する利用者の視点から見える現実空間の画像を撮像する。また、撮像時には事前に設定された焦点距離、画角などの撮像パラメータが使用される。カメラ１０１は、現実空間画像と撮像パラメータとを出力する。 The camera 101 is mounted on an image display device and captures an image of a real space that can be seen from the viewpoint of a user who uses the image display device. In addition, imaging parameters such as a focal length and a field angle set in advance are used at the time of imaging. The camera 101 outputs a real space image and imaging parameters.

図２はカメラ１０１によって撮像された現実空間画像の例を示す。現実空間には接近してくる車２０１と地下鉄乗り場への入り口２０２があり、これらが現実空間画像として撮像されている。 FIG. 2 shows an example of a real space image captured by the camera 101. In the real space, there are an approaching car 201 and an entrance 202 to the subway platform, and these are captured as real space images.

ＧＰＳ１０３は、画像表示装置に搭載され、現実空間における画像表示装置の３次元位置を測定し、出力する。 The GPS 103 is mounted on the image display device, and measures and outputs the three-dimensional position of the image display device in the real space.

電子コンパス１０２は、画像表示装置に搭載され、現実空間における画像表示装置の方位角を測定し、出力する。 The electronic compass 102 is mounted on the image display device, and measures and outputs the azimuth angle of the image display device in the real space.

加速度センサ１０４は、画像表示装置に搭載され、現実空間における画像表示装置の３次元加速度を測定し、出力する。 The acceleration sensor 104 is mounted on the image display device, and measures and outputs the three-dimensional acceleration of the image display device in the real space.

現実空間画像生成部１０５は、カメラ１０１から受信した現実空間画像を、後段の画像合成部１１２と、接近物検出部１１１とに出力する。 The real space image generation unit 105 outputs the real space image received from the camera 101 to the subsequent image composition unit 112 and the approaching object detection unit 111.

現実空間画像撮像領域取得部１０６は、ＧＰＳ１０３からの画像表示装置の３次元位置と、電子コンパス１０２からの画像表示装置の方位角と、加速度センサ１０４からの画像表示装置の３次元加速度と、カメラ１０１からの撮像パラメータとを受信し、これらの情報を統合して解析することにより、カメラ１０１が現実空間画像に撮像した空間領域を現実空間画像撮像領域情報として構築し、出力する。 The real space image capturing area acquisition unit 106 includes a three-dimensional position of the image display device from the GPS 103, an azimuth angle of the image display device from the electronic compass 102, a three-dimensional acceleration of the image display device from the acceleration sensor 104, and a camera. By receiving the imaging parameters from 101 and integrating and analyzing these pieces of information, the spatial area captured by the camera 101 in the real space image is constructed and output as real space image imaging area information.

現実空間画像撮像領域情報としては、例えば、現実空間画像撮像領域を錐体の空間領域であるとみなして撮像錐体領域とし、撮像錐体領域頂点位置と、撮像錐体領域の高さ方向の方位と、撮像錐体領域高さと、撮像錐体領域頂点角との組み合わせのように、カメラ１０１が撮像した現実空間の空間領域を一意に表すパラメータの組み合わせが用いられる。 As the real space image capturing area information, for example, the real space image capturing area is regarded as a space area of the cone, and is defined as the imaging cone area. The vertex position of the imaging cone area and the height direction of the imaging cone area A combination of parameters that uniquely represents the space area of the real space imaged by the camera 101 is used, such as a combination of an orientation, an imaging cone area height, and an imaging cone area vertex angle.

図３は現実空間画像撮像領域情報の具体例を説明する図である。ここでは、現実空間画像撮像領域情報として、撮像錐体領域頂点位置と、撮像錐体領域の高さ方向の方位と、撮像錐体領域高さと、撮像錐体領域頂点角との組み合わせを用いている。 FIG. 3 is a diagram illustrating a specific example of real space image capturing area information. Here, as the real space image imaging area information, a combination of the imaging cone area vertex position, the orientation in the height direction of the imaging cone area, the imaging cone area height, and the imaging cone area vertex angle is used. Yes.

図３において、撮像錐体領域の頂点である撮像錐体領域頂点位置Ｐはカメラ１０１の３次元位置に等しい。 In FIG. 3, the imaging cone region vertex position P, which is the vertex of the imaging cone region, is equal to the three-dimensional position of the camera 101.

撮像錐体領域の高さ方向の方位は、撮像錐体領域高さ方向方位パラメータθとφによって表され、角θはカメラ１０１の方位角に等しく、また、角φはカメラ１０１の仰角に等しい。カメラ１０１の仰角は、カメラ１０１の加速度情報を積分することで算出されるものである。 The orientation in the height direction of the imaging cone region is represented by the imaging cone region height direction orientation parameters θ and φ, where the angle θ is equal to the azimuth angle of the camera 101 and the angle φ is equal to the elevation angle of the camera 101. . The elevation angle of the camera 101 is calculated by integrating acceleration information of the camera 101.

撮像錐体領域高さは、撮像錐体領域高さＴ’で表される。撮像錐体領域高さＴ’は所定の距離で決定される。所定の距離とは、例えばカメラ１０１の焦点距離をＴとしてＴ’＝１．５×Ｔとなる距離のように、画像表示装置の利用者にとって回避を要する接近物が、撮像錐体領域内に含まれるような距離が設定される。 The imaging cone area height is represented by the imaging cone area height T ′. The imaging cone region height T ′ is determined at a predetermined distance. The predetermined distance is, for example, an approaching object that must be avoided by the user of the image display device in the imaging cone area, such as a distance T ′ = 1.5 × T where T is the focal length of the camera 101. The distance that is included is set.

撮像錐体領域頂点角は、撮像錐体領域頂点角αで表され、これはカメラ１０１の画角に等しい。 The imaging cone area vertex angle is represented by the imaging cone area vertex angle α, which is equal to the angle of view of the camera 101.

撮像錐体領域は図３の円錐の内側の空間領域であり、前記の撮像錐体領域頂点位置Ｐ、撮像錐体領域高さ方向方位パラメータθ、φ、撮像錐体領域高さＴ’と撮像錐体領域頂点角αとで定義される。 The imaging cone area is a space area inside the cone of FIG. 3, and the imaging cone area apex position P, imaging cone area height direction azimuth parameter θ, φ, imaging cone area height T ′ and imaging. It is defined by the cone region apex angle α.

仮想物体データベース１０９は、現実空間画像に重畳して表示する仮想物体の表示情報を記憶しており、利用者の要求に応じて仮想物体の表示情報を出力する。 The virtual object database 109 stores virtual object display information to be displayed superimposed on the real space image, and outputs the virtual object display information in response to a user request.

仮想物体の表示情報としては、例えば、仮想物体を現実空間に重畳して表示する際の表示基準位置を示す３次元位置情報と、仮想物体を表示する際の表示サイズ情報と、現実空間に重畳表示する表示イメージデータとの組み合わせのように、仮想物体を現実空間に重畳して表示する際に必要なパラメータの組み合わせが用いられる。 As the display information of the virtual object, for example, the three-dimensional position information indicating the display reference position when the virtual object is superimposed and displayed in the real space, the display size information when displaying the virtual object, and the real object are superimposed. Like a combination with display image data to be displayed, a combination of parameters necessary for displaying a virtual object superimposed on the real space is used.

図４は仮想物体データベース１０９が保持する仮想物体の表示情報の例を示す図である。図４が示す仮想物体４０１は、表示位置として北緯２０度２５分３１秒、東経１３６度４分１１秒、高度５０ｍ、表示サイズとして幅１５０ピクセル、高さ５０ピクセル、表示イメージデータとして画像データ４０２が指定されている。 FIG. 4 is a diagram illustrating an example of virtual object display information held in the virtual object database 109. A virtual object 401 shown in FIG. 4 has a display position of 20 degrees 25 minutes 31 seconds north, 136 degrees 4 minutes 11 seconds east longitude, an altitude 50 m, a display size 150 pixels wide, a height 50 pixels, and display image data 402 Is specified.

なお、上記説明においては、仮想物体データベース１０９は仮想物体の表示イメージデータとして画像データを保持しているが、これには限定されない。すなわち、仮想物体の表示情報として別途テキスト情報を合わせて保持し、前記テキスト情報をレンダリングした画像を表示イメージデータとして用いてもよい。 In the above description, the virtual object database 109 holds image data as display image data of a virtual object, but is not limited to this. In other words, text information may be separately stored as virtual object display information, and an image obtained by rendering the text information may be used as display image data.

表示対象仮想物体検索部１１０は、仮想物体データベース１０９からの仮想物体の表示情報と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを受信し、現実空間画像撮像領域内に表示可能な仮想物体を検索し、表示可能な仮想物体の表示情報を表示対象仮想物体の表示情報として出力する。 The display target virtual object search unit 110 receives the display information of the virtual object from the virtual object database 109 and the real space image imaging area information from the real space image imaging area acquisition unit 106, and enters the real space image imaging area. A displayable virtual object is searched, and display information of the displayable virtual object is output as display information of the display target virtual object.

具体的には、仮想物体の表示基準位置が、現実空間画像撮像領域情報の示す空間領域の内部に位置する場合は、前記仮想物体を表示可能な仮想物体と判定する。 Specifically, when the display reference position of the virtual object is located inside the space area indicated by the real space image capturing area information, the virtual object is determined as a displayable virtual object.

画像表示装置位置姿勢取得部１０７は、ＧＰＳ１０３からの画像表示装置の３次元位置と、電子コンパス１０２からの画像表示装置の方位角と、加速度センサ１０４からの画像表示装置の３次元加速度とから、画像表示装置の３次元位置と３次元姿勢情報を解析し、出力する。 The image display device position / orientation acquisition unit 107 is based on the three-dimensional position of the image display device from the GPS 103, the azimuth angle of the image display device from the electronic compass 102, and the three-dimensional acceleration of the image display device from the acceleration sensor 104. Analyzes and outputs the 3D position and 3D posture information of the image display device.

画像表示装置速度取得部１０８は、ＧＰＳ１０３からの画像表示装置の３次元位置と、加速度センサ１０４からの画像表示装置の３次元加速度とから、画像表示装置の３次元速度を解析し、出力する。 The image display device speed acquisition unit 108 analyzes and outputs the three-dimensional speed of the image display device from the three-dimensional position of the image display device from the GPS 103 and the three-dimensional acceleration of the image display device from the acceleration sensor 104.

接近物検出部１１１は、現実空間画像生成部１０５からの現実空間画像と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを受信し、撮像時刻の異なる複数の現実空間画像を画像解析することで、現実空間内において画像表示装置に接近する物体を検出し、さらに、画像表示装置位置姿勢取得部１０７からの画像表示装置の位置姿勢と、画像表示装置速度取得部１０８からの画像表示装置の速度とを受信し、前記検出された接近物の中から、利用者にとって衝突の危険性が高い物体を検出し、接近物情報として出力する。なお、画像解析によって接近物を検出する技術については周知の技術であるので、これについての詳細な説明は省略する。 The approaching object detection unit 111 receives the real space image from the real space image generation unit 105 and the real space image imaging region information from the real space image imaging region acquisition unit 106, and a plurality of real space images having different imaging times. By analyzing the image, an object approaching the image display device in the real space is detected, and the position and orientation of the image display device from the image display device position and orientation acquisition unit 107 and the image display device speed acquisition unit 108 are detected. And detecting an object having a high risk of collision for the user from the detected approaching objects, and outputting the approaching object information. Since the technique for detecting an approaching object by image analysis is a well-known technique, a detailed description thereof will be omitted.

接近物情報としては、例えば、接近物の現実空間内における３次元位置情報と、接近物の現実空間内における３次元速度情報と、接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報との組み合わせのように、接近物の現実空間内における位置と速度、および、現実空間画像内における表示領域とその移動を一意に表すパラメータの組み合わせが用いられる。 The approaching object information includes, for example, three-dimensional position information of the approaching object in the real space, three-dimensional velocity information of the approaching object in the real space, a display area in the real space image of the approaching object, and the reality of the approaching object. Like the combination with the moving direction information of the display area in the spatial image, the combination of the position and speed of the approaching object in the real space and the parameter that uniquely represents the display area and the movement in the real space image is used. .

接近物検出部１１１が検出した接近物が利用者にとって衝突の危険性が高いか否かを判断する方法として、例えば次のような条件を用いればよい。 For example, the following conditions may be used as a method for determining whether the approaching object detected by the approaching object detection unit 111 has a high risk of collision for the user.

条件：接近物と画像表示装置との衝突予測時刻が所定の閾値以内である。 Condition: The predicted collision time between the approaching object and the image display device is within a predetermined threshold.

所定の閾値としては、現在時刻から１０秒、というように、利用者が余裕をもって接近物を回避することができるような時間が設定される。 The predetermined threshold is set to a time that allows the user to avoid an approaching object with a margin, such as 10 seconds from the current time.

この条件が満たされているか否かの判定をするためには、例えば次のような方法を用いればよい。すなわち、まず、接近物の３次元位置情報と、画像表示装置の３次元位置情報とから、２地点のユークリッド距離を計算する。次に、接近物の３次元速度情報と、画像表示装置の３次元速度情報とから、画像表示装置に対する接近物の相対的な速度を算出する。次に、前記ユークリッド距離を、前記接近物の相対的な速度で除算することで、接近物と画像表示装置が衝突するまでの予測時刻を算出し、これと閾値とを比較し、予測時刻の方が早ければ接近物が利用者にとって衝突の危険性が高いと判定する。 In order to determine whether or not this condition is satisfied, for example, the following method may be used. That is, first, the Euclidean distance between two points is calculated from the three-dimensional position information of the approaching object and the three-dimensional position information of the image display device. Next, the relative speed of the approaching object with respect to the image display device is calculated from the three-dimensional speed information of the approaching object and the three-dimensional speed information of the image display device. Next, by dividing the Euclidean distance by the relative speed of the approaching object, a predicted time until the approaching object and the image display device collide is calculated, and this is compared with a threshold value. If it is earlier, it is determined that the approaching object has a high risk of collision for the user.

図５は図２で示す現実環境において検出された危険な接近物の例を示す図である。ここでは、接近してくる車２０１が接近物として検出され、接近物情報として現実空間内での接近物の３次元の位置情報である３次元位置情報Ｐと、現実空間内での接近物の３次元の速度情報である３次元速さ情報Ｖｒ及び３次元向き情報Ｄと、現実空間画像内における接近物の表示領域である接近物表示領域Ｒａ（図５の矩形の領域）と、現実空間画像内における接近物の移動方向Ｖｉとが図中に示されている。 FIG. 5 is a diagram showing an example of a dangerous approaching object detected in the real environment shown in FIG. Here, the approaching vehicle 201 is detected as an approaching object, and as approaching object information, the three-dimensional position information P that is the three-dimensional position information of the approaching object in the real space and the approaching object in the real space are displayed. Three-dimensional speed information Vr and three-dimensional orientation information D, which are three-dimensional velocity information, an approaching object display area Ra (rectangular area in FIG. 5), which is a display area of an approaching object in the real space image, and real space The moving direction Vi of the approaching object in the image is shown in the figure.

仮想物体画像変更部１１４は、接近物可視性判定部１１７と、仮想物体表示位置変更部１１６と、仮想物体付加画像生成部１１５とを内包している。 The virtual object image changing unit 114 includes an approaching object visibility determining unit 117, a virtual object display position changing unit 116, and a virtual object additional image generating unit 115.

仮想物体画像変更部１１４は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物可視性判定部１１７と、仮想物体表示位置変更部１１６とを用いることで接近物が仮想物体によって隠蔽されるような場合にも、接近物の可視性を向上するように仮想物体画像を変更し、出力する。さらに仮想物体付加画像生成部１１５を用いることで、利用者がより効果的に仮想物体を認識できるような付加画像を生成し、これを仮想物体画像と合わせて出力する。 The virtual object image change unit 114 receives the display information of the display target virtual object from the display target virtual object search unit 110 and the approaching object information from the approaching object detection unit 111, and the approaching object visibility determination unit 117; Even when the approaching object is hidden by the virtual object by using the virtual object display position changing unit 116, the virtual object image is changed and output so as to improve the visibility of the approaching object. Furthermore, by using the virtual object additional image generation unit 115, an additional image that allows the user to more effectively recognize the virtual object is generated, and this is output together with the virtual object image.

接近物可視性判定部１１７は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物が仮想物体によって隠蔽されず、利用者が十分に接近物を見ることができるか否かを判定する。 The approaching object visibility determination unit 117 receives display information of the display target virtual object from the display target virtual object search unit 110 and approaching object information from the approaching object detection unit 111, and the approaching object is concealed by the virtual object. First, it is determined whether or not the user can sufficiently see the approaching object.

図６は判定方法の具体例を示す図である。図６（ａ）は現実空間画像であり、接近してくる車２０１が接近物として検出され、その表示領域である接近物表示領域Ｒａを示している。また、図６（ｂ）は仮想物体画像の表示例であり、仮想物体６０１が表示され、その表示領域である仮想物体表示領域Ｒｖを示している。図６（ｃ）は接近物と仮想物体とを重畳して表示した際の重複表示領域を示している。 FIG. 6 is a diagram showing a specific example of the determination method. FIG. 6A is a real space image, and shows an approaching object display area Ra that is a display area of the approaching car 201 detected as an approaching object. FIG. 6B shows a display example of a virtual object image, in which a virtual object 601 is displayed and a virtual object display area Rv that is a display area thereof is shown. FIG. 6C shows an overlapping display area when an approaching object and a virtual object are displayed in a superimposed manner.

ここでは、接近物表示領域Ｒａから算出される表示面積である接近物表示面積Ｓａと、接近物表示領域Ｒａと表示対象仮想物体の仮想物体表示領域Ｒｖとが重複して表示される領域Ｒｈの表示面積Ｓｈとを比較し、接近物表示面積Ｓａに対して重複表示領域の表示面積Ｓｈが所定の閾値を下回ることで接近物が可視であると判定する。閾値としては、例えば３０％のように、利用者が接近物との衝突回避行動を取るために、利用者が接近物を容易に発見しやすくなるような割合が設定される。 Here, the approaching object display area Sa, which is a display area calculated from the approaching object display area Ra, and the area Rh in which the approaching object display area Ra and the virtual object display area Rv of the display target virtual object are displayed in an overlapping manner are displayed. The display area Sh is compared, and it is determined that the approaching object is visible when the display area Sh of the overlapping display region is below a predetermined threshold with respect to the approaching object display area Sa. As the threshold value, for example, 30% is set such that the user can easily find an approaching object so that the user can take a collision avoidance action with the approaching object.

なお、上記説明においては、可視性判定のための閾値を、接近物の状態によらず常に一定の値としているが、これには限定されない。すなわち、接近物と画像表示装置の距離や、接近物と画像表示装置の相対速度に応じて閾値を変えてもよい。この方法によれば、近くにある接近物や、急速に近づいてくる接近物を、利用者がより発見しやすくなるように選択的に提示することができる。 In the above description, the threshold for determining the visibility is always a constant value regardless of the state of the approaching object, but is not limited to this. That is, the threshold value may be changed according to the distance between the approaching object and the image display device and the relative speed between the approaching object and the image display device. According to this method, it is possible to selectively present a nearby approaching object or an approaching object approaching rapidly so that the user can more easily find it.

また、上記説明においては、可視性判定のための閾値を、接近物の物体種別によらず常に一定の値としているが、これにも限定されない。すなわち、接近物の物体種別に応じて閾値を変えてもよい。この場合、利用者が予め指定した優先的に見たい物体や、緊急車両のような注意を要するものを、利用者がより発見しやすくなるように選択的に提示することができる。 In the above description, the threshold value for determining the visibility is always a constant value regardless of the object type of the approaching object, but is not limited thereto. That is, the threshold value may be changed according to the object type of the approaching object. In this case, it is possible to selectively present an object that the user wants to see in advance and an object that requires attention, such as an emergency vehicle, so that the user can easily find it.

仮想物体表示位置変更部１１６は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物可視性を改善するように仮想物体の表示位置を変更し、変更後の仮想物体の表示情報を出力する。 The virtual object display position changing unit 116 receives the display information of the display target virtual object from the display target virtual object search unit 110 and the approaching object information from the approaching object detection unit 111 so as to improve the approaching object visibility. The display position of the virtual object is changed, and the display information of the virtual object after the change is output.

図７は仮想物体の表示位置の変更方法の具体例を示す図である。図７（ａ）は仮想物体の表示位置変更前の状態を示す図である。ここでは、仮想物体表示領域Ｒｖ、接近物表示領域Ｒａが示されており、接近物検出部１１１からの接近物情報に基づき、接近物表示領域Ｒａは移動方向Ｖｉの方向に移動している。 FIG. 7 is a diagram showing a specific example of a method for changing the display position of the virtual object. FIG. 7A is a diagram illustrating a state before the display position of the virtual object is changed. Here, a virtual object display area Rv and an approaching object display area Ra are shown, and the approaching object display area Ra moves in the moving direction Vi based on approaching object information from the approaching object detection unit 111.

図７（ｂ）は仮想物体の表示位置変更後の状態を示す図であり、変更後の仮想物体表示領域Ｒｖ’が示されている。ここでは、接近物表示領域Ｒａの移動方向Ｖｉの逆方向であるＶｉ’＝−Ｖｉを仮想物体の表示位置移動方向とし、前記表示位置移動方向に沿って、仮想物体の表示位置を所定の移動量だけ移動させることで、仮想物体の表示位置を変更している。 FIG. 7B is a diagram showing a state after the display position of the virtual object is changed, and shows the virtual object display region Rv ′ after the change. Here, Vi ′ = − Vi, which is the reverse direction of the moving direction Vi of the approaching object display area Ra, is set as the virtual object display position moving direction, and the display position of the virtual object is moved a predetermined amount along the display position moving direction. The display position of the virtual object is changed by moving it by an amount.

所定の移動量としては、例えば仮想物体表示領域Ｒｖの高さｈの１／２のように、仮想物体の表示位置の移動によって接近物の表示面積が増大し、かつ、仮想物体の表示位置の移動量ができるだけ小さくなるような移動量が設定される。 As the predetermined movement amount, for example, the display area of the approaching object increases due to the movement of the display position of the virtual object, such as ½ of the height h of the virtual object display area Rv, and the display position of the virtual object A movement amount is set such that the movement amount is as small as possible.

仮想物体付加画像生成部１１５は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、仮想物体表示位置変更部１１６からの変更された仮想物体の表示情報とを受信し、仮想物体の表示情報が変更されたことを利用者に明示的に示すための付加的な画像を生成し、出力する。 The virtual object additional image generation unit 115 receives the display information of the display target virtual object from the display target virtual object search unit 110 and the display information of the changed virtual object from the virtual object display position change unit 116, and An additional image for explicitly indicating to the user that the display information of the object has been changed is generated and output.

図８は仮想物体の表示位置が変更されたことを示すための付加的な画像の具体例を示す図である。図８（ａ）は仮想物体の表示位置変更前の状態を示す図である。この図では、仮想物体８０１は表示基準位置Ｐｖを基点として表示されている。図８（ｂ）は仮想物体の表示位置変更後の状態を示す図である。この図では、表示位置の変更された仮想物体８０２が示されており、表示基準位置はＰｖ’に移動している。ここでは、仮想物体付加画像生成部１１５は、表示位置変更後の仮想物体の表示基準位置Ｐｖ’を基点として、元の表示基準位置Ｐｖを指す矢印状の引き出し線の画像８０３を生成する。 FIG. 8 is a diagram showing a specific example of an additional image for indicating that the display position of the virtual object has been changed. FIG. 8A is a diagram illustrating a state before the display position of the virtual object is changed. In this figure, the virtual object 801 is displayed with the display reference position Pv as a base point. FIG. 8B is a diagram illustrating a state after changing the display position of the virtual object. In this figure, the virtual object 802 whose display position has been changed is shown, and the display reference position has moved to Pv ′. Here, the virtual object additional image generation unit 115 generates an arrow-shaped lead line image 803 that points to the original display reference position Pv with the display reference position Pv ′ of the virtual object after the display position is changed as a base point.

なお、上記説明においては、仮想物体付加画像として矢印状の引き出し線の画像を生成しているが、これには限定されない。すなわち、仮想物体の表示位置が変更したことを示す一連のアニメーションを生成してもよい。 In the above description, an arrow-shaped leader line image is generated as the virtual object addition image, but the present invention is not limited to this. That is, a series of animations indicating that the display position of the virtual object has changed may be generated.

図９は仮想物体の表示位置が変更されたこと示すための付加的な画像として生成した、一連のアニメーション画像の具体例を示す図である。図９（ａ）は仮想物体の表示位置変更前の状態を示す図であり、ここでは、仮想物体９０１が示されている。図９（ｂ）は仮想物体の表示位置変更後の状態を示す図である。この図では、表示位置の変更された仮想物体９０２が示されている。ここでは、仮想物体付加画像生成部１１５は、表示位置変更後の仮想物体９０２の表示位置と元の仮想物体９０１の表示位置との間を補完する仮想物体付加画像９０３および９０４を生成する。 FIG. 9 is a diagram showing a specific example of a series of animation images generated as an additional image for indicating that the display position of the virtual object has been changed. FIG. 9A is a diagram showing a state before the display position of the virtual object is changed. Here, a virtual object 901 is shown. FIG. 9B is a diagram illustrating a state after changing the display position of the virtual object. In this figure, a virtual object 902 whose display position has been changed is shown. Here, the virtual object addition image generation unit 115 generates virtual object addition images 903 and 904 that complement the display position of the virtual object 902 after the display position change and the display position of the original virtual object 901.

図１０は仮想物体画像の変更処理を説明するフローチャートである。まず、接近物可視性判定部１１７は、接近物検出部１１１からの接近物情報を受信し、接近物表示領域の面積を算出する（ステップＳ１００１）。 FIG. 10 is a flowchart for explaining the virtual object image changing process. First, the approaching object visibility determination unit 117 receives approaching object information from the approaching object detection unit 111 and calculates the area of the approaching object display region (step S1001).

次に、接近物可視性判定部１１７は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物と仮想物体の表示重複領域の面積を算出する（ステップＳ１００２）。 Next, the approaching object visibility determination unit 117 receives the display information of the display target virtual object from the display target virtual object search unit 110 and the approaching object information from the approaching object detection unit 111, and approaches the approaching object and the virtual object. Is calculated (step S1002).

次に、接近物可視性判定部１１７は、ステップＳ１００１で算出した接近物表示領域の面積と、ステップＳ１００２で算出した表示重複領域の面積とから、接近物の可視性を判定する（ステップＳ１００３）。 Next, the approaching object visibility determination unit 117 determines the visibility of the approaching object from the area of the approaching object display area calculated in step S1001 and the area of the display overlap area calculated in step S1002 (step S1003). .

接近物が可視性なしと判定された場合（ステップＳ１００３のＮｏ）、仮想物体表示位置変更部１１６は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、仮想物体の表示位置を変更する（ステップＳ１００６）。 When it is determined that the approaching object is not visible (No in step S1003), the virtual object display position changing unit 116 displays the display target virtual object display information from the display target virtual object search unit 110 and the approaching object detection unit 111. And the display position of the virtual object is changed (step S1006).

ステップＳ１００６で仮想物体の表示位置を変更したのち、再びステップＳ１００２に戻る。 After changing the display position of the virtual object in step S1006, the process returns to step S1002.

接近物が可視性ありと判定された場合（ステップＳ１００３のＹｅｓ）、仮想物体画像変更部１１４は、仮想物体表示位置変更部１１６によって変更された仮想物体の表示情報を出力する（ステップＳ１００４）。 When it is determined that the approaching object is visible (Yes in step S1003), the virtual object image changing unit 114 outputs the display information of the virtual object changed by the virtual object display position changing unit 116 (step S1004).

次に、仮想物体付加画像生成部１１５は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、仮想物体表示位置変更部１１６からの変更された仮想物体の表示情報とを受信し、仮想物体の表示情報が変更されたことを利用者に明示的に示すための付加的な画像を生成し、出力する（ステップＳ１００５）。 Next, the virtual object additional image generation unit 115 receives the display information of the display target virtual object from the display target virtual object search unit 110 and the display information of the changed virtual object from the virtual object display position change unit 116. Then, an additional image for explicitly indicating to the user that the display information of the virtual object has been changed is generated and output (step S1005).

図１１は、図２で示す現実空間画像に、図４で示す仮想物体を重畳表示する際に、図１０で示す一連の処理を適用した場合の表示位置を変更された仮想物体画像１１０１と、その付加的な画像１１０２を示している。 11 shows a virtual object image 1101 whose display position is changed when the series of processing shown in FIG. 10 is applied when the virtual object shown in FIG. 4 is superimposed on the real space image shown in FIG. The additional image 1102 is shown.

なお、上記説明においては、仮想物体画像の変更方法として仮想物体画像の表示位置だけを変更しているが、これには限定されない。すなわち、仮想物体画像の変更方法として、仮想物体画像の表示サイズを変更してもよい。 In the above description, only the display position of the virtual object image is changed as a method of changing the virtual object image, but the present invention is not limited to this. That is, as a method for changing the virtual object image, the display size of the virtual object image may be changed.

この方法によれば、仮想物体画像の表示位置は変更されないので、表示される位置が重要な意味を持つ案内表示などの仮想物体画像の意味を損ねることなく、仮想物体画像を表示することができる。図１２は、この方法に基づいて表示サイズを縮小した仮想物体画像１２０１を示している。 According to this method, since the display position of the virtual object image is not changed, the virtual object image can be displayed without impairing the meaning of the virtual object image such as guidance display in which the displayed position has an important meaning. . FIG. 12 shows a virtual object image 1201 with a reduced display size based on this method.

また、仮想物体画像の変更方法として、仮想物体画像の一部もしくは全ての透過度を変更してもよい。この方法によれば、仮想物体画像の表示サイズは変更されないので、表示される仮想物体画像が縮小されすぎて見づらくなることを避けつつ、仮想物体画像と接近物の両方を利用者に提示することができる。図１３は、この方法に基づいて透過度を変更した仮想物体画像１３０１を示している。 Further, as a method for changing the virtual object image, a part or all of the transparency of the virtual object image may be changed. According to this method, since the display size of the virtual object image is not changed, it is possible to present both the virtual object image and the approaching object to the user while avoiding the displayed virtual object image being too small to be difficult to see. Can do. FIG. 13 shows a virtual object image 1301 in which the transparency is changed based on this method.

また、仮想物体画像の変更方法として、仮想物体画像そのものを表示せず、その代替画像を表示するように変更し、利用者からの要求があった場合に、代替画像から本来の仮想物体画像に切り替えて表示してもよい。この方法によれば、本来の仮想物体画像は表示されなくなるが、仮想物体画像が存在していることを利用者に分かりやすく提示することができるため、利用者は接近物の存在と、仮想物体画像の存在の両方を認識することができる。図１４は、この方法に基づいて本来の仮想物体画像の代わりに表示された代替の仮想物体画像１４０１を示している。 In addition, as a method for changing the virtual object image, the virtual object image itself is not displayed but the substitute image is changed to be displayed, and when the user requests, the substitute image is changed to the original virtual object image. You may switch and display. According to this method, the original virtual object image is not displayed, but since the user can easily understand that the virtual object image exists, the user can determine the presence of the approaching object and the virtual object. Both the presence of the image can be recognized. FIG. 14 shows an alternative virtual object image 1401 displayed instead of the original virtual object image based on this method.

仮想物体画像生成部１１３は、仮想物体画像変更部１１４からの仮想物体表示情報と仮想物体付加画像とを受信し、それぞれの仮想物体の表示位置にそれぞれの仮想物体の表示イメージデータを配置し、さらに仮想物体付加画像とを合わせた１枚の仮想物体画像を生成し、出力する。仮想物体の表示イメージデータまたは仮想物体付加画像が存在しない画素には所定の透過色を設定しておく。これにより、後段の合成処理の処理負荷を軽減させることができる。 The virtual object image generation unit 113 receives the virtual object display information and the virtual object additional image from the virtual object image change unit 114, arranges display image data of each virtual object at the display position of each virtual object, Furthermore, one virtual object image combined with the virtual object addition image is generated and output. A predetermined transparent color is set for pixels in which virtual object display image data or virtual object-added images do not exist. As a result, the processing load of the subsequent synthesis process can be reduced.

画像合成部１１２は、現実空間画像生成部１０５からの現実空間画像と、仮想物体画像生成部１１３からの仮想物体画像とを受信し、現実空間画像上に仮想物体画像を重畳して合成することで、合成画像を生成し、出力する。仮想物体画像を合成する際に、所定の透過色の設定された画素は透過合成処理を省略し、現実空間画像上の画素を表示する。 The image composition unit 112 receives the real space image from the real space image generation unit 105 and the virtual object image from the virtual object image generation unit 113, and superimposes the virtual object image on the real space image and combines them. Then, a composite image is generated and output. When the virtual object image is synthesized, the pixel with the predetermined transmission color is omitted from the transmission synthesis process, and the pixel on the real space image is displayed.

画像表示部１１８は、画像合成部１１２からの合成画像を受信し、表示装置に合成画像を表示する。 The image display unit 118 receives the composite image from the image composition unit 112 and displays the composite image on the display device.

図１５は画像表示装置に画像を表示する一連の処理を示すフローチャートである。まず、現実空間画像生成部１０５は、カメラ１０１から受信した現実空間画像を、後段の画像合成部１１２と、接近物検出部１１１とに出力する（ステップＳ１５０１）。 FIG. 15 is a flowchart showing a series of processes for displaying an image on the image display apparatus. First, the real space image generation unit 105 outputs the real space image received from the camera 101 to the subsequent image composition unit 112 and the approaching object detection unit 111 (step S1501).

次に、現実空間画像撮像領域取得部１０６は、ＧＰＳ１０３からのカメラ１０１の３次元位置と、電子コンパス１０２からのカメラ１０１の撮像方位角と、加速度センサ１０４からのカメラ１０１の加速度情報と、カメラ１０１からの撮像パラメータとを受信し、これらの情報を統合することにより、カメラ１０１が現実空間画像に撮像した空間領域を現実空間画像撮像領域情報として構築し、出力する（ステップＳ１５０２）。 Next, the real space image imaging area acquisition unit 106 includes a three-dimensional position of the camera 101 from the GPS 103, an imaging azimuth angle of the camera 101 from the electronic compass 102, acceleration information of the camera 101 from the acceleration sensor 104, and a camera. By receiving the imaging parameters from 101 and integrating these pieces of information, the spatial area captured by the camera 101 in the real space image is constructed and output as real space image imaging area information (step S1502).

次に、画像表示装置位置姿勢取得部１０７は、ＧＰＳ１０３からの画像表示装置の３次元位置と、電子コンパス１０２からの画像表示装置の方位角と、加速度センサ１０４からの画像表示装置の３次元加速度とから、画像表示装置の３次元位置と３次元姿勢情報を解析し、出力する（ステップＳ１５０３）。 Next, the image display device position / orientation acquisition unit 107 receives the three-dimensional position of the image display device from the GPS 103, the azimuth of the image display device from the electronic compass 102, and the three-dimensional acceleration of the image display device from the acceleration sensor 104. From the above, the 3D position and 3D posture information of the image display device are analyzed and output (step S1503).

次に、画像表示装置速度取得部１０８は、ＧＰＳ１０３からの画像表示装置の３次元位置と、加速度センサ１０４からの画像表示装置の３次元加速度とから画像表示装置の３次元速度を解析し、出力する（ステップＳ１５０４）。 Next, the image display device speed acquisition unit 108 analyzes the three-dimensional speed of the image display device from the three-dimensional position of the image display device from the GPS 103 and the three-dimensional acceleration of the image display device from the acceleration sensor 104, and outputs the result. (Step S1504).

次に、表示対象仮想物体検索部１１０は、仮想物体データベース１０９からの仮想物体の表示情報と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを受信し、現実空間画像撮像領域内に表示可能な仮想物体を検索し、
表示可能な仮想物体の表示情報を表示対象仮想物体の表示情報として出力する（ステップＳ１５０５）。 Next, the display target virtual object search unit 110 receives the virtual object display information from the virtual object database 109 and the real space image imaging region information from the real space image imaging region acquisition unit 106, and captures the real space image. Search for virtual objects that can be displayed in the area,
The display information of the displayable virtual object is output as the display information of the display target virtual object (step S1505).

次に、接近物検出部１１１は、現実空間画像生成部１０５からの現実空間画像を受信し、
撮像時刻の異なる複数の現実空間画像を画像解析することで、現実空間内において画像表示装置に接近する物体を検出し、さらに、画像表示装置位置姿勢取得部１０７からの画像表示装置の位置姿勢と、画像表示装置速度取得部１０８からの画像表示装置の速度とから、
接近物検出部１１１において検出された接近物の中から、利用者にとって衝突の危険性が高い物体を検出し、接近物情報として出力する（ステップＳ１５０６）。 Next, the approaching object detection unit 111 receives the real space image from the real space image generation unit 105, and
By analyzing a plurality of real space images with different imaging times, an object approaching the image display device in the real space is detected, and the position and orientation of the image display device from the image display device position and orientation acquisition unit 107 are detected. From the speed of the image display device from the image display device speed acquisition unit 108,
From the approaching objects detected by the approaching object detection unit 111, an object having a high risk of collision for the user is detected and output as approaching object information (step S1506).

次に、仮想物体画像変更部１１４は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物可視性判定部１１７と、仮想物体表示位置変更部１１６とを用いることで接近物が仮想物体によって隠蔽されるような場合にも、接近物の視認性を向上するように仮想物体画像を変更し、出力する。さらに仮想物体付加画像生成部１１５を用いることで、利用者が仮想物体をより効果的に認識できるような付加画像を生成し、これを仮想物体画像と合わせて出力する（ステップＳ１５０７）。 Next, the virtual object image changing unit 114 receives the display information of the display target virtual object from the display target virtual object search unit 110 and the approaching object information from the approaching object detection unit 111, and the approaching object visibility determination unit Even when the approaching object is hidden by the virtual object by using 117 and the virtual object display position changing unit 116, the virtual object image is changed and output so as to improve the visibility of the approaching object. Further, by using the virtual object additional image generation unit 115, an additional image that allows the user to more effectively recognize the virtual object is generated, and this is combined with the virtual object image and output (step S1507).

次に、仮想物体画像生成部１１３は、仮想物体画像変更部１１４からの仮想物体表示情報と仮想物体付加画像とを受信し、仮想物体表示位置に仮想物体の表示イメージデータを配置し、さらに仮想物体付加画像とを合わせた１枚の仮想物体画像を生成し、出力する（ステップＳ１５０８）。 Next, the virtual object image generation unit 113 receives the virtual object display information and the virtual object addition image from the virtual object image change unit 114, arranges display image data of the virtual object at the virtual object display position, and further performs virtual One virtual object image combined with the object addition image is generated and output (step S1508).

次に、画像合成部１１２は、現実空間画像生成部１０５からの現実空間画像と、仮想物体画像生成部１１３からの仮想物体画像とを受信し、現実空間画像上に仮想物体画像を重畳して合成することで、合成画像を生成し、出力する（ステップＳ１５０９）。 Next, the image composition unit 112 receives the real space image from the real space image generation unit 105 and the virtual object image from the virtual object image generation unit 113, and superimposes the virtual object image on the real space image. By synthesizing, a synthesized image is generated and output (step S1509).

次に、画像表示部１１８は、画像合成部１１２からの合成画像を受信し、表示装置に合成画像を表示する（ステップＳ１５１０）。 Next, the image display unit 118 receives the composite image from the image composition unit 112 and displays the composite image on the display device (step S1510).

図１６は第一の実施の形態に示す方法によって表示される合成画像を示すものである。
この実施の形態に係る画像表示装置は、図１６（ａ）で示す現実空間画像に、図１６(ｂ)で示す仮想物体表示画像を重畳合成し、図１６（ｃ）で示す合成画像を画像表示装置に表示する。 FIG. 16 shows a composite image displayed by the method shown in the first embodiment.
The image display apparatus according to this embodiment superimposes and combines the virtual object display image shown in FIG. 16B on the real space image shown in FIG. 16A, and the composite image shown in FIG. Display on the display device.

このように、第一の実施の形態に係る画像表示装置では、仮想物体画像を現実空間画像に重畳して表示する際に、接近物検出部が検出した接近物を隠蔽しないように仮想物体画像を表示することができるため、利用者は容易に接近物を発見できるようになり、接近物との衝突の可能性を低減することができる。
（実施の形態２）本発明の第二の実施の形態を図面を参照して詳細に説明する。図１７は本発明の第二の実施の形態の画像表示装置の機能構成を示す図である。なお、図１、および、第一の実施の形態と共通する構成については同一の符号を付して示し、重複する説明は省略する。 As described above, in the image display device according to the first embodiment, when the virtual object image is superimposed on the real space image and displayed, the virtual object image is not concealed by the approaching object detected by the approaching object detection unit. Since the user can easily display an approaching object, the possibility of a collision with the approaching object can be reduced.
(Embodiment 2) A second embodiment of the present invention will be described in detail with reference to the drawings. FIG. 17 is a diagram showing a functional configuration of the image display apparatus according to the second embodiment of the present invention. In addition, about the structure which is common in FIG. 1 and 1st embodiment, the same code | symbol is attached | subjected and shown, and the overlapping description is abbreviate | omitted.

近接センサ１１９は、画像表示装置に搭載され、現実空間において画像表示装置に接近する物体の物体情報を出力する。物体情報としては、例えば、物体の３次元位置と、画像表示装置から見た物体の前面投影面の形状データとの組み合わせのように、当該物体が現実空間画像においてどの領域に表示されるかを解析できるようなパラメータの組み合わせが用いられる。 The proximity sensor 119 is mounted on the image display device and outputs object information of an object approaching the image display device in the real space. As the object information, for example, in which region the object is displayed in the real space image, such as a combination of the three-dimensional position of the object and the shape data of the front projection surface of the object viewed from the image display device. A combination of parameters that can be analyzed is used.

接近物検出部１１１は、近接センサ１１９からの接近物情報と、画像表示装置位置姿勢取得部１０７からの画像表示装置の位置姿勢と、画像表示装置速度取得部１０８からの画像表示装置の速度とを受信し、近接センサ１１９で検出された接近物の中から、利用者にとって衝突の危険性が高い物体を検出し、接近物情報として出力する。 The approaching object detection unit 111 includes approaching object information from the proximity sensor 119, the position and orientation of the image display device from the image display device position and orientation acquisition unit 107, and the speed of the image display device from the image display device speed acquisition unit 108. Are detected from the approaching object detected by the proximity sensor 119, and an object having a high risk of collision for the user is detected and output as approaching object information.

接近物検出部１１１は、近接センサ１１９から受信した接近物の３次元位置を時間微分することで接近物の３次元速度情報を取得する。接近物検出部１１１は、この３次元速度情報を用い、第一の実施の形態に記載の方法によって、検出した接近物が利用者にとって衝突の危険性が高いか否かを判断する。 The approaching object detection unit 111 obtains the three-dimensional velocity information of the approaching object by time-differentiating the three-dimensional position of the approaching object received from the proximity sensor 119. The approaching object detection unit 111 uses this three-dimensional velocity information to determine whether or not the detected approaching object has a high risk of collision for the user by the method described in the first embodiment.

また、第一の実施の形態に示す接近物情報のうち、接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報は、近接センサ１１９からの接近物情報と、現実空間画像生成部１０５からの現実空間画像と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを用いて幾何学的に解析できる。 In addition, in the approaching object information shown in the first embodiment, the display area in the real space image of the approaching object and the moving direction information of the display area in the real space image of the approaching object are the approaching information from the proximity sensor 119. The object information, the real space image from the real space image generation unit 105, and the real space image imaging region information from the real space image imaging region acquisition unit 106 can be used for geometric analysis.

この解析によって得られた接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報と、近接センサ１１９から得られた３次元位置情報と、前記３次元位置情報の時間微分によって得られた３次元速度情報とを合わせて接近物情報を構築し、利用者にとって衝突の危険性が高い物体の接近物情報として出力する。 The display area in the real space image of the approaching object obtained by this analysis, the moving direction information of the display area in the real space image of the approaching object, the three-dimensional position information obtained from the proximity sensor 119, and the three-dimensional The approaching object information is constructed by combining with the three-dimensional velocity information obtained by time differentiation of the position information, and is output as approaching object information of an object having a high risk of collision for the user.

このように、第二の実施の形態に係る画像表示装置では、接近物検出に近接センサを用いることで、画像解析では検出の難しい接近物をも検知することができるため、視界の良くない環境においても、第一の実施の形態と同等の効果を得ることができる。
（実施の形態３）本発明の第三の実施の形態を図面を参照して詳細に説明する。図１８は本発明の第三の実施の形態の画像表示装置の機能構成を示す図である。なお、図１、および、第二の実施の形態と共通する構成については同一の符号を付して示し、重複する説明は省略する。 As described above, in the image display device according to the second embodiment, by using a proximity sensor for detecting an approaching object, an approaching object that is difficult to detect by image analysis can be detected. In this case, the same effect as that of the first embodiment can be obtained.
(Embodiment 3) A third embodiment of the present invention will be described in detail with reference to the drawings. FIG. 18 is a diagram showing a functional configuration of the image display apparatus according to the third embodiment of the present invention. In addition, about the structure which is common in FIG. 1 and 2nd embodiment, the same code | symbol is attached | subjected and shown, and the overlapping description is abbreviate | omitted.

受信装置１２０は、画像表示装置に搭載され、現実空間において画像表示装置に接近する物体の物体情報を無線を介して受信し、後段の接近物検出部１１１に出力する。物体情報としては、例えば、物体の３次元位置と、物体の３次元形状データとの組み合わせのように、当該物体が現実空間画像においてどの領域に表示されるかを解析できるようなパラメータの組み合わせが用いられる。 The receiving device 120 is mounted on the image display device, receives the object information of the object approaching the image display device in the real space via wireless, and outputs the information to the approaching object detection unit 111 at the subsequent stage. As the object information, for example, a combination of parameters that can analyze in which area the object is displayed in the real space image, such as a combination of the three-dimensional position of the object and the three-dimensional shape data of the object. Used.

接近物検出部１１１は、受信装置１２０からの接近物情報と、画像表示装置位置姿勢取得部１０７からの画像表示装置の位置姿勢と、画像表示装置速度取得部１０８からの画像表示装置の速度とを受信し、受信装置１２０が受信した接近物情報の中から、利用者にとって衝突の危険性が高い物体を検出し、接近物情報として出力する。 The approaching object detection unit 111 includes approaching object information from the receiving device 120, the position and orientation of the image display device from the image display device position and orientation acquisition unit 107, and the speed of the image display device from the image display device speed acquisition unit 108. From the approaching object information received by the receiving device 120, an object with a high risk of collision for the user is detected and output as approaching object information.

接近物検出部１１１は、受信装置１２０が受信した接近物の３次元位置を時間微分することで接近物の３次元速度情報を取得する。接近物検出部１１１は、この３次元速度情報を用い、第一の実施形態に記載の方法によって、検出した接近物が利用者にとって衝突の危険性が高いか否かを判断する。 The approaching object detection unit 111 obtains the three-dimensional velocity information of the approaching object by time-differentiating the three-dimensional position of the approaching object received by the receiving device 120. The approaching object detection unit 111 uses this three-dimensional velocity information to determine whether the detected approaching object has a high risk of collision for the user by the method described in the first embodiment.

また、第一の実施の形態に示す接近物情報のうち、接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報は、受信装置１２０からの接近物情報と、現実空間画像生成部１０５からの現実空間画像と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを用いて幾何学的に解析できる。 Further, among the approaching object information shown in the first embodiment, the display area in the real space image of the approaching object and the moving direction information of the display area in the real space image of the approaching object are the approach from the receiving device 120. The object information, the real space image from the real space image generation unit 105, and the real space image imaging region information from the real space image imaging region acquisition unit 106 can be used for geometric analysis.

この解析によって得られた接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報と、受信装置１２０から得られた３次元位置情報と、前記３次元位置情報の時間微分によって得られた３次元速度情報とを合わせて接近物情報を構築し、利用者にとって衝突の危険性が高い物体の接近物情報として出力する。 The display area in the real space image of the approaching object obtained by this analysis, the moving direction information of the display area in the real space image of the approaching object, the three-dimensional position information obtained from the receiving device 120, and the three-dimensional The approaching object information is constructed by combining with the three-dimensional velocity information obtained by time differentiation of the position information, and is output as approaching object information of an object having a high risk of collision for the user.

このように、この実施形態に係る画像表示装置では、接近物検出に受信情報を用いることで、画像解析では検出のできない接近物をも検出することができるため、接近物が他の物体の影にあるような状況においても、第一の実施の形態と同等の効果を得ることができる。 As described above, in the image display device according to this embodiment, by using the reception information for approaching object detection, approaching objects that cannot be detected by image analysis can be detected. Even in such a situation, the same effect as that of the first embodiment can be obtained.

本発明に係る画像表示装置は、仮想物体の画像を表示しながら接近物をも発見しやすく提示することで、当該装置利用者と接近物との衝突回避を促すことが可能になるので、
画像表示装置等として有用である。 Since the image display apparatus according to the present invention presents an easy-to-find approaching object while displaying an image of a virtual object, it is possible to promote collision avoidance between the apparatus user and the approaching object.
It is useful as an image display device.

１０１カメラ
１０２電子コンパス
１０３ＧＰＳ
１０４加速度センサ
１０５現実空間画像生成部
１０６現実空間画像撮像領域取得部
１０７画像表示装置位置姿勢取得部
１０８画像表示装置速度取得部
１０９仮想物体データベース
１１０表示対象仮想物体検索部
１１１接近物検出部
１１２画像合成部
１１３仮想物体画像生成部
１１４仮想物体画像変更部
１１５仮想物体付加画像生成部
１１６仮想物体表示位置変更部
１１７接近物可視性判定部
１１８画像表示部
１１９近接センサ
１２０受信装置
２０１現実空間で接近してくる車
２０２現実空間にある地下鉄乗り場への入り口
４０１仮想物体データベースに保持された仮想物体表示情報の例
４０２仮想物体の表示イメージデータ
６０１仮想物体の表示例
８０１表示位置変更前の仮想物体画像
８０２表示位置変更後の仮想物体画像
８０３仮想物体付加画像の例
９０１表示位置変更前の仮想物体画像
９０２表示位置変更後の仮想物体画像
９０３仮想物体付加画像の例
９０４仮想物体付加画像の例
１１０１表示位置を変更された仮想物体画像
１１０２仮想物体付加画像
１２０１表示サイズを縮小した仮想物体画像
１３０１透過度を変更した仮想物体画像
１４０１仮想物体の代わりに表示された代替の仮想物体画像 101 Camera 102 Electronic compass 103 GPS
DESCRIPTION OF SYMBOLS 104 Acceleration sensor 105 Real space image generation part 106 Real space image imaging area acquisition part 107 Image display apparatus position and orientation acquisition part 108 Image display apparatus speed acquisition part 109 Virtual object database 110 Display target virtual object search part 111 Approaching object detection part 112 Image Compositing unit 113 Virtual object image generation unit 114 Virtual object image change unit 115 Virtual object additional image generation unit 116 Virtual object display position change unit 117 Approaching object visibility determination unit 118 Image display unit 119 Proximity sensor 120 Receiving device 201 Approach in real space Car 202 Coming into a subway platform in real space 401 Example of virtual object display information held in virtual object database 402 Display image data of virtual object 601 Display example of virtual object 801 Virtual object image before display position change 802 Display position change Virtual object image 803 Example of virtual object addition image 901 Virtual object image before display position change 902 Virtual object image after display position change 903 Example of virtual object addition image 904 Example of virtual object addition image 1101 Display position has been changed Virtual object image 1102 Virtual object additional image 1201 Virtual object image with reduced display size 1301 Virtual object image with changed transparency 1401 Alternative virtual object image displayed instead of virtual object

Claims

An image display device that detects an image of a real space and an image of a virtual object, an object approaching the image display device, and an image display area of the approaching object in the image display device When it is determined that the approaching object detection unit, the image display region of the approaching object detected by the approaching object detection unit, and the display region of the virtual object image in the image display unit overlap, An image display device comprising: a virtual object image changing unit that changes display in the image display unit.

The image display device according to claim 1, wherein the virtual object image changing unit rearranges the image of the virtual object at a position where the image display area of the approaching object detected by the approaching object detection unit is not hidden.

3. The image according to claim 1, wherein the virtual object image changing unit rearranges the image of the virtual object at a position that does not hide a display area in a traveling direction of the approaching object detected by the approaching object detection unit. Display device.

The virtual object image changing unit displays a lead line indicating a position before the change from the changed position when changing the display position of the image of the virtual object. The image display device according to item.

The image display device according to claim 1, wherein the virtual object image changing unit changes part or all of the transparency of the image of the virtual object.

The image display device according to claim 1, wherein the virtual object image changing unit displays the virtual object image by replacing it with an alternative image indicating the image of the virtual object.

The image display device according to claim 1, wherein the virtual object image changing unit changes a display size of an image of the virtual object.

The image display device according to claim 1, wherein the virtual object image change unit displays a change before and after the change of the image of the virtual object in a series of animations.

The image display device according to claim 1, wherein the virtual object image changing unit changes display of a virtual text image.

The virtual object image changing unit changes the display method of the virtual object according to the position, posture, and speed of the approaching object detected by the approaching object detection unit. The image display device described in 1.

The image according to any one of claims 1 to 10, wherein the virtual object image change unit changes a display method of the virtual object according to an object type of an approaching object detected by the approaching object detection unit. Display device.

The image display device according to claim 1, wherein the approaching object detection unit detects an approaching object by using a measurement value of a proximity sensor.

The image display device according to any one of claims 1 to 12, wherein the approaching object detection unit detects an approaching object by continuously analyzing an image of a real space.

The image display device according to claim 1, wherein the approaching object detection unit detects an approaching object by receiving position information or approaching information of another object.

An image display device position / orientation acquisition unit that acquires position information or posture information of the image display device; and an image display device speed acquisition unit that acquires a speed of the image display device. The method for detecting an approaching object is switched according to a relative positional relationship, a relative posture relationship, or a relative speed relationship between an apparatus and the approaching object. The image display device described.

An image display step for displaying a real space image and a virtual object image, an approaching object detection step for detecting an approaching object, and an approaching object image detected by the approaching object detection step in the image display step are acquired. The approaching object image acquisition step, and the display area of the approaching object image acquired in the approaching object image acquisition step and the image display area of the virtual object are determined to overlap, the image displayed in the image display step An image display method comprising: a virtual object image change step of changing an image display of the virtual object.

An image display step for displaying a real space image and a virtual object image, an approaching object detection step for detecting an approaching object, and an approaching object image detected by the approaching object detection step in the image display step are acquired. The approaching object image acquisition step, and the display area of the approaching object image acquired in the approaching object image acquisition step and the image display area of the virtual object are determined to overlap, the image displayed in the image display step An image display program comprising: a virtual object image changing step for changing an image display of a virtual object.