JP2007102079A

JP2007102079A - Video display system

Info

Publication number: JP2007102079A
Application number: JP2005294846A
Authority: JP
Inventors: Yasushi Ogino; 泰荻野
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-10-07
Filing date: 2005-10-07
Publication date: 2007-04-19

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video display system which superposes and displays an image on an outside scene, the video display system hardly generating a shift in display position of the image. <P>SOLUTION: The video display system of the present invention is equipped with a light source unit 1 and an HMD type display device 12 mounted on the head of an observer. The light source unit 1 is provided with reference position light sources 2 and 3 serving as reference positions for forming an observation image 11 and their light emission is controlled by a control part 11a. Images of the reference position light sources 2 and 3 are formed on a two-dimensional photodetecting element 5, positions of the images are detected to calculate the distances and direction from the display device 12 to the light sources 2 and 3, and a display image 9 is formed based upon calculation results. Consequently, a virtual image 11 of the display image 9 can be observed so that the reference position light sources 2 and 3 are overlapped. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、外界に重ねて像を表示する映像表示システムに関する。 The present invention relates to a video display system that displays an image superimposed on the outside world.

従来、頭部装着型ディスプレイ（ＨＭＤ：Head Mounted Display）に搭載されたマーカを外部から検出し、ＨＭＤの方向や姿勢などを検出し、それらの検出結果に基づいてＨＭＤに表示を行うシステムが知られている（例えば、特許文献１参照）。 Conventionally, there is a known system that detects a marker mounted on a head mounted display (HMD) from the outside, detects the direction and posture of the HMD, and displays the result on the HMD based on the detection result. (For example, refer to Patent Document 1).

特開２００１−２０２０７０号公報JP 2001-202070 A

しかしながら、上述したシステムでは、ＨＭＤの姿勢から視軸方向を間接的に決定するだけであり、観察している外界の物体とＨＭＤとの位置関係を直接検出しているわけではない。このため、ＨＭＤによる表示像の位置と関連づけされた物体の位置との間に、ズレが生じやすいという問題があった。 However, the system described above only indirectly determines the visual axis direction from the attitude of the HMD, and does not directly detect the positional relationship between the external object being observed and the HMD. For this reason, there has been a problem that a deviation is likely to occur between the position of the display image by the HMD and the position of the object associated therewith.

請求項１の発明は、像を外界に重畳して表示する頭部装着型映像表示装置を備えた映像表示システムであって、頭部装着型映像表示装置の外部に設けられ、外界における位置の基準となる複数の基準位置光源と、基準位置光源の発光制御を行うことによって基準位置光源から出射される光に情報を付加する光源制御装置と、複数の基準位置光源からの光をそれぞれ受光する受光手段と、受光手段の出力に基づいて基準位置光源の位置を検出するとともに前記情報を抽出する光源情報処理手段と、映像情報を映像表示装置へと送信する映像生成装置と、映像表示装置に設けられ、検出位置および抽出情報と映像情報とに基づいて像を重畳して表示する重畳手段とを備えたことを特徴とする。
なお、光源制御装置により付加される情報としては、基準位置光源に対応付けられた付加映像情報、複数の基準位置光源間の相対位置情報、像の実空間における大きさなどがある。
請求項７の発明は、請求項１に記載の映像表示システムにおいて、映像情報を異なる送信方式で送信する映像生成装置を複数備えるとともに、光源制御装置により付加される情報には通信方法に関する情報が含含まれ、映像表示装置は送信方法に関する情報に基づいて複数の映像生成装置のいずれか一つから送信される映像情報を受信するようにしたものである。
請求項８の発明は、請求項１に記載の映像表示システムにおいて、映像表示装置を複数備えるとともに、映像生成装置は複数の映像表示装置とは別体に設けられてそれらに対して共通の映像情報を送信し、各映像表示装置に設けられた重畳手段は、受信した共通の映像情報と光源情報処理手段の処理結果に基づいて像を重畳して表示するようにしたものである。
請求項９の発明は、請求項１に記載の映像表示システムにおいて、可視領域外の特定波長を有する光を反射するとともに、外界と映像表示装置を装着した観察者とを隔てる隔壁に対して、基準位置光源は室内から特定波長の光を投射し、受光手段は隔壁で反射された基準位置光源の光を受光し、重畳手段は隔壁を通して観察される外界に対して像を重畳して表示するものである。
請求項１０の発明は、請求項１に記載の映像表示システムにおいて、基準位置光源と、基準位置光源の光出射方向の被写体を撮影する撮影装置とを有する撮影ユニットを複数備えるとともに、撮影ユニットの各々には撮影装置により撮影された撮影情報の交換を他の撮影ユニットとの間で行う映像制御装置が設けられ、重畳手段は、他の撮影ユニットからの撮影情報と、光源情報処理手段の処理結果に基づいて像を重畳して表示するようにしたものである。
請求項１１の発明は、請求項１に記載の映像表示システムにおいて、環境特性を検出するセンサを備え、光源制御装置は前記情報にセンサの検出結果である環境特性を付加し、重畳手段は環境特性に基づく像を重畳して表示するようにしたものである。 The invention of claim 1 is a video display system including a head-mounted video display device that displays an image superimposed on the outside world, the video display system being provided outside the head-mounted video display device and having a position in the outside world. A plurality of reference position light sources serving as a reference, a light source control device for adding information to light emitted from the reference position light source by performing light emission control of the reference position light source, and light received from the plurality of reference position light sources, respectively A light receiving means; a light source information processing means for detecting the position of a reference position light source based on an output of the light receiving means and extracting the information; a video generating apparatus for transmitting video information to a video display apparatus; and a video display apparatus. And a superimposing unit that superimposes and displays an image based on the detection position, the extracted information, and the video information.
The information added by the light source control device includes additional video information associated with the reference position light source, relative position information between a plurality of reference position light sources, and the size of the image in real space.
A seventh aspect of the present invention is the video display system according to the first aspect, comprising a plurality of video generation devices for transmitting video information by different transmission methods, and information added by the light source control device includes information relating to a communication method. In addition, the video display device is configured to receive video information transmitted from any one of a plurality of video generation devices based on information on a transmission method.
According to an eighth aspect of the present invention, in the video display system according to the first aspect, a plurality of video display devices are provided, and the video generation device is provided separately from the plurality of video display devices and is a common video for them. The superimposing means that transmits information and is provided in each video display device superimposes and displays an image based on the received common video information and the processing result of the light source information processing means.
The invention of claim 9 is the image display system according to claim 1, wherein the partition wall reflects light having a specific wavelength outside the visible region and separates the outside from an observer wearing the image display device. The reference position light source projects light of a specific wavelength from the room, the light receiving means receives the light of the reference position light source reflected by the partition, and the superimposing means superimposes and displays an image on the outside observed through the partition. Is.
According to a tenth aspect of the present invention, in the video display system according to the first aspect, the image display system includes a plurality of photographing units each including a reference position light source and a photographing device that photographs a subject in the light emission direction of the reference position light source. Each is provided with a video control device for exchanging shooting information shot by the shooting device with another shooting unit, and the superimposing means is processing of shooting information from the other shooting unit and light source information processing means. An image is superimposed and displayed based on the result.
The invention according to claim 11 is the video display system according to claim 1, further comprising a sensor for detecting environmental characteristics, the light source control device adds the environmental characteristics as a detection result of the sensor to the information, and the superimposing means is the environment. An image based on the characteristics is superimposed and displayed.

本発明によれば、外界の基準位置光源からの光を検出して基準位置光源の位置を算出し、その算出位置と映像情報とに基づいて像を重畳して表示するようにしたので、像の表示位置に関して位置ズレが生じにくい。 According to the present invention, the position of the reference position light source is calculated by detecting light from the external reference position light source, and the image is superimposed and displayed based on the calculated position and the video information. It is difficult for position deviation to occur with respect to the display position.

以下、図を参照して本発明を実施するための最良の形態について説明する。図１は本発明による映像表示システムの一実施の形態を示す図であり、映像表示システムの基本構成を示したものである。本発明による映像表示システムは、基準位置光源２，３を備える光源ユニット１と頭部装着型映像表示装置１２とを備えている。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an embodiment of a video display system according to the present invention, and shows a basic configuration of the video display system. The video display system according to the present invention includes a light source unit 1 including reference position light sources 2 and 3 and a head-mounted video display device 12.

表示装置１２にはハーフミラー等から成る投影光学系１０を備えており、表示装置１２を装着した観察者は投影光学系１０を通して外界を観察することができる。また、表示装置１２内にはＬＣＤなどの表示素子８が設けられており、表示素子８を出射した表示光は投影光学系１０で反射されて観察者の瞳１３へと入射する。その結果、観察者は、投影光学系１０の前方に表示像９の虚像１１を観察像として観察することができる。すなわち、外界に対して虚像１１が重畳して表示され、あたかも外界の現実空間に虚像１１による仮想空間が存在するかのように感じられる。 The display device 12 includes a projection optical system 10 including a half mirror, and an observer wearing the display device 12 can observe the outside world through the projection optical system 10. The display device 12 is provided with a display element 8 such as an LCD, and the display light emitted from the display element 8 is reflected by the projection optical system 10 and enters the pupil 13 of the observer. As a result, the observer can observe the virtual image 11 of the display image 9 as an observation image in front of the projection optical system 10. That is, the virtual image 11 is displayed so as to be superimposed on the outside world, and it feels as if the virtual space by the virtual image 11 exists in the real space of the outside world.

表示装置１２には二次元受光素子５が設けられており、レンズ４により外界からの光が受光面に結像される。二次元受光素子５には、例えばＰＳＤ（ポジションセンサーダイオード）などが用いられる。図１においては、二次元受光素子５上に基準位置光源２，３の像が結像されており、二次元受光素子５の出力信号は信号処理装置６により信号処理される。信号処理装置６には、映像生成装置７からの映像信号が入力される。映像生成装置７から入力された映像信号は二次元受光装置５からの信号に基づいて加工され、表示素子８上に表示像９として表示される。 The display device 12 is provided with a two-dimensional light receiving element 5, and light from the outside is imaged on the light receiving surface by the lens 4. For the two-dimensional light receiving element 5, for example, a PSD (position sensor diode) is used. In FIG. 1, images of the reference position light sources 2 and 3 are formed on the two-dimensional light receiving element 5, and the output signal of the two-dimensional light receiving element 5 is signal-processed by the signal processing device 6. The video signal from the video generation device 7 is input to the signal processing device 6. The video signal input from the video generation device 7 is processed based on the signal from the two-dimensional light receiving device 5 and displayed on the display element 8 as a display image 9.

図１に示す例では矢印映像が表示像９として表示されているが、映像生成装置７は予め用意されたプログラムにより種々の映像を生成することができる。また、表示像９は、二次元受光素子５の出力信号に基づいて、その虚像１１が外界に存在する基準位置光源２，３と重なるように表示されている。基準位置光源２，３の点消灯は光源ユニット１に設けられた制御部１ａによって制御され、基準位置光源２，３の点滅パターンによって種々の情報を表示装置１２へと伝送することができる。 In the example shown in FIG. 1, an arrow video is displayed as the display image 9, but the video generation device 7 can generate various videos by a program prepared in advance. The display image 9 is displayed based on the output signal of the two-dimensional light receiving element 5 so that the virtual image 11 overlaps the reference position light sources 2 and 3 existing in the outside. The turning on / off of the reference position light sources 2 and 3 is controlled by the control unit 1 a provided in the light source unit 1, and various information can be transmitted to the display device 12 by the blinking pattern of the reference position light sources 2 and 3.

このように、本発明による映像表示システムでは、光源ユニット１からの情報および基準位置光源２，３の位置に基づいて、外界の現実空間に対して虚像１１により形成される仮想空間が適切な配置となるように表示像９を表示するようにした。その場合、光源ユニッ１に設けられた基準位置光源２，３を検出することにより、外界に設けられた光源ユニット１に対する表示装置１２の位置関係を算出するようにしている。 As described above, in the video display system according to the present invention, the virtual space formed by the virtual image 11 is appropriately arranged with respect to the real space in the outside world based on the information from the light source unit 1 and the positions of the reference position light sources 2 and 3. The display image 9 was displayed so that In that case, the positional relationship of the display device 12 with respect to the light source unit 1 provided in the outside world is calculated by detecting the reference position light sources 2 and 3 provided in the light source unit 1.

《位置検出原理の説明》
次に、図２を参照して、仮想空間を形成する際の基準位置となる基準位置光源２，３の位置検出原理を説明する。二次元受光素子５の受光面には、レンズ４により基準位置光源２，３の像２’、３’が結像される。光軸から像２’までの距離、すなわち像高をｈとする。また、レンズ４の焦点距離をｆとし、基準位置光源２と像２’とを結ぶ直線の光軸に対する角度をθとすると、次式（１）が成り立つ。よって、角度θは式（２）によって得られる。そして、光軸と受光面との交点Ｏに対する像２’の方向と角度θとにより、基準位置光源２の方向を特定することができる。
ｈ＝ｆ・tanθ …（１）
θ＝arctan（ｈ／ｆ） …（２） << Explanation of position detection principle >>
Next, with reference to FIG. 2, the principle of position detection of the reference position light sources 2 and 3 serving as a reference position when forming the virtual space will be described. Images 2 ′ and 3 ′ of the reference position light sources 2 and 3 are formed on the light receiving surface of the two-dimensional light receiving element 5 by the lens 4. Let h be the distance from the optical axis to the image 2 ′, that is, the image height. When the focal length of the lens 4 is f and the angle of the straight line connecting the reference position light source 2 and the image 2 ′ with respect to the optical axis is θ, the following equation (1) is established. Therefore, the angle θ is obtained by the equation (2). The direction of the reference position light source 2 can be specified by the direction of the image 2 ′ with respect to the intersection O between the optical axis and the light receiving surface and the angle θ.
h = f · tanθ (1)
θ = arctan (h / f) (2)

また、像２’に対する像３’のｘ方向距離をd1、ｙ方向距離をd2とすると、像２’，３’間の距離Ｌ’は式（３）のように表され、撮影倍率βはβ＝Ｌ’／Ｌで算出される。ここで、Ｌは実空間での基準位置光源２，３間の距離であり、この距離Ｌは、後述するように基準位置光源２または３の点滅パターン情報として光源ユニット１から表示装置１２へと伝送される。また、次式（４）により撮影距離Ｄが算出される。これらの演算処理は、信号処理装置６によって行われる。
Ｌ’＝（d1^２＋d2^２）^１／２ …（３）
Ｄ＝ｆ／β …（４） Also, assuming that the distance in the x direction of the image 3 ′ with respect to the image 2 ′ is d1, and the distance in the y direction is d2, the distance L ′ between the images 2 ′ and 3 ′ is expressed by the equation (3), and the imaging magnification β is It is calculated by β = L ′ / L. Here, L is a distance between the reference position light sources 2 and 3 in the real space, and this distance L is transmitted from the light source unit 1 to the display device 12 as blinking pattern information of the reference position light source 2 or 3 as described later. Is transmitted. Also, the shooting distance D is calculated by the following equation (4). These arithmetic processes are performed by the signal processing device 6.
L ′ = (d1 ² + d2 ² ) ^1/2 (3)
D = f / β (4)

図３は光源ユニット１から表示装置１２への情報伝送方法を説明する図であり、二次元受光素子５としてＰＳＤを用いた場合を示す。単一の受光素子で構成されるＰＳＤの場合、２つの基準位置光源２，３の光点（像２’，３’の位置）を同時に検出することはできない。そこで、図３に示すように、基準位置光源２，３の点灯動作を時分割で交互に行わせるようにした。すなわち、時刻ｔ１〜ｔ２、時刻ｔ３〜ｔ４においては基準位置光源２の点灯動作を行い、時刻ｔ２〜ｔ３、時刻ｔ４〜ｔ５では基準位置光源３の点灯動作を行うようにした。 FIG. 3 is a diagram for explaining an information transmission method from the light source unit 1 to the display device 12, and shows a case where a PSD is used as the two-dimensional light receiving element 5. In the case of a PSD composed of a single light receiving element, the light spots (positions of the images 2 'and 3') of the two reference position light sources 2 and 3 cannot be detected simultaneously. Therefore, as shown in FIG. 3, the lighting operation of the reference position light sources 2 and 3 is alternately performed in a time division manner. That is, the reference position light source 2 is turned on at times t1 to t2 and t3 to t4, and the reference position light source 3 is turned on at times t2 to t3 and times t4 to t5.

さらに、各点灯動作における基準位置光源２，３の点滅パターンを変えることによって、様々な情報を伝送することができる。基準位置光源２の場合には、時刻ｔ１〜ｔ２、時刻ｔ３〜ｔ４の間において点灯のみを行っているが、基準位置光源３の場合には、点滅を繰り返して点灯を５回行わせている。その結果、像２’、３’の位置から得られる基準位置光源２，３の位置だけでなく、様々な情報を点滅パターン情報として基準位置光源２，３側から表示装置１２側へと送信することができ、それらを表示像９の表示に利用することができる。 Furthermore, various information can be transmitted by changing the blinking pattern of the reference position light sources 2 and 3 in each lighting operation. In the case of the reference position light source 2, only lighting is performed between the times t1 and t2 and between the times t3 and t4. In the case of the reference position light source 3, the lighting is repeated five times by repeating blinking. . As a result, not only the positions of the reference position light sources 2 and 3 obtained from the positions of the images 2 ′ and 3 ′ but also various information are transmitted as blinking pattern information from the reference position light sources 2 and 3 to the display device 12 side. They can be used to display the display image 9.

ここで伝送される情報としては、例えば、上述した基準位置光源間の距離Ｌや光源配置の傾きなどの他に、表示すべき像を指定する情報、表示像の大きさや位置に関する情報、映像情報そのもの等、様々な情報を伝送することができる。ただし、時分割で点灯動作信号を検出しなければならないので、同時に検出可能な光源数には制約がある。 The information transmitted here includes, for example, information for designating an image to be displayed, information on the size and position of the display image, video information, in addition to the above-described distance L between the reference position light sources and the inclination of the light source arrangement. Various information such as itself can be transmitted. However, since the lighting operation signal must be detected in a time-sharing manner, the number of light sources that can be detected simultaneously is limited.

図４は、二次元受光素子５として、ＣＭＯＳ型やＣＣＤ型の受光素子のような素子分割型の受光素子を用いた場合を示す。この場合、受光面には複数の受光部が例えばマトリクス状に配設されており、基準位置光源２，３の像は異なる受光部に入射する。そのため、基準位置光源２，３の点灯動作を同時に行っても、それぞれ別の信号として検出することができる。このことは、光源の数が３以上であっても同様である。各基準位置光源２，３に関して受信された信号は、それぞれ信号処理装置６によって処理され、伝送された情報が抽出される。 FIG. 4 shows a case where an element division type light receiving element such as a CMOS type or CCD type light receiving element is used as the two-dimensional light receiving element 5. In this case, a plurality of light receiving portions are arranged on the light receiving surface, for example, in a matrix, and the images of the reference position light sources 2 and 3 are incident on different light receiving portions. Therefore, even if the reference position light sources 2 and 3 are turned on simultaneously, they can be detected as different signals. This is the same even when the number of light sources is three or more. Signals received with respect to the respective reference position light sources 2 and 3 are processed by the signal processing device 6, respectively, and the transmitted information is extracted.

図５は、光源ユニット１４ａの基準位置光源２ａ，３ａと別の光源ユニット１４ｂの基準位置光源２ａ，３ａが、二次元受光素子５によって検出されている場合を示す。ここでは、二次元受光素子５は分割型受光素子であるとして説明する。二次元受光素子５上には、外界における光源ユニット１４ａ，１４ｂの位置および姿勢に応じた像１５ａ，１５ｂが結像される。各像１５ａ，１５ｂに関する受光信号は信号処理装置６に入力され、各光源ユニット１４ａ，１４ｂの位置や傾き、さらには点滅パターンによる情報が検出される。そして、それらの検出情報に基づいて映像生成装置７からの映像信号が処理され、表示素子８上に表示像９ａ，９ｂが表示される。 FIG. 5 shows a case where the reference position light sources 2 a and 3 a of another light source unit 14 b are detected by the two-dimensional light receiving element 5 from the reference position light sources 2 a and 3 a of the light source unit 14 a. Here, it is assumed that the two-dimensional light receiving element 5 is a split type light receiving element. On the two-dimensional light receiving element 5, images 15a and 15b corresponding to the positions and postures of the light source units 14a and 14b in the outside world are formed. The received light signals related to the images 15a and 15b are input to the signal processing device 6, and information based on the positions and inclinations of the light source units 14a and 14b and the blinking pattern is detected. Based on the detection information, the video signal from the video generation device 7 is processed, and display images 9 a and 9 b are displayed on the display element 8.

図５の場合、映像生成装置７に図示のような矢印映像を生成させ、その矢印方向が基準位置光源３ａ，３ｂから基準位置光源２ａ，２ｂ方向に向くように光源ユニット１４ａ，１４ｂに重ねて表示すべきことが、点滅パターン情報に含まれている。さらに、点滅パターン情報には矢印映像の実空間における大きさに関する情報も含まれており、光源ユニット１４ａ，１４ｂまでの距離（算出距離）および光源ユニット１４ａ，１４ｂの傾きに応じて、表示像９ａ，９ｂの大きさおよび傾きが調整される。 In the case of FIG. 5, the image generation device 7 generates an arrow image as shown in the figure, and is superimposed on the light source units 14a and 14b so that the arrow direction is directed from the reference position light sources 3a and 3b to the reference position light sources 2a and 2b. What should be displayed is included in the blinking pattern information. Further, the blinking pattern information includes information regarding the size of the arrow image in the real space, and the display image 9a is displayed according to the distance (calculated distance) to the light source units 14a and 14b and the inclination of the light source units 14a and 14b. , 9b are adjusted in size and inclination.

実空間における虚像１１ａ，１１ｂの大きさは同一であるが、光源ユニット１４ａは表示装置１２に対して距離が近いので、大きめの表示像９ａが表示素子８に表示され、その虚像１１ａが光源ユニット１４ａに重なるように観察される。一方、より遠い位置に傾いて観察される光源ユニット１４ｂの基準位置光源２ｂ，３ｂの場合には、より小さな傾いた表示像９ｂが表示素子８に表示され、その虚像１１ｂが光源ユニット１４ｂに重なるように観察される。実空間での大きさに関する情報は、下記光源ユニット１４ａ，１４ｂから送出されるが、大きさ情報を用いることにより、形状が同一の観察像に関しては大きさが異なっても同じ映像情報を兼用して利用することができる。 Although the sizes of the virtual images 11a and 11b in the real space are the same, the light source unit 14a is close to the display device 12, so that a larger display image 9a is displayed on the display element 8, and the virtual image 11a is the light source unit. Observed to overlap 14a. On the other hand, in the case of the reference position light sources 2b and 3b of the light source unit 14b that is observed to be tilted to a farther position, a smaller tilted display image 9b is displayed on the display element 8, and the virtual image 11b overlaps the light source unit 14b. Observe as. Information on the size in the real space is sent from the following light source units 14a and 14b. By using the size information, the same video information can be used even if the observation images have the same shape even if the sizes are different. Can be used.

図示の関係上、図５では光源ユニット１４ａと虚像１１ａおよび光源ユニット１４ｂと虚像１１ｂとが重なるように記載されていないが、瞳１３からは虚像１１ａと光源ユニット１４ａおよび虚像１１ｂと光源ユニット１４ｂがそれぞれ同一方向に見える。なお、ここでは虚像１１ａ，１１ｂが光源ユニット１４ａ，１４ｂと重ねて観察されるような表示例について説明したが、一般的には、各虚像１１ａ，１１ｂは各光源ユニット１４ａ，１４ｂに対して所定の位置関係で投影される。その所定の位置関係に関する情報は、点滅パターン情報として光源ユニット１４ａ，１４ｂから表示装置１２へと伝送される。さらに、光源ユニット１４ａ，１４ｂに投影される映像（虚像１１ａ，１１ｂ）は、光源ユニット１４ａ，１４ｂ毎に異なっていても良く、どのような映像を表示するかを指示する情報は上述した点滅パターン情報として表示装置１２に伝送される。 5, the light source unit 14 a and the virtual image 11 a and the light source unit 14 b and the virtual image 11 b are not described so as to overlap each other, but from the pupil 13, the virtual image 11 a, the light source unit 14 a, the virtual image 11 b, and the light source unit 14 b Each looks in the same direction. Here, the display example has been described in which the virtual images 11a and 11b are observed while being superimposed on the light source units 14a and 14b. However, in general, the virtual images 11a and 11b are predetermined with respect to the light source units 14a and 14b. Projected with the positional relationship of. Information on the predetermined positional relationship is transmitted from the light source units 14a and 14b to the display device 12 as blinking pattern information. Further, the images (virtual images 11a and 11b) projected on the light source units 14a and 14b may be different for each light source unit 14a and 14b, and information indicating what image is displayed is the above-described blinking pattern. Information is transmitted to the display device 12.

なお、図５のように光源配置が光源ユニット１４ａ，１４ｂ毎に異なると、光源像１５ａ，１５ｂの検出方法が複雑になる。システムをより簡易にするためには、光源配置は水平に限定するなどの制約を設けるのが好ましい。また、光源の点滅パターン情報によって光源配置を表示装置１２に伝送することもできるが、これをより簡易にするためには、光源間距離も表示システム内で一定の値に統一するのが好ましい。このような制約をもうけることで、表示システムを簡略化し、コスト低減を図ることができる。 If the light source arrangement is different for each light source unit 14a, 14b as shown in FIG. 5, the method for detecting the light source images 15a, 15b becomes complicated. In order to make the system simpler, it is preferable to provide restrictions such as limiting the light source arrangement horizontally. In addition, the light source arrangement can be transmitted to the display device 12 based on the blinking pattern information of the light source, but in order to make this easier, it is preferable to unify the distance between the light sources to a constant value in the display system. By providing such a restriction, the display system can be simplified and the cost can be reduced.

また、複数設けられた光源ユニットの各々について、それらが行う通信方式を異なるものに設定しておくことにより、同時に複数の光源ユニットを使用しても、混信などの悪影響を防ぐことができる。例えば、各光源ユニットの発光波長を異なるものに設定しておき、二次元受光素子５上のオンチップフィルタや、波長選択ミラーによる光路分割などによって波長毎に信号を分離することで、複数の光源ユニットの同時使用が可能となる。 Further, by setting different communication methods for each of the plurality of light source units, even if a plurality of light source units are used at the same time, adverse effects such as interference can be prevented. For example, by setting different emission wavelengths for each light source unit and separating signals for each wavelength by an on-chip filter on the two-dimensional light receiving element 5 or an optical path division by a wavelength selection mirror, a plurality of light sources Units can be used simultaneously.

上述した光源ユニットでは、基準位置光源が２つ設けられていたが、図６に示すように基準位置光源を３つ設けて、これらの光源配置に応じた３次元的な虚像を形成するようにしても良い。図６においては、基準平面２３上に３つの基準位置光源２３ａ〜２３ｃが設けられている。２２は映像生成装置７によって形成される仮想的な観察像（以下では仮想物体と呼ぶことにする）であり、頭部装着型映像表示装置１７，２０を装着した観察者１６，１９には、立体的な仮想物体２２が基準平面２３上に載置されているよう観察される。 In the light source unit described above, two reference position light sources are provided. However, as shown in FIG. 6, three reference position light sources are provided to form a three-dimensional virtual image corresponding to the light source arrangement. May be. In FIG. 6, three reference position light sources 23 a to 23 c are provided on the reference plane 23. Reference numeral 22 denotes a virtual observation image (hereinafter referred to as a virtual object) formed by the video generation device 7, and the observers 16 and 19 wearing the head-mounted video display devices 17 and 20 It is observed that the three-dimensional virtual object 22 is placed on the reference plane 23.

なお、図１に示した映像表示システムでは映像生成装置７は表示装置１２側に設けられているが、図６の映像表示システムでは、光源ユニット側の制御部１ａに接続されている。映像生成装置７で生成された映像情報は、無線通信を利用して各表示装置１７，２０に伝送される。各表示装置１７，２０の構成は、図１に示した表示装置１２と同様の構成を有している。 In the video display system shown in FIG. 1, the video generation device 7 is provided on the display device 12 side, but in the video display system in FIG. 6, it is connected to the control unit 1a on the light source unit side. Video information generated by the video generation device 7 is transmitted to the display devices 17 and 20 using wireless communication. Each of the display devices 17 and 20 has the same configuration as that of the display device 12 shown in FIG.

図７は基準位置光源２３ａ〜２３ｃの配置を示す図であり、基準位置光源２３ａおよび基準位置光源２３ｂ間の距離はａ、基準位置光源２３ａおよび基準位置光源２３ｃ間の距離はｂ、基準位置光源２３ｂおよび基準位置光源２３ｃ間の距離はｃである。各基準位置光源２３ａ〜２３ｃは、それぞれ異なる点滅パターンにより情報を送信しており、その情報の中には距離ａ〜ｃも含まれている。 FIG. 7 is a diagram showing the arrangement of the reference position light sources 23a to 23c. The distance between the reference position light source 23a and the reference position light source 23b is a, the distance between the reference position light source 23a and the reference position light source 23c is b, and the reference position light source. The distance between 23b and the reference position light source 23c is c. Each of the reference position light sources 23a to 23c transmits information using a different blinking pattern, and the information includes distances a to c.

各表示装置１７，２０に設けられた信号処理装置６では、基準位置光源２３ａ〜２３ｃの位置情報（上述した位置ａ〜ｃも含む）に基づいて、各観察者１６，１９がどの位置から基準位置光源２３ａ〜２３ｃを観察しているのかを算出する。この場合も、図２の場合と同様の考え方で位置検出を行えば良い。例えば、距離ａ〜ｃから基準位置光源２３ａ〜２３ｃを頂点とする三角形が与えられるので、その三角形が受光素子５上にどのような形状および大きさに結像されるかにより、各観察位置を算出することができる。 In the signal processing device 6 provided in each of the display devices 17 and 20, from which position each observer 16, 19 is based on the position information (including the above-described positions a to c) of the reference position light sources 23a to 23c. It is calculated whether the position light sources 23a to 23c are being observed. In this case as well, position detection may be performed in the same way as in the case of FIG. For example, since triangles having apexes of the reference position light sources 23a to 23c are given from the distances a to c, each observation position is determined depending on what shape and size the triangle is imaged on the light receiving element 5. Can be calculated.

図６に示すように、観察者１６から見た場合、基準位置光源２３ａの左側に基準位置光源２３ｂが観察され、右側に基準位置光源２３ｃが観察される。すなわち、信号処理装置６は、観察者が基準位置光源２３ａ〜２３ｃの受光情報から仮想物体２２の正面方向を観察していると判定する。表示素子８には、基準位置光源２３ａ〜２３ｃに対する映像表示装置１７の観察方向および観察距離と、映像生成装置７から送信される映像情報とに基づいて、仮想物体２２の正面に相当する矩形状の表示像１８が表示される。 As shown in FIG. 6, when viewed from the observer 16, the reference position light source 23b is observed on the left side of the reference position light source 23a, and the reference position light source 23c is observed on the right side. That is, the signal processing device 6 determines that the observer is observing the front direction of the virtual object 22 from the light reception information of the reference position light sources 23a to 23c. The display element 8 has a rectangular shape corresponding to the front of the virtual object 22 based on the observation direction and observation distance of the video display device 17 with respect to the reference position light sources 23a to 23c and the video information transmitted from the video generation device 7. The display image 18 is displayed.

一方、観察者１９の場合には、基準位置光源２３ａ〜２３ｃの受光情報から仮想物体２２の左側面方向から観察していると判定されるので、表示素子８には、映像生成装置７から送信される映像情報に基づいて仮想物体２２の左側面に相当する表示像２１が表示される。また、仮想物体２２の斜め方向から観察した場合には、斜視図に相当する表示像が表示素子８に表示される。その結果、観察者には実際に存在する基準平面２３上に立体的な仮想物体２２が観察されることになり、観察者が移動すると、移動中の観察位置に応じた表示像が表示素子８に表示されるので、まるで仮想物体２２が実際に存在するように観察される。 On the other hand, in the case of the observer 19, since it is determined from the light reception information of the reference position light sources 23 a to 23 c that the observer 19 is observing from the left side direction of the virtual object 22, the image is transmitted from the video generation device 7 to the display element 8. A display image 21 corresponding to the left side surface of the virtual object 22 is displayed based on the video information. Further, when the virtual object 22 is observed from an oblique direction, a display image corresponding to a perspective view is displayed on the display element 8. As a result, the three-dimensional virtual object 22 is observed on the reference plane 23 which actually exists for the observer. When the observer moves, a display image corresponding to the moving observation position is displayed on the display element 8. Therefore, it is observed that the virtual object 22 actually exists.

なお、映像生成装置７からは、映像表示装置１７，２０に対して仮想物体２２に関する同一の映像情報が送信される。そして、映像表示装置１７の信号処理装置６は、送信された映像情報から仮想物体２２の正面に相当する情報を選択または加工し、映像表示装置２０の信号処理装置６は、送信された映像情報から仮想物体２２の側面に相当する情報を選択または加工する。図６のように、映像表示装置１７，２０とは別に光源ユニット側に映像生成装置７を設けることにより、映像表示装置１７，２０側の映像生成装置の負担を軽減することができる。特に、図６に示すように３次元の映像情報が必要な場合には、その効果が大きい。 The same video information regarding the virtual object 22 is transmitted from the video generation device 7 to the video display devices 17 and 20. Then, the signal processing device 6 of the video display device 17 selects or processes information corresponding to the front of the virtual object 22 from the transmitted video information, and the signal processing device 6 of the video display device 20 transmits the transmitted video information. Information corresponding to the side surface of the virtual object 22 is selected or processed. As shown in FIG. 6, by providing the video generation device 7 on the light source unit side separately from the video display devices 17 and 20, the burden on the video generation device on the video display devices 17 and 20 side can be reduced. In particular, when three-dimensional video information is required as shown in FIG.

なお、図６に示すような基準位置光源２３ａ〜２３ｃと制御部１ａと映像生成装置７とのセットになったものと、図示に示すような基準位置光源２，３と制御部１ａとから構成される光源ユニットとが混在する場合も想定される。そのような場合には、基準位置光源の点滅パターン情報に、映像生成装置７との通信方式に関する情報、すなわち無線により映像情報を受信するか、表示装置１２に設けられた映像生成装置７（図１参照）から映像上を読み込むかに関する情報を加えるようにする。そして、基準位置光源から伝送された通信方式に関する情報に従って、光源側に設けられた映像生成装置７から映像情報を受け取るか、映像表示装置１２側に設けられた映像生成装置７から映像情報を受け取るかを判断する。 6 includes a set of reference position light sources 23a to 23c, a control unit 1a, and a video generation device 7, and a reference position light source 2, 3 and a control unit 1a as illustrated. The case where the light source unit to be mixed is also assumed. In such a case, information related to the communication method with the video generation device 7, that is, video information is received wirelessly or the video generation device 7 (see FIG. 1), information on whether to read on the video is added. Then, according to the information regarding the communication method transmitted from the reference position light source, the video information is received from the video generation device 7 provided on the light source side or the video information is received from the video generation device 7 provided on the video display device 12 side. Determine whether.

［応用例１］
図８は、本発明による映像表示システムのカーナビゲーションへの応用例を示したものである。表示装置１２の構成は図１に示したもの同一であり、車両のフロントウィンドウ２５の下方に基準位置光源２，３が設けられている。フロントウィンドウ２５には赤外線反射膜が形成されており、車外からの赤外光２４はフロントウィンドウ２５により反射される。基準位置光源２，３からは赤外光がフロントウィンドウ２５に向けて投射され、その反射光がレンズ４を介して二次元受光素子５上に結像される。 [Application Example 1]
FIG. 8 shows an application example of the video display system according to the present invention to car navigation. The configuration of the display device 12 is the same as that shown in FIG. 1, and reference position light sources 2 and 3 are provided below the front window 25 of the vehicle. An infrared reflection film is formed on the front window 25, and infrared light 24 from outside the vehicle is reflected by the front window 25. Infrared light is projected from the reference position light sources 2 and 3 toward the front window 25, and the reflected light is imaged on the two-dimensional light receiving element 5 through the lens 4.

この応用例１の場合も、基準位置光源２，３を二次元受光素子５で受光して得られる位置情報に基づいて、表示装置１２を頭部に装着した観察者の観察方向を求め、観察方向に応じた表示像９を表示素子８に表示する。すなわち、投影光学系１０を通して観察される窓外の光景に対して、虚像１１が重畳して表示されることになる。 Also in this application example 1, based on position information obtained by receiving the reference position light sources 2 and 3 with the two-dimensional light receiving element 5, the observation direction of the observer wearing the display device 12 on the head is obtained and observed. A display image 9 corresponding to the direction is displayed on the display element 8. That is, the virtual image 11 is displayed superimposed on the scene outside the window observed through the projection optical system 10.

図９は観察者によって観察される観察像の一例を示したものであり、表示装置１２によって形成されたナビゲーション用表示（虚像１１，２６）が観察されている。フロントウィンドウ２５には基準位置光源２，３の反射光が映り込んでおり、表示装置１２の二次元受光素子５はこのフロントウィンドウ２５に映り込んだ基準位置光源２，３を捉えることになる。なお、基準位置光源２，３の光は赤外光であるので、観察者には見えていない。 FIG. 9 shows an example of an observation image observed by an observer, and the navigation display (virtual images 11, 26) formed by the display device 12 is observed. Reflected light of the reference position light sources 2 and 3 is reflected on the front window 25, and the two-dimensional light receiving element 5 of the display device 12 captures the reference position light sources 2 and 3 reflected on the front window 25. In addition, since the light of the reference position light sources 2 and 3 is infrared light, it is not visible to the observer.

すなわち、フロントウィンドウ２５上に映り込んだ基準位置光源２，３を位置基準とすることができるので、観察者の視点位置によらず、窓外の光景にして正確な位置に像を表示することができる。また、表示位置を規制した表示２６のように、光源位置に関わらず常にフロントウィンドウ２５上の所定位置に固定して表示することもできる。また、夜間の場合、赤外カメラで撮影した映像を可視光を用いて窓外の光景に重ね合わせて表示することにより、例えば、暗くて見え難い歩行者をはっきりと観察することができ、安全性の向上が図れる。なお、上述した例では、基準位置光源２，３から赤外光を出射し、フロントウィンドウ２５は赤外光を反射するような構成としたが、運転上問題がなければ赤外光でなくてもかまわない。 That is, since the reference position light sources 2 and 3 reflected on the front window 25 can be used as the position reference, an image is displayed at an accurate position as a scene outside the window regardless of the viewpoint position of the observer. Can do. Further, like the display 26 in which the display position is restricted, it is possible to always display the image at a predetermined position on the front window 25 regardless of the light source position. In addition, at night, by using the visible light to superimpose and display the image captured by the infrared camera on the scene outside the window, for example, it is possible to clearly observe pedestrians that are dark and difficult to see. Can improve the performance. In the above-described example, the infrared light is emitted from the reference position light sources 2 and 3 and the front window 25 is configured to reflect the infrared light. It doesn't matter.

一方、液晶表示パネルを用いた従来のカーナビゲーションシステムでは、表示パネル上の表示と実際にフロントウィンドウ２５を通して観察される光景との対応付けを行わなければならず、車両前方と表示パネルとの間で視線移動を行わなければならないという欠点がある。一方、上述した応用例１では、実際にフロントウィンドウ２５を通して観察される光景に必要な表示が重畳して表示されているため、前方から視線を外す必要もなく運転に集中することができる。 On the other hand, in a conventional car navigation system using a liquid crystal display panel, the display on the display panel and the scene actually observed through the front window 25 must be associated with each other. However, there is a disadvantage that the line of sight must be moved. On the other hand, in the application example 1 described above, since the necessary display is superimposed on the scene actually observed through the front window 25, it is possible to concentrate on driving without having to remove the line of sight from the front.

［応用例２］
図１０は第２の応用例を説明する図であり、テレビ会議システムに応用した場合を示す。図示左側に示した３名の観察者２７Ｌと右側に示された３名の観察者２７Ｒとは互いに離れた場所にいる。観察者２７Ｌの前方には背景板３４Ｌが設けられていて、その背景板３４Ｌには基準位置光源２Ｌ，３Ｌと２台のカメラ３２Ｌ，３５Ｌが設けられている。同様に、観察者２７Ｒの前方には背景板３４Ｒが設けられていて、その背景板３４Ｒには基準位置光源２Ｒ，３Ｒと２台のカメラ３２Ｒ，３５Ｒが設けられている。背景板３４Ｌ、基準位置光源２Ｌ，３Ｌおよび２台のカメラ３２Ｌ，３５Ｌにより一つの撮影ユニットを形成し、背景板３４Ｒ、基準位置光源２Ｒ，３Ｒおよび２台のカメラ３２Ｒ，３５Ｒにより他の撮影ユニットが形成される。なお、各撮影ユニットに含まれるカメラは２台とは限らない。 [Application 2]
FIG. 10 is a diagram for explaining a second application example, and shows a case of application to a video conference system. The three observers 27L shown on the left side of the drawing and the three observers 27R shown on the right side are located away from each other. A background plate 34L is provided in front of the observer 27L, and reference position light sources 2L and 3L and two cameras 32L and 35L are provided on the background plate 34L. Similarly, a background plate 34R is provided in front of the observer 27R, and reference position light sources 2R and 3R and two cameras 32R and 35R are provided on the background plate 34R. The background plate 34L, the reference position light sources 2L and 3L, and the two cameras 32L and 35L form one shooting unit, and the background plate 34R, the reference position light sources 2R and 3R, and the two cameras 32R and 35R provide another shooting unit. Is formed. Note that the number of cameras included in each photographing unit is not limited to two.

３１Ｌは観察者２７Ｌ側に設けられた通信制御装置であり、背景板３４Ｌに設けられた位置基準光源２Ｌ，３Ｌおよびカメラ３２Ｌ，３５Ｌはこの通信制御装置３１Ｌに接続されている。基準位置光源２Ｌ，３Ｌの点灯制御およびカメラ３２Ｌ，３５Ｌの制御は通信制御装置３１Ｌで行われ、カメラ３２Ｌ，３５Ｌにより撮影された映像情報は通信制御装置３１Ｌに送られる。一方、観察者２７Ｒ側にも同様の通信制御装置３１Ｒが設けられており、通信制御装置３１Ｌ，３１Ｒは通信ラインにより互いに接続されている。背景板３４Ｒに設けられた位置基準光源２Ｒ，３Ｒおよびカメラ３２Ｒ，３５Ｒは通信制御装置３１Ｒに接続されている。 31L is a communication control device provided on the viewer 27L side, and the position reference light sources 2L and 3L and the cameras 32L and 35L provided on the background plate 34L are connected to the communication control device 31L. The lighting control of the reference position light sources 2L and 3L and the control of the cameras 32L and 35L are performed by the communication control device 31L, and the video information captured by the cameras 32L and 35L is sent to the communication control device 31L. On the other hand, a similar communication control device 31R is also provided on the viewer 27R side, and the communication control devices 31L and 31R are connected to each other by a communication line. The position reference light sources 2R and 3R and the cameras 32R and 35R provided on the background plate 34R are connected to the communication control device 31R.

各観察者２７Ｌに装着された表示装置２８Ｌは、基準位置光源２Ｌ，３Ｌの光を受光することにより、表示装置２８Ｌを装着した観察者２７Ｌがどの方向および位置から背景板３４Ｌを観察しているかを各々算出する。右側の各観察者２７Ｒに装着された表示装置２８Ｒに関しても、表示装置２８Ｌと同様の動作を行う。また、カメラ３２Ｌ，３５Ｌにより撮影された映像情報は、通信制御装置３１Ｌに送られた後に、通信ラインを介して通信制御装置３１Ｒに送られる。同様に、カメラ３２Ｒ，３５Ｒにより撮影された映像情報は、通信制御装置３１Ｒから通信制御装置３１Ｌへと送られる。 The display device 28L attached to each observer 27L receives the light from the reference position light sources 2L and 3L, and from which direction and position the observer 27L wearing the display device 28L is observing the background plate 34L. Are calculated respectively. The display device 28R attached to each observer 27R on the right side performs the same operation as the display device 28L. In addition, video information captured by the cameras 32L and 35L is sent to the communication control device 31L, and then sent to the communication control device 31R via the communication line. Similarly, video information captured by the cameras 32R and 35R is sent from the communication control device 31R to the communication control device 31L.

通信制御装置３１Ｒへと送られた映像情報は送信部３０Ｒから送信され、各表示装置２８Ｒの受信部２９Ｒによってそれぞれ受信される。ここでの通信制御装置３１Ｒは図６における映像生成装置７に対応しており、受信部２９Ｒで受信された映像情報は表示装置２８Ｒに設けられている信号処理装置６（図１参照）へと入力される。信号処理装置６は、基準位置光源２Ｒ，３Ｒを受光することにより得られた位置情報に基づいて、基準位置光源２Ｒ，３Ｒを基準として３名の観察者２７Ｌの映像を表示素子８に表示する。 The video information sent to the communication control device 31R is transmitted from the transmission unit 30R and received by the reception unit 29R of each display device 28R. The communication control device 31R here corresponds to the video generation device 7 in FIG. 6, and the video information received by the receiving unit 29R is sent to the signal processing device 6 (see FIG. 1) provided in the display device 28R. Entered. Based on the position information obtained by receiving the reference position light sources 2R and 3R, the signal processing device 6 displays the images of the three observers 27L on the display element 8 using the reference position light sources 2R and 3R as a reference. .

ここでは、図１１に示すようにあたかも窓３６を通して観察者２７Ｌを見ているような映像が表示素子８に表示される。一方、表示装置２８Ｌの表示動作についても全く同様で、窓３６を通して観察者２７Ｒを見ているような映像が表示される。この窓３６は図１０に示した背景板３４Ｌ，３４Ｒに対応するものであり、窓３６と観察者２７Ｌとの位置関係は図１０の背景板３４Ｌと観察者２７Ｌとの位置関係と同一であり、窓３６と観察者２７Ｒとの位置関係は図１０の背景板３４Ｒと観察者２７Ｒとの位置関係と同一である。 Here, as shown in FIG. 11, an image as if the viewer 27 </ b> L is seen through the window 36 is displayed on the display element 8. On the other hand, the display operation of the display device 28L is exactly the same, and an image as if the viewer 27R is seen through the window 36 is displayed. This window 36 corresponds to the background plates 34L and 34R shown in FIG. 10, and the positional relationship between the window 36 and the observer 27L is the same as the positional relationship between the background plate 34L and the observer 27L in FIG. The positional relationship between the window 36 and the observer 27R is the same as the positional relationship between the background plate 34R and the observer 27R in FIG.

例えば、背景板３４Ｒに対して右側よりに位置する観察者２７Ｒには、観察者２７Ｌを斜め右方向から見たような観察像が観察される。なお、各背景板３４Ｌ，３４Ｒに設けられた２台のカメラの撮影範囲をそれぞれ重ねないようにすることで、より広い領域を撮影することができる。逆に、撮影範囲を重ねて、それぞれ観察者の左右の瞳に対して表示することにより、左右視差を有する立体像を観察像ととして形成することもできる。 For example, an observer 27R positioned from the right side with respect to the background plate 34R observes an observation image as if the observer 27L was viewed from the diagonally right direction. A wider area can be photographed by not overlapping the photographing ranges of the two cameras provided on the background plates 34L and 34R. On the contrary, a stereoscopic image having a left-right parallax can be formed as an observation image by overlapping the shooting ranges and displaying them on the left and right pupils of the observer.

なお、上述した例では背景板３４Ｌ，３４Ｒを用いて、図１１に示すようにあたかも背景板により形成される窓３６の枠内に人物がいるように映像を表示しているが、背景板３４Ｌ，３４Ｒは必ずしも必要ない。また、一対の通信制御装置３１Ｌ，３１Ｒとの間で映像情報を交換を行ってＴＶ会議を行うようにしたが、３つ以上の通信制御装置の間で映像情報の交換を行い、映像を切り換えることによって３カ所以上の間でＴＶ会議を行うようにしても良い。 In the above-described example, the background plates 34L and 34R are used to display an image as if a person is within the frame of the window 36 formed by the background plate as shown in FIG. , 34R are not necessarily required. In addition, video information is exchanged between the pair of communication control devices 31L and 31R to perform a video conference. However, video information is exchanged between three or more communication control devices to switch the video. As a result, a TV conference may be held between three or more locations.

［応用例３］
図１２は第３の応用例を説明する図であり、制御部１ａにセンサを接続した場合を示す。図１２に示す例では、制御部１ａに温度センサ３８，光センサ２９および音響センサ４０が接続されており、各センサ３８〜４０の検出データは制御部１ａに入力される。これらの検出結果は、基準位置光源２，３の点滅パターンにより表示装置１２側へと送信され、表示像に反映される。また、３７は可視光を発するマーカ用光源であり、観察者は投影光学系１０を通してマーカ用光源３７を観察することができる。 [Application Example 3]
FIG. 12 is a diagram for explaining a third application example, and shows a case where a sensor is connected to the control unit 1a. In the example shown in FIG. 12, a temperature sensor 38, an optical sensor 29, and an acoustic sensor 40 are connected to the control unit 1a, and detection data of each sensor 38 to 40 is input to the control unit 1a. These detection results are transmitted to the display device 12 side by the blinking pattern of the reference position light sources 2 and 3 and reflected in the display image. Reference numeral 37 denotes a marker light source that emits visible light, and an observer can observe the marker light source 37 through the projection optical system 10.

図１３は観察例を示す図であり、２つの光源ユニット４２，４３が配管装置に設けられている。光源ユニット４２，４３内には上述したセンサ３８〜４０が設けられている。この場合、光源ユニット４２，４３の対応して、情報表示４１，４４が表示装置１２によって形成される。情報表示４１の場合には、配管の種類とセンサ情報の一つである現在温度が表示されている。情報表示４４の場合には、配管の種類と現在温度と経時的な温度変化を示すグラフとが表示されている。なお、情報表示４１，４４に関する映像情報そのものを、基準位置光源２，３の点滅パターン情報に乗せて各光源ユニット４２，４３から観察者に装着されている映像表示装置１２へと送信するようにしても良い。 FIG. 13 is a diagram showing an observation example, and two light source units 42 and 43 are provided in the piping device. The above-described sensors 38 to 40 are provided in the light source units 42 and 43. In this case, information displays 41 and 44 are formed by the display device 12 corresponding to the light source units 42 and 43. In the case of the information display 41, the type of piping and the current temperature which is one of the sensor information are displayed. In the case of the information display 44, the type of piping, the current temperature, and a graph showing the temperature change over time are displayed. Note that the video information itself relating to the information displays 41 and 44 is transmitted from the light source units 42 and 43 to the video display device 12 attached to the observer along the blinking pattern information of the reference position light sources 2 and 3. May be.

このように、基準位置光源２，３に基づく位置情報を用いることにより、外界の的確な位置に適切な表示を仮想的に付加することができる。また、可視光による点灯または点滅を行っているマーカ用光源３７を設けたことにより、観察者は基準位置光源がどこにあるかを容易に認識することができる。なお、マーカ用光源３７を設ける代わりに、基準位置光源の光を可視光としても良い。なお、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。 As described above, by using the position information based on the reference position light sources 2 and 3, an appropriate display can be virtually added to an accurate position in the outside world. Further, by providing the marker light source 37 that is turned on or blinking by visible light, the observer can easily recognize where the reference position light source is. Instead of providing the marker light source 37, the light of the reference position light source may be visible light. Note that the present invention is not limited to the above embodiment as long as the characteristics of the present invention are not impaired.

本発明による映像表示システムの基本構成を示す図である。It is a figure which shows the basic composition of the video display system by this invention. 基準位置光源２，３の位置検出原理を説明する図である。It is a figure explaining the position detection principle of the reference position light sources 2 and 3. FIG. 光源ユニット１から表示装置１２への情報伝送方法を説明する図であり、二次元受光素子５としてＰＳＤを用いた場合を示す。It is a figure explaining the information transmission method from the light source unit 1 to the display apparatus 12, and the case where PSD is used as the two-dimensional light receiving element 5 is shown. 二次元受光素子５として、ＣＭＯＳ型やＣＣＤ型の受光素子のような素子分割型の受光素子を用いた場合を示す図である。It is a figure which shows the case where the element division type light receiving element like a CMOS type or CCD type light receiving element is used as the two-dimensional light receiving element 5. 光源ユニット１４ａの基準位置光源２ａ，３ａと別の光源ユニット１４ｂの基準位置光源２ａ，３ａが、２次元受光素子５によって検出されている場合を示す図である。It is a figure which shows the case where the reference position light sources 2a and 3a of another light source unit 14b and the reference position light sources 2a and 3a of the light source unit 14a are detected by the two-dimensional light receiving element 5. 仮想物体として３次元的な虚像を形成する場合を説明する図である。It is a figure explaining the case where a three-dimensional virtual image is formed as a virtual object. 基準位置光源２３ａ〜２３ｃの配置を示す図である。It is a figure which shows arrangement | positioning of the reference position light sources 23a-23c. 第１の応用例を示す図であり、カーナビゲーションへ適用した場合を示す。It is a figure which shows the 1st application example, and shows the case where it applies to a car navigation. 第１の応用例における観察例を示す図である。It is a figure which shows the example of an observation in a 1st application example. 第２の応用例を示す図であり、テレビ会議システムへ適用した場合を示す。It is a figure which shows the 2nd application example, and shows the case where it applies to a video conference system. 第２の応用例における観察例を示す図である。It is a figure which shows the example of an observation in a 2nd application example. 第３の応用例を示す図である。It is a figure which shows the 3rd application example. 第３の応用例における観察例を示す図である。It is a figure which shows the example of an observation in a 3rd application example.

Explanation of symbols

１，１４ａ，１４ｂ，４２，４３：光源ユニット１ａ：制御部
２，３，２Ｌ，２Ｒ，３Ｌ，３Ｒ，２３ａ〜２３ｃ：基準位置光源
４：レンズ５：二次元受光素子
６：信号処理装置７：映像生成装置
８：表示素子１０：投影光学系
１１，１１ａ，１１ｂ：虚像１２，１７，２０：表示装置
２５：フロントウィンドウ３１Ｌ，３１Ｒ：通信制御装置
３２Ｌ，３５Ｌ，３２Ｒ，３５Ｒ：カメラ
３４Ｌ，３４Ｒ：背景板３７：マーカ用光源
３８：温度センサ３９：光センサ４０：音響センサ 1, 14a, 14b, 42, 43: Light source unit 1a: Control unit 2, 3, 2L, 2R, 3L, 3R, 23a to 23c: Reference position light source 4: Lens 5: Two-dimensional light receiving element 6: Signal processing device 7 : Video generation device 8: Display element 10: Projection optical system 11, 11a, 11b: Virtual image 12, 17, 20: Display device 25: Front window 31L, 31R: Communication control device 32L, 35L, 32R, 35R: Camera 34L, 34R: Background plate 37: Light source for marker 38: Temperature sensor 39: Optical sensor 40: Acoustic sensor

Claims

An image display system including a head-mounted image display device that displays an image superimposed on the outside world,
A plurality of reference position light sources provided outside the head-mounted image display device and serving as a reference for positions in the outside world;
A light source control device for adding information to the light emitted from the reference position light source by performing light emission control of the reference position light source;
A light receiving means for receiving light from each of the plurality of reference position light sources;
Light source information processing means for detecting the position of the reference position light source based on the output of the light receiving means and extracting the information;
A video generation device for transmitting video information to the video display device;
A video display system, comprising: a superimposing unit that is provided in the video display device and superimposes and displays the image based on the detection position and extraction information and the video information.

The video display system according to claim 1,
A plurality of light source units having the plurality of reference position light sources are provided,
The video display system, wherein the light source control device performs different light emission control for each of the plurality of light source units to add the information.

The video display system according to claim 2,
Each of the light source units has a pair of the reference position light sources arranged in the horizontal direction at a predetermined interval.

In the video display system according to any one of claims 1 to 3,
The information added by the light source control device includes additional video information associated with the reference position light source, the light source information processing means extracts the additional video information from detection information, and the superimposing means is extracted. An image display system, wherein an image is superimposed and displayed based on the additional image information.

In the video display system according to any one of claims 1 to 3,
The information added by the light source control device includes relative position information between the plurality of reference position light sources,
The light source information processing means calculates an observation distance and a direction with respect to the reference position light source based on relative position information between the reference position light sources and the detection position,
The video display system, wherein the superimposing unit superimposes and displays an image based on the observation distance and direction.

The video display system according to claim 5,
The information added by the light source control device further includes information on the size of the image in real space,
The superimposing means superimposes and displays information relating to the size and an image having a size corresponding to the observation distance.

The video display system according to claim 1,
A plurality of video generation devices that transmit the video information by different transmission methods, and information added by the light source control device includes information on the communication method,
The video display device receives video information transmitted from any one of the plurality of video generation devices based on information on the transmission method.

The video display system according to claim 1,
A plurality of the video display devices, and the video generation device is provided separately from the plurality of video display devices, and transmits common video information to them,
A superimposing unit provided in each video display device superimposes and displays an image based on the received common video information and a processing result of the light source information processing unit.

The video display system according to claim 1,
Reflecting light having a specific wavelength outside the visible region, and projecting the light of the specific wavelength from the reference position light source to the partition wall that separates the outside from the observer wearing the video display device,
The light receiving means receives light of the reference position light source reflected by the partition;
The video display system, wherein the superimposing means superimposes and displays an image on the outside observed through the partition wall.

The video display system according to claim 1,
A plurality of photographing units having the reference position light source and a photographing device for photographing a subject in the light emitting direction of the reference position light source are provided, and the photographing information photographed by the photographing device is exchanged for each of the photographing units. A video control device is provided to perform with other shooting units,
The video display system, wherein the superimposing unit superimposes and displays an image based on photographing information from another photographing unit and a processing result of the light source information processing unit 6.

The video display system according to claim 1,
Equipped with sensors to detect environmental characteristics,
The light source control device adds an environmental characteristic that is a detection result of the sensor to the information,
The video display system, wherein the superimposing means superimposes and displays an image based on the environmental characteristics.