JP2010200209A - Head mount display - Google Patents

Head mount display Download PDF

Info

Publication number
JP2010200209A
JP2010200209A JP2009045260A JP2009045260A JP2010200209A JP 2010200209 A JP2010200209 A JP 2010200209A JP 2009045260 A JP2009045260 A JP 2009045260A JP 2009045260 A JP2009045260 A JP 2009045260A JP 2010200209 A JP2010200209 A JP 2010200209A
Authority
JP
Japan
Prior art keywords
image
real
display
head
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009045260A
Other languages
Japanese (ja)
Inventor
Kosuke Mori
康輔 森
Original Assignee
Brother Ind Ltd
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Ind Ltd, ブラザー工業株式会社 filed Critical Brother Ind Ltd
Priority to JP2009045260A priority Critical patent/JP2010200209A/en
Publication of JP2010200209A publication Critical patent/JP2010200209A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head mount display capable of easily switching an actual object image and a related image as a user intends. <P>SOLUTION: A CCD sensor takes a photograph in the visual field direction of the user of the head mount display (S11). A barcode is extracted from the picked-up image (S12). An automobile is specified by specifying it with the barcode (S13). Then when an imaging magnification is equal to or less than a threshold magnification (S14:NO), the actual object image is displayed (S17), but when the imaging magnification is larger than the threshold magnification (S14:YES), an internal image corresponding to the actual object image is displayed (S15). The user can set the imaging magnification and the actual object image or internal image is displayed on the head mount display based on the imaging magnification. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイに関する。   The present invention relates to a head mounted display that displays an actual image showing an actual object or a related image related to the actual object.
従来、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイが提案されている(例えば、特許文献1参照。)。特許文献1に記載のヘッドマウントディスプレイでは、ヘッドマウントディスプレイを装着した使用者が、特定の実物の方向に向いた場合には、その実物を示した実物画像を表示するとともに、使用者が、一定時間以上その実物画像を視認していた場合には、その実物に興味があるとして、その実物に関連する関連画像も表示している。こうすることによって、使用者の興味をヘッドマウントディスプレイでの画像表示に反映させている。   2. Description of the Related Art Conventionally, a head-mounted display that displays an actual image showing an actual image or a related image related to the actual image has been proposed (see, for example, Patent Document 1). In the head-mounted display described in Patent Document 1, when the user wearing the head-mounted display faces the direction of a specific real object, the real image showing the real object is displayed, and the user is fixed. When the real image has been viewed for more than a certain time, it is assumed that the user is interested in the real image, and a related image related to the real image is also displayed. In this way, the user's interest is reflected in the image display on the head mounted display.
特開2005−38008号公報JP 2005-38008 A
しかしながら、一定時間以上、使用者が同じ実物画像を見ているからといって、常にその実物画像で示される実物に興味があるとは限らない。何も考えずに一点を見ていることもある。したがって、特許文献1に記載のヘッドマウントディスプレイでは、使用者が所望しないにもかかわらず関連画像が表示されてしまうことがあり、それが煩わしいという問題点があった。また、視線方向に交差するオブジェクトが複数有る場合に、特定するオブジェクトを選択することができず、所望の画像を見ることができない問題点があった。   However, just because a user sees the same real image for a certain period of time or more does not always mean that he / she is interested in the real image shown in the real image. Sometimes I look at one point without thinking. Therefore, the head-mounted display described in Patent Document 1 has a problem in that related images may be displayed even if the user does not want them, which is troublesome. In addition, when there are a plurality of objects intersecting in the line-of-sight direction, there is a problem that the object to be identified cannot be selected and a desired image cannot be viewed.
本発明は、上記問題点に鑑みてなされたものであり、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイにおいて、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができるヘッドマウントディスプレイを提供することを目的とする。   The present invention has been made in view of the above problems, and in a head-mounted display that displays a real image showing a real thing or a related image related to the real thing, the real image and the related image are made to the user's intention. An object of the present invention is to provide a head mounted display that can be easily switched based on the above.
上記目的を達成するために、請求項1のヘッドマウントディスプレイは、使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイを装着する使用者の視野に対応した実物を実物画像として撮像するとともに、前記実物を撮像するときの撮像条件を前記使用者が設定可能な撮像手段と、当該撮像手段によって撮像される実物に関連した画像である関連画像をその実物に対応させて記憶する関連画像記憶手段とを備えるヘッドマウントディスプレイシステムに使用される前記ヘッドマウントディスプレイであって、前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を前記表示手段に表示する表示制御手段とを備えている。   In order to achieve the above object, a head mounted display according to claim 1 is mounted on a user's head and includes a display means for displaying an image on the user's eyes, and the head mounted display. A real image corresponding to the field of view of the user wearing the image is captured as a real image, and an imaging unit that allows the user to set an imaging condition when the real image is captured, and a real image captured by the imaging unit And a related image storage means for storing a related image corresponding to the real image, the head mounted display used in the head mounted display system, and based on the imaging conditions, the real image and the Selection means for selecting one of the related images, and the real image is selected by the selection means. In this case, the real image is displayed on the display means, and when the related image is selected, the related image stored in the related image storage means corresponding to the real object is displayed on the display means. Display control means for displaying.
また、請求項2のヘッドマウントディスプレイは、請求項1に記載の発明の構成に加え、前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、前記表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することを特徴とする。   According to a second aspect of the present invention, in addition to the configuration of the first aspect of the present invention, the head mounted display includes a real identification unit that identifies a real object included in the real image captured by the imaging unit, and the display control. The means displays the related image stored in the related image storage means in correspondence with the real thing specified by the real thing specifying means.
また、請求項3のヘッドマウントディスプレイは、請求項2に記載の発明の構成に加え、前記関連画像記憶手段は、前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、前記実物特定手段は、特定した実物を撮像した位置も特定し、前記表示制御手段は、前記関連画像を表示するときには、前記実物特定手段によって特定された位置に対応して前記関連画像記憶手段に記憶されている前記内部画像を前記表示手段に表示することを特徴とする。   According to a third aspect of the present invention, in addition to the configuration of the invention according to the second aspect, the related image storage means includes, as the related image, an internal image corresponding to a position where the user views the actual object. , Storing corresponding to each position, the real object specifying means also specifies a position where the specified real object is imaged, and the display control means, when displaying the related image, the position specified by the real object specifying means The internal image stored in the related image storage means is displayed on the display means corresponding to the above.
また、請求項4のヘッドマウントディスプレイは、請求項1乃至3の何れかに記載の発明の構成に加え、前記撮像条件として、撮像倍率を設定可能であり、前記選択手段は、前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択する一方で、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択することを特徴とする。   According to a fourth aspect of the present invention, in addition to the configuration of the invention according to any one of the first to third aspects, the imaging magnification can be set as the imaging condition. The real image is selected when it is equal to or smaller than a predetermined threshold, and the related image is selected when the imaging magnification is larger than the predetermined threshold.
また、請求項5のヘッドマウントディスプレイは、請求項1乃至4の何れかに記載の発明の構成に加え、前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、前記実物特定手段は、前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定することを特徴とする。   Further, in addition to the configuration of the invention according to any one of claims 1 to 4, the head-mounted display according to claim 5 is provided with identification information for identifying itself in an actual image picked up by the image pickup means. The real object specifying means specifies the real object imaged by the imaging means based on the identification information included in the real image.
請求項1に記載のヘッドマウントディスプレイによれば、実物特定手段は、撮像手段によって撮像された実物画像で示される実物を特定する。選択手段は、撮像条件に基づいて、実物画像と関連画像のいずれか一方を選択することができる。そして、表示制御手段は、選択手段によって実物画像が選択された場合には、実物画像を表示する一方で、関連画像が選択された場合には、実物に対応して関連画像記憶手段に記憶されている関連画像を表示することができる。このように、撮像条件は使用者が設定可能であり、その撮像条件に基づいて実物画像又は関連画像がヘッドマウントディスプレイに表示される。したがって、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができる。   According to the head-mounted display of the first aspect, the real object specifying unit specifies the real object indicated by the real image captured by the imaging unit. The selection means can select one of the real image and the related image based on the imaging condition. The display control means displays the real image when the selection means selects the real image, while when the related image is selected, the display control means stores the real image corresponding to the real image in the related image storage means. Related images can be displayed. As described above, the imaging condition can be set by the user, and the real image or the related image is displayed on the head mounted display based on the imaging condition. Therefore, the real image and the related image can be easily switched based on the user's intention.
請求項2に記載のヘッドマウントディスプレイによれば、実物特定手段により、撮像手段によって撮像された撮像画像に含まれている実物を示した画像がどの実物を示した画像なのかを特定することによって、表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することができる。   According to the head-mounted display according to claim 2, the real object specifying unit specifies which real image is an image showing the real object included in the captured image captured by the image capturing unit. The display control means can display the related image stored in the related image storage means corresponding to the real thing specified by the real specifying means.
請求項3のヘッドマウントディスプレイによれば、使用者は実物の内部画像を視認できる。そして、その内部画像は、使用者がその実物を見る位置に対応した画像である。したがって、使用者は、実物の内部を多方向から把握することができる。   According to the head mounted display of the third aspect, the user can visually recognize the actual internal image. The internal image is an image corresponding to the position where the user sees the actual object. Therefore, the user can grasp the inside of the real object from multiple directions.
請求項4のヘッドマウントディスプレイによれば、撮像倍率によって、表示させる画像を実物画像又は関連画像に決定しているので、使用者は容易に表示させる画像を切り替えることができる。また、一般的に使用者は、興味がある実物、すなわち関連画像を表示させたい実物ほど直感的に撮像倍率を大きく設定すると考えられる。そこで、選択手段は、撮像倍率が所定値より小さい場合に実物画像を選択する一方で、撮像倍率が所定値以上の場合に関連画像を選択している。その結果、使用者は、どちらの画像を表示させるか決定するための操作がやりやすい。   According to the head mounted display of the fourth aspect, since the image to be displayed is determined as the real image or the related image according to the imaging magnification, the user can easily switch the image to be displayed. In general, it is considered that the user intuitively sets a larger imaging magnification for an actual object that is interested, that is, an actual object for which a related image is to be displayed. Therefore, the selection unit selects the real image when the imaging magnification is smaller than the predetermined value, and selects the related image when the imaging magnification is equal to or larger than the predetermined value. As a result, the user can easily perform an operation for determining which image to display.
請求項5のヘッドマウントディスプレイによれば、識別情報に基づいて実物を特定しているので、確実に撮像手段が撮像した実物を特定することができる。   According to the head-mounted display of the fifth aspect, since the actual object is specified based on the identification information, the actual object captured by the imaging unit can be specified with certainty.
ヘッドマウントディスプレイ1が適用されるヘッドマウントディスプレイシステム5の概略構成を示した図である。It is the figure which showed schematic structure of the head mounted display system 5 to which the head mounted display 1 is applied. ヘッドマウントディスプレイ1の電気的及び光学的構成を示す説明図である。It is explanatory drawing which shows the electrical and optical structure of the head mounted display. 記憶装置300に記憶されているテーブル301の概念図である。3 is a conceptual diagram of a table 301 stored in a storage device 300. FIG. 制御部110が実行する処理を示したフローチャートである。It is the flowchart which showed the process which the control part 110 performs. 使用者50が自動車401の前方に居る場合における実物画像404をヘッドマウントディスプレイ1に表示した図である。FIG. 6 is a diagram showing a real image 404 displayed on the head mounted display 1 when the user 50 is in front of the automobile 401. 使用者50が自動車401の側方に居る場合における実物画像404をヘッドマウントディスプレイ1に表示した図である。FIG. 6 is a diagram showing a real image 404 displayed on the head mounted display 1 when the user 50 is on the side of the automobile 401. 使用者50が自動車401の前方に居る場合における内部画像403a1をヘッドマウントディスプレイ1に表示した図である。It is the figure which displayed the internal image 403a1 in case the user 50 is ahead of the motor vehicle 401 on the head mounted display 1. FIG. 使用者50が自動車401の側方に居る場合における内部画像403a2をヘッドマウントディスプレイ1に表示した図である。It is the figure which displayed on the head mounted display 1 the internal image 403a2 in case the user 50 exists in the side of the motor vehicle 401. FIG. 使用者50が自動車401に対してどの位置に居るのかを判定する方法を説明するための図である。It is a figure for demonstrating the method of determining in which position the user 50 is with respect to the motor vehicle 401. FIG.
以下、本発明に係るヘッドマウントディスプレイの実施形態について図面を参照して説明する。図1は本実施形態のヘッドマウントディスプレイ1を用いたヘッドマウントディスプレイシステム5の概略構成を示した図である。図1に示すように、ヘッドマウントディスプレイシステム5は、ヘッドマウントディスプレイ1と記憶装置300とをネットワーク200を介して接続して構成されている。そして、ヘッドマウントディスプレイ1は使用者50によって装着される。   Hereinafter, embodiments of a head mounted display according to the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a schematic configuration of a head mounted display system 5 using the head mounted display 1 of the present embodiment. As shown in FIG. 1, the head mounted display system 5 is configured by connecting a head mounted display 1 and a storage device 300 via a network 200. The head mounted display 1 is worn by the user 50.
使用者50は、一例として、自動車401a、401b、401c(以下、総称して「自動車401」ともいう)を視認するものとする。また、本実施形態の自動車401a、401b、401cはそれぞれ車種が異なっているものとする。各自動車401の前面、側面には、バーコード402(識別情報)が付してある。詳細には自動車401aの前面にはバーコード402a1、側面にはバーコード402a2が付されている。また、自動車401bの前面にはバーコード402b1、側面にはバーコード402b2が付されている。また、自動車401cの前面にはバーコード402c1、側面にはバーコード402c2が付されている。また、図示外の他の自動車についてもその前面と側面には、固有のバーコードが付されているものとする。従って、バーコード402a1〜402c2は各自動車401a〜401cを特定する情報である。また、バーコード402a1〜402c2は、後述するCCDセンサ2にて撮像されたときの撮像位置、すなわち使用者50は自動車401の前面を撮像する位置に居るのか側面を撮像する位置に居るのかを特定する情報でもある。   As an example, it is assumed that the user 50 visually recognizes automobiles 401a, 401b, and 401c (hereinafter collectively referred to as “automobile 401”). In addition, it is assumed that the automobiles 401a, 401b, and 401c of the present embodiment have different vehicle types. A barcode 402 (identification information) is attached to the front and side surfaces of each automobile 401. Specifically, a barcode 402a1 is attached to the front surface of the automobile 401a, and a barcode 402a2 is attached to the side surface. Further, a barcode 402b1 is attached to the front surface of the automobile 401b, and a barcode 402b2 is attached to the side surface. Further, a barcode 402c1 is attached to the front surface of the automobile 401c, and a barcode 402c2 is attached to the side surface. In addition, other automobiles not shown in the figure also have unique barcodes on the front and side surfaces. Therefore, the barcodes 402a1 to 402c2 are information for specifying the automobiles 401a to 401c. Further, the barcodes 402a1 to 402c2 specify an imaging position when the CCD sensor 2 described later captures an image, that is, whether the user 50 is at a position for imaging the front surface of the automobile 401 or a side image. It is also information to do.
次に、先ずヘッドマウントディスプレイ1の構造について図1及び図2を参照して説明する。図1及び図2に示すように、ヘッドマウントディスプレイ1は、内部又は外部に記憶されている各種情報を画像信号に変換し、この画像信号に基づいて生成した画像光(以下、「画像光」という。)を使用者50の眼Eに導いて走査する光走査部10(図2参照)を備えている。このヘッドマウントディスプレイ1では、ヘッドマウントディスプレイ1が使用者50の頭部に装着された状態で、使用者50がヘッドマウントディスプレイ1の電源を入れると、光走査部10が動作を開始する。光走査部10の動作により、画像光が使用者50の網膜上で2次元方向に走査されることにより、使用者50に情報に対応する画像を視認させることができる。また、このヘッドマウントディスプレイ1は、使用者50が外界を視認できないように構成されている。   Next, the structure of the head mounted display 1 will be described with reference to FIGS. As shown in FIGS. 1 and 2, the head mounted display 1 converts various kinds of information stored inside or outside into an image signal, and generates image light (hereinafter referred to as “image light”) based on the image signal. The optical scanning unit 10 (see FIG. 2) that scans the user E with the eye E of the user 50 is provided. In the head mounted display 1, when the user 50 turns on the power of the head mounted display 1 with the head mounted display 1 mounted on the head of the user 50, the optical scanning unit 10 starts operating. By the operation of the optical scanning unit 10, the image light is scanned in a two-dimensional direction on the retina of the user 50, so that the user 50 can visually recognize an image corresponding to the information. The head mounted display 1 is configured such that the user 50 cannot visually recognize the outside world.
また、本実施形態のヘッドマウントディスプレイ1は、使用者50の視野に対応して自動車401を撮像する撮像手段としてのCCDセンサ2を備えている。なお、ヘッドマウントディスプレイ1は、外界の明るさを検出する輝度センサ8と、CCDセンサ2の撮像範囲を照らすLED3とを備えており(図2参照)、輝度センサ8により外界の明るさが所定の明るさを下回ったことが検知されたときに、LED3がCCDセンサ2の撮像範囲を照らす。   In addition, the head mounted display 1 of the present embodiment includes a CCD sensor 2 as an imaging unit that images the automobile 401 corresponding to the visual field of the user 50. The head mounted display 1 includes a luminance sensor 8 that detects the brightness of the outside world and an LED 3 that illuminates the imaging range of the CCD sensor 2 (see FIG. 2). The LED 3 illuminates the imaging range of the CCD sensor 2 when it is detected that the brightness is below the brightness of the image sensor.
図2に示すように、このヘッドマウントディスプレイ1は、当該ヘッドマウントディスプレイ1全体の動作を統括制御する制御部110と、この制御部110から供給される画像信号に基づいて生成した画像光を2次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部10とを備えている。   As shown in FIG. 2, the head mounted display 1 includes a control unit 110 that performs overall control of the operation of the entire head mounted display 1, and 2 image lights generated based on an image signal supplied from the control unit 110. An optical scanning unit 10 that visually displays an image according to an image signal by displaying an image by scanning in dimension.
光走査部10は、この制御部110から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部20を備え、さらに、その画像光生成部20と使用者50の眼Eとの間には、画像光生成部20で生成され、光ファイバ100を介して出射されるレーザビーム(画像光)を平行光とするコリメート光学系61と、このコリメート光学系61で平行光化された画像光を画像表示のために水平方向(第1方向)に往復走査する第1光走査部として機能する水平走査部70と、水平走査部70で水平方向に走査された画像光を垂直方向(第1方向と略直交する第2方向)に往復走査する第2光走査部として機能する垂直走査部80と、水平走査部70と垂直走査部80との間に設けられたリレー光学系75と、このように水平方向と垂直方向に走査(2次元的に走査)された画像光を瞳孔Eaへ出射するためのリレー光学系90とを備えている。また、使用者50が外界を視認できないようにするために、使用者50の目の周りを閉塞する閉塞部材(図示略)を備えている。   The optical scanning unit 10 includes an image light generation unit 20 that reads out the image signal supplied from the control unit 110 for each dot clock, generates image light that is intensity-modulated according to the read video signal, and emits the image light. Further, a laser beam (image light) generated by the image light generation unit 20 and emitted through the optical fiber 100 is converted into parallel light between the image light generation unit 20 and the eye E of the user 50. A collimating optical system 61, and a horizontal scanning unit 70 functioning as a first light scanning unit that reciprocally scans the image light collimated by the collimating optical system 61 in the horizontal direction (first direction) for image display; A vertical scanning unit 80 functioning as a second optical scanning unit that reciprocally scans the image light scanned in the horizontal direction by the horizontal scanning unit 70 in the vertical direction (second direction substantially orthogonal to the first direction); And vertical scanning section 80 And a relay optical system 90 for emitting the image light thus scanned in the horizontal direction and the vertical direction (two-dimensionally scanned) to the pupil Ea. . Moreover, in order to prevent the user 50 from visually recognizing the outside world, a closing member (not shown) that closes around the eyes of the user 50 is provided.
また、画像光生成部20には、パーソナルコンピュータ(図示略)等の外部装置から供給される画像信号が、インターフェース104と制御部110とを介して入力され、その画像信号に基づいて画像を合成するための要素となる各信号等を発生する信号処理回路21が設けられている。この信号処理回路21において、青(B)、緑(G)、赤(R)の各画像信号22a〜22cが生成され、後記する光源部30へ出力される。また、信号処理回路21は、水平走査部70で使用される水平駆動信号23と、垂直走査部80で使用される垂直駆動信号24とをそれぞれ出力する。   The image light generation unit 20 receives an image signal supplied from an external device such as a personal computer (not shown) via the interface 104 and the control unit 110, and synthesizes an image based on the image signal. There is provided a signal processing circuit 21 for generating each signal or the like as an element for the purpose. In the signal processing circuit 21, blue (B), green (G), and red (R) image signals 22 a to 22 c are generated and output to the light source unit 30 described later. The signal processing circuit 21 outputs a horizontal drive signal 23 used in the horizontal scanning unit 70 and a vertical drive signal 24 used in the vertical scanning unit 80, respectively.
さらに、画像光生成部20は、信号処理回路21からドットクロック毎に出力される3つの画像信号(B,G,R)22a〜22cに応じた青、緑、赤の画像光を出力する画像光出力部として機能する光源部30と、これらの3つの画像光を1つの画像光に結合して任意の画像光を生成するための光合成部40を備えている。   Further, the image light generation unit 20 outputs an image light of blue, green, and red corresponding to the three image signals (B, G, R) 22a to 22c output from the signal processing circuit 21 for each dot clock. A light source unit 30 that functions as a light output unit, and a light combining unit 40 for combining these three image lights into one image light to generate arbitrary image light are provided.
光源部30は、青色の画像光を発生させるBレーザ34及びBレーザ34を駆動するBレーザドライバ31と、緑色の画像光を発生させるGレーザ35及びGレーザ35を駆動するGレーザドライバ32と、赤色の画像光を発生させるRレーザ36及びRレーザ36を駆動するRレーザドライバ33とを備えている。なお、各レーザ34、35、36は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う。   The light source unit 30 includes a B laser 34 that generates blue image light and a B laser driver 31 that drives the B laser 34, a G laser 35 that generates green image light, and a G laser driver 32 that drives the G laser 35. And an R laser 36 for generating red image light and an R laser driver 33 for driving the R laser 36. Each of the lasers 34, 35, and 36 can be configured as, for example, a semiconductor laser or a solid-state laser with a harmonic generation mechanism. If a semiconductor laser is used, the drive current can be directly modulated to modulate the intensity of the image light. However, if a solid-state laser is used, each laser is equipped with an external modulator to modulate the intensity of the image light. I do.
光合成部40は、光源部30から入射する画像光を平行光にコリメートするように設けられたコリメート光学系41、42、43と、このコリメートされた画像光を合成するためのダイクロイックミラー44、45、46と、合成された画像光を光ファイバ100に導く結合光学系47とを備えている。   The light combining unit 40 is provided with collimating optical systems 41, 42, and 43 provided to collimate image light incident from the light source unit 30 into parallel light, and dichroic mirrors 44 and 45 for combining the collimated image light. , 46 and a coupling optical system 47 for guiding the combined image light to the optical fiber 100.
各レーザ34、35、36から出射したレーザ光は、コリメート光学系41、42、43によってそれぞれ平行化された後に、ダイクロイックミラー44、45、46に入射される。その後、これらのダイクロイックミラー44、45、46により、各画像光が波長に関して選択的に反射・透過される。   Laser beams emitted from the lasers 34, 35, and 36 are collimated by collimating optical systems 41, 42, and 43, and then enter the dichroic mirrors 44, 45, and 46. Thereafter, the image light is selectively reflected and transmitted with respect to the wavelength by these dichroic mirrors 44, 45 and 46.
具体的には、Bレーザ34から出射した青色画像光は、コリメート光学系41によって平行光化された後に、ダイクロイックミラー44に入射される。Gレーザ35から出射した緑色画像光は、コリメート光学系42を経てダイクロイックミラー45に入射される。Rレーザ36から出射した赤色画像光は、コリメート光学系43を経てダイクロイックミラー46に入射される。   Specifically, the blue image light emitted from the B laser 34 is collimated by the collimating optical system 41 and then enters the dichroic mirror 44. The green image light emitted from the G laser 35 enters the dichroic mirror 45 through the collimating optical system 42. The red image light emitted from the R laser 36 enters the dichroic mirror 46 through the collimating optical system 43.
それら3つのダイクロイックミラー44、45、46にそれぞれ入射した3原色の画像光は、波長選択的に反射または透過して結合光学系47に達し、集光され光ファイバ100へ出力される。   The three primary color image lights respectively incident on the three dichroic mirrors 44, 45, and 46 are reflected or transmitted in a wavelength selective manner, reach the coupling optical system 47, and are collected and output to the optical fiber 100.
水平走査部70及び垂直走査部80は、光ファイバ100から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。   The horizontal scanning unit 70 and the vertical scanning unit 80 scan the image light incident from the optical fiber 100 in a state where it can be projected as an image, and scan it in the horizontal direction and the vertical direction to obtain scanning image light.
水平走査部70は、画像光を水平方向に走査するための反射面を有する共振型偏向素子71と、この共振型偏向素子71を共振させ、共振型偏向素子71の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路72と、共振型偏向素子71から出力される変位信号に基づいて、共振型偏向素子71の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路73とを有している。   The horizontal scanning unit 70 has a resonance type deflection element 71 having a reflection surface for scanning image light in the horizontal direction, and a drive that resonates the resonance type deflection element 71 and swings the reflection surface of the resonance type deflection element 71. Based on a horizontal scanning drive circuit 72 as a drive signal generator for generating a signal and a displacement signal output from the resonance type deflection element 71, the oscillation range and oscillation frequency of the reflection surface of the resonance type deflection element 71, etc. And a horizontal scanning angle detection circuit 73 for detecting the swinging state.
本実施形態において、水平走査角検出回路73は、検出した共振型偏向素子71の揺動状態を示す信号を制御部110へ入力するようにしている。   In the present embodiment, the horizontal scanning angle detection circuit 73 inputs a signal indicating the detected oscillation state of the resonance type deflection element 71 to the control unit 110.
垂直走査部80は、画像光を垂直方向に走査するための偏向素子81と、この偏向素子81を駆動させる垂直走査制御回路82と、この垂直走査制御回路82による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路83とを備えている。   The vertical scanning unit 80 includes a deflection element 81 for scanning the image light in the vertical direction, a vertical scanning control circuit 82 for driving the deflection element 81, and a swing range and fluctuation of the reflection surface by the vertical scanning control circuit 82. And a vertical scanning angle detection circuit 83 for detecting a swinging state such as a dynamic frequency.
また、水平走査駆動回路72と垂直走査制御回路82は、信号処理回路21から出力される水平駆動信号23と垂直駆動信号24に基づいてそれぞれ駆動し、垂直走査角検出回路83は、検出した偏向素子81の揺動状態を示す信号を制御部110へ入力するようにしている。   The horizontal scanning drive circuit 72 and the vertical scanning control circuit 82 are driven based on the horizontal driving signal 23 and the vertical driving signal 24 output from the signal processing circuit 21, respectively, and the vertical scanning angle detection circuit 83 detects the detected deflection. A signal indicating the swinging state of the element 81 is input to the control unit 110.
そして、後に詳述する制御部110は、信号処理回路21の動作を制御することによって、これら水平駆動信号23と垂直駆動信号24とを調整することによって、水平走査部70と垂直走査部80に画像光の走査角を変更させて、表示する画像を形成する。   The control unit 110, which will be described in detail later, controls the operation of the signal processing circuit 21 and adjusts the horizontal drive signal 23 and the vertical drive signal 24 to thereby adjust the horizontal scanning unit 70 and the vertical scanning unit 80. An image to be displayed is formed by changing the scanning angle of the image light.
こうして変更された走査角度は水平走査角検出回路73および垂直走査角検出回路83からの検出信号に基づいて制御部110により検出され、信号処理回路21と水平走査駆動回路72とを介して水平駆動信号23にフィードバックされると共に、信号処理回路21と垂直走査制御回路82とを介して垂直駆動信号24にフィードバックされる。   The scanning angle thus changed is detected by the control unit 110 based on detection signals from the horizontal scanning angle detection circuit 73 and the vertical scanning angle detection circuit 83, and is horizontally driven via the signal processing circuit 21 and the horizontal scanning drive circuit 72. It is fed back to the signal 23 and also fed back to the vertical drive signal 24 via the signal processing circuit 21 and the vertical scanning control circuit 82.
また、水平走査部70と垂直走査部80との間での画像光を中継するリレー光学系75は、共振型偏向素子71によって水平方向に走査された画像光を、偏向素子81の反射面に入射させる。偏向素子81に入射した画像光は、偏向素子81によって垂直方向に走査されて、2次元的に走査された走査画像光として、リレー光学系90へ出射する。   The relay optical system 75 that relays the image light between the horizontal scanning unit 70 and the vertical scanning unit 80 causes the image light scanned in the horizontal direction by the resonance type deflection element 71 to be reflected on the reflection surface of the deflection element 81. Make it incident. The image light incident on the deflecting element 81 is scanned in the vertical direction by the deflecting element 81 and is emitted to the relay optical system 90 as scanned image light scanned two-dimensionally.
リレー光学系90は、正の屈折力を持つレンズ系91、94を有している。垂直走査部80から出射された表示用の走査画像光は、レンズ系91によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、走査画像光は、レンズ系94によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が使用者50の瞳孔Eaに収束するように変換される。   The relay optical system 90 includes lens systems 91 and 94 having a positive refractive power. The display scanning image light emitted from the vertical scanning unit 80 is converted into convergent image light by the lens system 91 so that the respective image lights have their center lines substantially parallel to each other. The scanned image light is converted into substantially parallel image light by the lens system 94 and is converted so that the center line of the image light converges on the pupil Ea of the user 50.
なお、本実施形態においては、光ファイバ100から出射した画像光は、水平走査部70によって水平方向に走査された後、垂直走査部80によって垂直方向に走査される。しかし、水平走査部70と垂直走査部80との配置を入れ替え、画像光が垂直走査部80によって垂直方向に走査された後、水平走査部70によって水平方向に走査されるようにしても良い。   In the present embodiment, the image light emitted from the optical fiber 100 is scanned in the horizontal direction by the horizontal scanning unit 70 and then scanned in the vertical direction by the vertical scanning unit 80. However, the horizontal scanning unit 70 and the vertical scanning unit 80 may be interchanged so that the image light is scanned in the vertical direction by the vertical scanning unit 80 and then scanned in the horizontal direction by the horizontal scanning unit 70.
また、制御部110は、CPU101と、不揮発性メモリであるフラッシュメモリ102と、RAM103とを備えている。そして、これらCPU101、フラッシュメモリ102、RAM103は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。   The control unit 110 includes a CPU 101, a flash memory 102 that is a nonvolatile memory, and a RAM 103. The CPU 101, the flash memory 102, and the RAM 103 are respectively connected to a data communication bus, and various information is transmitted / received via the data communication bus.
また、この制御部110は、当該ヘッドマウントディスプレイ1の電源スイッチSW、自動車401を撮像するCCDセンサ2、外界の明るさ(輝度)を検知する輝度センサ8、輝度センサ8により外界の明るさが所定の明るさを下回ったことが検知されたときに、CCDセンサ2の撮像範囲を照らすLED3、使用者50によって操作可能な操作スイッチ7、他の装置との通信を制御するための通信制御回路9、CCDセンサ2による撮像倍率を設定する撮像倍率設定部11、パーソナルコンピュータ等の外部装置と接続可能なインターフェース104とも接続されている。なお使用者50は、撮像倍率設定部11にて撮像倍率を設定することができる。ここで、撮像倍率設定部11にて設定される撮像倍率は、デジタルズームを行う場合には、予め決められているズームの範囲、一例として、1倍〜5倍等である。また、CCDセンサ2に図示外の電動ズームレンズを設けて、光学的ズームを行う場合は、その電動ズームレンズの倍率を設定するようにしても良い。例えば、1倍〜3倍等である。尚、撮像倍率設定部11にて設定された撮像倍率は、フラッシュメモリ102に記憶される。   In addition, the control unit 110 controls the brightness of the outside world by the power switch SW of the head mounted display 1, the CCD sensor 2 that images the automobile 401, the brightness sensor 8 that detects the brightness (brightness) of the outside world, and the brightness sensor 8. When it is detected that the brightness falls below a predetermined brightness, the LED 3 that illuminates the imaging range of the CCD sensor 2, the operation switch 7 that can be operated by the user 50, and a communication control circuit for controlling communication with other devices 9. An imaging magnification setting unit 11 for setting an imaging magnification by the CCD sensor 2 and an interface 104 that can be connected to an external device such as a personal computer are also connected. Note that the user 50 can set the imaging magnification in the imaging magnification setting unit 11. Here, the imaging magnification set by the imaging magnification setting unit 11 is a predetermined zoom range, for example, 1 to 5 times when performing digital zoom. Further, when an electric zoom lens (not shown) is provided in the CCD sensor 2 and optical zoom is performed, the magnification of the electric zoom lens may be set. For example, it is 1 to 3 times. Note that the imaging magnification set by the imaging magnification setting unit 11 is stored in the flash memory 102.
CPU101は、フラッシュメモリ102に記憶されている各種情報処理プログラムを実行することにより、ヘッドマウントディスプレイ1を構成する図示しない各種回路を動作させて、ヘッドマウントディスプレイ1が備える各種機能を実行させる演算処理装置である。   The CPU 101 executes various information processing programs stored in the flash memory 102 to operate various circuits (not shown) constituting the head mounted display 1 to execute various functions provided in the head mounted display 1. Device.
フラッシュメモリ102は、ヘッドマウントディスプレイ1により表示する画像の表示制御を行う際に画像光生成部20、水平走査部70、垂直走査部80等を動作させるための情報処理プログラム等、制御部110がヘッドマウントディスプレイ1全体の動作を統括制御するためにCPU101により実行される各種情報処理プログラムを記憶している。   The flash memory 102 includes an information processing program for operating the image light generation unit 20, the horizontal scanning unit 70, the vertical scanning unit 80, and the like when the display control of an image displayed by the head mounted display 1 is performed. Various information processing programs executed by the CPU 101 for overall control of the operation of the entire head mounted display 1 are stored.
次に、図1及び図3を参照して、記憶装置300について説明する。この記憶装置300は、本発明の「関連画像記憶手段」に相当し、記憶装置300には、CCDセンサ2によって撮像される可能性がある各自動車401に関連した画像である関連画像を含むテーブル301が記憶されている。図3に示すようにテーブル301は、自動車区分欄302、撮像位置欄303、バーコード記憶欄304及び関連画像記憶欄305から構成される。   Next, the storage device 300 will be described with reference to FIGS. 1 and 3. This storage device 300 corresponds to the “related image storage means” of the present invention, and the storage device 300 includes a table including related images that are images related to each automobile 401 that may be imaged by the CCD sensor 2. 301 is stored. As shown in FIG. 3, the table 301 includes an automobile classification field 302, an imaging position field 303, a barcode storage field 304, and a related image storage field 305.
自動車区分欄302には各自動車401a,401b,401cを示した情報が記憶されている。撮像位置欄303には、自動車401のどの方向から撮像したのかを示した情報が記憶されている。バーコード記憶欄304には、各自動車401に予め付されているバーコード402a1,402a2,402b1,402b2,402c1,402c2が示す数字が各々記憶されている。一例として、日本のJIS規格、ヨーロッパのEAN規格又はアメリカのUPC規格の何れか場合には、13桁又は8桁の数字が記憶されている。現在、世界で使用されているバーコードの種類は、約100種類と多いため、バーコード記憶欄304には、使用するバーコードに対応した数値を記憶しておけば良い。尚、バーコードそのものの画像を記憶したり、バーコードと数値の両方を記憶しても良い。また、関連画像記憶欄305には各バーコード402a1〜402c2に対応した自動車401a,401b,401cの内部を示した内部画像403a1,403a2,403b1,403b2,403c1,403c2・・・が関連画像として記憶されている。詳細には、バーコード402a1に対応付けて、自動車401aを前方から視認したときのその自動車401aの内部画像403a1が記憶されている。また、バーコード402a2に対応付けて、自動車401aを側方から視認したときのその自動車401aの内部画像403a2が記憶されている。また、バーコード402b1に対応付けて、自動車401bを前方から視認したときのその自動車401bの内部画像403b1が記憶されている。また、バーコード402b2に対応付けて、自動車401bを側方から視認したときのその自動車401bの内部画像403b2が記憶されている。また、バーコード402c1に対応付けて、自動車401cを前方から視認したときのその自動車401cの内部画像403c1が記憶されている。また、バーコード402c2に対応付けて、自動車401cを側方から視認したときのその自動車401cの内部画像403c2が記憶されている。ここでは説明を省略するが、他の自動車401についても、バーコード402に対応付けて内部画像403が記憶されている。   In the automobile classification column 302, information indicating each automobile 401a, 401b, 401c is stored. In the imaging position column 303, information indicating from which direction of the automobile 401 the image is taken is stored. In the bar code storage column 304, numbers indicated by bar codes 402a1, 402a2, 402b1, 402b2, 402c1, and 402c2 previously attached to the respective automobiles 401 are stored. As an example, in the case of any of Japanese JIS standards, European EAN standards, and American UPC standards, 13-digit or 8-digit numbers are stored. Since there are currently about 100 types of barcodes used in the world, the barcode storage column 304 may store a numerical value corresponding to the barcode to be used. Note that an image of the barcode itself may be stored, or both the barcode and a numerical value may be stored. In the related image storage field 305, internal images 403a1, 403a2, 403b1, 403b2, 403c1, 403c2,... Has been. Specifically, an internal image 403a1 of the automobile 401a when the automobile 401a is viewed from the front is stored in association with the barcode 402a1. Further, an internal image 403a2 of the automobile 401a when the automobile 401a is viewed from the side is stored in association with the barcode 402a2. Further, an internal image 403b1 of the automobile 401b when the automobile 401b is viewed from the front is stored in association with the barcode 402b1. Further, an internal image 403b2 of the automobile 401b when the automobile 401b is viewed from the side is stored in association with the barcode 402b2. Further, an internal image 403c1 of the automobile 401c when the automobile 401c is viewed from the front is stored in association with the barcode 402c1. Further, an internal image 403c2 of the automobile 401c when the automobile 401c is viewed from the side is stored in association with the barcode 402c2. Although not described here, the internal image 403 is also stored in association with the barcode 402 for other automobiles 401.
次に、制御部110が実行する処理について図4のフローチャートを参照して説明する。なお、この処理は使用者50によって操作スイッチ7に含まれている開始ボタンが操作されたときに開始する。以下「表示」と言ったときには、画像光を使用者50の網膜上で2次元方向に走査させることにより、使用者50に情報に対応する画像を視認させることを言う。   Next, processing executed by the control unit 110 will be described with reference to the flowchart of FIG. This process starts when the start button included in the operation switch 7 is operated by the user 50. Hereinafter, “display” means that the user 50 visually recognizes an image corresponding to information by scanning image light in a two-dimensional direction on the retina of the user 50.
先ず、制御部110の制御により、CCDセンサ2が使用者50の視野に対応した自動車401を実物画像404(図5及び図6参照)として撮像する(S11)。そして、その実物画像404からバーコード402を抽出する(S12)。この抽出方法は、周知の画像認識方により、実物画像404からバーコードの特徴を示す部分の画像を切り出し、ノイズ除去等の処理を行い、次いで、バーコード402の画像を数値に変換する(S12)。その数値が、記憶装置300に記憶されているテーブル301のバーコード記憶欄304のバーコード402a1、402a2、402b1、402b2、402c1、402c2・・・のどれに一致するかを特定する(S13)。   First, under the control of the control unit 110, the CCD sensor 2 captures an automobile 401 corresponding to the field of view of the user 50 as a real image 404 (see FIGS. 5 and 6) (S11). Then, the barcode 402 is extracted from the actual image 404 (S12). In this extraction method, an image of a portion indicating the characteristic of the barcode is cut out from the actual image 404 by a known image recognition method, a process such as noise removal is performed, and then the image of the barcode 402 is converted into a numerical value (S12). ). It is specified to which of the barcodes 402a1, 402a2, 402b1, 402b2, 402c1, 402c2,... In the barcode storage column 304 of the table 301 stored in the storage device 300 (S13).
一致するバーコードが有った場合には(S13:YES)、次いで、使用者50が撮像倍率設定部11にて設定した撮像倍率が、所定の閾値倍率(例えば2倍)より大きいか否かを判断する(S14)。撮像倍率が閾値倍率以下の場合には(S14:NO)、図5や図6に示すように、S11にて撮像した実物画像404を表示する(S17)。この際、撮像倍率に応じた大きさで実物画像404を表示する(S17)。このように、使用者50は、外界を視認することができないので自動車401を直接視認することはできないが、実物画像404として自動車401を視認することができる。   If there is a matching barcode (S13: YES), then whether or not the imaging magnification set by the user 50 in the imaging magnification setting unit 11 is greater than a predetermined threshold magnification (for example, 2 times). Is determined (S14). When the imaging magnification is equal to or less than the threshold magnification (S14: NO), as shown in FIGS. 5 and 6, the real image 404 captured in S11 is displayed (S17). At this time, the real image 404 is displayed with a size corresponding to the imaging magnification (S17). Thus, the user 50 cannot visually recognize the outside world and cannot directly recognize the automobile 401, but can visually recognize the automobile 401 as the real image 404.
一方、撮像倍率が閾値倍率より大きい場合には(S14:YES)、S13にて特定したバーコード402に対応付けて記憶装置300に記憶されている内部画像403を表示する(S15)。この際、撮像倍率に応じた大きさで内部画像を表示する(S15)。例えば、S13にて特定されたバーコード402がバーコード402a1である場合には、図7に示すように、自動車401aを前方から視認したときのその自動車401aの内部画像403a1が表示される。また、S13にて特定されたバーコード402がバーコード402a2である場合には、図8に示すように、自動車401aを横方向から視認したときのその自動車401aの内部画像403a2が表示される。このように、使用者50は自動車401の内部を内部画像403として視認できる。尚、S13の判断処理で、バーコードが特定されない場合には(S13:NO)、実物画像を表示する(S17)。   On the other hand, when the imaging magnification is larger than the threshold magnification (S14: YES), the internal image 403 stored in the storage device 300 is displayed in association with the barcode 402 specified in S13 (S15). At this time, the internal image is displayed in a size corresponding to the imaging magnification (S15). For example, when the barcode 402 specified in S13 is the barcode 402a1, as shown in FIG. 7, an internal image 403a1 of the automobile 401a when the automobile 401a is viewed from the front is displayed. When the barcode 402 specified in S13 is the barcode 402a2, as shown in FIG. 8, an internal image 403a2 of the automobile 401a when the automobile 401a is viewed from the lateral direction is displayed. Thus, the user 50 can visually recognize the inside of the automobile 401 as the internal image 403. If the barcode is not specified in the determination process of S13 (S13: NO), the actual image is displayed (S17).
その後、使用者50によって操作スイッチ7に含まれている終了ボタンが操作されたか否かで、図4のフローチャートで示す処理を終了するか否かを判断する(S16)。終了ボタンが操作された場合には(S16:YES)、図4のフローチャートで示す処理を終了する。一方、終了ボタンが操作されていない場合には(S16:NO)、S11の処理に戻る。したがって、使用者50が居る位置はそのままで、使用者50が撮像倍率を所定値以上にしたり、所定値より小さくしたりすることによって、自動車401の内部画像403と実物画像404間で表示が切り替わることになる(S11〜S17)。また、使用者50の視線が移動して、CCDセンサ2が他の自動車401を撮像した場合には(S11)、他の自動車401に付されているバーコード402を抽出し(S12)、その特徴によりバーコード402を特定して(S12)、他の自動車401を示した実物画像404若しくは内部画像403を表示することになる(S11〜S17)。   Thereafter, whether or not to end the process shown in the flowchart of FIG. 4 is determined based on whether or not the end button included in the operation switch 7 is operated by the user 50 (S16). If the end button is operated (S16: YES), the process shown in the flowchart of FIG. 4 is ended. On the other hand, when the end button is not operated (S16: NO), the process returns to S11. Accordingly, the display is switched between the internal image 403 and the real image 404 of the automobile 401 when the user 50 keeps the position where the user 50 is present and the user 50 increases or decreases the imaging magnification to a predetermined value or less. (S11 to S17). When the line of sight of the user 50 moves and the CCD sensor 2 images another car 401 (S11), the bar code 402 attached to the other car 401 is extracted (S12). The bar code 402 is specified by the characteristic (S12), and the real image 404 or the internal image 403 showing another car 401 is displayed (S11 to S17).
以上、本実施形態のヘッドマウントディスプレイ1によれば、CCDセンサ2によって撮像された実物画像404で示される自動車401をバーコード402にて特定する。そして、撮像倍率が所定値より小さい場合には実物画像404を表示する一方で、撮像倍率が所定値以上の場合にはその実物画像404に対応した内部画像403を表示する。   As described above, according to the head mounted display 1 of the present embodiment, the automobile 401 indicated by the real image 404 captured by the CCD sensor 2 is specified by the barcode 402. When the imaging magnification is smaller than the predetermined value, the real image 404 is displayed. On the other hand, when the imaging magnification is higher than the predetermined value, the internal image 403 corresponding to the actual image 404 is displayed.
このように、撮像倍率は使用者50が設定可能であり、その撮像倍率に基づいて実物画像404又は内部画像403がヘッドマウントディスプレイ1に表示される。したがって、実物画像404と内部画像403とを使用者50の意思に基づいて簡易に切り替えることができる。   Thus, the user 50 can set the imaging magnification, and the real image 404 or the internal image 403 is displayed on the head mounted display 1 based on the imaging magnification. Therefore, the real image 404 and the internal image 403 can be easily switched based on the intention of the user 50.
また、ヘッドマウントディスプレイ1によれば、使用者50は自動車401の内部画像403を視認できる。そして、その内部画像403は、使用者50がその自動車401を見る位置に対応した画像である。したがって、使用者50は、自動車401の内部を多方向から把握することができる。   Further, according to the head mounted display 1, the user 50 can visually recognize the internal image 403 of the automobile 401. The internal image 403 is an image corresponding to the position where the user 50 views the automobile 401. Therefore, the user 50 can grasp the inside of the automobile 401 from multiple directions.
また、ヘッドマウントディスプレイ1によれば、撮像倍率によって、表示させる画像を実物画像404又は内部画像403に決定しているので、使用者50は容易に表示させる画像を切り替えることができる。また、一般的に使用者50は、興味がある自動車401、すなわち、内部画像403を表示させたい自動車401ほど直感的に撮像倍率を大きく設定すると考えられる。そこで、撮像倍率が所定値より小さい場合に実物画像404を表示する一方で、撮像倍率が所定値以上の場合に内部画像403を表示している。その結果、使用者50は、どちらの画像を表示させるか決定するための操作がやりやすいと考えられる。   Further, according to the head mounted display 1, since the image to be displayed is determined as the real image 404 or the internal image 403 according to the imaging magnification, the user 50 can easily switch the image to be displayed. Further, it is generally considered that the user 50 intuitively sets the imaging magnification larger for the automobile 401 that is interested, that is, the automobile 401 that wants to display the internal image 403. Therefore, the real image 404 is displayed when the imaging magnification is smaller than the predetermined value, while the internal image 403 is displayed when the imaging magnification is greater than or equal to the predetermined value. As a result, it is considered that the user 50 can easily perform an operation for determining which image to display.
また、ヘッドマウントディスプレイ1によれば、バーコード(識別情報)に基づいて自動車401を特定しているので、確実にCCDセンサ2が撮像した自動車401を特定することができる。   Moreover, according to the head mounted display 1, since the automobile 401 is specified based on the barcode (identification information), the automobile 401 captured by the CCD sensor 2 can be specified reliably.
なお、本発明に係るヘッドマウントディスプレイ1は、上記実施形態に限定されるわけではなく、その趣旨を逸脱しない範囲において種々変形しても良い。例えば、上記実施形態では、自動車401及び撮像位置を特定するのにバーコード402を用いていたが、QRコード(登録商標)や、ICタグなど他の識別情報を自動車401に付して、その識別情報に基づいて自動車401及び撮像位置を特定しても良い。   The head mounted display 1 according to the present invention is not limited to the above embodiment, and various modifications may be made without departing from the spirit of the head mounted display 1. For example, in the above embodiment, the barcode 402 is used to specify the automobile 401 and the imaging position. However, other identification information such as a QR code (registered trademark) or an IC tag is attached to the automobile 401, and the barcode 401 is used. The automobile 401 and the imaging position may be specified based on the identification information.
また、上記実施形態では、撮像位置として、自動車401の前方と側方の2つに限っていたが、後方や斜め前方等、さらに多くの撮像位置を採用して多方向から内部画像403を表示するようにしても良い。この場合、各方向に対応する内部画像403を用意しておく必要がある。また、使用者50が自動車401に対してどの位置に居るのかを判定する方法として、例えば実物画像404に含まれているバーコード402の大きさや傾きに基づいて、その位置を判定することもできる。   Further, in the above embodiment, the imaging positions are limited to the front and side of the automobile 401, but the internal image 403 is displayed from multiple directions by adopting more imaging positions such as rearward and diagonally forward. You may make it do. In this case, it is necessary to prepare an internal image 403 corresponding to each direction. In addition, as a method for determining where the user 50 is located with respect to the automobile 401, the position can also be determined based on, for example, the size or inclination of the barcode 402 included in the real image 404. .
一例として、図9に示すように、自動車401に貼り付けされたバーコード402に対して、使用者が正面に位置している場合には、バーコードは、歪まずに撮影される。一方、自動車401に貼り付けされたバーコード402に対して、使用者が斜めの位置にいる場合には、バーコードは、歪んで撮影される。従って、この歪みを検出することによって、使用者の自動車401に対する置関係を判別することができる(図9参照)。   As an example, as shown in FIG. 9, when the user is positioned in front of the barcode 402 attached to the automobile 401, the barcode is photographed without distortion. On the other hand, when the user is at an oblique position with respect to the barcode 402 attached to the automobile 401, the barcode is photographed with distortion. Therefore, by detecting this distortion, it is possible to determine the positional relationship of the user with respect to the automobile 401 (see FIG. 9).
また、各自動車401の位置を予め記憶しておき、使用者50の位置をGPS受信機によって検出して、自動車401の位置と使用者50の位置に基づいて、使用者50が自動車401に対してどの位置に居るのかを判定しても良い。また、特許公報3422383号に記載されているように、自動車401の四隅に発光体を付しておき、実物画像404において、各発光体間の相対位置に基づいて、使用者50が自動車401に対してどの位置に居るのかを判定しても良い。   In addition, the position of each car 401 is stored in advance, the position of the user 50 is detected by a GPS receiver, and based on the position of the car 401 and the position of the user 50, the user 50 It may be determined at which position. Further, as described in Japanese Patent Publication No. 3422383, light emitters are attached to the four corners of the automobile 401, and in the real image 404, the user 50 moves to the automobile 401 based on the relative positions between the light emitters. In contrast, it may be determined at which position.
また、上記実施形態では自動車401の内部を示した内部画像403を関連画像としていたが、関連画像として、例えば自動車401の3次元CAD線、車種名、燃費を示した画像等、自動車401に関連する画像であるならばその内容は問わない。また、上記実施形態では撮像対象を自動車401としていたが、他の実物を撮像対象としてもかまわない。   In the above embodiment, the internal image 403 showing the inside of the automobile 401 is used as the related image. However, as the related image, for example, a 3D CAD line of the automobile 401, a model name, an image showing fuel consumption, and the like are related to the automobile 401. If it is an image to be displayed, its content does not matter. In the above-described embodiment, the imaging target is the automobile 401, but another real object may be the imaging target.
また、上記実施形態では撮像倍率に基づいて、実物画像404と内部画像403とを切り替えていたが、使用者50と撮像される自動車401との距離等、他の撮像条件に基づいて実物画像404と内部画像403とを切り替えても良い。使用者50と撮像される自動車401との距離に基づいて、実物画像404と内部画像403とを切り替える場合、例えば実物画像404の全領域に対する自動車401に相当する画像の割合の大小やバーコード402の大きさで、あるいはフォーカス調整でその距離を判定するようにしても良い。   In the above embodiment, the real image 404 and the internal image 403 are switched based on the imaging magnification. However, the real image 404 is based on other imaging conditions such as the distance between the user 50 and the automobile 401 to be imaged. And the internal image 403 may be switched. When switching between the real image 404 and the internal image 403 based on the distance between the user 50 and the car 401 to be imaged, for example, the ratio of the image corresponding to the car 401 to the entire area of the real image 404 or the barcode 402 The distance may be determined by the size of or by focus adjustment.
また、上記の実施の形態では、記憶装置300は、ヘッドマウントディスプレイ1と別に設けてネットワーク200で接続しているが、記憶装置300をフラッシュメモリ等で構成して、ヘッドマウントディスプレイ1と一体化しても良い。   In the above embodiment, the storage device 300 is provided separately from the head mounted display 1 and connected via the network 200. However, the storage device 300 is configured by a flash memory or the like and integrated with the head mounted display 1. May be.
1 ヘッドマウントディスプレイ
2 CCDセンサ(撮像手段)
5 ヘッドマウントディスプレイシステム
11 撮像倍率設定部
110 制御部
300 記憶装置(関連画像記憶手段)
401 自動車(実物)
402 バーコード(識別情報)
403 内部画像(関連画像)
404 実物画像
S13 実物特定手段
S14 選択手段
1 Head mounted display 2 CCD sensor (imaging means)
5 Head Mounted Display System 11 Imaging Magnification Setting Unit 110 Control Unit 300 Storage Device (Related Image Storage Unit)
401 Car (actual)
402 Bar code (identification information)
403 Internal image (Related image)
404 real image S13 real identification means S14 selection means

Claims (5)

  1. 使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイと、
    当該ヘッドマウントディスプレイを装着する使用者の視野に対応した実物を実物画像として撮像するとともに、前記実物を撮像するときの撮像条件を前記使用者が設定可能な撮像手段と、
    当該撮像手段によって撮像される実物に関連した画像である関連画像をその実物に対応させて記憶する関連画像記憶手段とを備えるヘッドマウントディスプレイシステムに使用される前記ヘッドマウントディスプレイであって、
    前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、
    当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を前記表示手段に表示する表示制御手段とを備えたことを特徴とするヘッドマウントディスプレイ。
    A head mounted display mounted on the user's head and provided with a display means for displaying an image in the user's eyes;
    An imaging unit capable of imaging a real object corresponding to the visual field of the user wearing the head mounted display as a real image, and allowing the user to set an imaging condition when imaging the real object,
    A head-mounted display used in a head-mounted display system including a related image storage unit that stores a related image, which is an image related to the real image captured by the imaging unit, in association with the real object,
    Selection means for selecting one of the real image and the related image based on the imaging condition;
    When the real image is selected by the selection means, the real image is displayed on the display means, and when the related image is selected, the real image is stored in the related image storage means corresponding to the real object. And a display control means for displaying the related image being displayed on the display means.
  2. 前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、
    前記表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することを特徴とする請求項1に記載のヘッドマウントディスプレイ。
    A real object specifying unit for specifying an actual object included in the real image captured by the image capturing unit;
    2. The head mounted display according to claim 1, wherein the display control unit displays the related image stored in the related image storage unit in correspondence with the real object specified by the real object specifying unit.
  3. 前記関連画像記憶手段は、前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、
    前記実物特定手段は、特定した実物を撮像した位置も特定し、
    前記表示制御手段は、前記関連画像を表示するときには、前記実物特定手段によって特定された位置に対応して前記関連画像記憶手段に記憶されている前記内部画像を前記表示手段に表示することを特徴とする請求項2に記載のヘッドマウントディスプレイ。
    The related image storage means stores, as the related image, an internal image corresponding to a position where the user sees the actual object, corresponding to each position,
    The real object specifying means also specifies a position where the specified real object is imaged,
    The display control means displays the internal image stored in the related image storage means on the display means corresponding to the position specified by the real object specifying means when displaying the related image. The head mounted display according to claim 2.
  4. 前記撮像条件として、撮像倍率を設定可能であり、
    前記選択手段は、前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択する一方で、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択することを特徴とする請求項1乃至3の何れかに記載のヘッドマウントディスプレイ。
    An imaging magnification can be set as the imaging condition,
    The selection means selects the actual image when the imaging magnification is equal to or smaller than a predetermined threshold value, and selects the related image when the imaging magnification is larger than the predetermined threshold value. The head mounted display according to any one of 1 to 3.
  5. 前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、
    前記実物特定手段は、前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定することを特徴とする請求項1乃至4の何れかに記載のヘッドマウントディスプレイ。
    The real thing imaged by the imaging means is attached with identification information for identifying itself,
    The head mounted display according to any one of claims 1 to 4, wherein the real object specifying unit specifies the real object imaged by the imaging unit based on the identification information included in the real image. .
JP2009045260A 2009-02-27 2009-02-27 Head mount display Pending JP2010200209A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009045260A JP2010200209A (en) 2009-02-27 2009-02-27 Head mount display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009045260A JP2010200209A (en) 2009-02-27 2009-02-27 Head mount display
PCT/JP2010/052608 WO2010098275A1 (en) 2009-02-27 2010-02-22 Head mounted display

Publications (1)

Publication Number Publication Date
JP2010200209A true JP2010200209A (en) 2010-09-09

Family

ID=42665482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009045260A Pending JP2010200209A (en) 2009-02-27 2009-02-27 Head mount display

Country Status (2)

Country Link
JP (1) JP2010200209A (en)
WO (1) WO2010098275A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012133172A1 (en) * 2011-03-30 2012-10-04 ブラザー工業株式会社 Head-mounted display

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2530769B (en) * 2014-10-01 2017-05-17 Asda Stores Ltd System and method for monitoring display unit compliance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202436A (en) * 1995-01-30 1996-08-09 Fuji Electric Co Ltd Monitor and control system
JPH11142784A (en) * 1997-11-04 1999-05-28 Shimadzu Corp Head mount display with position detecting function
JP2005038008A (en) * 2003-07-15 2005-02-10 Canon Inc Image processing method, image processor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202436A (en) * 1995-01-30 1996-08-09 Fuji Electric Co Ltd Monitor and control system
JPH11142784A (en) * 1997-11-04 1999-05-28 Shimadzu Corp Head mount display with position detecting function
JP2005038008A (en) * 2003-07-15 2005-02-10 Canon Inc Image processing method, image processor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012133172A1 (en) * 2011-03-30 2012-10-04 ブラザー工業株式会社 Head-mounted display
JP2012212991A (en) * 2011-03-30 2012-11-01 Brother Ind Ltd Head-mounted display

Also Published As

Publication number Publication date
WO2010098275A1 (en) 2010-09-02

Similar Documents

Publication Publication Date Title
JP5293025B2 (en) Head mounted display
JP5104679B2 (en) Head mounted display
JP5195537B2 (en) Head mounted display
JP2010145436A (en) Head-mounted display
JP5423716B2 (en) Head mounted display
JP2009245392A (en) Head mount display and head mount display system
JP2010139901A (en) Head mount display
JP5012781B2 (en) Head mounted display
US20110316763A1 (en) Head-mounted display apparatus, image control method and image control program
JP2011075956A (en) Head-mounted display
JP2010067154A (en) Head mounted display, information browsing system, and management server
US10502962B2 (en) Projection type display device and projection control method
JP5251813B2 (en) Work support system, head mounted display and program
JP5223835B2 (en) Head mounted display
JP2010200209A (en) Head mount display
JP5109952B2 (en) Head mounted display
JP4470860B2 (en) Information code reader
JP2008146463A (en) Position detection apparatus
JP2010134051A (en) Image display apparatus
JP5012780B2 (en) Head mounted display
JP2010134152A (en) Head-mounted display
JP2010134052A (en) Image display apparatus
JP2011124898A (en) Head-mounted display
JP2011070093A (en) Head-mounted display
JP5375481B2 (en) Head mounted display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131008