JP2011071884A - Work supporting system - Google Patents

Work supporting system Download PDF

Info

Publication number
JP2011071884A
JP2011071884A JP2009222822A JP2009222822A JP2011071884A JP 2011071884 A JP2011071884 A JP 2011071884A JP 2009222822 A JP2009222822 A JP 2009222822A JP 2009222822 A JP2009222822 A JP 2009222822A JP 2011071884 A JP2011071884 A JP 2011071884A
Authority
JP
Japan
Prior art keywords
head
information
display
image
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009222822A
Other languages
Japanese (ja)
Other versions
JP5251813B2 (en
Inventor
Mitsuyoshi Watanabe
光由 渡邉
Original Assignee
Brother Industries Ltd
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd, ブラザー工業株式会社 filed Critical Brother Industries Ltd
Priority to JP2009222822A priority Critical patent/JP5251813B2/en
Publication of JP2011071884A publication Critical patent/JP2011071884A/en
Application granted granted Critical
Publication of JP5251813B2 publication Critical patent/JP5251813B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a work supporting system that corrects oscillation in the image of a camera mounted on a head mount display, and prevent the efficiency of work of a worker and a work instructor from being lowered. <P>SOLUTION: The CPU 35 of a head mount display 2 transmits to a server 7 horizontal and vertical oscillating angles of the head of the worker 3 detected by a gyro sensor 13 mounted in an emission device 11 and image information of a target 4 or scenery in a front direction imaged by a CCD camera 12. Furthermore, the CPU 51 of the server 7 creates a correction image for which oscillation has been corrected from the image information received from the head mount display 2 on the basis of the horizontal and vertical oscillating angles of the head of the worker 3 received from the head mount display 2 and displays the corrected image on a liquid crystal display 9. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、作業支援システムに関するものである。   The present invention relates to a work support system.
従来より、作業者の頭部に装着されて、画像を投影表示するヘッドマウントディスプレイを用いた作業支援システムに関して種々提案されている。
例えば、下記特許文献1に記載される作業支援システムでは、作業者は頭部にカメラ付きヘッドマウントディスプレイを装着している。また、カメラによって撮像された画像データや計測器のデータ等は、無線通信によって汎用PCに送信され、更に、この汎用PCからネットワークを介して作業指示用PCに送信される。一方、作業の指揮者は、この作業指示用PC上で、カメラの画像等を確認して、当該作業指示用PCを介して作業指示を出力する。そして、この作業指示は、ネットワークを介して汎用PCへ送信された後、この汎用PCから無線通信によってヘッドマウントディスプレイへ送信されて、作業者に対して作業指示を行うように構成されている。
Conventionally, various work support systems using a head mounted display that is mounted on an operator's head and projects and displays an image have been proposed.
For example, in the work support system described in Patent Document 1 below, an operator wears a head mounted display with a camera on his head. In addition, image data captured by the camera, measuring instrument data, and the like are transmitted to the general-purpose PC by wireless communication, and further transmitted from the general-purpose PC to the work instruction PC via the network. On the other hand, the work leader confirms the image of the camera on the work instruction PC and outputs the work instruction via the work instruction PC. The work instruction is transmitted to the general-purpose PC via the network, and is then transmitted from the general-purpose PC to the head-mounted display by wireless communication so that the work instruction is given to the worker.
特開2004−94622号公報(段落(0025)〜(0069)、図1〜図2)JP 2004-94622 A (paragraphs (0025) to (0069), FIGS. 1 to 2)
上述した特許文献1に記載される構成の作業支援システムでは、作業者の頭部は固定されていないため、ヘッドマウントディスプレイに搭載されたカメラも頭部の揺れに従って上下方向又は左右方向に揺れる。このため、作業指示用PC上に表示されたカメラの動画像は、画面全体が揺れるため不快な映像になるという問題がある。そこで、カメラに画像の揺れを補正する揺れ補正機構等を設けることが考えられる。
しかしながら、カメラに画像の揺れを補正する揺れ補正機構等を設けた場合には、当該カメラが大型化するため、ヘッドマウントディスプレイの全体重量が増加し、作業者の作業効率が低下する虞がある。
In the work support system having the configuration described in Patent Document 1 described above, since the operator's head is not fixed, the camera mounted on the head-mounted display also shakes in the vertical direction or the horizontal direction according to the shake of the head. For this reason, there is a problem that the moving image of the camera displayed on the work instruction PC becomes an unpleasant image because the entire screen is shaken. In view of this, it is conceivable to provide a camera with a shake correction mechanism for correcting the shake of the image.
However, when the camera is provided with a shake correction mechanism that corrects the shake of the image, the size of the camera increases, which increases the overall weight of the head-mounted display and may reduce the work efficiency of the operator. .
そこで、本発明は、上述した問題点を解決するためになされたものであり、ヘッドマウントディスプレイに搭載されたカメラの画像の揺れを補正することができると共に、作業者及び作業指示者の作業効率の低下を防止することが可能となる作業支援システムを提供することを目的とする。   Therefore, the present invention has been made to solve the above-described problems, and can correct the shaking of the image of the camera mounted on the head-mounted display and can improve the work efficiency of the worker and the work instructor. It is an object of the present invention to provide a work support system that can prevent a decrease in the level.
前記目的を達成するため請求項1に係る作業支援システムは、作業者の頭部に装着されて、受信したコンテンツ情報に基づいて視界に画像を重畳表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイにコンテンツ情報を送信する作業支援装置と、を備えた作業支援システムにおいて、前記ヘッドマウントディスプレイは、該ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、該ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを前記作業支援装置に送信する作業側送信手段と、を有し、前記作業支援装置は、前記作業側送信手段を介して送信された前記基本画像情報と前記頭部動作情報とを受信する支援側受信手段と、前記支援側受信手段を介して受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正手段と、前記補正画像情報を所定の態様で出力する支援側出力手段と、を有することを特徴とする。   In order to achieve the above object, a work support system according to claim 1 is mounted on a head of an operator and displays a superimposed image on a field of view based on received content information, and the head mounted display. In a work support system including a work support device that transmits content information, the head-mounted display is mounted on the head-mounted display and is mounted on the head-mounted display. A head motion detecting means for detecting the movement of the head of the worker, basic image information captured by the imaging means, and head motion information detected by the head motion detecting means to the work support device. A work side transmitting means for transmitting, the work support device via the work side transmitting means. Based on the basic image information and the head movement information received via the support side receiving means, the support side receiving means for receiving the basic image information and the head movement information transmitted It comprises head shake correction means for creating corrected image information in which the image of the object is corrected from image information, and support side output means for outputting the corrected image information in a predetermined manner.
また、請求項2に係る作業支援システムは、請求項1に記載の作業支援システムにおいて、前記作業支援装置は、前記補正画像情報に対して付加情報を入力する付加情報入力手段と、前記補正画像情報と前記付加情報とから構成された映像情報を前記コンテンツ情報として作成するコンテンツ情報作成手段と、を有することを特徴とする。   Further, the work support system according to claim 2 is the work support system according to claim 1, wherein the work support device includes additional information input means for inputting additional information to the corrected image information, and the corrected image. Content information creating means for creating video information composed of information and the additional information as the content information.
また、請求項3に係る作業支援システムは、請求項2に記載の作業支援システムにおいて、前記作業支援装置は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報を前記ヘッドマウントディスプレイに送信する支援側送信手段を有し、前記ヘッドマウントディスプレイは、前記支援側送信手段を介して送信された前記コンテンツ情報を受信する作業側受信手段を有し、該ヘッドマウントディスプレイは、前記作業側受信手段を介して受信した前記コンテンツ情報に基づいて前記視界に画像を表示することを特徴とする。   Further, the work support system according to claim 3 is the work support system according to claim 2, wherein the work support apparatus transmits the content information created by the content information creation means to the head mounted display. Side transmission means, the head mounted display includes work side reception means for receiving the content information transmitted via the support side transmission means, and the head mounted display includes the work side reception means. An image is displayed in the field of view based on the content information received via the network.
また、請求項4に係る作業支援システムは、請求項1乃至請求項3のいずれかに記載の作業支援システムにおいて、前記頭揺れ補正手段は、受信した前記基本画像情報の全撮像領域から前記対象物を含む所定範囲の撮像領域を決定する撮像領域決定手段と、前記頭部動作情報に基づいて前記基本画像情報の全撮像領域上における前記所定範囲の撮像領域の位置補正量を決定する位置補正量決定手段と、前記所定範囲の撮像領域を前記基本画像情報の全撮像領域上で前記位置補正量だけ移動した後、当該所定範囲の撮像領域に対応する前記基本画像情報を前記補正画像情報として抽出する補正画像抽出手段と、を有することを特徴とする。   In addition, the work support system according to claim 4 is the work support system according to any one of claims 1 to 3, wherein the head shake correction unit is configured to detect the target from the entire imaging region of the received basic image information. Imaging area determining means for determining an imaging area of a predetermined range including an object, and position correction for determining a position correction amount of the imaging area of the predetermined area on all imaging areas of the basic image information based on the head movement information After the amount determining means and the imaging area of the predetermined range are moved by the position correction amount over the entire imaging area of the basic image information, the basic image information corresponding to the imaging area of the predetermined range is used as the corrected image information. And a corrected image extracting means for extracting.
また、請求項5に係る作業支援システムは、請求項4に記載の作業支援システムにおいて、前記撮像領域決定手段は、所定情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする。   According to a fifth aspect of the present invention, there is provided the work support system according to the fourth aspect, wherein the imaging area determination unit determines a range of the predetermined imaging area based on predetermined information. To do.
また、請求項6に係る作業支援システムは、請求項5に記載の作業支援システムにおいて、前記撮像領域決定手段は、前記頭部動作情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする。   Further, the work support system according to claim 6 is the work support system according to claim 5, wherein the imaging region determination means determines the range of the predetermined imaging region based on the head movement information. It is characterized by.
また、請求項7に係る作業支援システムは、請求項5又は請求項6に記載の作業支援システムにおいて、前記撮像領域決定手段は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする。   Further, the work support system according to claim 7 is the work support system according to claim 5 or 6, wherein the imaging region determination means is based on the content information created by the content information creation means. A range of the imaging area within a predetermined range is determined.
また、請求項8に係る作業支援システムは、請求項4乃至請求項7のいずれかに記載の作業支援システムにおいて、前記頭部動作検出手段は、前記頭部動作情報として前記作業者の頭部の左右方向揺れ角度と上下方向揺れ角度とを検出し、前記位置補正量決定手段は、前記左右方向揺れ角度と前記上下方向揺れ角度とに基づいて前記位置補正量を決定することを特徴とする。   Further, the work support system according to claim 8 is the work support system according to any one of claims 4 to 7, wherein the head motion detection means is the head motion information as the head motion information. The position correction amount determination means determines the position correction amount based on the left-right direction swing angle and the up-down direction swing angle. .
更に、請求項9に係る作業支援システムは、請求項2乃至請求項8のいずれかに記載の作業支援システムにおいて、前記頭揺れ補正手段は、前記コンテンツ情報が文字データを含むか否かを判定する判定手段を有し、該頭揺れ補正手段は、前記判定手段を介して前記コンテンツ情報が文字データを含むと判定した場合には、前記補正画像情報を作成しないことを特徴とする。   Furthermore, the work support system according to claim 9 is the work support system according to any one of claims 2 to 8, wherein the head shake correction means determines whether or not the content information includes character data. The head shake correction unit does not create the corrected image information when it is determined that the content information includes character data via the determination unit.
請求項1に係る作業支援システムでは、ヘッドマウントディスプレイに搭載した頭部動作検出手段によって検出した頭部動作情報と、撮像手段によって対象物を撮像した基本画像情報とを作業支援装置へ送信することによって、該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報が、作業支援装置によって作成されて所定の態様で出力される(例えば、補正画像情報の録画、データベース化、印刷出力、液晶ディスプレイ等への動画表示等である。)。   In the work support system according to claim 1, the head movement information detected by the head movement detection unit mounted on the head mounted display and the basic image information obtained by imaging the object by the imaging unit are transmitted to the work support device. Thus, corrected image information obtained by correcting the shaking of the image of the object from the basic image information is generated by the work support device and output in a predetermined manner (for example, recording of the corrected image information, creation of a database, printout) And video display on a liquid crystal display or the like.)
これにより、補正画像情報が液晶ディスプレイ等に動画表示された場合には、この動画表示の画面全体の揺れを防止でき、作業指示者の不快感を無くして作業指示等の作業効率の低下を防止することができる。また、ヘッドマウントディスプレイには、従来のマイクロカメラ等の撮像手段に加えて、小型ジャイロセンサ等の頭部動作検出手段を設ければよいため、ヘッドマウントディスプレイの小型化、軽量化を図ることが可能となり、作業者の作業効率の低下を防止することが可能となる。   As a result, when the corrected image information is displayed as a moving image on a liquid crystal display or the like, the entire screen of the moving image display can be prevented from shaking, and the work instruction person's discomfort can be eliminated to prevent a decrease in work efficiency such as work instructions. can do. In addition to the conventional imaging means such as a micro camera, the head mounted display only needs to be provided with a head motion detecting means such as a small gyro sensor, so that the head mounted display can be reduced in size and weight. It becomes possible, and it becomes possible to prevent the work efficiency of a worker from decreasing.
また、請求項2に係る作業支援システムでは、作業指示者は補正画像情報に作業指示や対象物の説明資料等の付加情報を入力することによって、作業者が見ている対象物に対する作業指示や対象物の説明資料等のコンテンツ情報をヘッドマウントディスプレイを介して的確に提示することが可能となる。   In the work support system according to claim 2, the work instructor inputs additional information such as a work instruction or explanatory material of the object into the corrected image information, so that the work instruction for the object viewed by the worker It is possible to accurately present content information such as explanatory material of the object through the head mounted display.
また、請求項3に係る作業支援システムでは、作業者は、ヘッドマウントディスプレイを介して提示された対象物に対する作業指示や対象物の説明資料等の付加情報を正確に認識することが可能となる。更に、ヘッドマウントディスプレイを介して提示された補正画像情報に付加情報が付された動画表示の画面全体の揺れを防止でき、作業者の不快感を無くして作業効率の低下を防止することができる。   In the work support system according to the third aspect, the worker can accurately recognize additional information such as work instructions for the object presented via the head-mounted display and explanatory materials for the object. . Furthermore, it is possible to prevent shaking of the entire screen of the moving image display in which additional information is added to the corrected image information presented via the head mounted display, and it is possible to eliminate operator discomfort and prevent a reduction in work efficiency. .
また、請求項4に係る作業支援システムでは、全撮像領域上における対象物を含む所定範囲の撮像領域の位置補正量を頭部動作情報に基づいて決定するため、頭部の動きによる撮像手段の動画像の揺れを効果的に防止することが可能となる。また、当該位置補正量だけ移動した所定範囲の撮像領域に対応する基本画像情報を補正画像情報として抽出するため、作業者が見ている対象物を含む映像の録画、データベース化、印刷出力、液晶ディスプレイ等への動画表示等を確実に行うことが可能となる。   In the work support system according to claim 4, since the position correction amount of the imaging region in a predetermined range including the target object on the entire imaging region is determined based on the head motion information, It is possible to effectively prevent the moving image from shaking. In addition, in order to extract basic image information corresponding to an imaging region within a predetermined range moved by the position correction amount as corrected image information, recording of a video including an object viewed by an operator, creation of a database, print output, liquid crystal It is possible to reliably display a moving image on a display or the like.
また、請求項5に係る作業支援システムでは、所定情報に基づいて全撮像領域上における対象物を含む所定範囲の撮像領域を決定することが可能となり、作業者に対してより的確な補正画像情報を作成することが可能となる。   Further, in the work support system according to the fifth aspect, it is possible to determine a predetermined range of the imaging region including the object on the entire imaging region based on the predetermined information, and more accurate corrected image information for the worker. Can be created.
また、請求項6に係る作業支援システムでは、頭部動作情報に基づいて全撮像領域上における対象物を含む所定範囲の撮像領域を決定することが可能となり、例えば、作業者の頭部の動きが十分小さい場合には、所定範囲の撮像領域の変更を行わないようにして、処理速度の迅速化を図ることが可能となる。また、作業者の頭部の動きが十分大きい場合には、補正を行わず、警告を提示することが可能となる。   In the work support system according to the sixth aspect, it is possible to determine a predetermined range of the imaging region including the object on the entire imaging region based on the head movement information, for example, the movement of the operator's head Is sufficiently small, it is possible to speed up the processing speed without changing the imaging region within a predetermined range. Further, when the movement of the operator's head is sufficiently large, it is possible to present a warning without performing correction.
また、請求項7に係る作業支援システムでは、コンテンツ情報作成手段によって作成されたコンテンツ情報に基づいて全撮像領域上における対象物を含む所定範囲の撮像領域を決定することが可能となり、例えば、コンテンツ情報に作業指示が含まれている場合には、作業指示を含む最小矩形領域を所定範囲の撮像領域として決定することが可能となる。これにより、対象物を含む作業指示がなされている領域のみを表示することが可能となる。   In the work support system according to claim 7, it is possible to determine a predetermined range of imaging regions including the target object on the entire imaging region based on the content information created by the content information creation unit. When the work instruction is included in the information, it is possible to determine the minimum rectangular area including the work instruction as an imaging area within a predetermined range. As a result, it is possible to display only the area where the work instruction including the object is given.
また、請求項8に係る作業支援システムでは、作業者の頭部の左右方向揺れ角度と上下方向揺れ角度とに基づいて、全撮像領域上における対象物を含む所定範囲の撮像領域の位置補正量を決定する。ここで、原則的には、位置補正量の決定には、左右、上下、前後の平行移動と、それぞれの軸回りの回転移動の6個のパラメータが必要となる。しかし、平行移動はカメラ視野に大きな影響を与えないので、回転移動に関してのみ補正を行えばよい。更に、一般に人間の視線方向の移動は上下方向(左右軸回りの回転)、左右方向(上下軸回りの回転)が多い。また、撮像手段は作業者の頭部に装着されたヘッドマウントディスプレイに搭載されているため、前後軸回りの回転(首の傾け)は、無視でき、作業者の頭部の左右方向揺れ角度と上下方向揺れ角度とだけがあれば補正か可能となる。従って、作業者の頭部の左右方向揺れ角度と上下方向揺れ角度との2つのパラメータに基づいて、全撮像領域上における対象物を含む所定範囲の撮像領域の位置補正量の決定を迅速に行うことが可能となる。   In the work support system according to claim 8, the position correction amount of the imaging region in a predetermined range including the object on the entire imaging region based on the horizontal and vertical swing angles of the operator's head. To decide. Here, in principle, the determination of the position correction amount requires six parameters, ie, left and right, up and down, front and back parallel movement, and rotational movement about each axis. However, since the parallel movement does not significantly affect the camera field of view, it is only necessary to correct the rotational movement. Furthermore, in general, the movement in the human gaze direction is often in the vertical direction (rotation around the left / right axis) and in the left / right direction (rotation around the vertical axis). In addition, since the imaging means is mounted on a head mounted display mounted on the operator's head, rotation around the front-rear axis (tilt of the neck) can be ignored, and the horizontal swing angle of the operator's head If there is only the vertical swing angle, correction is possible. Therefore, based on the two parameters of the horizontal and vertical swing angles of the operator's head, the position correction amount of the imaging region within a predetermined range including the target on the entire imaging region is quickly determined. It becomes possible.
更に、請求項9に係る作業支援システムでは、コンテンツ情報が文字データを含む場合、つまり、コンテンツ情報が作業マニュアル等の文字データから構成されている場合等には、補正画像情報を作成しないため、作業者に対してより的確な補正画像情報を更に迅速に作成することが可能となる。   Furthermore, in the work support system according to claim 9, when the content information includes character data, that is, when the content information is composed of character data such as a work manual, the corrected image information is not created. It becomes possible to create corrected image information more accurately for the operator more quickly.
本実施形態に係る作業支援システムの概略構成を示す図である。It is a figure showing a schematic structure of a work support system concerning this embodiment. ヘッドマウントディスプレイの外観を示す平面図である。It is a top view which shows the external appearance of a head mounted display. 作業支援システムを構成するヘッドマウントディスプレイ及びサーバの回路構成を示すブロック図である。It is a block diagram which shows the circuit structure of the head mounted display and server which comprise a work assistance system. 出射装置の電気的構成及び光学的構成を示すブロック図である。It is a block diagram which shows the electric structure and optical structure of an output device. 作業支援システムのヘッドマウントディスプレイが実行する「作業指示画像表示処理」とサーバが実行する「補正画面出力処理」を示すフローチャートである。It is a flowchart which shows the "work instruction | indication image display process" which the head mounted display of a work assistance system performs, and the "correction | amendment screen output process" which a server performs. ヘッドマウントディスプレイの画面表示ON時の表示の一例を示す図である。It is a figure which shows an example of the display at the time of the screen display ON of a head mounted display. CCDセンサ上の撮像画像の位置補正量を模式的に示す図である。It is a figure which shows typically the position correction amount of the captured image on a CCD sensor. 揺れ角度と位置補正量との関係を示す図である。It is a figure which shows the relationship between a swing angle and the amount of position correction. サーバの補正画像の表示の一例を示す図である。It is a figure which shows an example of a display of the correction | amendment image of a server. ヘッドマウントディスプレイによる図9の補正画像の表示の一例を示す図である。It is a figure which shows an example of a display of the correction | amendment image of FIG. 9 by a head mounted display.
以下、本発明に係る作業支援システムについて具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。   Hereinafter, based on one embodiment which materialized the work support system concerning the present invention, it explains in detail, referring to drawings.
[作業支援システムの概略構成]
先ず、本実施形態に係る作業支援システム1の概略構成について図1及び図2に基づいて説明する。
図1に示すように、作業支援システム1は、作業者3の頭部に装着されたヘッドマウントディスプレイ(HMD)2と、作業指示者6によって操作されてヘッドマウントディスプレイ2に対して作業指示情報や作業マニュアル等の各種情報を送信する作業支援装置としてのサーバ7とから構成されている。そして、ヘッドマウントディスプレイ2とサーバ7とは、無線通信によって各種情報の送受信が可能となるように構成されている。尚、無線通信に替えて有線通信によって各種情報の送受信を行うようにしてもよい。
[Schematic configuration of work support system]
First, a schematic configuration of the work support system 1 according to the present embodiment will be described with reference to FIGS. 1 and 2.
As shown in FIG. 1, the work support system 1 includes a head mounted display (HMD) 2 attached to the head of the worker 3 and a work instruction information to the head mounted display 2 operated by the work instructor 6. And a server 7 as a work support device that transmits various information such as work manuals. The head mounted display 2 and the server 7 are configured so that various types of information can be transmitted and received by wireless communication. Note that various types of information may be transmitted and received by wired communication instead of wireless communication.
尚、図1及び図2に示されるヘッドマウントディスプレイ2の外観は単なる一例であり、本発明は、当該外観を有するヘッドマウントディスプレイ2に限定されるものではない。また、以下の説明では、本発明を網膜走査ディスプレイに適用した実施形態について説明するが、本発明は、外界が視認可能な状態で、液晶素子や有機EL素子等を用いて画像表示を行う種々のヘッドマウントディスプレイに適用することができる。また、本発明は、光学シースルー型のヘッドマウントディスプレイのみならず、ビデオシースルー型のヘッドマウントディスプレイにも適用することができる。また、本発明は、シースルー型でないヘッドマウントディスプレイにも適用することができる。例えば、片方又は両方の眼の視野を遮蔽する非透過型のヘッドマウントディスプレイや、画像表示部が細くてあまり視野を遮らないタイプのヘッドマウントディスプレイ等にも適用することができる。   The appearance of the head mounted display 2 shown in FIGS. 1 and 2 is merely an example, and the present invention is not limited to the head mounted display 2 having the appearance. In the following description, an embodiment in which the present invention is applied to a retinal scanning display will be described. It can be applied to the head mounted display. Further, the present invention can be applied not only to an optical see-through type head mounted display but also to a video see-through type head mounted display. The present invention can also be applied to a head-mounted display that is not a see-through type. For example, the present invention can also be applied to a non-transmissive head-mounted display that blocks the visual field of one or both eyes, a head-mounted display that has a thin image display unit and does not block the visual field.
また、サーバ7は、マウスやキーボード等から構成された操作部8や液晶ディスプレイ(LCD)9等が設けられている。この液晶ディスプレイ9には、ヘッドマウントディスプレイ2に搭載されているCCDカメラ12によって撮像された画像が揺れを補正されて表示される。そして、作業指示者6はこの画像に対して作業指示等の付加情報を付加して、ヘッドマウントディスプレイ2へ画像情報として送信することが可能となるように構成されている。   In addition, the server 7 is provided with an operation unit 8 including a mouse, a keyboard, and the like, a liquid crystal display (LCD) 9, and the like. On the liquid crystal display 9, an image picked up by the CCD camera 12 mounted on the head mounted display 2 is displayed with its shake corrected. The work instructor 6 is configured to be able to add additional information such as a work instruction to the image and transmit it to the head mounted display 2 as image information.
また、図1及び図2に示すように、ヘッドマウントディスプレイ2は、外部から入力された動画ファイル、静止画ファイル、文書ファイル(例えば、作業手順書や表計算ファイル等である。)等の各種コンテンツ情報を画像信号に変換する。そして、この画像信号に応じて変調されたビーム光(以下、「画像光」という。)を作業者3の左眼5(図4参照)の網膜上に走査させることにより、作業者3にコンテンツ情報に対応する画像(以下、「コンテンツ」という。)を視認させることができるように構成されている(図6参照)。   As shown in FIGS. 1 and 2, the head mounted display 2 has various types such as a moving image file, a still image file, and a document file (for example, a work procedure manual or a spreadsheet file) input from the outside. Content information is converted into an image signal. Then, the operator 3 scans the retina of the left eye 5 (see FIG. 4) of the worker 3 with beam light (hereinafter referred to as “image light”) modulated in accordance with the image signal, thereby allowing the worker 3 to have content. An image corresponding to information (hereinafter referred to as “content”) can be viewed (see FIG. 6).
また、このヘッドマウントディスプレイ2は、コンテンツを表示している最中であっても、作業者3の視野の中で、そのコンテンツを表示している領域外では、外界の対象物4や風景等を視認できるように構成されている。即ち、このヘッドマウントディスプレイ2は、外光を透過しつつ、画像光を作業者3の眼に投射するシースルー型のヘッドマウントディスプレイである。   Further, the head-mounted display 2 is outside the area displaying the content within the field of view of the worker 3 even when the content is being displayed, and the object 4 or the landscape in the outside world. It is comprised so that can be visually recognized. That is, the head mounted display 2 is a see-through type head mounted display that projects image light onto the eyes of the operator 3 while transmitting external light.
尚、ヘッドマウントディスプレイ2は画像光を作業者3の左眼5に投射するように構成しているが、右眼に投射するように構成してもよい。この場合には、画像信号に応じて変調された画像光を作業者3の右眼の網膜上に走査させ、コンテンツを視認させることができる。   The head mounted display 2 is configured to project the image light to the left eye 5 of the operator 3, but may be configured to project to the right eye. In this case, the image light modulated according to the image signal can be scanned on the retina of the right eye of the worker 3 so that the content can be visually recognized.
また、図1及び図2に示すように、このヘッドマウントディスプレイ2は、画像光を出射する出射装置11と、その出射装置11に載置されて作業者3の視野領域内の対象物4等を撮像するオートフォーカス機能付きのCCDカメラ12と、出射装置11に設けられて作業者3の頭部の左右方向揺れ角度と上下方向揺れ角度とを検出するジャイロセンサ13と、これらを支持する支持部材10とから基本的に構成されている。尚、ジャイロセンサ13は支持部材10やCCDカメラ12に設けてもよい。   As shown in FIGS. 1 and 2, the head mounted display 2 includes an emission device 11 that emits image light, an object 4 that is placed on the emission device 11 and is in the field of view of the operator 3, and the like. CCD camera 12 with an autofocus function for picking up images, a gyro sensor 13 provided on the output device 11 for detecting the horizontal and vertical swing angles of the head of the operator 3, and a support for supporting these It is basically composed of the member 10. The gyro sensor 13 may be provided on the support member 10 or the CCD camera 12.
このオートフォーカス機能付きのCCDカメラ12は、CCDカメラ12の全体を制御するCCDコントローラ14(図3参照)と、外界の明るさを検出する輝度センサ15と、CCDカメラ12の撮像領域を照らす照明手段としてのLED(LightEmitting Diode)16とを備えている。また、このCCDカメラ12は、フォーカシング機構部がレンズ17に内蔵されている。そして、CCDコントローラ14は、輝度センサ15を介して外界の明るさが所定の明るさを下回ったことを検知したときには、LED16を点灯してCCDカメラ12の撮像領域を照らすように駆動制御する。   The CCD camera 12 with an autofocus function includes a CCD controller 14 (see FIG. 3) that controls the entire CCD camera 12, a brightness sensor 15 that detects the brightness of the outside, and illumination that illuminates the imaging area of the CCD camera 12. An LED (Light Emitting Diode) 16 as a means is provided. Further, the CCD camera 12 has a focusing mechanism part built in the lens 17. When the CCD controller 14 detects that the brightness of the outside world has fallen below a predetermined brightness via the luminance sensor 15, the CCD controller 14 drives and controls the LED 16 to turn on and illuminate the imaging area of the CCD camera 12.
また、図2に示すように、ヘッドマウントディスプレイ2は、出射装置11からコンテンツに応じて出射される画像光Z1を導くと共に、その画像光Z1を作業者3の左眼5に向かって反射させるプリズム21を備えている。また、このプリズム21は、不図示のビームスプリッタ部を備えており、外界からの外光Z2を透過させ、作業者3の左眼5に導く。このように、プリズム21は、作業者3の側方から入射された画像光Z1を作業者3の左眼5に入射させると共に、外界からの外光Z2を作業者3の左眼5に入射させる光学系であるため、ユーザはコンテンツを外界の風景に重畳させて視認することができる。   As shown in FIG. 2, the head mounted display 2 guides the image light Z <b> 1 emitted from the emission device 11 according to the content, and reflects the image light Z <b> 1 toward the left eye 5 of the operator 3. A prism 21 is provided. Further, the prism 21 includes a beam splitter (not shown), transmits external light Z2 from the outside, and guides it to the left eye 5 of the operator 3. In this way, the prism 21 causes the image light Z1 incident from the side of the worker 3 to enter the left eye 5 of the worker 3, and the external light Z2 from the outside world enters the left eye 5 of the worker 3. Since the optical system is used, the user can visually recognize the content superimposed on the scenery of the outside world.
尚、プリズム21に代えてハーフミラーを用いることもできる。すなわち、ハーフミラーは、出射装置11からの画像光Z1を反射して作業者3の左眼5に入射させると共に、外光Z2を透過して作業者3の左眼5に入射させる。   A half mirror can be used in place of the prism 21. That is, the half mirror reflects the image light Z <b> 1 from the emission device 11 and enters the left eye 5 of the worker 3, and transmits the external light Z <b> 2 and enters the left eye 5 of the worker 3.
[ヘッドマウントディスプレイ及びサーバの電気的構成]
次に、ヘッドマウントディスプレイ2及びサーバ7の電気的構成について図3に基づいて説明する。先ず、ヘッドマウントディスプレイ2の電気的構成について説明する。
図3に示すように、ヘッドマウントディスプレイ2は、画像光を出射する出射装置11と、各種操作やデータの入力を行うための入力部25と、CCDカメラ12と、サーバ7と双方向に無線通信を行う通信部26と、出射装置11によって表示するコンテンツやテキスト等のイメージデータを格納するビデオRAM27と、出射装置11によって表示するテキストのフォントデータを格納するフォントROM28と、ヘッドマウントディスプレイ2の全体を制御する制御部29と、電源部30と、ジャイロセンサ13等とから構成されている。尚、出射装置11の詳細については、図4に基づいて後述する。
[Electric configuration of head mounted display and server]
Next, the electrical configuration of the head mounted display 2 and the server 7 will be described with reference to FIG. First, the electrical configuration of the head mounted display 2 will be described.
As shown in FIG. 3, the head mounted display 2 is wirelessly bidirectionally connected to the emission device 11 that emits image light, the input unit 25 for performing various operations and data input, the CCD camera 12, and the server 7. A communication unit 26 that performs communication, a video RAM 27 that stores image data such as content and text to be displayed by the emitting device 11, a font ROM 28 that stores font data of text to be displayed by the emitting device 11, and the head mounted display 2. A control unit 29 that controls the whole, a power supply unit 30, a gyro sensor 13, and the like are included. The details of the emission device 11 will be described later with reference to FIG.
入力部25は、各種機能キー等からなる操作ボタン群31と、入力制御回路32とから構成されている。この入力制御回路32は、操作ボタン群31のキー操作がされたことを検出して、操作されたキーに対応する制御信号を制御部29に出力する。   The input unit 25 includes an operation button group 31 including various function keys and an input control circuit 32. The input control circuit 32 detects that the key operation of the operation button group 31 has been performed, and outputs a control signal corresponding to the operated key to the control unit 29.
また、CCDカメラ12は、CCDコントローラ14、輝度センサ15、LED16、CCDセンサ18等から構成されている。このCCDコントローラ14は、制御部29のCPU35の指示により、CCDセンサ18によって撮像した画像信号を通信部26を介してサーバ7へ送信する。   The CCD camera 12 includes a CCD controller 14, a brightness sensor 15, an LED 16, a CCD sensor 18, and the like. The CCD controller 14 transmits an image signal captured by the CCD sensor 18 to the server 7 via the communication unit 26 in accordance with an instruction from the CPU 35 of the control unit 29.
また、通信部26は、制御部29のCPU35の指示により、無線通信によってCCDカメラ12によって撮像された画像信号をサーバ7へ送信すると共に、ジャイロセンサ13によって検出された作業者3の頭部の左右方向揺れ角度と上下方向揺れ角度をサーバ7へ送信する。また、通信部26は、サーバ7から受信したコンテンツ情報を制御部29に出力し、当該コンテンツ情報はフラッシュメモリ36に記憶される。   In addition, the communication unit 26 transmits an image signal captured by the CCD camera 12 by wireless communication to the server 7 according to an instruction from the CPU 35 of the control unit 29 and also detects the head of the worker 3 detected by the gyro sensor 13. The horizontal and vertical swing angles are transmitted to the server 7. Further, the communication unit 26 outputs the content information received from the server 7 to the control unit 29, and the content information is stored in the flash memory 36.
また、制御部29は、CPU35、フラッシュメモリ36、RAM37等から構成され、これらは不図示のバス線により相互に接続されて、相互にデータのやり取りが行われる。
また、CPU35は、ヘッドマウントディスプレイ2の全体を制御し、ヘッドマウントディスプレイ2の動作に関する全てのデータを管理する演算処理装置である。また、CPU35は、各種コンテンツ情報を画像信号に変換し、また、サーバ7から受信したテキストデータをフォントROM28に記憶されたフォントデータに基づいて画像信号に変換してビデオRAM27に記憶する。
The control unit 29 includes a CPU 35, a flash memory 36, a RAM 37, and the like, which are connected to each other via a bus line (not shown) and exchange data with each other.
The CPU 35 is an arithmetic processing unit that controls the entire head mounted display 2 and manages all data related to the operation of the head mounted display 2. Further, the CPU 35 converts various content information into image signals, converts the text data received from the server 7 into image signals based on the font data stored in the font ROM 28, and stores them in the video RAM 27.
また、フラッシュメモリ36は、ヘッドマウントディスプレイ2により表示するコンテンツの再生、停止等の表示制御を行う際に、出射装置11を駆動制御するための制御処理プログラムや、サーバ7から受信した作業指示等の画像を表示する作業指示画像表示処理プログラム(図5参照)等、CPU35によって実行される各種プログラムを記憶している。また、フラッシュメモリ36には、サーバ7から受信したコンテンツ情報等が記憶される。また、RAM37は、CPU35が種々の制御を実行する際に、各種データを一時的に記憶するものである。   The flash memory 36 also has a control processing program for driving and controlling the emission device 11 when performing display control such as playback and stop of the content displayed on the head mounted display 2, work instructions received from the server 7, and the like. Various programs to be executed by the CPU 35 such as a work instruction image display processing program (see FIG. 5) for displaying the images are stored. The flash memory 36 stores content information received from the server 7. The RAM 37 temporarily stores various data when the CPU 35 executes various controls.
また、ビデオRAM27は、画像信号を一時的に記憶する。そして、このビデオRAM27に記憶された画像信号は、出射装置11の映像信号処理部63に出力されて、コンテンツとしてユーザの網膜に投影される。従って、CPU35は、コンテンツ情報をフラッシュメモリ36から読み出し、読み出したコンテンツ情報を画像信号に変換してビデオRAM27に書き込むことによって、表示するコンテンツを制御することができる。また、CPU35は、サーバ7から受信したテキストデータ等を画像信号に変換してビデオRAM27に書き込むことによって、表示するテキストデータ等を制御することができる。   The video RAM 27 temporarily stores image signals. The image signal stored in the video RAM 27 is output to the video signal processing unit 63 of the emission device 11 and projected onto the user's retina as content. Therefore, the CPU 35 can control the content to be displayed by reading the content information from the flash memory 36, converting the read content information into an image signal, and writing it into the video RAM 27. The CPU 35 can control the text data to be displayed by converting the text data received from the server 7 into an image signal and writing it in the video RAM 27.
また、電源部30は、ヘッドマウントディスプレイ2を駆動させるための電源となる電池38と、電池38の電力をヘッドマウントディスプレイ2に供給すると共に、充電用アダプタ(図示せず)から供給される電力を電池38へ供給して電池38の充電を行う充電制御回路39とを備えている。   The power supply unit 30 supplies a battery 38 serving as a power source for driving the head mounted display 2 and power of the battery 38 to the head mounted display 2 and power supplied from a charging adapter (not shown). Is supplied to the battery 38 to charge the battery 38.
次に、サーバ7の電気的構成について説明する。
図3に示すように、サーバ7は、サーバ7の全体の制御を行う演算装置及び制御装置としてのCPU51、ROM52、RAM53、フラッシュメモリ(EEPROM)54、サーバ側通信部55、入出力インターフェース(入出力I/F)56、この入出力インターフェース56に接続される操作部8や液晶ディスプレイ9等から構成されている。また、CPU51、ROM52、RAM53、EEPROM54、サーバ側通信部55、入出力インターフェース(入出力I/F)56は、不図示のバス線によって相互に接続されている。
Next, the electrical configuration of the server 7 will be described.
As shown in FIG. 3, the server 7 includes a CPU 51, ROM 52, RAM 53, flash memory (EEPROM) 54, server-side communication unit 55, input / output interface (input / output) as an arithmetic device and a control device that control the entire server 7. An output I / F) 56, an operation unit 8 connected to the input / output interface 56, a liquid crystal display 9, and the like. Further, the CPU 51, the ROM 52, the RAM 53, the EEPROM 54, the server side communication unit 55, and the input / output interface (input / output I / F) 56 are mutually connected by a bus line (not shown).
そして、後述のように、作業指示者6は、操作部8を介して液晶ディスプレイ9に表示された補正画像に対して作業指示等の付加情報を入力し、また、作業指示が表示された補正画像等をヘッドマウントディスプレイ2へ送信するように指示することができる(図5参照)。   Then, as will be described later, the work instructor 6 inputs additional information such as a work instruction to the corrected image displayed on the liquid crystal display 9 via the operation unit 8, and the correction in which the work instruction is displayed. An instruction can be given to transmit an image or the like to the head mounted display 2 (see FIG. 5).
ROM52は、各種のプログラムを記憶させておくものである。ROM52には、サーバ側通信部55を介して後述のヘッドマウントディスプレイ2から受信した画像信号と作業者3の頭部の揺れ角度から補正画像を生成して表示する補正画像出力処理(図5参照)等の各種プログラムが記憶されている。そして、CPU51は、ROM52に記憶されている各種のプログラムに基づいて各種の演算及び制御を行なうものである。   The ROM 52 stores various programs. The ROM 52 generates a corrected image from the image signal received from the head-mounted display 2 (to be described later) via the server-side communication unit 55 and the shaking angle of the head of the operator 3 and displays the corrected image (see FIG. 5). Etc.) are stored. The CPU 51 performs various calculations and controls based on various programs stored in the ROM 52.
RAM53は、CPU51により演算された各種の演算結果や画像情報等を一時的に記憶させておくためのものである。このRAM53には、受信画像記憶部53A、揺れ角度記憶部53B、補正画像記憶部53C等が設けられている。この受信画像記憶部53Aには、サーバ側通信部55を介してヘッドマウントディスプレイ2から受信した画像情報が記憶される。揺れ角度記憶部53Bには、ジャイロセンサ13によって検出された作業者3の頭部の左右方向揺れ角度と上下方向揺れ角度が記憶される。補正画像記憶部53Cには、後述のように、揺れ角度記憶部53Bに記憶された作業者3の頭部の揺れ角度に基づいて補正した補正画像の画像情報が記憶される(図5参照)。   The RAM 53 is for temporarily storing various calculation results and image information calculated by the CPU 51. The RAM 53 is provided with a received image storage unit 53A, a swing angle storage unit 53B, a corrected image storage unit 53C, and the like. The received image storage unit 53A stores image information received from the head mounted display 2 via the server side communication unit 55. The swing angle storage unit 53 </ b> B stores the left-right swing angle and the vertical swing angle of the head of the worker 3 detected by the gyro sensor 13. As will be described later, the corrected image storage unit 53C stores image information of a corrected image corrected based on the swing angle of the head of the operator 3 stored in the swing angle storage unit 53B (see FIG. 5). .
EEPROM54には、入出力インターフェース56を介して外部から入力された作業マニュアルや動画ファイル、静止画ファイル等の各種コンテンツ情報が記憶されている。   The EEPROM 54 stores various content information such as a work manual, a moving image file, and a still image file input from the outside via the input / output interface 56.
サーバ側通信部55は、ヘッドマウントディスプレイ2の通信部26と無線通信により双方向通信が可能に構成されている。そして、サーバ側通信部55は、ヘッドマウントディスプレイ2から受信した画像情報をCPU51に出力する。また、サーバ側通信部55は、後述のように、CPU51からの指示に従って、補正画像記憶部53Cに記憶される補正画像の画像情報をヘッドマウントディスプレイ2へ送信する(図5参照)。   The server side communication unit 55 is configured to be capable of bidirectional communication with the communication unit 26 of the head mounted display 2 by wireless communication. Then, the server side communication unit 55 outputs the image information received from the head mounted display 2 to the CPU 51. Further, as will be described later, the server side communication unit 55 transmits the image information of the corrected image stored in the corrected image storage unit 53C to the head mounted display 2 in accordance with an instruction from the CPU 51 (see FIG. 5).
[出射装置の電気的及び光学的構成]
次に、出射装置11の電気的及び光学的構成について図3及び図4に基づいて説明する。
図3及び図4に示すように、出射装置11には、ビデオRAM27から入力される画像信号に基づいて、画像光を生成する光源ユニット部61が設けられている。
[Electrical and optical configuration of emission device]
Next, the electrical and optical configuration of the emission device 11 will be described with reference to FIGS.
As shown in FIGS. 3 and 4, the emission device 11 is provided with a light source unit 61 that generates image light based on an image signal input from the video RAM 27.
光源ユニット部61には、ビデオRAM27から画像信号が入力されて、この画像信号に応じた映像を合成するための映像信号を生成する映像信号処理部63が設けられている。そして、この映像信号処理部63から、この生成した映像信号の各画素毎の青(B)、緑(G)、赤(R)の各出力制御信号65A〜65Cが、ドットクロック毎に出力される。   The light source unit 61 is provided with a video signal processing unit 63 that receives an image signal from the video RAM 27 and generates a video signal for synthesizing a video corresponding to the image signal. The video signal processing unit 63 outputs blue (B), green (G), and red (R) output control signals 65A to 65C for each pixel of the generated video signal for each dot clock. The
光源ユニット部61には、映像信号処理部63からドットクロック毎に出力される3つの出力制御信号65A〜65Cをそれぞれ画像光にする画像光出力手段として機能する光源部71と、これらの3つの画像光を1つの画像光に結合して任意の画像光を生成するための光合成部72とを備えている。   The light source unit 61 includes a light source 71 that functions as image light output means that converts the three output control signals 65A to 65C output from the video signal processor 63 for each dot clock into image light, and the three And a light combining unit 72 for generating image light by combining the image light into one image light.
光源部71は、青色の画像光を発生させるBレーザ74及び出力制御信号65Aに従ってBレーザ74を駆動するBレーザドライバ75と、緑色の画像光を発生させるGレーザ76及び出力制御信号65Bに従ってGレーザ76を駆動するGレーザドライバ77と、赤色の画像光を発生させるRレーザ78及び出力制御信号65Cに従ってRレーザ78を駆動するRレーザドライバ79とを備えている。   The light source unit 71 includes a B laser 74 that generates blue image light and a B laser driver 75 that drives the B laser 74 according to an output control signal 65A, and a G laser 76 that generates green image light and a G laser according to an output control signal 65B. A G laser driver 77 for driving the laser 76, an R laser 78 for generating red image light, and an R laser driver 79 for driving the R laser 78 in accordance with the output control signal 65C are provided.
尚、Bレーザ74、Gレーザ76、Rレーザ78は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができる。一方、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。   The B laser 74, the G laser 76, and the R laser 78 can be configured as, for example, a semiconductor laser or a solid-state laser with a harmonic generation mechanism. When a semiconductor laser is used, the drive current can be directly modulated to modulate the intensity of the image light. On the other hand, when a solid-state laser is used, it is necessary to provide an external modulator for each laser to modulate the intensity of image light.
また、光合成部72は、光源部71から入射する3つの画像光をそれぞれ平行光にコリメートするように設けられた各コリメート光学系81、82、83と、このコリメートされた3つの画像光を合成するための各ダイクロイックミラー84、85、86と、合成された画像光を光ファイバ88に導く結合光学系87とを備えている。   The light combining unit 72 combines the three image lights collimated with the collimating optical systems 81, 82, and 83 provided to collimate the three image lights incident from the light source unit 71 into parallel lights. The dichroic mirrors 84, 85, 86 for performing the above and a coupling optical system 87 for guiding the combined image light to the optical fiber 88 are provided.
そして、各レーザ74、76、78から出射したレーザ光は、各コリメート光学系81、82、83によってそれぞれ平行化された後に、各ダイクロイックミラー84、85、86に入射される。その後、各レーザ74、76、78から出射したレーザ光は、これらのダイクロイックミラー84、85、86により、各画像光が波長に関して選択的に反射・透過されて結合光学系87に達し、集光されて光ファイバ88へ出力される。   The laser beams emitted from the lasers 74, 76, and 78 are collimated by the collimating optical systems 81, 82, and 83, and then enter the dichroic mirrors 84, 85, and 86. Thereafter, the laser beams emitted from the lasers 74, 76, and 78 are selectively reflected and transmitted with respect to the wavelengths by the dichroic mirrors 84, 85, and 86, and reach the coupling optical system 87 to be condensed. And output to the optical fiber 88.
また、出射装置11には、光源ユニット部61で生成され、光ファイバ88を介して出射される画像光を集光する集光レンズ系89と、この集光された画像光を垂直方向に往復走査する垂直走査部91が設けられている。また、出射装置11には、垂直走査部91によって垂直方向に往復走査された画像光を水平方向に走査する水平走査部92と、垂直走査部91と水平走査部92との間にリレー光学系93が設けられている。   Further, the output device 11 includes a condensing lens system 89 that condenses the image light generated by the light source unit 61 and emitted through the optical fiber 88, and the condensed image light reciprocates in the vertical direction. A vertical scanning unit 91 for scanning is provided. Further, the output device 11 includes a horizontal scanning unit 92 that scans the image light that has been reciprocally scanned in the vertical direction by the vertical scanning unit 91 in the horizontal direction, and a relay optical system between the vertical scanning unit 91 and the horizontal scanning unit 92. 93 is provided.
また、出射装置11には、水平走査部91と垂直走査部92によって水平方向と垂直方向に走査(2次元的に走査)された画像光を作業者3の瞳孔95へ出射するためのリレー光学系96が設けられている。また、プリズム21は、リレー光学系96と作業者3の瞳孔95との間に配置され、出射装置11から出射された画像光を全反射させる等して作業者3の瞳孔95に導くこととなる。   Further, the output device 11 has relay optics for emitting image light scanned in the horizontal direction and the vertical direction (two-dimensionally scanned) by the horizontal scanning unit 91 and the vertical scanning unit 92 to the pupil 95 of the operator 3. A system 96 is provided. The prism 21 is disposed between the relay optical system 96 and the pupil 95 of the worker 3 and guides the image light emitted from the emitting device 11 to the pupil 95 of the worker 3 by totally reflecting the light. Become.
また、水平走査部91には、画像光を水平方向に往復走査するための反射面98Aを有する共振型偏向素子98と、この共振型偏向素子98を共振駆動して反射面98Aを高速揺動させる(例えば、約30kHzで共振揺動させる。)ように駆動制御する高速走査ドライバ99とが設けられている。   The horizontal scanning unit 91 includes a resonance type deflection element 98 having a reflection surface 98A for reciprocating scanning of image light in the horizontal direction, and the resonance type deflection element 98 is driven to resonate so that the reflection surface 98A is swung at high speed. There is provided a high-speed scanning driver 99 that performs drive control so as to drive (for example, resonant oscillation at about 30 kHz).
また、出射装置11には、共振型偏向素子98の反射面98Aで反射された反射光を検出するビームディテクタ(BD)センサ101と、このBDセンサ101から入力された反射光の検出信号を増幅して、光源ユニット部61に設けられた高速同期信号部105へ出力するビームディテクタ(BD)信号部102とが設けられている。また、光源ユニット部61に設けられた高速同期信号部105は、BD信号部102から入力された反射光の検出信号を矩形パルス信号に変換して、映像信号処理部63へ出力する。   Further, the output device 11 amplifies a beam detector (BD) sensor 101 that detects reflected light reflected by the reflecting surface 98A of the resonant deflection element 98 and a detection signal of the reflected light input from the BD sensor 101. In addition, a beam detector (BD) signal unit 102 that outputs to the high-speed synchronization signal unit 105 provided in the light source unit unit 61 is provided. The high-speed synchronization signal unit 105 provided in the light source unit 61 converts the reflected light detection signal input from the BD signal unit 102 into a rectangular pulse signal and outputs the rectangular pulse signal to the video signal processing unit 63.
そして、映像信号処理部63は、高速同期信号部105から入力された矩形パルス信号に基づいて、各画素毎の青(B)、緑(G)、赤(R)の各出力制御信号65A〜65Cを出力するためのドットクロック信号を生成し、光源ユニット部61に設けられた低速同期信号部106へ出力する。また、低速同期信号部106は、映像信号処理部63から入力されたドットクロック信号に基づいて水平走査部91で水平方向に往復走査された画像光を垂直方向に走査するための垂直同期信号としての低速同期信号107(例えば、約60Hzのパルス信号である。)を生成して、垂直走査部92へ出力する。   The video signal processing unit 63 then outputs the blue (B), green (G), and red (R) output control signals 65 </ b> A to 65 </ b> A for each pixel based on the rectangular pulse signal input from the high-speed synchronization signal unit 105. A dot clock signal for outputting 65C is generated and output to the low-speed synchronization signal unit 106 provided in the light source unit 61. The low-speed synchronization signal unit 106 is a vertical synchronization signal for vertically scanning image light that has been reciprocally scanned in the horizontal direction by the horizontal scanning unit 91 based on the dot clock signal input from the video signal processing unit 63. Of the low-speed synchronization signal 107 (for example, a pulse signal of about 60 Hz) is generated and output to the vertical scanning unit 92.
また、垂直走査部92には、画像光を垂直方向に走査するための反射面108Aを有する偏向素子108と、光源ユニット部61から入力された垂直同期信号としての低速同期信号107に基づいて、この偏向素子108を駆動して反射面108Aを低速揺動させる(例えば、約60Hzで低速揺動させる。)ように駆動制御する低速走査ドライバ109とが設けられている。   Further, the vertical scanning unit 92 is based on the deflection element 108 having the reflection surface 108A for scanning the image light in the vertical direction and the low-speed synchronization signal 107 as the vertical synchronization signal input from the light source unit 61. A low-speed scanning driver 109 is provided for driving and controlling the deflecting element 108 to drive the reflecting surface 108 </ b> A at low speed (for example, low-speed rocking at about 60 Hz).
従って、共振型偏向素子98によって水平方向に高速で往復走査された画像光は、リレー光学系93によって偏向素子108の反射面108Aに入射し、偏向素子108によって垂直方向に低速で走査されて、2次元的に走査される。そして、2次元的に走査された走査画像光として、リレー光学系96へ出射される。また、リレー光学系96は、垂直走査部92から出射された表示用の走査画像光を、それぞれほぼ平行な画像光に変換すると共に、これらの画像光の中心線を作業者3の瞳孔95に入射するように変換する。   Therefore, the image light that has been reciprocally scanned in the horizontal direction at high speed by the resonance type deflecting element 98 is incident on the reflecting surface 108A of the deflecting element 108 by the relay optical system 93, and is scanned by the deflecting element 108 in the vertical direction at low speed. Scanned two-dimensionally. Then, it is emitted to the relay optical system 96 as two-dimensionally scanned image light. In addition, the relay optical system 96 converts the scanning image light for display emitted from the vertical scanning unit 92 into substantially parallel image light, and the center line of these image lights to the pupil 95 of the operator 3. Convert to be incident.
尚、水平走査部91と垂直走査部92との配置を入れ替え、光ファイバ88から入射された画像光を、垂直走査部92によって垂直方向に走査した後、水平走査部91で水平方向に走査するようにしてもよい。   Note that the arrangement of the horizontal scanning unit 91 and the vertical scanning unit 92 is changed, and the image light incident from the optical fiber 88 is scanned in the vertical direction by the vertical scanning unit 92 and then scanned in the horizontal direction by the horizontal scanning unit 91. You may do it.
次に、このように構成された作業支援システム1において、ヘッドマウントディスプレイ2のCPU35が、サーバ7から受信した作業指示等の画像を表示する「作業指示画像表示処理」と、サーバ7のCPU51が、ヘッドマウントディスプレイ2から受信した画像を補正して出力する「補正画像出力処理」とについて図5乃至図10に基づいて説明する。   Next, in the work support system 1 configured as described above, the CPU 35 of the head mounted display 2 displays “work instruction image display processing” in which an image such as a work instruction received from the server 7 is displayed, and the CPU 51 of the server 7 The “corrected image output process” for correcting and outputting the image received from the head mounted display 2 will be described with reference to FIGS.
先ず、図5に基づいてヘッドマウントディスプレイ2のCPU35が実行する「作業指示画像表示処理」について説明する。尚、図5に、S11〜S19のフローチャートで示されるプログラムは、ヘッドマウントディスプレイ2のフラッシュメモリ36に記憶されており、操作ボタン群31の不図示の画像表示開始ボタンが押下された場合に、CPU35によって実行される。   First, the “work instruction image display process” executed by the CPU 35 of the head mounted display 2 will be described with reference to FIG. 5 is stored in the flash memory 36 of the head mounted display 2, and when an image display start button (not shown) of the operation button group 31 is pressed, the program shown in the flowchart of S11 to S19 in FIG. It is executed by the CPU 35.
図5に示すように、先ず、ステップ(以下、Sと略記する)11において、CPU35は、通信部26から入力されてフラッシュメモリ36に記憶したコンテンツ情報がある場合には、当該コンテンツ情報を読み出して画像信号に変換してビデオRAM27に記憶する。これにより、ビデオRAM27から映像信号処理部63へ画像信号が入力されて、当該コンテンツ情報やテキストデータに対応するコンテンツ(画像)が出射装置11を介して左眼5に表示される。   As shown in FIG. 5, first, in step (hereinafter abbreviated as “S”) 11, when there is content information input from the communication unit 26 and stored in the flash memory 36, the CPU 35 reads the content information. And converted into an image signal and stored in the video RAM 27. As a result, an image signal is input from the video RAM 27 to the video signal processing unit 63, and content (image) corresponding to the content information and text data is displayed on the left eye 5 via the emission device 11.
そして、S12において、CPU35は、出射装置11の画像表示がONになった旨を表す画像表示ON信号を通信部26を介してサーバ7へ送信する。
続いて、S13において、CPU35は、通信部26を介して、サーバ7から送信された対象物4に対する作業指示情報が付加されたコンテンツや作業マニュアル等のコンテンツの画像情報を受信するのを待つ(S13:NO)。そして、CPU35は、通信部26を介してサーバ7から作業指示情報が付加されたコンテンツや作業マニュアル等のコンテンツの画像情報を受信した場合には(S13:YES)、S14の処理に移行する。
In S <b> 12, the CPU 35 transmits an image display ON signal indicating that the image display of the emission device 11 is ON to the server 7 via the communication unit 26.
Subsequently, in S <b> 13, the CPU 35 waits to receive image information of content such as content to which work instruction information for the object 4 transmitted from the server 7 is added or a work manual transmitted via the communication unit 26 ( S13: NO). When the CPU 35 receives image information of content such as content to which work instruction information is added or work manual from the server 7 via the communication unit 26 (S13: YES), the CPU 35 proceeds to S14.
S14において、CPU35は、この受信した画像情報をビデオRAM27に記憶する。これにより、ビデオRAM27から映像信号処理部63へ画像信号が入力されて、当該受信した画像信号が出射装置11を介して左眼5に表示される。
例えば、図6に示すように、対象物4を見ている作業者3の左眼5に、出射装置11を介して作業マニュアル111が表示される。
In S <b> 14, the CPU 35 stores the received image information in the video RAM 27. As a result, an image signal is input from the video RAM 27 to the video signal processing unit 63, and the received image signal is displayed on the left eye 5 via the emission device 11.
For example, as shown in FIG. 6, the work manual 111 is displayed via the output device 11 on the left eye 5 of the worker 3 who is looking at the object 4.
その後、S15において、CPU35は、通信部26を介して、CCDカメラ12により正面方向の対象物4等の風景の撮影を開始するように指示するカメラ撮影指示信号をサーバ7から受信するのを待つ(S15:NO)。そして、通信部26を介して、CCDカメラ12により正面方向の対象物4等の風景の撮影を開始するように指示するカメラ撮影指示信号をCPU35がサーバ7から受信した場合には(S15:YES)、CPU35は、S16の処理に移行する。   Thereafter, in S <b> 15, the CPU 35 waits to receive from the server 7 a camera shooting instruction signal for instructing the CCD camera 12 to start shooting the landscape of the object 4 in the front direction via the communication unit 26. (S15: NO). When the CPU 35 receives a camera shooting instruction signal from the server 7 for instructing the CCD camera 12 to start shooting a landscape such as the object 4 in the front direction via the communication unit 26 (S15: YES) ), The CPU 35 proceeds to the process of S16.
S16において、CPU35は、CCDカメラ12よる正面方向の対象物4等の風景の撮影を開始する、即ち、CPU35は、CCDカメラ12によって撮像された1フレーム分の画像情報をフラッシュメモリ36に記憶する。また、CPU35は、CCDカメラ12によって撮像された1フレーム分の画像情報を記憶する毎に、ジャイロセンサ13によって検出された作業者3の頭部の左右方向揺れ角度と上下方向揺れ角度をフラッシュメモリ36に記憶する。   In S <b> 16, the CPU 35 starts photographing a landscape such as the object 4 in the front direction by the CCD camera 12, i.e., the CPU 35 stores image information for one frame imaged by the CCD camera 12 in the flash memory 36. . Further, every time the CPU 35 stores image information for one frame imaged by the CCD camera 12, the flash memory shows the horizontal and vertical swing angles of the operator 3 's head detected by the gyro sensor 13. 36.
そして、S17において、CPU35は、CCDカメラ12によって撮像された1フレーム分の画像情報と、ジャイロセンサ13によって検出された作業者3の頭部の左右方向揺れ角度及び上下方向揺れ角度とを所定時間毎に(例えば、約1/30秒毎である。)フラッシュメモリ36から読み出し、通信部26を介してサーバ7へ送信する。   In S <b> 17, the CPU 35 determines the image information for one frame imaged by the CCD camera 12 and the horizontal and vertical swing angles of the operator 3 's head detected by the gyro sensor 13 for a predetermined time. Every time (for example, approximately every 1/30 seconds), the data is read from the flash memory 36 and transmitted to the server 7 via the communication unit 26.
続いて、S18において、CPU35は、出射装置11による左眼5への画像表示の停止が指示されたか否か、具体的には、操作ボタン群31の不図示の画像表示停止ボタンが押下されたか否かを判定する判定処理を実行する。
そして、出射装置11による左眼5への画像表示の停止が指示されていないと判定した場合、つまり、操作ボタン群31の不図示の画像表示停止ボタンが押下されていないと判定した場合には(S18:NO)、CPU35は、再度S16以降の処理を実行する。
Subsequently, in S <b> 18, the CPU 35 determines whether or not an instruction to stop image display on the left eye 5 by the emitting device 11 has been issued, specifically, whether or not an image display stop button (not shown) of the operation button group 31 has been pressed. A determination process for determining whether or not is executed.
And when it determines with the stop of the image display to the left eye 5 by the output device 11 having been instructed, that is, when it has been determined that the image display stop button (not shown) of the operation button group 31 has not been pressed. (S18: NO), CPU35 performs the process after S16 again.
一方、出射装置11による左眼5への画像表示の停止が指示されたと判定した場合、つまり、操作ボタン群31の不図示の画像表示停止ボタンが押下されたと判定した場合には(S18:YES)、CPU35は、S19の処理に移行する。   On the other hand, when it is determined that the image display stop to the left eye 5 has been instructed by the emission device 11, that is, when it is determined that an image display stop button (not shown) of the operation button group 31 is pressed (S18: YES) ), The CPU 35 proceeds to S19.
S19において、CPU35は、出射装置11の映像信号処理部63へ画像表示の停止を指示する停止信号を出力し、当該出射装置11の画像表示を停止する。また、CPU35は、出射装置11の画像表示を停止した旨を表す画像表示OFF信号を通信部26を介してサーバ7へ送信する。また、CPU35は、CCDコントローラ14へ撮像停止を指示する撮像停止信号を出力し、CCDカメラ12による撮像を停止後、当該処理を終了する。   In S <b> 19, the CPU 35 outputs a stop signal that instructs the video signal processing unit 63 of the emission device 11 to stop image display, and stops the image display of the emission device 11. Further, the CPU 35 transmits an image display OFF signal indicating that the image display of the emission device 11 has been stopped to the server 7 via the communication unit 26. Further, the CPU 35 outputs an imaging stop signal for instructing the CCD controller 14 to stop imaging, and after the imaging by the CCD camera 12 is stopped, the processing ends.
次に、図5に基づいてサーバ7のCPU51が実行する「補正画像出力処理」について説明する。尚、図5に、S111〜S119のフローチャートで示されるプログラムは、サーバ7のROM52に記憶されており、CPU51により所定時間毎(例えば、約0.01秒毎〜0.1秒毎である。)に実行される。   Next, the “corrected image output process” executed by the CPU 51 of the server 7 will be described with reference to FIG. 5 is stored in the ROM 52 of the server 7 and is executed by the CPU 51 every predetermined time (for example, about every 0.01 seconds to 0.1 seconds). ) Is executed.
先ず、S111において、CPU51は、サーバ側通信部55を介して、上記S12でヘッドマウントディスプレイ2から送信された画像表示ON信号を受信するのを待つ(S111:NO)。そして、CPU51は、サーバ側通信部55を介してヘッドマウントディスプレイ2から送信された画像表示ON信号を受信した場合には(S111:YES)、S112の処理に移行する。   First, in S111, the CPU 51 waits for reception of the image display ON signal transmitted from the head mounted display 2 in S12 via the server side communication unit 55 (S111: NO). When the CPU 51 receives the image display ON signal transmitted from the head mounted display 2 via the server-side communication unit 55 (S111: YES), the CPU 51 proceeds to the process of S112.
S112において、CPU51は、EEPROM54に記憶している作業指示情報や作業マニュアル等のコンテンツの画像情報を読み出し、サーバ側通信部55を介してヘッドマウントディスプレイ2へ送信する。
そして、S113において、CPU51は、CCDカメラ12により正面方向の対象物4等の風景の撮影を開始するように指示するカメラ撮影指示信号をサーバ側通信部55を介してヘッドマウントディスプレイ2へ送信する。
In S <b> 112, the CPU 51 reads work instruction information and content image information such as a work manual stored in the EEPROM 54, and transmits them to the head mounted display 2 via the server side communication unit 55.
In S <b> 113, the CPU 51 transmits a camera shooting instruction signal for instructing the CCD camera 12 to start shooting a scene such as the object 4 in the front direction to the head mounted display 2 via the server side communication unit 55. .
続いて、S114において、CPU51は、サーバ側通信部55を介して、上記S17でヘッドマウントディスプレイ2から送信されたCCDカメラ12によって撮像された1フレーム分の画像情報と、ジャイロセンサ13によって検出された作業者3の頭部の左右方向揺れ角度及び上下方向揺れ角度とを受信するのを待つ(S114:NO)。   Subsequently, in S <b> 114, the CPU 51 detects the image information for one frame captured by the CCD camera 12 transmitted from the head mounted display 2 in S <b> 17 and the gyro sensor 13 via the server-side communication unit 55. It waits for reception of the horizontal and vertical swing angles of the operator 3's head (S114: NO).
そして、サーバ側通信部55を介して、CCDカメラ12によって撮像された1フレーム分の画像情報と、ジャイロセンサ13によって検出された作業者3の頭部の左右方向揺れ角度及び上下方向揺れ角度とをCPU51がヘッドマウントディスプレイ2から受信した場合には(S114:YES)、CPU51は、受信したCCDカメラ12によって撮像された1フレーム分の画像情報を受信画像記憶部53Aに記憶する。また、CPU51は、受信した作業者3の頭部の左右方向揺れ角度及び上下方向揺れ角度を揺れ角度記憶部53Bに記憶後、S115の処理に移行する。   Then, the image information for one frame imaged by the CCD camera 12 via the server-side communication unit 55, the horizontal and vertical swing angles of the head of the worker 3 detected by the gyro sensor 13, and Is received from the head mounted display 2 (S114: YES), the CPU 51 stores the received image information for one frame captured by the CCD camera 12 in the received image storage unit 53A. Further, the CPU 51 stores the received horizontal and vertical swing angles of the head of the operator 3 in the swing angle storage unit 53B, and then proceeds to S115.
S115において、CPU51は、揺れ角度記憶部53Bから作業者3の頭部の左右方向揺れ角度及び上下方向揺れ角度を読み出し、各揺れ角度に基づいて対象物4等の風景を撮像した画像の揺れを補正した補正画像を作成してRAM53の補正画像記憶部53Cに記憶する。ここで、CCDカメラ12による対象物4等の風景を撮像した画像の揺れを補正した補正画像を作成する具体的な一例について図7及び図8に基づいて説明する。   In S115, the CPU 51 reads the horizontal and vertical swing angles of the operator 3's head from the swing angle storage unit 53B, and shakes an image obtained by capturing the landscape of the object 4 and the like based on each swing angle. A corrected corrected image is created and stored in the corrected image storage unit 53C of the RAM 53. Here, a specific example of creating a corrected image obtained by correcting the shaking of an image obtained by capturing a scene such as the object 4 by the CCD camera 12 will be described with reference to FIGS.
図7に示すように、CPU51は、ヘッドマウントディスプレイ2から受信したCCDカメラ12によって撮像された1フレーム分の画像情報の全撮像領域113から、液晶ディスプレイ9に表示するための対象物4等を含む表示画像の撮像領域114を決定する。例えば、CPU51は、1フレーム分の画像情報、つまり、CCDセンサ18の全撮像領域113の外周部から所定ピクセル数ずつX方向内側及びY方向内側の領域を液晶ディスプレイ9に表示するための表示画像の撮像領域114として決定する。撮像領域114の決定は、ヘッドマウントディスプレイ2から最初にCCDカメラ12によって撮像された1フレーム分の画像情報をCPU51が受信した際に行われてもよいし、それ以外のタイミング(数フレームの画像情報を受信後や、所定時間毎等である。)で適宜行われてもよい。   As shown in FIG. 7, the CPU 51 displays the object 4 and the like to be displayed on the liquid crystal display 9 from the entire imaging area 113 of the image information for one frame imaged by the CCD camera 12 received from the head mounted display 2. The imaging area 114 of the display image to be included is determined. For example, the CPU 51 displays image information for one frame, that is, a display image for displaying, on the liquid crystal display 9, an area inside the X direction and an area inside the Y direction by a predetermined number of pixels from the outer periphery of the entire imaging area 113 of the CCD sensor 18. The imaging area 114 is determined. The determination of the imaging region 114 may be performed when the CPU 51 receives image information for one frame first captured by the CCD camera 12 from the head mounted display 2, or other timing (images of several frames). It may be appropriately performed after receiving the information or at predetermined time intervals.
そして、図8に示すように、CPU51は、揺れ角度記憶部53Bから作業者3の頭部の上下方向揺れ角度α(図1参照)を読み出す。また、CPU51は、EEPROM54に予め記憶しているCCDカメラ12のレンズ17からCCDセンサ18までの焦点距離Fと、CCDセンサ18の受光素子または電極のピッチDとを読み出す。そして、表示画像の撮像領域114のCCDセンサ18上、つまり、全撮像領域113上におけるX方向(上下方向)の移動量、つまり、移動ピクセル数NXをNX=(F×tanα÷D)の式によって算出し、X方向補正ピクセル数NX(X方向の位置補正量)としてRAM53に記憶する。   Then, as shown in FIG. 8, the CPU 51 reads the vertical swing angle α (see FIG. 1) of the head of the worker 3 from the swing angle storage unit 53B. Further, the CPU 51 reads the focal length F from the lens 17 of the CCD camera 12 to the CCD sensor 18 and the pitch D of the light receiving elements or electrodes of the CCD sensor 18 which are stored in the EEPROM 54 in advance. Then, the amount of movement in the X direction (vertical direction) on the CCD sensor 18 in the imaging area 114 of the display image, that is, the entire imaging area 113, that is, the number of moving pixels NX is expressed by the equation NX = (F × tan α ÷ D). And is stored in the RAM 53 as the X-direction correction pixel number NX (position correction amount in the X direction).
また、CPU51は、揺れ角度記憶部53Bから作業者3の頭部の左右方向揺れ角度β(図1参照)を読み出す。また、CPU51は、EEPROM54に予め記憶しているCCDカメラ12のレンズ17からCCDセンサ18までの距離FとCCDセンサ18の受光素子または電極のピッチDを読み出す。そして、表示画像の撮像領域114のCCDセンサ18上、つまり、全撮像領域113上におけるY方向(左右方向)の移動量、つまり、移動ピクセル数NYをNY=(F×tanβ÷D)の式によって算出し、Y方向補正ピクセル数NY(Y方向の位置補正量)としてRAM53に記憶する。   Further, the CPU 51 reads out the horizontal swing angle β (see FIG. 1) of the head of the worker 3 from the swing angle storage unit 53B. Further, the CPU 51 reads the distance F from the lens 17 of the CCD camera 12 to the CCD sensor 18 and the pitch D of the light receiving elements or electrodes of the CCD sensor 18 stored in advance in the EEPROM 54. Then, the amount of movement in the Y direction (left-right direction) on the CCD sensor 18 in the imaging area 114 of the display image, that is, the entire imaging area 113, that is, the number of moving pixels NY is expressed by the equation NY = (F × tan β ÷ D). And stored in the RAM 53 as the Y-direction correction pixel number NY (Y-direction position correction amount).
続いて、図7に示すように、CPU51は、RAM53からX方向補正ピクセル数NXとY方向補正ピクセル数NYを読み出し、表示画像の撮像領域114をX方向補正ピクセル数NXだけX方向に、Y方向補正ピクセル数NYだけY方向へ移動した補正画像の撮像領域115を決定してRAM53に記憶する。   Subsequently, as shown in FIG. 7, the CPU 51 reads the X-direction correction pixel number NX and the Y-direction correction pixel number NY from the RAM 53, and displays the imaging region 114 of the display image in the X direction by the X-direction correction pixel number NX. The imaging region 115 of the corrected image moved in the Y direction by the number of direction correction pixels NY is determined and stored in the RAM 53.
そして、CPU51は、この補正画像の撮像領域115に対応する画像情報を、受信画像記憶部53Aに記憶した1フレーム分の画像情報の全撮像領域113から読み出し、液晶ディスプレイ9に表示する補正画像の画像情報として補正画像記憶部53Cに記憶する。これにより、CPU51は、表示画像の撮像領域114の揺れを補正した補正画像の画像情報を作成して、補正画像記憶部53Cに記憶することができる。   Then, the CPU 51 reads out the image information corresponding to the imaging area 115 of the corrected image from the entire imaging area 113 of the image information for one frame stored in the received image storage unit 53A, and displays the correction image to be displayed on the liquid crystal display 9. The image information is stored in the corrected image storage unit 53C. Thereby, the CPU 51 can create image information of a corrected image obtained by correcting the shaking of the imaging area 114 of the display image, and store the image information in the corrected image storage unit 53C.
続いて、S116において、CPU51は、補正画像記憶部53Cに記憶した補正画像の画像情報を読み出し、入出力インターフェース56を介して液晶ディスプレイ9に表示する。また、作業指示者6は、液晶ディスプレイ9に表示された対象物4等の表示画像に対して作業指示や作業説明等の付加情報を付加するために、キーボードやマウス等の操作部8を介して付加情報を入力する。尚、CPU51は、補正画像記憶部53Cに記憶した補正画像の画像情報を時系列的に記憶して録画し、作業手順等のデータベースを作成したり、印刷出力するようにしてもよい。   Subsequently, in S <b> 116, the CPU 51 reads the image information of the corrected image stored in the corrected image storage unit 53 </ b> C and displays it on the liquid crystal display 9 via the input / output interface 56. Further, the work instructor 6 adds an additional information such as a work instruction or a work description to the display image of the object 4 or the like displayed on the liquid crystal display 9 via the operation unit 8 such as a keyboard or a mouse. To enter additional information. Note that the CPU 51 may store and record the image information of the corrected image stored in the corrected image storage unit 53C in time series, create a database of work procedures, or print it out.
例えば、図9に示すように、作業指示者6は、操作部8を介して、液晶ディスプレイ9に表示された対象物4の画像上において、例えば、各ネジ孔4A〜4Dの周囲に黄色の点線の各円117A〜117Dを表示すると共に、各円117A〜117Dの横側に「M3ネジ」の文字を表示することができる。つまり、作業指示者6は、各ネジ孔4A〜4Dに直径が3mmのM3ネジを締結する旨を表す作業指示を入力することができる。   For example, as shown in FIG. 9, the work instructor 6, for example, has a yellow color around each screw hole 4 </ b> A to 4 </ b> D on the image of the object 4 displayed on the liquid crystal display 9 via the operation unit 8. The dotted circles 117A to 117D can be displayed, and the letters “M3 screws” can be displayed on the sides of the circles 117A to 117D. In other words, the work instructor 6 can input a work instruction indicating that an M3 screw having a diameter of 3 mm is fastened to each of the screw holes 4A to 4D.
その後、S117において、CPU51は、操作部8を介して、液晶ディスプレイ9に表示している作業指示や作業説明等の付加情報が付加された補正画像をヘッドマウントディスプレイ2へ送信するように指示する送信指示信号が入力されたか否かを判定する判定処理を実行する。   Thereafter, in S117, the CPU 51 instructs the operation unit 8 to transmit to the head mounted display 2 a corrected image to which additional information such as a work instruction or work description displayed on the liquid crystal display 9 is added. A determination process for determining whether or not a transmission instruction signal is input is executed.
そして、操作部8を介して、液晶ディスプレイ9に表示している補正画像等をヘッドマウントディスプレイ2へ送信するように指示する送信指示信号が入力されていないと判定した場合には(S117:NO)、CPU51は、後述のS119の処理に移行する。
一方、操作部8を介して、液晶ディスプレイ9に表示している補正画像等をヘッドマウントディスプレイ2へ送信するように指示する送信指示信号が入力されたと判定した場合には(S117:YES)、CPU51は、S118の処理に移行する。
If it is determined that the transmission instruction signal for instructing to transmit the correction image displayed on the liquid crystal display 9 to the head mounted display 2 is not input via the operation unit 8 (S117: NO). ), The CPU 51 proceeds to the process of S119 described later.
On the other hand, when it is determined that a transmission instruction signal for instructing to transmit the corrected image displayed on the liquid crystal display 9 to the head mounted display 2 is input via the operation unit 8 (S117: YES), The CPU 51 proceeds to the process of S118.
S118において、CPU51は、操作部8を介して指示された液晶ディスプレイ9に表示している作業指示や作業説明等の付加情報が付加された補正画像の画像情報を、上記S112において、ヘッドマウントディスプレイ2へ送信する画像情報としてEEPROM54に記憶する。つまり、CPU51は、ヘッドマウントディスプレイ2へ送信する画像情報を液晶ディスプレイ9に表示している作業指示や作業説明等の付加情報が付加された補正画像の画像情報に切り替える。   In S118, the CPU 51 displays the image information of the corrected image added with additional information such as work instructions and work descriptions displayed on the liquid crystal display 9 instructed via the operation unit 8 in S112. 2 is stored in the EEPROM 54 as image information to be transmitted to 2. That is, the CPU 51 switches the image information to be transmitted to the head mounted display 2 to the image information of the corrected image to which additional information such as a work instruction or work description displayed on the liquid crystal display 9 is added.
続いて、S119において、CPU51は、サーバ側通信部55を介して、出射装置11の画像表示を停止した旨を表す画像表示OFF信号を受信したか否かを判定する判定処理を実行する。
そして、CPU51は、画像表示OFF信号を受信していないと判定した場合には(S119:NO)、S112以降の処理を再度実行する。
Subsequently, in S119, the CPU 51 executes a determination process for determining whether or not an image display OFF signal indicating that the image display of the emission device 11 has been stopped is received via the server-side communication unit 55.
If it is determined that the image display OFF signal has not been received (S119: NO), the CPU 51 executes the processes subsequent to S112 again.
これにより、例えば、図10に示すように、対象物4を見ている作業者3の左眼5に、図9のサーバ7の液晶ディスプレイ9に表示されている対象物4の各ネジ孔4A〜4Dの周囲に黄色の点線の各円117A〜117Dが表示されると共に、各円117A〜117Dの横側に「M3ネジ」の文字が表示された作業指示画像121が出射装置11を介して表示される。   Thus, for example, as shown in FIG. 10, each screw hole 4A of the object 4 displayed on the liquid crystal display 9 of the server 7 in FIG. A work instruction image 121 on which yellow dotted lines 117 </ b> A to 117 </ b> D are displayed around 4 </ b> D and a letter “M3 screw” is displayed on the side of each of the circles 117 </ b> A to 117 </ b> D via the emitting device 11. Is displayed.
一方、CPU51は、画像表示OFF信号を受信したと判定した場合には(S119:YES)、当該処理を終了する。   On the other hand, if the CPU 51 determines that an image display OFF signal has been received (S119: YES), the process ends.
以上説明した通り、本実施形態に係る作業支援システム1では、ヘッドマウントディスプレイ2のCPU35は、出射装置11に装着されたジャイロセンサ13によって検出した作業者3の頭部の左右方向揺れ角度及び上下方向揺れ角度と、CCDカメラ12によって撮像した正面方向の対象物4や風景等の画像情報をサーバ7へ送信する。また、サーバ7のCPU51は、ヘッドマウントディスプレイ2から受信した作業者3の頭部の左右方向揺れ角度と上下方向揺れ角度に基づいて、ヘッドマウントディスプレイ2から受信した画像情報から揺れを補正した補正画像を作成して、液晶ディスプレイ9に表示する。   As described above, in the work support system 1 according to the present embodiment, the CPU 35 of the head mounted display 2 detects the horizontal swing angle and the vertical direction of the head of the worker 3 detected by the gyro sensor 13 attached to the emission device 11. The direction swing angle and the image information such as the object 4 in the front direction and the scenery taken by the CCD camera 12 are transmitted to the server 7. Further, the CPU 51 of the server 7 corrects the shake based on the image information received from the head mounted display 2 based on the horizontal and vertical swing angles of the head of the worker 3 received from the head mounted display 2. An image is created and displayed on the liquid crystal display 9.
これにより、揺れを補正した補正画像が液晶ディスプレイ9に動画表示された場合には、この動画表示の画面全体の揺れを防止でき、作業指示者6の不快感を無くして作業指示等の作業効率の低下を防止することができる。また、ヘッドマウントディスプレイ2には、CCDカメラ12に加えて、ジャイロセンサ13を出射装置11に設ければよいため、ヘッドマウントディスプレイ2の小型化、軽量化を図ることが可能となり、作業者3の作業効率の低下を防止することが可能となる。   As a result, when a corrected image corrected for shaking is displayed as a moving image on the liquid crystal display 9, it is possible to prevent shaking of the entire moving image display screen, and to eliminate the discomfort of the work instructor 6 and work efficiency such as work instructions. Can be prevented. In addition to the CCD camera 12, the head mounted display 2 may be provided with the gyro sensor 13 in the emission device 11. Therefore, the head mounted display 2 can be reduced in size and weight, and the operator 3 It is possible to prevent a decrease in work efficiency.
また、作業指示者6は、液晶ディスプレイ9に表示された補正画像に対して操作部8を介して作業指示や対象物の説明資料等の付加情報を入力し、この表示画像の画像情報をヘッドマウントディスプレイ2へ送信することによって、作業者3が見ている対象物4に対する作業指示や対象物の説明資料等のコンテンツ情報を作業者3の左眼5に的確に提示することが可能となる。   Further, the work instructor 6 inputs additional information such as a work instruction and explanatory material of the object to the corrected image displayed on the liquid crystal display 9 via the operation unit 8, and the image information of this display image is stored in the head By transmitting to the mount display 2, it is possible to accurately present content information such as work instructions for the object 4 viewed by the worker 3 and explanatory material of the object to the left eye 5 of the worker 3. .
また、作業者3は、ヘッドマウントディスプレイ2を介して左眼5に提示された対象物4に対する作業指示や対象物の説明資料等の付加情報を正確に認識することが可能となる。更に、ヘッドマウントディスプレイ2を介して提示された作業指示等の付加情報が付された動画表示の画面全体の揺れを防止でき、作業者3の不快感を無くして作業効率の低下を防止することができる。   In addition, the worker 3 can accurately recognize additional information such as work instructions for the object 4 presented to the left eye 5 via the head mounted display 2 and explanatory material of the object. Furthermore, it is possible to prevent shaking of the entire screen of the moving image display to which additional information such as work instructions presented via the head mounted display 2 is attached, and to prevent the operator 3 from feeling uncomfortable and prevent a decrease in work efficiency. Can do.
また、全撮像領域113上における対象物4を含む表示画像の撮像領域114の各補正ピクセル数(位置補正量)NX、NYをジャイロセンサ13によって検出した上下方向揺れ角度αと水平方向揺れ角度βに基づいて決定するため、作業者3の頭部の動きによって液晶ディスプレイ9に表示される動画像の画面全体の揺れを効果的に防止することが可能となる。また、作業者3の頭部の上下方向揺れ角度αと水平方向揺れ角度βに基づいて、全撮像領域113上における対象物4を含む表示画像の撮像領域114の各位置補正量NX、NYを決定するため、各位置補正量NX、NYの決定を迅速に行うことが可能となる。   In addition, the vertical swing angle α and the horizontal swing angle β detected by the gyro sensor 13 for the respective correction pixel numbers (position correction amounts) NX and NY in the imaging region 114 of the display image including the object 4 on the entire imaging region 113. Therefore, it is possible to effectively prevent shaking of the entire moving image displayed on the liquid crystal display 9 due to the movement of the head of the worker 3. Further, based on the vertical swing angle α and the horizontal swing angle β of the head of the worker 3, the position correction amounts NX and NY of the imaging area 114 of the display image including the object 4 on the entire imaging area 113 are calculated. Therefore, the position correction amounts NX and NY can be quickly determined.
また、当該位置補正量だけ移動した補正画像の撮像領域115に対応する画像情報を1フレーム分の画像情報の全撮像領域113から抽出するため、作業者3が見ている対象物4を含む映像の液晶ディスプレイ9への動画表示等を確実に行うことが可能となる。   In addition, since the image information corresponding to the imaging area 115 of the corrected image moved by the position correction amount is extracted from the entire imaging area 113 of the image information for one frame, the video including the object 4 that the operator 3 is viewing. It is possible to reliably display a moving image on the liquid crystal display 9.
尚、本発明は前記実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。   In addition, this invention is not limited to the said embodiment, Of course, various improvement and deformation | transformation are possible within the range which does not deviate from the summary of this invention.
例えば、上記S115において、CPU51は、表示されるコンテンツ情報の内容に応じて、画像の補正方法を変更してもよい。具体的には、CPU51は、表示コンテンツが主に文字情報から構成されているか否かの判断を行う。そして、CPU51は、表示コンテンツが主に文字情報から構成されていると判断した場合には、撮像した画像の揺れを補正しない構成としてもよい。表示コンテンツが主に文字情報から構成されている場合には、作業者3は表示コンテンツの視認を主に行うため、頭の動きはそれほど大きくならないと考えられるためである。   For example, in S115, the CPU 51 may change the image correction method according to the content information to be displayed. Specifically, the CPU 51 determines whether or not the display content is mainly composed of character information. When the CPU 51 determines that the display content is mainly composed of character information, the CPU 51 may be configured not to correct the shake of the captured image. This is because, when the display content is mainly composed of character information, the operator 3 mainly views the display content, and thus it is considered that the movement of the head does not increase so much.
あるいは、S115において、CPU51は、各揺れ角度の値に応じて、画像の補正方法を変更してもよい。具体的には、各揺れ角度の値が十分に小さい、即ちブレが少ない場合には、CPU51は、補正を行わないようにしてもよい。さらに、各揺れ角度の値が十分に大きい、具体的には、撮像領域114の各補正ピクセル数(位置補正量)NX、NYが大きく、撮像領域114が全撮像領域113からはみ出てしまうような場合には、CPU51は、補正を行なわずに警告を作業者に提示するようにしてもよい。   Alternatively, in S115, the CPU 51 may change the image correction method according to the value of each swing angle. Specifically, when the value of each swing angle is sufficiently small, that is, when there is little blur, the CPU 51 may not perform correction. Further, the value of each swing angle is sufficiently large. Specifically, the number of correction pixels (position correction amounts) NX and NY in the imaging region 114 is large, and the imaging region 114 protrudes from the entire imaging region 113. In this case, the CPU 51 may present a warning to the worker without performing correction.
あるいは、CPU51は、表示されるコンテンツ情報の内容に応じて、撮像領域114を変更してもよい。例えば、CPU51は、更新履歴やログ情報等に基づき、作業指示者6によって入力された作業指示が表示コンテンツに含まれるか否かを判断する。そして、作業指示者6によって入力された作業指示が表示コンテンツに含まれると判断した場合には、CPU51は、撮像領域114を、作業指示者6によって入力された作業指示を含む最小の矩形領域を撮像領域114として決定するようにしてもよい。これによって、作業指示がなされている領域のみを撮像した表示画像を表示することが可能になる。または、CPU51は、表示されるコンテンツ情報の内容が、手元での作業か遠方(大型の機械の動作等)かで、撮像領域114を変更するようにしてもよい。   Or CPU51 may change imaging field 114 according to the contents of the contents information displayed. For example, the CPU 51 determines whether or not a work instruction input by the work instructor 6 is included in the display content based on the update history, log information, and the like. When it is determined that the work instruction input by the work instruction person 6 is included in the display content, the CPU 51 sets the imaging area 114 as a minimum rectangular area including the work instruction input by the work instruction person 6. The imaging area 114 may be determined. As a result, it is possible to display a display image obtained by capturing only the area where the work instruction is given. Alternatively, the CPU 51 may change the imaging region 114 depending on whether the content information to be displayed is a work at hand or a distance (such as operation of a large machine).
あるいは、CPU51は、撮像領域114を作業者3が操作ボタン群31に対して行う入力内容に従って、適宜変更するようにしてもよい。   Alternatively, the CPU 51 may appropriately change the imaging area 114 according to the input content that the operator 3 performs on the operation button group 31.
1 作業支援システム
2 ヘッドマウントディスプレイ
3 作業者
4 対象物
6 作業指示者
7 サーバ
8 操作部
9 液晶ディスプレイ
11 出射装置
12 CCDカメラ
13 ジャイロセンサ
26 通信部
35、51 CPU
36、54 フラッシュメモリ
37、53 RAM
52 ROM
55 サーバ側通信部
DESCRIPTION OF SYMBOLS 1 Work support system 2 Head mounted display 3 Worker 4 Object 6 Work instruction person 7 Server 8 Operation part 9 Liquid crystal display 11 Emitting device 12 CCD camera 13 Gyro sensor 26 Communication part 35, 51 CPU
36, 54 Flash memory 37, 53 RAM
52 ROM
55 Server side communication part

Claims (9)

  1. 作業者の頭部に装着されて、受信したコンテンツ情報に基づいて視界に画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイにコンテンツ情報を送信する作業支援装置と、を備えた作業支援システムにおいて、
    前記ヘッドマウントディスプレイは、
    該ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、
    該ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、
    前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを前記作業支援装置に送信する作業側送信手段と、
    を有し、
    前記作業支援装置は、
    前記作業側送信手段を介して送信された前記基本画像情報と前記頭部動作情報とを受信する支援側受信手段と、
    前記支援側受信手段を介して受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正手段と、
    前記補正画像情報を所定の態様で出力する支援側出力手段と、
    を有することを特徴とする作業支援システム。
    In a work support system comprising: a head mounted display that is mounted on a worker's head and displays an image in a field of view based on received content information; and a work support device that transmits content information to the head mounted display. ,
    The head mounted display is
    An imaging means mounted on the head mounted display for imaging an object in a visual field direction;
    A head movement detecting means mounted on the head mounted display for detecting the movement of the operator's head;
    Work side transmission means for transmitting basic image information captured by the imaging means and head motion information detected by the head motion detection means to the work support device;
    Have
    The work support device includes:
    Support side receiving means for receiving the basic image information and the head movement information transmitted via the work side transmitting means;
    A head shake correction unit that creates corrected image information in which the video of the object is corrected from the basic image information based on the basic image information and the head movement information received via the support side receiving unit; ,
    Support side output means for outputting the corrected image information in a predetermined manner;
    A work support system comprising:
  2. 前記作業支援装置は、
    前記補正画像情報に対して付加情報を入力する付加情報入力手段と、
    前記補正画像情報と前記付加情報とから構成された映像情報を前記コンテンツ情報として作成するコンテンツ情報作成手段と、
    を有することを特徴とする請求項1に記載の作業支援システム。
    The work support device includes:
    Additional information input means for inputting additional information to the corrected image information;
    Content information creation means for creating video information composed of the corrected image information and the additional information as the content information;
    The work support system according to claim 1, further comprising:
  3. 前記作業支援装置は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報を前記ヘッドマウントディスプレイに送信する支援側送信手段を有し、
    前記ヘッドマウントディスプレイは、前記支援側送信手段を介して送信された前記コンテンツ情報を受信する作業側受信手段を有し、
    該ヘッドマウントディスプレイは、前記作業側受信手段を介して受信した前記コンテンツ情報に基づいて前記視界に画像を表示することを特徴とする請求項2に記載の作業支援システム。
    The work support device has support side transmission means for transmitting the content information created by the content information creation means to the head mounted display,
    The head-mounted display has a work side receiving means for receiving the content information transmitted via the support side transmitting means,
    The work support system according to claim 2, wherein the head mounted display displays an image in the field of view based on the content information received via the work side receiving unit.
  4. 前記頭揺れ補正手段は、
    受信した前記基本画像情報の全撮像領域から前記対象物を含む所定範囲の撮像領域を決定する撮像領域決定手段と、
    前記頭部動作情報に基づいて前記基本画像情報の全撮像領域上における前記所定範囲の撮像領域の位置補正量を決定する位置補正量決定手段と、
    前記所定範囲の撮像領域を前記基本画像情報の全撮像領域上で前記位置補正量だけ移動した後、当該所定範囲の撮像領域に対応する前記基本画像情報を前記補正画像情報として抽出する補正画像抽出手段と、
    を有することを特徴とする請求項1乃至請求項3のいずれかに記載の作業支援システム。
    The head shake correction means includes
    An imaging area determining means for determining an imaging area of a predetermined range including the target object from all the imaging areas of the received basic image information;
    Position correction amount determination means for determining a position correction amount of the imaging region of the predetermined range on the entire imaging region of the basic image information based on the head movement information;
    Corrected image extraction for extracting the basic image information corresponding to the imaging region of the predetermined range as the corrected image information after moving the imaging region of the predetermined range over the entire imaging region of the basic image information by the position correction amount Means,
    The work support system according to claim 1, further comprising:
  5. 前記撮像領域決定手段は、所定情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする請求項4に記載の作業支援システム。   The work support system according to claim 4, wherein the imaging region determination unit determines the range of the predetermined imaging region based on predetermined information.
  6. 前記撮像領域決定手段は、前記頭部動作情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする請求項5に記載の作業支援システム。   The work support system according to claim 5, wherein the imaging region determination unit determines the range of the predetermined imaging region based on the head movement information.
  7. 前記撮像領域決定手段は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする請求項5又は請求項6に記載の作業支援システム。   The work support according to claim 5 or 6, wherein the imaging region determination unit determines the range of the predetermined imaging region based on the content information created by the content information creation unit. system.
  8. 前記頭部動作検出手段は、前記頭部動作情報として前記作業者の頭部の左右方向揺れ角度と上下方向揺れ角度とを検出し、
    前記位置補正量決定手段は、前記左右方向揺れ角度と前記上下方向揺れ角度とに基づいて前記位置補正量を決定することを特徴とする請求項4乃至請求項7のいずれかに記載の作業支援システム。
    The head motion detection means detects a horizontal swing angle and a vertical swing angle of the operator's head as the head motion information,
    The work support according to any one of claims 4 to 7, wherein the position correction amount determination means determines the position correction amount based on the left-right direction swing angle and the up-down direction swing angle. system.
  9. 前記頭揺れ補正手段は、前記コンテンツ情報が文字データを含むか否かを判定する判定手段を有し、
    該頭揺れ補正手段は、前記判定手段を介して前記コンテンツ情報が文字データを含むと判定した場合には、前記補正画像情報を作成しないことを特徴とする請求項2乃至請求項8のいずれかに記載の作業支援システム。
    The head shake correction means includes a determination means for determining whether or not the content information includes character data;
    9. The head shake correction unit according to claim 2, wherein when the content information is determined to include character data via the determination unit, the correction image information is not created. The work support system described in 1.
JP2009222822A 2009-09-28 2009-09-28 Work support system, head mounted display and program Active JP5251813B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009222822A JP5251813B2 (en) 2009-09-28 2009-09-28 Work support system, head mounted display and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009222822A JP5251813B2 (en) 2009-09-28 2009-09-28 Work support system, head mounted display and program

Publications (2)

Publication Number Publication Date
JP2011071884A true JP2011071884A (en) 2011-04-07
JP5251813B2 JP5251813B2 (en) 2013-07-31

Family

ID=44016689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009222822A Active JP5251813B2 (en) 2009-09-28 2009-09-28 Work support system, head mounted display and program

Country Status (1)

Country Link
JP (1) JP5251813B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056359A (en) * 2013-11-15 2015-05-26 엘지전자 주식회사 Wearable glass-type device and method of controlling the device
WO2016121049A1 (en) * 2015-01-29 2016-08-04 日立マクセル株式会社 Information display terminal and information display method
US10838211B2 (en) 2017-04-21 2020-11-17 Fanuc Corporation Maintenance support device and maintenance support system for factory equipment

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001210910A (en) 1999-11-17 2001-08-03 Mitsubishi Electric Corp Semiconductor laser
JP3797151B2 (en) 2001-07-05 2006-07-12 ソニー株式会社 Laser diode, optical pickup device, optical disk device, and optical communication device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257475A (en) * 1997-03-13 1998-09-25 Susumu Tate System and method for remote communication
JP2006135884A (en) * 2004-11-09 2006-05-25 Konica Minolta Photo Imaging Inc Video display device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257475A (en) * 1997-03-13 1998-09-25 Susumu Tate System and method for remote communication
JP2006135884A (en) * 2004-11-09 2006-05-25 Konica Minolta Photo Imaging Inc Video display device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056359A (en) * 2013-11-15 2015-05-26 엘지전자 주식회사 Wearable glass-type device and method of controlling the device
KR102195773B1 (en) * 2013-11-15 2020-12-28 엘지전자 주식회사 Wearable glass-type device and method of controlling the device
WO2016121049A1 (en) * 2015-01-29 2016-08-04 日立マクセル株式会社 Information display terminal and information display method
US10838211B2 (en) 2017-04-21 2020-11-17 Fanuc Corporation Maintenance support device and maintenance support system for factory equipment

Also Published As

Publication number Publication date
JP5251813B2 (en) 2013-07-31

Similar Documents

Publication Publication Date Title
JP2010152443A (en) Head mounted display
JP2010145436A (en) Head-mounted display
JP5104679B2 (en) Head mounted display
EP2163937A1 (en) Head mount display
JP2010139901A (en) Head mount display
JP5251813B2 (en) Work support system, head mounted display and program
WO2012133172A1 (en) Head-mounted display
JP2011091789A (en) Head-mounted display
JP5304329B2 (en) Head mounted display device, image control method, and image control program
US8061845B2 (en) Image display system and image display method
JP2011075956A (en) Head-mounted display
JP2010067154A (en) Head mounted display, information browsing system, and management server
JP2010139575A (en) See-through type head-mounted display device
JP2010056661A (en) Head mounting type video acquiring and displaying device
WO2010103995A1 (en) Head mount display
JP5109952B2 (en) Head mounted display
JP2006350256A (en) Scanning type image display apparatus
JP2011066549A (en) Head mounted display
JP5163535B2 (en) Head mounted display
JP5218354B2 (en) Head mounted display
JP2010134051A (en) Image display apparatus
JP5126047B2 (en) Head mounted display
JP2012080285A (en) Imaging device and head-mounted display including the same
JP2010134152A (en) Head-mounted display
JP2011070093A (en) Head-mounted display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R150 Certificate of patent or registration of utility model

Ref document number: 5251813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3