JP2000299851A - Instruction information transmitter - Google Patents
Instruction information transmitterInfo
- Publication number
- JP2000299851A JP2000299851A JP11274968A JP27496899A JP2000299851A JP 2000299851 A JP2000299851 A JP 2000299851A JP 11274968 A JP11274968 A JP 11274968A JP 27496899 A JP27496899 A JP 27496899A JP 2000299851 A JP2000299851 A JP 2000299851A
- Authority
- JP
- Japan
- Prior art keywords
- information
- work
- instruction
- display
- manual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、遠隔地に在する作
業者に対して作業指示を行う作業指示伝達装置に関する
ものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a work instruction transmitting device for giving a work instruction to a worker located at a remote place.
【０００２】[0002]
【従来の技術】従来より、遠隔地に在する作業者に対し
て作業指示を行う場合、電話を用いた音声による作業指
示や、テレビ電話を用いた音声と画像情報による作業指
示を行ってきた。2. Description of the Related Art Conventionally, when a work instruction is given to a worker located in a remote place, a work instruction is made by voice using a telephone, or a work instruction is made using voice and image information using a videophone. .
【０００３】[0003]
【発明が解決しようとする課題】しかし、音声のみの作
業指示では、作業指示者の指示内容が遠隔地に在する作
業者に十分に伝わらないという問題点を有していた。
又、テレビ電話等で画像情報を付加する場合にも、遠隔
地にある作業対象に対する指示ができず、作業指示者の
指示内容が作業者に十分に伝わらないという問題点は解
消されていない。However, in the case of a work instruction using only voice, there has been a problem that the instruction content of the work instructor is not sufficiently transmitted to a worker located in a remote place.
In addition, even when image information is added by a videophone or the like, the problem that an instruction to a work target located in a remote place cannot be made and the instruction content of the work instructor is not sufficiently transmitted to the worker has not been solved.
【０００４】本発明は、前記問題点に鑑みてなされたも
のであり、遠隔地の作業者に瞬時に適切な作業指示を与
えることができる装置を提供することを目的とする。[0004] The present invention has been made in view of the above problems, and has as its object to provide an apparatus capable of instantly giving an appropriate work instruction to a remote worker.
【０００５】[0005]
【課題を解決するための手段】本発明を用いると、請求
項１は、作業対象を撮像する第１の撮像手段と、該第１
の撮像手段により撮像された映像情報を作業指示者側に
表示する第１の表示手段と、該第１の表示手段に表示さ
れた映像情報に基づき作業指示を行う、作業指示者の作
業指示動作を撮像する第２の撮像手段と、複数のマニュ
アル情報を記憶しているマニュアル情報管理手段と、該
第２の撮像手段により撮像された作業指示動作に基づき
前記マニュアル情報管理手段よりマニュアル情報を読み
出し、前記第１の表示手段に表示すると同時に作業者側
に出力する指示情報判断手段と、該指示情報判断手段に
より得られたマニュアル情報に基づきマニュアル情報の
映像を生成し、前記第１の撮像手段により撮像された映
像情報に合成する合成部と、該合成部により合成された
映像情報を表示する第２の表示手段と、を備えたことを
特徴とする。According to the present invention, the present invention provides a first image pickup means for picking up an image of a work object;
Display means for displaying video information captured by the image capturing means on the work instructor side, and a work instruction operation of the work instructor performing a work instruction based on the video information displayed on the first display means A second image pickup means for picking up an image, a manual information management means storing a plurality of pieces of manual information, and reading manual information from the manual information management means based on a work instruction operation taken by the second image pickup means. Instruction information judging means for displaying the information on the first display means and outputting the instruction information to the operator at the same time; generating a video of the manual information based on the manual information obtained by the instruction information judging means; And a second display means for displaying the video information synthesized by the synthesizing unit.
【０００６】請求項２は、作業対象を撮像する第１の撮
像手段と、該第１の撮像手段により撮像された映像情報
を作業指示者側に表示する第１の表示手段と、該第１の
表示手段に表示された映像情報に基づき作業指示を行
う、作業指示者作業指示動作を撮像する第２の撮像手段
と、前記第１の表示手段に表示された情報に基づき作業
指示を行う、作業指示者の作業指示音声を入力する音声
入力手段と、複数のマニュアル情報を記憶しているマニ
ュアル情報管理手段と、前記第２の撮像手段により撮像
された作業指示動作に基づき、前記マニュアル情報管理
手段よりマニュアル情報を読み出し前記第１の表示手段
に表示すると同時に作業者側に前記マニュアル情報及び
前記音声情報を出力する指示情報判断手段と、該指示情
報判断手段により得られたマニュアル情報に基づきマニ
ュアル情報の映像を生成し、前記第１の撮像手段により
撮像された映像情報に合成する合成部と、該合成部によ
り合成された映像情報を表示する第２の表示手段と、前
記音声入力手段により得られた作業指示音声を出力する
音声出力手段と、を備えたことを特徴とする。[0008] In another aspect of the present invention, a first image pickup means for picking up an image of a work target, a first display means for displaying video information picked up by the first image pickup means to a work instructor, Performing a work instruction based on the video information displayed on the display means, performing a work instruction based on the information displayed on the first display means; Voice input means for inputting a work instruction voice of a work instructor, manual information management means storing a plurality of manual information, and manual information management based on the work instruction operation imaged by the second imaging means. Instruction information determining means for reading manual information from the means and displaying the manual information and the audio information to the operator at the same time as displaying the information on the first display means; A synthesizing unit that generates an image of the manual information based on the obtained manual information and synthesizes the image with the image information captured by the first imaging unit; and a second display unit that displays the image information synthesized by the synthesizing unit. And voice output means for outputting the work instruction voice obtained by the voice input means.
【０００７】請求項３は、請求項１又は請求項２に於い
て、前記合成部にてマニュアル情報と前記第１の撮像手
段により撮像された映像情報とを合成する際に、前記マ
ニュアル情報を前記第２の表示手段の任意の表示位置に
表示する指示を与える表示位置操作手段を設け、該表示
位置操作手段に基づき、前記第２の表示手段の任意の表
示位置に前記マニュアル情報を表示することを特徴とす
る。According to a third aspect of the present invention, in the first or second aspect, the manual information is combined with the video information captured by the first image capturing means in the combining section. Display position operation means for giving an instruction to display at an arbitrary display position of the second display means; and displaying the manual information at an arbitrary display position of the second display means based on the display position operation means. It is characterized by the following.
【０００８】請求項４は、請求項１乃至請求項３のいず
れかに於いて、前記合成部にてマニュアル情報と前記第
１の撮像手段により撮像された映像情報とを合成する際
に、前記マニュアル情報を任意の大きさで表示する指示
を与える表示倍率操作手段を設け、該表示倍率操作手段
に基づき、前記マニュアル情報を任意の大きさで前記第
２の表示手段に表示することを特徴とする。According to a fourth aspect of the present invention, in the method of any one of the first to third aspects, when the synthesizing section synthesizes the manual information and the video information imaged by the first imaging means, Display magnification operation means for giving an instruction to display manual information in an arbitrary size is provided, and based on the display magnification operation means, the manual information is displayed on the second display means in an arbitrary size. I do.
【０００９】請求項５は、請求項１乃至請求項４に於い
て、前記合成部にてマニュアル情報と前記第１の撮像手
段により撮像された映像情報とを合成することを禁止す
る指示を与える合成禁止操作手段を設け、該合成禁止操
作手段に基づき、前記第２の表示手段に前記マニュアル
情報を表示することを禁止する特徴とする。According to a fifth aspect of the present invention, in the first to fourth aspects, an instruction is issued to prohibit the synthesizing section from synthesizing the manual information and the video information imaged by the first imaging means. A combination prohibition operation unit is provided, and displaying the manual information on the second display unit based on the combination prohibition operation unit is prohibited.
【００１０】[0010]
【発明の実施の形態】本発明の指示情報伝達装置の一実
施の形態を図１乃至図４を参照しながら説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of an instruction information transmitting apparatus according to the present invention will be described with reference to FIGS.
【００１１】図１は指示情報伝達装置のシステム概念図
である。図２は指示情報伝達装置の一実施の形態の機能
ブロック図である。図３及び図４は作業者側に表示され
る映像情報の一例を示した模式図である。FIG. 1 is a conceptual diagram of the system of the instruction information transmitting device. FIG. 2 is a functional block diagram of an embodiment of the instruction information transmitting device. FIG. 3 and FIG. 4 are schematic diagrams showing an example of video information displayed on the worker side.
【００１２】まず、第１の実施の形態について説明す
る。First, a first embodiment will be described.
【００１３】図１は、遠隔地に在して作業を行う作業者
甲に対して、その作業に関する熟練した知識を有する作
業指示者乙が作業指示を行う場合についての指示情報伝
達装置のシステムの概念図であり、これを機能ブロック
化したものが図２となる。FIG. 1 shows a system of an instruction information transmitting apparatus for a case where a work instructor B who has expert knowledge of the work gives a work instruction to a worker A who is performing work in a remote place. FIG. 2 is a conceptual diagram showing a functional block diagram of the conceptual diagram.
【００１４】図２に於いて、遠隔地に在する作業者甲側
には、人間の視野より広い広角撮像可能な小型ＣＣＤ等
により構成され作業対象及びその周りをリアルタイムに
撮像するカメラ１１、周囲の音声を集音するマイク１
２、ＬＣＤやスピーカ等により構成され後述する信号合
成部１４からの信号を映像表示及び音声出力するヘッド
マウント型のディスプレイ１３、カメラ１１により撮像
された映像と後述する送受信部１５を介して作業指示者
からの指示情報を合成してディスプレイ１３に供給する
信号合成部１４、有線回線又は無線回線により作業者甲
側及び作業指示者乙側間の信号の送受信を行う送受信部
１５、ディスプレイ１３上へ作業指示者乙からの指示情
報を合成表示する際に、作業者甲が合成表示に関する指
示を行うための操作部１７が設けられている。In FIG. 2, a camera 11, which is constituted by a small CCD or the like capable of capturing a wide-angle image wider than the field of view of a human being, is provided on a worker's back side in a remote place and captures an image of a work object and its surroundings in real time. Microphone 1 that collects audio
2. A head-mounted display 13 composed of an LCD, a speaker, and the like, which displays a signal from a signal synthesizing unit 14 described later and outputs a sound, and a work instruction via a video imaged by the camera 11 and a transmitting / receiving unit 15 described later. A signal synthesizing unit 14 for synthesizing instruction information from the operator and supplying it to the display 13, a transmitting and receiving unit 15 for transmitting and receiving signals between the worker A side and the work instructor B side via a wired line or a wireless line, and onto the display 13. When the instruction information from the work instructor B is combined and displayed, an operation unit 17 is provided for the worker A to give an instruction regarding the combined display.
【００１５】又、作業指示者乙側には、ディスプレイや
プロジェクタにより構成され遠隔地に在する作業者甲の
カメラ１１により撮像された映像及びマイク１２により
集音された音声を後述する送受信部２４を介して受信し
映像表示及び音声出力する表示部２１、作業指示者乙の
指示情報を入力するためのものであり作業指示者乙の作
業指示動作を撮像するカメラ２２、作業指示者乙の指示
音声を集音するマイク２３、作業指示入力用のカメラ及
びマイクにより入力された情報に基づき作業指示者乙の
指示を判断しその指示情報を後述する送受信部２５を介
して作業者甲側に送信する指示情報判断部２４、有線回
線又は無線回線により作業者甲側及び作業指示者乙側間
の信号の送受信を行う送受信部２５、複数の作業マニュ
アル情報を記憶しているマニュアル情報管理部２６が設
けられている。尚、作業者側の送受信部１５及び作業指
示者側の送受信部２５との間は有線回線又は無線回線に
より接続されているが、この回線は電話等の公衆回線や
専用回線であってもよいし特殊回線であってもよい。
又、本実施の形態ではカメラ１１及びマイク１２及びデ
ィスプレイ１３は作業者甲の頭部に装着しているものと
する。又、操作部１７は、ヘッドマウント型ディスプレ
イ１３の側面に設けられているものとし、作業者甲が操
作部１７を見なくても、作業者甲の指触で操作が行える
操作し易い機構となっているものとする。Further, the work instructor B has a transmitting / receiving unit 24 which will be described later, which is constituted by a display and a projector, and which receives images picked up by the camera 11 of the worker A at a remote place and sounds collected by the microphone 12. A display unit 21 for receiving and displaying video and audio output via a camera, a camera 22 for inputting instruction information of the work instructor B, and capturing the work instructing operation of the work instructor B, instructions of the work instructor B A microphone 23 that collects sound, a camera for inputting work instructions, and an instruction of the work instructor B are determined based on information input by the microphone, and the instruction information is transmitted to the worker's back side via a transmitting / receiving unit 25 described later. Instruction information determining unit 24, a transmitting and receiving unit 25 for transmitting and receiving signals between the worker A side and the work instructor B side through a wired line or a wireless line, and stores a plurality of operation manual information. Manual information management unit 26, there are provided. The transmission / reception unit 15 on the worker side and the transmission / reception unit 25 on the work instructor side are connected by a wired line or a wireless line, but this line may be a public line such as a telephone or a dedicated line. And a special line.
In the present embodiment, the camera 11, the microphone 12, and the display 13 are assumed to be mounted on the head of the worker. The operation unit 17 is provided on the side surface of the head-mounted display 13 and has a mechanism that is easy to operate so that the operator can perform an operation with the finger of the operator even without looking at the operation unit 17. It shall be.
【００１６】以上の様な構成に基づいて説明する。A description will be given based on the above configuration.
【００１７】まず、遠隔地に在する作業者甲は、作業対
象物方向を見ているものとすると、カメラ１１には作業
対象物が撮像される。又、この時の周囲の音声がマイク
１２により集音される。カメラ１１により撮像された映
像情報及び音声情報は送受信部１５を介して作業指示者
乙側に送信される。First, assuming that the worker A located in a remote place is looking in the direction of the work object, the camera 11 captures an image of the work object. The surrounding voice at this time is collected by the microphone 12. The video information and audio information captured by the camera 11 are transmitted to the work instructor B via the transmission / reception unit 15.
【００１８】作業指示者乙側では、送受信部２５を介し
て受信した作業対象物の映像情報及び音声情報を表示部
２１に表示出力する。この時、作業者甲側からの映像情
報は視野より広い広角の映像情報が送らており、表示部
２１では、その全てを表示できる様な表示領域を有して
いる。又、作業者甲が装着しているヘッドマウント型の
ディスプレイ１３には作業者甲の視野と同程度の領域の
映像情報が表示されており、表示部２１ａには、作業者
甲が装着しているヘッドマウント型のディスプレイ１３
に表示されるものと同じ領域の映像が表示されており、
表示部２１ｂ及び表示部２１ｃには作業者甲の視野外の
映像情報が表示されている。又、作業指示者乙は、作業
の全ての情報を把握しているとは限らない場合もあるの
で、表示部２１ｂ若しくは表示部２１ｃの一部には、マ
ニュアル情報管理部２６に記憶されている作業用のマニ
ュアル情報を表示しておくものとする。尚、本実施の形
態では、作業用のマニュアル情報を予め表示しておくも
のとしているが、マニュアル情報を表示するジェスチャ
を行うことにより、作業用のマニュアル情報を表示させ
る様にしても良い。The work instructor B displays and outputs the video information and the audio information of the work object received via the transmission / reception unit 25 to the display unit 21. At this time, as the image information from the worker's back side, wide-angle image information wider than the field of view is sent, and the display unit 21 has a display area capable of displaying all of them. Further, the head mounted display 13 worn by the worker A displays video information in a region similar to the field of view of the worker A, and the display unit 21a is mounted with the worker A. Head-mounted display 13
The image of the same area as that displayed in is displayed.
The display unit 21b and the display unit 21c display video information outside the field of view of the worker A. Also, since the work instructor B may not always know all the information of the work, the information is stored in the manual information management unit 26 in a part of the display unit 21b or the display unit 21c. Manual information for work shall be displayed. In this embodiment, the manual information for work is displayed in advance, but the manual information for work may be displayed by performing a gesture for displaying the manual information.
【００１９】作業指示者乙は、表示部２１に表示された
映像を見ながらジェスチャにて表示部２１に出力されて
いる作業用マニュアル情報をポインティング指示しなが
ら音声により作業指示を行う。例えば、作業指示者乙は
指で作業用マニュアル情報Ｐを指示し、音声により作業
手順を説明する。The work instructor B gives a work instruction by voice while pointing at the work manual information output to the display unit 21 by gesture while watching the video displayed on the display unit 21. For example, the work instructor B instructs the work manual information P with a finger, and explains the work procedure by voice.
【００２０】作業指示者乙の作業指示動作は、カメラ２
２により撮像され、指示情報判断部２４にてジェスチャ
認識処理や方向検出処理により、作業指示者が作業用マ
ニュアル情報Ｐが表示されている場所を指さしたかを検
出し、更に作業指示者の指示手順を説明する音声情報を
検出し、作業用マニュアル情報Ｐを指さしている場合に
は、作業マニュアル情報及び音声情報を送受信部２５を
介して遠隔地に在する作業者甲側に逐次送信する。尚、
ジェスチャ認識処理や指の方向検出処理は、周知の技術
を用いており詳細な説明は省略する。The work instructing operation of the work instructor B is performed by the camera 2
2, it is detected whether the work instructor points to the location where the work manual information P is displayed by gesture recognition processing and direction detection processing in the instruction information determination unit 24, and further, the instruction procedure of the work instructor Is detected, and when pointing to the work manual information P, the work manual information and the voice information are sequentially transmitted to the remote worker side via the transmitting / receiving unit 25. still,
The gesture recognition processing and the finger direction detection processing use a known technique, and a detailed description thereof will be omitted.
【００２１】作業者甲側では、送受信部１５を介して受
信した、作業指示者乙が指した作業用マニュアル情報及
び音声情報を信号合成部１４に供給する。信号合成部１
４では、作業指示者乙が指した作業マニュアル情報Ｐの
画像を生成し、カメラ１１により撮像され映像と作業指
示者乙が指した作業マニュアル情報の画像とを合成し
て、ヘッドマウント型のディスプレイ１３に表示させ
る。又、表示と同時に、作業指示者からの音声情報もヘ
ッドマウント型のディスプレイ１３に供給され音声出力
も行われる。図３に於いて、ヘッドマウント型のディス
プレイ１３に表示される映像の一例を示す。On the worker's back side, the work manual information and voice information pointed to by the work instructor B, which are received via the transmission / reception section 15, are supplied to the signal synthesis section 14. Signal synthesis unit 1
In step 4, an image of the work manual information P pointed by the work instructor B is generated, and a video imaged by the camera 11 and an image of the work manual information pointed by the work instructor B are combined to form a head-mounted display. 13 is displayed. At the same time as the display, the voice information from the work instructor is also supplied to the head-mounted display 13 to output the voice. FIG. 3 shows an example of an image displayed on the head-mounted display 13.
【００２２】この時、作業用マニュアル情報Ｐが作業対
象物の画像上に重畳されるので、作業用マニュアル情報
Ｐと作業対象物が重なり合う場合があり、作業対象物を
視認し難くなる場ありがある。At this time, since the work manual information P is superimposed on the image of the work object, the work manual information P and the work object may overlap with each other, making it difficult to visually recognize the work object. is there.
【００２３】そこで、作業者甲は、ヘッドマウント型デ
ィスプレイ１３の側面に設けられた操作部１７を用い、
作業用マニュアル情報Ｐを作業対象物の画像と重なり合
わない位置（例えば図４の様に、左上角部に作業用マニ
ュアル情報Ｐを表示する）に表示する様、表示位置指定
の操作を行う。又、表示位置指定だけでなく、作業用マ
ニュアル情報Ｐの表示倍率も変更（例えば、左上角部に
表示しても作業用マニュアル情報Ｐが大き過ぎて作業対
象物と重なり合う時、重なり合わない程度の縮小率（例
えば５０％）で縮小したり、作業用マニュアル情報Ｐが
小さ過ぎて見難い時、見易い程度の拡大率（例えば１５
０％）に拡大する等）の指定の操作もできる。又、作業
用マニュアル情報Ｐが不要な場合に、作業用マニュアル
情報Ｐの合成を禁止し、作業用マニュアル情報Ｐをヘッ
ドマウント型ディスプレイ１３に表示させない様にする
操作もできる。Therefore, the worker A uses the operation unit 17 provided on the side surface of the head-mounted display 13,
A display position designation operation is performed so that the work manual information P is displayed at a position where the work manual information P does not overlap with the image of the work target (for example, the work manual information P is displayed in the upper left corner as shown in FIG. 4). In addition to the display position designation, the display magnification of the work manual information P is also changed (for example, when the work manual information P is displayed in the upper left corner and is too large and overlaps with the work object, the degree of non-overlapping is small. When the work manual information P is too small to be seen easily, the enlargement ratio is set to an easily viewable (for example, 15%).
0%) can also be specified. Further, when the work manual information P is unnecessary, it is possible to prohibit the synthesis of the work manual information P and to prevent the work manual information P from being displayed on the head-mounted display 13.
【００２４】信号合成部１４では、操作部１７からの操
作指示に基づき、操作部１７からの操作が表示位置の指
定の場合、その指定された表示位置にマニュアル情報を
作業対象物の画像と合成する様にし、又、操作部１７か
らの操作が表示倍率の指定の場合、マニュアル情報をそ
の指定された倍率にして作業対象物の画像と合成する様
にし、又、操作部１７からの操作が合成禁止の指示の場
合、マニュアル情報を合成せず作業対象物の映像のみを
ヘッドマウント型ディスプレイ１３に出力する。In the signal synthesizing section 14, when the operation from the operation section 17 is to designate a display position based on an operation instruction from the operation section 17, manual information is combined with the image of the work object at the designated display position. When the operation from the operation unit 17 is the designation of the display magnification, the manual information is set to the designated magnification and combined with the image of the work object, and the operation from the operation unit 17 is performed. In the case of a combination prohibition instruction, only the video of the work target is output to the head mounted display 13 without combining the manual information.
【００２５】以上の様な処理により、遠隔地に在する作
業者甲は、作業指示者が指示する作業手順の音声指示情
報及び作業用マニュアル情報を容易に認識でき、作業者
がその指示内容を瞬時に正確に理解できる。又、作業指
示者乙は、作業対象物以外の周りの状況も知ることがで
きるため、作業対象物の映像のみを見て作業指示する場
合に比べ、更に適切な作業指示が瞬時に行える。更に、
作業者甲側で作業用マニュアル情報Ｐ及び作業対象物の
画像が重なり合わない様に操作できるため、作業者甲の
視野を確保でき、作業対象物を認識し易く且つ指示内容
を正確に理解できる。By the above processing, the worker A in the remote place can easily recognize the voice instruction information of the work procedure instructed by the work instructor and the manual information for the work, and the worker can understand the contents of the instruction. Can understand instantly and accurately. Further, since the work instructor B can also know the surrounding situation other than the work object, a more appropriate work instruction can be instantaneously performed as compared with the case where the work instruction is performed only by viewing the image of the work object. Furthermore,
Since the work manual information P and the image of the work target can be operated so as not to overlap on the worker back side, the field of view of the worker back can be secured, the work target can be easily recognized, and the instruction content can be accurately understood. .
【００２６】尚、本実施の形態では、作業指示者乙が指
示した作業用マニュアル情報を全て遠隔地に在する作業
者に送信しているが、作業用マニュアル情報の任意の一
部だけを遠隔地に在する作業者に送信して表示させる用
にしても良い。In the present embodiment, all of the work manual information designated by the work instructor B is transmitted to the worker located at a remote place, but only an arbitrary part of the work manual information is transmitted to the remote place. The information may be transmitted to a worker located on the ground and displayed.
【００２７】[0027]
【発明の効果】本発明を用いると、遠隔地に在する作業
者甲は、作業指示者が指示する作業手順のを示す作業マ
ニュアル情報を容易に認識でき、作業者がその指示内容
を瞬時に正確に理解できる。According to the present invention, a worker in a remote place can easily recognize work manual information indicating a work procedure instructed by a work instructor, and the worker can instantly recognize the contents of the instruction. Can understand accurately.
【００２８】又、遠隔地に在する作業者甲は、作業指示
者が指示する作業手順の音声指示情報及び作業マニュア
ル情報を容易に認識でき、作業者がその指示内容を瞬時
に正確に理解できる。Further, the worker A in the remote place can easily recognize the voice instruction information and the work manual information of the work procedure instructed by the work instructor, and the worker can instantly and accurately understand the contents of the instruction. .
【００２９】又、作業指示者は、作業対象物の映像及び
作業用マニュアル情報を見ながら作業指示できるため適
切な作業指示が瞬時に行える。Further, the work instructor can give a work instruction while looking at the image of the work object and the work manual information, so that an appropriate work instruction can be given instantaneously.
【００３０】又、作業者甲側で作業マニュアル及び作業
対象物の映像が重なり合わない様に作業マニュアルの表
示位置を操作できるため、作業対象物を認識し易く且つ
指示内容を正確に理解できる。Further, since the display position of the work manual can be operated on the worker's back side so that the images of the work manual and the work object do not overlap each other, the work object can be easily recognized and the contents of the instruction can be accurately understood.
【００３１】又、作業者甲側で作業マニュアル及び作業
対象物の映像が重なり合わない様に作業マニュアルの表
示倍率を操作できるため、作業対象物を認識し易く且つ
指示内容を正確に理解できる。Further, since the display magnification of the work manual can be operated on the worker's back side so that the images of the work manual and the work object do not overlap, the work object can be easily recognized and the contents of the instruction can be accurately understood.
【００３２】又、作業者甲側で作業マニュアルの合成表
示を禁止できるため、作業者の視野が確保でき、作業対
象物を認識し易くなる。Further, since the composite display of the work manual can be prohibited on the worker's back side, the field of view of the worker can be secured and the work target can be easily recognized.
【図面の簡単な説明】[Brief description of the drawings]
【図１】本発明の指示情報伝達装置の一実施の形態を示
したシステム概念図である。FIG. 1 is a conceptual diagram of a system showing an embodiment of an instruction information transmitting device according to the present invention.
【図２】指示情報伝達装置の第１の実施の形態の機能ブ
ロック図である。FIG. 2 is a functional block diagram of a first embodiment of the instruction information transmitting device.
【図３】作業者側に表示される映像情報の一実施の形態
を示した模式図である。FIG. 3 is a schematic diagram showing an embodiment of video information displayed on an operator side.
【図４】作業者側に表示される映像情報の一実施の形態
を示した模式図である。FIG. 4 is a schematic diagram showing an embodiment of video information displayed on a worker side.
１１、２２ カメラ １２、２３ マイク １３ ディスプレイ １４ 信号合成部 １５、２５ 送受信部 １６ 頭部方向検出部 １７ ポインティング位置補正部 ２１ 表示部 ２４ 指示情報判断部 ２６ マニュアル情報管理部 11, 22 Camera 12, 23 Microphone 13 Display 14 Signal synthesis unit 15, 25 Transmission / reception unit 16 Head direction detection unit 17 Pointing position correction unit 21 Display unit 24 Instruction information judgment unit 26 Manual information management unit
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C054 AA02 DA01 FE12 HA01 5C082 AA13 AA27 AA31 AA34 AA36 BA02 BA27 BA42 BB01 CA55 CB01 CB06 MM02 MM05 MM09 MM10 5K101 NN06 NN18 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C054 AA02 DA01 FE12 HA01 5C082 AA13 AA27 AA31 AA34 AA36 BA02 BA27 BA42 BB01 CA55 CB01 CB06 MM02 MM05 MM09 MM10 5K101 NN06 NN18
Claims (5)
者側に表示する第１の表示手段と、 該第１の表示手段に表示された映像情報に基づき作業指
示を行う、作業指示者の作業指示動作を撮像する第２の
撮像手段と、 複数のマニュアル情報を記憶しているマニュアル情報管
理手段と、 該第２の撮像手段により撮像された作業指示動作に基づ
き前記マニュアル情報管理手段よりマニュアル情報を読
み出し、前記第１の表示手段に表示すると同時に作業者
側に出力する指示情報判断手段と、 該指示情報判断手段により得られたマニュアル情報に基
づきマニュアル情報の映像を生成し、前記第１の撮像手
段により撮像された映像情報に合成する合成部と、 該合成部により合成された映像情報を表示する第２の表
示手段と、 を備えたことを特徴とする指示情報伝達装置。1. A first image pickup means for picking up an image of a work target, a first display means for displaying video information picked up by the first image pickup means to a work instructor side, and the first display means A second imaging unit for performing an operation instruction based on the video information displayed in the second imaging unit, imaging a work instruction operation of a work instructor; a manual information management unit storing a plurality of pieces of manual information; Instruction information determining means for reading out manual information from the manual information managing means based on the work instruction operation imaged by the means, displaying the manual information on the first display means, and simultaneously outputting the instruction information to the worker side; A synthesizing unit that generates an image of the manual information based on the obtained manual information and synthesizes the image with the image information captured by the first imaging unit; and the image information synthesized by the synthesizing unit. 2. An instruction information transmitting device, comprising: second display means for displaying the instruction information.
者側に表示する第１の表示手段と、 該第１の表示手段に表示された映像情報に基づき作業指
示を行う、作業指示者の作業指示動作を撮像する第２の
撮像手段と、 前記第１の表示手段に表示された映像情報に基づき作業
指示を行う、作業指示者の作業指示音声を入力する音声
入力手段と、 複数のマニュアル情報を記憶しているマニュアル情報管
理手段と、 前記第２の撮像手段により撮像された作業指示動作に基
づき、前記マニュアル情報管理手段よりマニュアル情報
を読み出し前記第１の表示手段に表示すると同時に作業
者側に前記マニュアル情報及び前記音声情報を出力する
指示情報判断手段と、 該指示情報判断手段により得られたマニュアル情報に基
づきマニュアル情報の映像を生成し、前記第１の撮像手
段により撮像された映像情報に合成する合成部と、 該合成部により合成された映像情報を表示する第２の表
示手段と、 前記音声入力手段により得られた作業指示音声を出力す
る音声出力手段と、 を備えたことを特徴とする指示情報伝達装置。2. A first image pickup means for picking up an image of a work target, a first display means for displaying video information picked up by the first image pickup means to a work instructor side, and the first display means. A second imaging unit that issues a work instruction based on the video information displayed on the second imaging unit that captures a work instruction operation of the work instructor, and performs a work instruction based on the video information displayed on the first display unit. Voice input means for inputting a work instruction voice of a pointer; manual information management means storing a plurality of manual information; and manual information management means based on the work instruction operation imaged by the second imaging means Instruction information judging means for reading out the manual information and displaying it on the first display means and simultaneously outputting the manual information and the audio information to the worker side; A synthesizing unit for generating an image of the manual information based on the obtained manual information and synthesizing the image information with the image information captured by the first imaging unit; and a second display unit for displaying the image information synthesized by the synthesizing unit. And an audio output unit for outputting a work instruction audio obtained by the audio input unit.
より撮像された映像情報とを合成する際に、前記マニュ
アル情報を前記第２の表示手段の任意の表示位置に表示
する指示を与える表示位置操作手段を設け、 該表示位置操作手段に基づき、前記第２の表示手段の任
意の表示位置に前記マニュアル情報を表示することを特
徴とする指示情報伝達装置。3. The method according to claim 1, wherein the combining section combines the manual information with the video information captured by the first image capturing section when the manual information is combined with the video information captured by the first capturing section. Display position operation means for giving an instruction to display at an arbitrary display position of the display means, and displaying the manual information at an arbitrary display position of the second display means based on the display position operation means. Instruction information transmission device.
て、 前記合成部にてマニュアル情報と前記第１の撮像手段に
より撮像された映像情報とを合成する際に、前記マニュ
アル情報を任意の大きさで表示する指示を与える表示倍
率操作手段を設け、 該表示倍率操作手段に基づき、前記マニュアル情報を任
意の大きさで前記第２の表示手段に表示することを特徴
とする指示情報伝達装置。4. The synthesizing section according to claim 1, wherein the manual information is combined with the video information captured by the first image capturing means in the combining section. A display magnification operation means for giving an instruction to display the manual information in an arbitrary size, and the manual information is displayed on the second display means in an arbitrary size based on the display magnification operation means. Transmission device.
より撮像された映像情報とを合成することを禁止する指
示を与える合成禁止操作手段を設け、 該合成禁止操作手段に基づき、前記第２の表示手段に前
記マニュアル情報を表示することを禁止する特徴とする
指示情報伝達装置。5. The synthesizing prohibition operation according to claim 1, wherein the synthesizing unit gives an instruction to prohibit the synthesizing unit from synthesizing the manual information and the video information captured by the first imaging unit. An instruction information transmitting device, comprising: means for prohibiting display of the manual information on the second display means based on the combination prohibiting operation means.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11274968A JP2000299851A (en) | 1999-02-12 | 1999-09-28 | Instruction information transmitter |
| US09/501,223 US6611242B1 (en) | 1999-02-12 | 2000-02-10 | Information transmission system to transmit work instruction information |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-34244 | 1999-02-12 | ||
| JP3424499 | 1999-02-12 | ||
| JP11274968A JP2000299851A (en) | 1999-02-12 | 1999-09-28 | Instruction information transmitter |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000299851A true JP2000299851A (en) | 2000-10-24 |
Family
ID=26373031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11274968A Pending JP2000299851A (en) | 1999-02-12 | 1999-09-28 | Instruction information transmitter |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000299851A (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132487A (en) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | Remote operation supporting system |
| JP2004164429A (en) * | 2002-11-14 | 2004-06-10 | Seiko Epson Corp | Recycle work support system, recycle center facility, information management center facility, program for facility, and recycle work support method |
| JP2004336675A (en) * | 2003-05-02 | 2004-11-25 | Figla Co Ltd | Progress status management system of remote place which uses imaging apparatus, and progress status management method of remote place which uses the system |
| JP2005322055A (en) * | 2004-05-10 | 2005-11-17 | Nippon Telegr & Teleph Corp <Ntt> | Information presentation device for work assistance, information presentation method for work assistance, program for presenting work assistance information |
| JP2006251206A (en) * | 2005-03-09 | 2006-09-21 | Nippon Telegr & Teleph Corp <Ntt> | Information presentation apparatus, information presentation method and program therefor |
| JP2006259627A (en) * | 2005-03-18 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | Image processor, image processing method and program |
| JP2007034238A (en) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | On-site operation support system |
| JP2009122547A (en) * | 2007-11-16 | 2009-06-04 | Canon Inc | Image display system |
| WO2010082547A1 (en) * | 2009-01-16 | 2010-07-22 | ブラザー工業株式会社 | Head-mounted display |
| JP2012182701A (en) * | 2011-03-02 | 2012-09-20 | Brother Ind Ltd | Head-mounted imaging system, head-mounted imaging device, image display method |
| JP2013110764A (en) * | 2013-02-19 | 2013-06-06 | Sony Corp | Imaging display device, and imaging display method |
| JP2014505627A (en) * | 2011-01-13 | 2014-03-06 | ザ・ボーイング・カンパニー | Advanced collaboration system |
| US9665167B2 (en) | 2006-10-16 | 2017-05-30 | Sony Corporation | Imaging display apparatus and method |
| JP2018169649A (en) * | 2017-03-29 | 2018-11-01 | 三菱電機株式会社 | Monitoring system and terminal for monitoring |
| JP2019120976A (en) * | 2017-12-28 | 2019-07-22 | Ｄｙｎａｂｏｏｋ株式会社 | system |
| WO2020157821A1 (en) * | 2019-01-29 | 2020-08-06 | 三菱電機エンジニアリング株式会社 | Work assisting system |
| JP7145553B1 (en) | 2022-06-23 | 2022-10-03 | 英明 原田 | Remote instruction management device and remote instruction system |
| WO2022208595A1 (en) * | 2021-03-29 | 2022-10-06 | 京セラ株式会社 | Wearable terminal device, program, and notification method |
| WO2022208600A1 (en) * | 2021-03-29 | 2022-10-06 | 京セラ株式会社 | Wearable terminal device, program, and display method |
-
1999
- 1999-09-28 JP JP11274968A patent/JP2000299851A/en active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132487A (en) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | Remote operation supporting system |
| JP2004164429A (en) * | 2002-11-14 | 2004-06-10 | Seiko Epson Corp | Recycle work support system, recycle center facility, information management center facility, program for facility, and recycle work support method |
| JP2004336675A (en) * | 2003-05-02 | 2004-11-25 | Figla Co Ltd | Progress status management system of remote place which uses imaging apparatus, and progress status management method of remote place which uses the system |
| JP2005322055A (en) * | 2004-05-10 | 2005-11-17 | Nippon Telegr & Teleph Corp <Ntt> | Information presentation device for work assistance, information presentation method for work assistance, program for presenting work assistance information |
| JP2006251206A (en) * | 2005-03-09 | 2006-09-21 | Nippon Telegr & Teleph Corp <Ntt> | Information presentation apparatus, information presentation method and program therefor |
| JP4579730B2 (en) * | 2005-03-18 | 2010-11-10 | 日本電信電話株式会社 | Image processing apparatus, image processing method and program thereof |
| JP2006259627A (en) * | 2005-03-18 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | Image processor, image processing method and program |
| JP2007034238A (en) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | On-site operation support system |
| US9772686B2 (en) | 2006-10-16 | 2017-09-26 | Sony Corporation | Imaging display apparatus and method |
| US9665167B2 (en) | 2006-10-16 | 2017-05-30 | Sony Corporation | Imaging display apparatus and method |
| JP2009122547A (en) * | 2007-11-16 | 2009-06-04 | Canon Inc | Image display system |
| WO2010082547A1 (en) * | 2009-01-16 | 2010-07-22 | ブラザー工業株式会社 | Head-mounted display |
| JP2010164814A (en) * | 2009-01-16 | 2010-07-29 | Brother Ind Ltd | Head mounted display |
| JP2014505627A (en) * | 2011-01-13 | 2014-03-06 | ザ・ボーイング・カンパニー | Advanced collaboration system |
| JP2012182701A (en) * | 2011-03-02 | 2012-09-20 | Brother Ind Ltd | Head-mounted imaging system, head-mounted imaging device, image display method |
| JP2013110764A (en) * | 2013-02-19 | 2013-06-06 | Sony Corp | Imaging display device, and imaging display method |
| JP2018169649A (en) * | 2017-03-29 | 2018-11-01 | 三菱電機株式会社 | Monitoring system and terminal for monitoring |
| JP2019120976A (en) * | 2017-12-28 | 2019-07-22 | Ｄｙｎａｂｏｏｋ株式会社 | system |
| US11010018B2 (en) | 2017-12-28 | 2021-05-18 | Toshiba Client Solutions CO., LTD. | System including wearable device and electronic device |
| JP7080636B2 (en) | 2017-12-28 | 2022-06-06 | Ｄｙｎａｂｏｏｋ株式会社 | system |
| WO2020157821A1 (en) * | 2019-01-29 | 2020-08-06 | 三菱電機エンジニアリング株式会社 | Work assisting system |
| JPWO2020157821A1 (en) * | 2019-01-29 | 2021-09-30 | 三菱電機エンジニアリング株式会社 | Work support system |
| JP7034340B2 (en) | 2019-01-29 | 2022-03-11 | 三菱電機エンジニアリング株式会社 | Work support system |
| WO2022208595A1 (en) * | 2021-03-29 | 2022-10-06 | 京セラ株式会社 | Wearable terminal device, program, and notification method |
| WO2022208600A1 (en) * | 2021-03-29 | 2022-10-06 | 京セラ株式会社 | Wearable terminal device, program, and display method |
| JP7145553B1 (en) | 2022-06-23 | 2022-10-03 | 英明 原田 | Remote instruction management device and remote instruction system |
| JP2024002129A (en) * | 2022-06-23 | 2024-01-11 | 英明 原田 | Remote guidance management device and remote guidance system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000299851A (en) | Instruction information transmitter | |
| US20080239061A1 (en) | First portable communication device | |
| JPH11220706A (en) | Video telephone system | |
| KR20090088325A (en) | Image processing apparatus, image processing method and imaging apparatus | |
| EP0878962A3 (en) | Image pickup system | |
| JP2007259330A (en) | Video distribution remote controller, video distribution system, and video distribution method | |
| JP2009071478A (en) | Information communication terminal and information communication system | |
| JP2000231625A (en) | Instruction information transmission device | |
| CN112351251A (en) | Image processing system and terminal device | |
| JP3310325B2 (en) | Head mounted display device and system using the same | |
| CN114693593A (en) | Image processing method, device and computer device | |
| JP2011035638A (en) | Virtual reality space video production system | |
| JP2013115527A (en) | Video conference system and video conference method | |
| JP2000299852A (en) | Instruction information transmitter | |
| JP2008182321A (en) | Image display system | |
| CN109714585B (en) | Image transmission method and device, display method and device, and storage medium | |
| JP3449939B2 (en) | Video display method and recording medium recording the program | |
| JP2001103464A (en) | Instruction information transmission device | |
| JP2000175166A (en) | Video telephone system, transmission reception method for video telephone system and storage medium | |
| CN112770149B (en) | Video processing method, device, terminal and storage medium | |
| JP2955451B2 (en) | Work remote instruction device | |
| JP2011163776A (en) | Device for monitoring sound source | |
| JP2011120165A (en) | Imaging apparatus | |
| JP2003209821A (en) | Instruction confirming system | |
| JP2006255329A (en) | Exercise supporting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041213 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060620 |