JP2012156930A - Head-mounted remote imaging system, head-mounted imaging device, and imaging direction display method - Google Patents
Head-mounted remote imaging system, head-mounted imaging device, and imaging direction display method Download PDFInfo
- Publication number
- JP2012156930A JP2012156930A JP2011016206A JP2011016206A JP2012156930A JP 2012156930 A JP2012156930 A JP 2012156930A JP 2011016206 A JP2011016206 A JP 2011016206A JP 2011016206 A JP2011016206 A JP 2011016206A JP 2012156930 A JP2012156930 A JP 2012156930A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- head
- imaging
- remote
- rotation angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Liquid Crystal Display Device Control (AREA)
Abstract
Description
本発明は、作業者の頭部に装着され、作業者の視界方向を撮像することができる頭部装着撮像装置及びこれを用いた頭部装着型遠隔撮像システムに関するものである。 The present invention relates to a head-mounted imaging device that is mounted on an operator's head and can capture the direction of the worker's field of view, and a head-mounted remote imaging system using the same.
特許文献１には、遠隔地にある撮像装置の撮像方向を変化させて撮像することができる技術が提案されている。そして、特許文献２には、ユーザの頭部に装着され、ユーザが画像を視認することができるヘッドマウントディスプレイが提案されている。特許文献１に示される撮像装置を、特許文献２に示されるようなヘッドマウントディスプレイに取り付けたならば、ユーザはハンドフリーで撮像することができるともに、画像も同時に視認することがきる。 Patent Document 1 proposes a technique that can capture an image by changing the imaging direction of an imaging apparatus located at a remote location. Patent Document 2 proposes a head-mounted display that is mounted on a user's head and allows the user to visually recognize an image. If the imaging device shown in Patent Document 1 is attached to a head-mounted display as shown in Patent Document 2, the user can pick up images with hands free and can also view images at the same time.
このような構成のヘッドマウントディスプレイは、作業支援に使用されることが期待されている。例えば、作業者は作業を行いながら、作業者の視界方向を撮像して作業支援者に送信し、作業者から遠隔地にいる作業支援者は、撮像画像に基づき、ヘッドマウントディスプレイに指示内容を表示させたり、図面やマニュアルを表示させたりすることにより、作業支援を行うことができる。 The head-mounted display having such a configuration is expected to be used for work support. For example, while the worker is working, the worker's view direction is imaged and transmitted to the work supporter, and the work supporter who is remote from the worker sends the instruction content to the head mounted display based on the captured image. It is possible to provide work support by displaying or displaying drawings or manuals.
作業支援者は、作業現場の状況を把握するために、作業者の視界方向以外を撮像したい場合がある。前記した特許文献１に示される技術によれば、作業支援者は、作業者の視界方向とは関係無く、撮像装置を回動させることにより撮像したい方向を撮像することができる。しかしながら、作業者は撮像方向を認識することができないため、現在何が撮像されているのかを認識することができず、一方で、作業支援者は作業者の視界方向を認識することができないため、作業者が何を見ているのかを認識することができず、円滑な作業支援に支障をきたすという問題があった。
本発明は、上記問題を解決し、撮像方向を表示することができる頭部装着型遠隔撮像システム、頭部装着撮像装置を提供することを目的とする。
In some cases, the work supporter wants to capture images other than the direction of the worker's field of view in order to grasp the situation at the work site. According to the technique disclosed in Patent Literature 1 described above, the work supporter can take an image in the direction in which the user wants to take an image by rotating the image pickup apparatus regardless of the view direction of the worker. However, since the worker cannot recognize the imaging direction, the worker cannot recognize what is currently captured, while the work supporter cannot recognize the worker's view direction. There is a problem that it is difficult to recognize what the worker is looking at, and hinders smooth work support.
An object of the present invention is to provide a head-mounted remote imaging system and a head-mounted imaging device that can solve the above-described problems and display an imaging direction.
上記課題を解決するためになされた請求項１に記載の発明は、
作業者の頭部に装着される頭部装着部と、
前記頭部装着部に回動可能に取り付けられた撮像部と、
前記撮像部を前記頭部装着部に対して回動させる回動機構と、
前記頭部装着部に対する前記撮像部の回転角を検知する回転角センサーと、
前記頭部装着部に取り付けられ、作業者に画像を視認させる頭部装着側表示部と、
前記回転角センサーが検知した回転角情報に基づき、前記頭部装着部に対する前記撮像部の撮像方向表示を生成する撮像方向表示生成手段と、
外部と通信し、前記撮像部で撮像された撮像データを送信する頭部装着側通信部とを有する頭部装着撮像装置と、
前記頭部装着側通信部と通信し、前記撮像データを受信する遠隔側通信部と、
前記遠隔側通信部が受信した撮像データを表示する遠隔側画像表示部と、
前記撮像部を回動させるための操作を受け付ける入力部を有する遠隔側装置とから構成され、
前記入力部に操作が入力された場合には、前記遠隔側通信部は、前記入力部に入力された操作に応じた操作情報を前記頭部装着側通信部に送信し、
前記頭部装着側通信部が前記操作情報を受信した場合には、前記回動機構は前記操作情報に応じた回転角で前記撮像部を回動させ、
前記頭部装着側表示部は、前記撮像方向表示生成手段が生成した撮像方向表示を表示することを特徴とする。
The invention according to claim 1, which has been made to solve the above problems,
A head mounting part to be mounted on the operator's head;
An imaging unit rotatably attached to the head mounting unit;
A rotation mechanism for rotating the imaging unit with respect to the head mounting unit;
A rotation angle sensor for detecting a rotation angle of the imaging unit with respect to the head-mounted unit;
A head-mounted side display unit attached to the head-mounted unit and allowing an operator to visually recognize an image;
Based on rotation angle information detected by the rotation angle sensor, an imaging direction display generating unit that generates an imaging direction display of the imaging unit with respect to the head-mounted unit;
A head-mounted imaging device having a head-mounted communication unit that communicates with the outside and transmits imaging data captured by the imaging unit;
A remote communication unit that communicates with the head-mounted communication unit and receives the imaging data;
A remote side image display unit for displaying imaging data received by the remote side communication unit;
A remote device having an input unit that receives an operation for rotating the imaging unit;
When an operation is input to the input unit, the remote communication unit transmits operation information corresponding to the operation input to the input unit to the head-mounted communication unit,
When the head-mounted communication unit receives the operation information, the rotation mechanism rotates the imaging unit at a rotation angle corresponding to the operation information,
The head-mounted display unit displays an imaging direction display generated by the imaging direction display generation unit.
請求項２に記載の発明は、請求項１に記載の発明において、
前記頭部装着側通信部は、前記回転角センサーが検知した回転角情報を、前記遠隔側通信部に送信し、
前記遠隔側装置は、
前記回転角情報から、前記撮像部に対する前記頭部装着部の前方方向を算出する頭部装着部方向算出部と、
前記頭部装着部方向算出部の算出結果に基づき、前記撮像部に対する前記頭部装着部の前方方向を表す画像である頭部装着部方向画像を生成し、当該頭部装着部方向画像を遠隔側画像表示部が表示する撮像データと合成させる頭部装着部方向画像生成手段とを更に有し、
前記遠隔指示側画像表示部は、前記頭部装着部方向画像生成手段によって前記頭部装着部方向画像が合成された撮像データを表示することを特徴とする。
これにより、遠隔指示側画像表示部で頭部装着部の前方方向が表示されるので、作業支援者が、頭部装着部の前方方向、つまり、作業者の視界方向を認識することが可能となる。
The invention according to claim 2 is the invention according to claim 1,
The head-mounted communication unit transmits rotation angle information detected by the rotation angle sensor to the remote communication unit,
The remote device is:
A head mounting unit direction calculating unit that calculates a forward direction of the head mounting unit with respect to the imaging unit from the rotation angle information;
Based on the calculation result of the head mounting unit direction calculation unit, a head mounting unit direction image that is an image representing the front direction of the head mounting unit with respect to the imaging unit is generated, and the head mounting unit direction image is remotely A head-mounting unit direction image generating means for synthesizing with the imaging data displayed by the side image display unit;
The remote instruction side image display unit displays imaging data in which the head mounting unit direction image is synthesized by the head mounting unit direction image generation unit.
As a result, since the front direction of the head mounting unit is displayed on the remote instruction side image display unit, the work supporter can recognize the front direction of the head mounting unit, that is, the visual field direction of the operator. Become.
請求項３に記載の発明は、請求項２に記載の発明において、
前記頭部装着撮像装置は、
前記回転角情報から、前記撮像部に対する前記頭部装着部の前方方向を算出する頭部装着部方向算出部と、
前記頭部装着部方向算出部の算出結果に基づき、前記撮像部に対する前記頭部装着部の前方方向を表す画像である頭部装着部方向画像を生成し、当該頭部装着部方向画像を撮像データと合成させる頭部装着部方向画像生成手段とを更に有し、
前記頭部装着側画像表示部は、前記頭部装着部方向画像生成手段によって頭部装着部方向画像が合成された撮像データを表示することを特徴とする請求項２に記載の頭部装着型遠隔撮像システム。
これにより、作業者は、作業支援者が見ている画像を確認することができる。
The invention according to claim 3 is the invention according to claim 2,
The head-mounted imaging device is
A head mounting unit direction calculating unit that calculates a forward direction of the head mounting unit with respect to the imaging unit from the rotation angle information;
Based on the calculation result of the head mounting unit direction calculation unit, a head mounting unit direction image that is an image representing the forward direction of the head mounting unit with respect to the imaging unit is generated, and the head mounting unit direction image is captured. A head mounting unit direction image generating means for combining with the data,
The head mounted type image display unit according to claim 2, wherein the head mounted side image display unit displays imaging data in which the head mounted unit direction image is synthesized by the head mounted unit direction image generation unit. Remote imaging system.
Thereby, the worker can confirm the image that the work supporter is viewing.
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
前記撮像方向表示生成手段は、前記回転角センサーが検知した回転角情報に応じた撮像方向表示を生成することを特徴とする。
これにより、作業者は、撮像方向を正確に認識することが可能となる。
The invention according to claim 4 is the invention according to claims 1 to 3,
The imaging direction display generation unit generates an imaging direction display according to rotation angle information detected by the rotation angle sensor.
As a result, the operator can accurately recognize the imaging direction.
請求項５に記載の発明は、
作業者の頭部に装着される頭部装着部と、
前記頭部装着部に回動可能に取り付けられた撮像部と、
前記撮像部を前記頭部装着部に対して回動させる回動機構と、
前記頭部装着部に対する前記撮像部の回転角を検知する回転角センサーと、
前記頭部装着部に取り付けられ、作業者に画像を視認させる頭部装着側表示部と、
前記回転角センサーが検知した回転角情報に基づき、前記頭部装着部に対する前記撮像部の撮像方向表示を生成する撮像方向表示生成手段と、
外部と通信し、前記撮像部で撮像された撮像データを送信する頭部装着側通信部とを有し、
前記頭部装着側通信部が、前記回動機構で撮像部を回動させる操作情報を受信した場合には、
前記回動機構は前記操作情報に応じた回転角で前記撮像部を回動させ、
前記頭部装着側表示部は、前記撮像方向表示生成手段が生成した撮像方向表示を表示することを特徴とする。
The invention described in claim 5
A head mounting part to be mounted on the operator's head;
An imaging unit rotatably attached to the head mounting unit;
A rotation mechanism for rotating the imaging unit with respect to the head mounting unit;
A rotation angle sensor for detecting a rotation angle of the imaging unit with respect to the head-mounted unit;
A head-mounted side display unit attached to the head-mounted unit and allowing an operator to visually recognize an image;
Based on rotation angle information detected by the rotation angle sensor, an imaging direction display generating unit that generates an imaging direction display of the imaging unit with respect to the head-mounted unit;
A head-mounted side communication unit that communicates with the outside and transmits imaging data captured by the imaging unit;
When the head mounting side communication unit receives operation information for rotating the imaging unit by the rotation mechanism,
The rotation mechanism rotates the imaging unit at a rotation angle according to the operation information,
The head-mounted display unit displays an imaging direction display generated by the imaging direction display generation unit.
請求項６に記載の発明は、
作業者の頭部に装着される頭部装着部と、
前記頭部装着部に回動可能に取り付けられた撮像部と、
前記撮像部を前記頭部装着部に対して回動させる回動機構と、
前記頭部装着部に対する前記撮像部の回転角を検知する回転角センサーと、
前記頭部装着部に取り付けられ、作業者に画像を視認させる頭部装着側表示部と、
前記回転角センサーが検知した回転角情報に基づき、前記頭部装着部に対する前記撮像部の撮像方向表示を生成する撮像方向表示生成手段と、
外部と通信し、前記撮像部で撮像された撮像データを送信する頭部装着側通信部とを有する頭部装着撮像装置と、
前記頭部装着側通信部と通信し、前記撮像データを受信する遠隔側通信部と、
前記遠隔側通信部が受信した撮像データを表示する遠隔側画像表示部と、
遠隔操作者による前記撮像部を回動させるための操作を受け付ける入力部を有する遠隔側装置を備える頭部装着撮像装置遠隔操作システムにおいて実行され、
前記入力部に遠隔操作者による操作が入力された場合には、前記遠隔側通信部が、前記入力部に入力された操作に応じた操作情報を前記頭部装着側通信部に送信する操作情報送信処理と、
前記頭部装着側通信部が前記操作情報を受信した場合には、前記回動機構が前記操作情報に応じた回転角で前記撮像部を回動させる撮像部回動処理と、
前記頭部装着側表示部が、前記撮像方向表示生成手段が生成した撮像方向表示を表示する撮像方向表示処理を有することを特徴とする。
The invention described in claim 6
A head mounting part to be mounted on the operator's head;
An imaging unit rotatably attached to the head mounting unit;
A rotation mechanism for rotating the imaging unit with respect to the head mounting unit;
A rotation angle sensor for detecting a rotation angle of the imaging unit with respect to the head-mounted unit;
A head-mounted side display unit attached to the head-mounted unit and allowing an operator to visually recognize an image;
Based on rotation angle information detected by the rotation angle sensor, an imaging direction display generating unit that generates an imaging direction display of the imaging unit with respect to the head-mounted unit;
A head-mounted imaging device having a head-mounted communication unit that communicates with the outside and transmits imaging data captured by the imaging unit;
A remote communication unit that communicates with the head-mounted communication unit and receives the imaging data;
A remote side image display unit for displaying imaging data received by the remote side communication unit;
Executed in a head-mounted imaging device remote operation system including a remote side device having an input unit for receiving an operation for rotating the imaging unit by a remote operator;
When the operation by the remote operator is input to the input unit, the remote communication unit transmits operation information corresponding to the operation input to the input unit to the head-mounted communication unit Send processing and
An imaging unit rotation process in which the rotation mechanism rotates the imaging unit at a rotation angle according to the operation information when the head-mounted communication unit receives the operation information;
The head-mounted display unit includes an imaging direction display process for displaying an imaging direction display generated by the imaging direction display generation unit.
本発明によれば、作業者の頭部に装着される頭部装着部と、前記頭部装着部に回動可能に取り付けられた撮像部と、前記撮像部を前記頭部装着部に対して回動させる回動機構と、前記頭部装着部に対する前記撮像部の回転角を検知する回転角センサーと、前記頭部装着部に取り付けられ、作業者に画像を視認させる頭部装着側表示部と、前記回転角センサーが検知した回転角情報に基づき、前記頭部装着部に対する前記撮像部の撮像方向表示を生成する撮像方向表示生成手段と、外部と通信し、前記撮像部で撮像された撮像データを送信する頭部装着側通信部とを有する頭部装着撮像装置と、前記頭部装着側通信部と通信し、前記撮像データを受信する遠隔側通信部と、前記遠隔側通信部が受信した撮像データを表示する遠隔側画像表示部と、前記撮像部を回動させるための操作を受け付ける入力部を有する遠隔側装置とから構成され、前記入力部に操作が入力された場合には、前記遠隔側通信部は、前記入力部に入力された操作に応じた操作情報を前記頭部装着側通信部に送信し、前記頭部装着側通信部が前記操作情報を受信した場合には、前記回動機構は前記操作情報に応じた回転角で前記撮像部を回動させ、前記頭部装着側表示部は、前記撮像方向表示生成手段が生成した撮像方向表示を表示することを特徴とする。
これにより、頭部装着側表示部で撮像方向が表示されるので、作業者が撮像方向を認識することが可能となる。
According to the present invention, a head mounting unit that is mounted on the head of an operator, an imaging unit that is rotatably attached to the head mounting unit, and the imaging unit with respect to the head mounting unit. A rotation mechanism for rotating, a rotation angle sensor that detects a rotation angle of the imaging unit with respect to the head mounting unit, and a head mounting side display unit that is attached to the head mounting unit and allows an operator to visually recognize an image And imaging direction display generation means for generating an imaging direction display of the imaging unit with respect to the head-mounted unit based on rotation angle information detected by the rotation angle sensor, and communicated with the outside and imaged by the imaging unit A head-mounted imaging device having a head-mounted communication unit that transmits imaging data; a remote-side communication unit that communicates with the head-mounted communication unit and receives the imaging data; and the remote-side communication unit A remote image display unit for displaying received image data; And a remote device having an input unit that receives an operation for rotating the imaging unit. When an operation is input to the input unit, the remote communication unit is input to the input unit. When the operation information according to the operation is transmitted to the head-mounted communication unit, and the head-mounted communication unit receives the operation information, the rotation mechanism rotates the rotation angle according to the operation information. Then, the imaging unit is rotated, and the head-mounted display unit displays the imaging direction display generated by the imaging direction display generation unit.
Thereby, since the imaging direction is displayed on the head-mounted display unit, the operator can recognize the imaging direction.
（頭部装着型遠隔撮像システムの構成）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図１において、（Ａ）は頭部装着型遠隔撮像システムの構成を表し、（Ｂ）は頭部装着側表示部３０が表示している画像を表し、（Ｃ）は遠隔側画像表示部１２０が表示している画像を表している。図１の（Ａ）に示されるように、本発明の頭部装着型遠隔撮像システムは、作業者の頭部に装着される頭部装着撮像装置９０と、作業支援者から離れた場所にいる作業支援者が使用する遠隔側装置１００とから構成されている。
(Configuration of head mounted remote imaging system)
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. 1A shows a configuration of the head-mounted remote imaging system, FIG. 1B shows an image displayed by the head-mounted display unit 30, and FIG. 1C shows a remote image display unit 120. Represents the displayed image. As shown in FIG. 1A, the head-mounted remote imaging system of the present invention is located at a location remote from the head-mounted imaging device 90 mounted on the operator's head and the work supporter. It is comprised from the remote side apparatus 100 which a work supporter uses.
頭部装着撮像装置９０は、頭部装着部１、制御部２０、頭部装着側表示部３０、撮像部４０を有している。本実施形態では、頭部装着部１は、眼鏡のフレーム形状であるが、ヘルメット形状等であっても差し支え無い。 The head-mounted imaging device 90 includes a head-mounted unit 1, a control unit 20, a head-mounted side display unit 30, and an imaging unit 40. In the present embodiment, the head mounting portion 1 has a frame shape of glasses, but may be a helmet shape or the like.
頭部装着側表示部３０は、頭部装着部１の側前部に取り付けられている。頭部装着側表示部３０は、画像を生成し、当該画像を作業者に視認させるものである。本実施形態では、画頭部装着側表示部３０は、レーザ光を直接作業者の眼球に走査することにより、作業者に画像を視認させる網膜走査型ディスプレイである。頭部装着側表示部３０として、網膜走査型ディスプレイを使用すると、作業者は画像表示部５２が生成する画像を視認することができると同時に、外界もまた視認することができる。なお、画像表示部５２は、液晶ディスプレイ、有機ＥＬディスプレイ、デジタルミラーデバイス (Digital Mirror Device)などの空間光変調器を使用したディスプレイなど、その他の装置を用いた構成であっても差し支えない。 The head mounting side display unit 30 is attached to the front side of the head mounting unit 1. The head mounting side display unit 30 generates an image and makes the operator visually recognize the image. In the present embodiment, the image head mounting side display unit 30 is a retinal scanning display that allows the operator to visually recognize an image by directly scanning the eyeball of the operator with laser light. When a retinal scanning display is used as the head-mounted display unit 30, the operator can visually recognize the image generated by the image display unit 52, and can also visually recognize the outside world. Note that the image display unit 52 may have a configuration using other devices such as a liquid crystal display, an organic EL display, a display using a spatial light modulator such as a digital mirror device, or the like.
撮像部４０は、頭部装着部１の前部に、上下・左右方向に回動可能に取り付けられている。撮像部４０は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子４１（図２に示す）と、撮像素子４１に光を結像させる結像光学系を有している。頭部装着撮像装置９０には、撮像部４０を上下・左右方向に回動させるための回動機構が設けられている。回動機構は、ステッピングモータ等のアクチュエータ４２（図２に示す）、アクチュエータ４２による駆動力を撮像部４０に伝達させるギア等の伝達手段を有している。頭部装着撮像装置９０には、頭部装着部１に対する撮像部４０の上下・左右方向の回転角を検知する回転角センサー４３（図２に示す）が設けられている。 The imaging unit 40 is attached to the front portion of the head mounting unit 1 so as to be rotatable in the vertical and horizontal directions. The imaging unit 40 includes an imaging element 41 (shown in FIG. 2) such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and an imaging optical system that forms an image of light on the imaging element 41. . The head-mounted imaging device 90 is provided with a rotation mechanism for rotating the imaging unit 40 in the vertical and horizontal directions. The rotation mechanism includes an actuator 42 (shown in FIG. 2) such as a stepping motor, and a transmission unit such as a gear that transmits the driving force of the actuator 42 to the imaging unit 40. The head-mounted imaging device 90 is provided with a rotation angle sensor 43 (shown in FIG. 2) that detects the rotation angle of the imaging unit 40 with respect to the head mounting unit 1 in the vertical and horizontal directions.
制御部２０は、頭部装着側表示部３０及び撮像部４０と接続している。制御部２０は、頭部装着側表示部３０に画像信号を出力する。また、制御部２０は、撮像素子４１から出力された信号から、撮像データを生成する。制御部２０は、遠隔側装置１００と通信する頭部装着側通信部１４を有している。 The control unit 20 is connected to the head-mounted side display unit 30 and the imaging unit 40. The control unit 20 outputs an image signal to the head-mounted side display unit 30. Further, the control unit 20 generates imaging data from the signal output from the imaging element 41. The control unit 20 includes a head-mounted communication unit 14 that communicates with the remote device 100.
遠隔側装置１００は、いわゆるパーソナルコンピュータ等で構成され、遠隔側装置本体１１０、遠隔側画像表示部１２０、入力部１３０を有している。遠隔側装置本体１１０は、頭部装着撮像装置９０の制御部２０と通信する遠隔側通信部１１４を有している。遠隔側画像表示部１２０は、液晶ディスプレイ等で構成されている。頭部装着側通信部１４と遠隔側通信部１１４は、有線ＬＡＮ、無線ＬＡＮ、インターネット回線等の通信回線９９９で接続され、前記した通信方式に対応した通信インターフェースで構成されている。入力部１３０は、作業支援者の入力操作を受け付けるものであり、いわゆるキーボード、マウスやトラックパッド等のポインティングデバイスが含まれる。 The remote device 100 is configured by a so-called personal computer or the like, and includes a remote device body 110, a remote image display unit 120, and an input unit 130. The remote device body 110 includes a remote communication unit 114 that communicates with the control unit 20 of the head-mounted imaging device 90. The remote image display unit 120 is configured with a liquid crystal display or the like. The head mounting side communication unit 14 and the remote side communication unit 114 are connected by a communication line 999 such as a wired LAN, a wireless LAN, and an Internet line, and are configured by a communication interface corresponding to the communication method described above. The input unit 130 receives an input operation of a work supporter, and includes a so-called keyboard, a pointing device such as a mouse and a track pad.
（頭部装着型遠隔撮像システムの概要）
撮像部４０で撮像され、制御部２０で生成された撮像データは、遠隔側装置本体１１０に送信され、遠隔側画像表示部１２０で表示される。作業支援者は、入力部１３０を操作することにより、撮像部４０を上下・左右方向に回動させることができる。本発明では、図１の（Ｂ）に示されるように、撮像部４０の撮像方向が、頭部装着側表示部３０で表示される。また、図１の（Ｃ）に示されるように、作業者の視界方向が、遠隔側画像表示部１２０で表示される。このため、作業者は撮像部４０の撮像方向を認識することができ、また、作業支援者は作業者の視界方向を認識することができるので、円滑に作業支援を行うことが可能となる。
(Outline of the head-mounted remote imaging system)
The imaging data captured by the imaging unit 40 and generated by the control unit 20 is transmitted to the remote apparatus body 110 and displayed on the remote image display unit 120. The work supporter can rotate the imaging unit 40 in the vertical and horizontal directions by operating the input unit 130. In the present invention, as shown in FIG. 1B, the imaging direction of the imaging unit 40 is displayed on the head-mounted side display unit 30. Further, as shown in FIG. 1C, the visual field direction of the worker is displayed on the remote image display unit 120. For this reason, the worker can recognize the imaging direction of the imaging unit 40, and the work supporter can recognize the worker's visual field direction, so that the work support can be performed smoothly.
（頭部装着撮像装置のブロック図）
以下に、図２を用いて、頭部装着撮像装置９０のブロック図について説明する。頭部装着撮像装置９０を構成する制御部２０は、ＣＰＵ１１、ＲＡＭ１２、記憶部１３、頭部装着側通信部１４、表示制御部１５、信号処理部１６、ドライバ１７、インターフェース１８、操作部１９を有している。これらの構成は、相互にバス９で接続されている。表示制御部１５は、頭部装着側表示部３０と接続している。信号処理部１６は、撮像素子４１と接続している。ドライバ１７は、アクチュエータ４２と接続している。インターフェース１８は、回転角センサー４３と接続している。
(Block diagram of head-mounted imaging device)
Hereinafter, a block diagram of the head-mounted imaging device 90 will be described with reference to FIG. The control unit 20 constituting the head-mounted imaging device 90 includes a CPU 11, a RAM 12, a storage unit 13, a head-mounted communication unit 14, a display control unit 15, a signal processing unit 16, a driver 17, an interface 18, and an operation unit 19. Have. These components are connected to each other by a bus 9. The display control unit 15 is connected to the head-mounted side display unit 30. The signal processing unit 16 is connected to the image sensor 41. The driver 17 is connected to the actuator 42. The interface 18 is connected to the rotation angle sensor 43.
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、記憶部１３と協動して、各種演算、処理を行う。
ＲＡＭ１２は、ＣＰＵ１１で処理されるプログラムや、ＣＰＵ１１が処理するデータを、そのアドレス空間に一時的に記憶する。
A CPU (Central Processing Unit) 11 performs various calculations and processes in cooperation with a RAM (Random Access Memory) 12 and a storage unit 13.
The RAM 12 temporarily stores a program processed by the CPU 11 and data processed by the CPU 11 in its address space.
記憶部１３には、不揮発性メモリーやハードディスク等の補助記憶装置が含まれる。記憶部１３には、制御部２０を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１１で処理されることにより、各種機能が実現される。
記憶部１３には、撮像部回動プログラム１３ａと、撮像方向表示生成プログラム１３ｂ、頭部装着部方向算出プログラム１３ｃ、頭部装着部方向画像生成プログラム１３ｄが記憶されている。
撮像部回動プログラム１３ａは、遠隔側装置１００から送信された操作情報に基づき、撮像部４０を回動させる命令をドライバ１７に出力するプログラムである。
撮像方向表示生成プログラム１３ｂは、回転角センサー４３によって検知された撮像部４０の頭部装着部１に対する回転角情報に基づき、頭部装着側表示部３０で撮像方向表示を表示させる描画命令を表示制御部に出力するプログラムである。
頭部装着部方向算出プログラム１３ｃは、回転角情報に基づき、撮像部４０の撮像方向に対する頭部装着部１の前方方向、つまり、作業者の視界方向を算出するプログラムである。
頭部装着部方向画像生成プログラム１３ｄは、前記算出された前方方向の情報に基づき頭部装着部方向画像を生成し、この頭部装着部方向画像を撮像データと合成させる描画命令を表示制御部１５に出力するプログラムである。
The storage unit 13 includes an auxiliary storage device such as a nonvolatile memory or a hard disk. The storage unit 13 stores various programs and parameters for controlling the control unit 20. Various functions are realized by the CPU 11 processing the various programs.
The storage unit 13 stores an imaging unit rotation program 13a, an imaging direction display generation program 13b, a head mounting unit direction calculation program 13c, and a head mounting unit direction image generation program 13d.
The imaging unit rotation program 13 a is a program that outputs a command to rotate the imaging unit 40 to the driver 17 based on operation information transmitted from the remote device 100.
The imaging direction display generation program 13b displays a drawing command for displaying the imaging direction display on the head mounting side display unit 30 based on the rotation angle information for the head mounting unit 1 of the imaging unit 40 detected by the rotation angle sensor 43. This program is output to the control unit.
The head mounting unit direction calculation program 13c is a program for calculating the forward direction of the head mounting unit 1 with respect to the imaging direction of the imaging unit 40, that is, the visual field direction of the operator, based on the rotation angle information.
The head mounting unit direction image generation program 13d generates a head mounting unit direction image based on the calculated forward direction information, and displays a drawing command for synthesizing the head mounting unit direction image with imaging data. 15 is a program to be output.
表示制御部１５は、頭部装着側表示部３０に出力する画像信号を生成するものであり、画像処理回路及びビデオメモリを有している。
信号処理部１６は、撮像素子４１から出力された信号に基づいて、撮像データを生成するものである。信号処理部１６は、アナログ信号を量子化してデジタル信号に変換するＡＤコンバータ、変換されたデジタル信号に基づいて撮像データを生成する信号処理回路を有している。
ドライバ１７は、アクチュエータ４２に出力する駆動電流を生成するものである。
インターフェース１８は、信号の物理的・論理的な形式を変換するものである。
操作部１９は、作業者の操作が入力されるものであり、物理的なボタンやタッチパネル等で構成されている。操作部１９が出力した操作信号は、インターフェース１８で信号の物理的・論理的な形式が変換されて、操作情報としてバス９に入力される。
The display control unit 15 generates an image signal to be output to the head-mounted display unit 30, and includes an image processing circuit and a video memory.
The signal processing unit 16 generates imaging data based on the signal output from the imaging element 41. The signal processing unit 16 includes an AD converter that quantizes an analog signal and converts the analog signal into a digital signal, and a signal processing circuit that generates imaging data based on the converted digital signal.
The driver 17 generates a drive current that is output to the actuator 42.
The interface 18 converts the physical / logical format of the signal.
The operation unit 19 is used to input an operation by an operator, and includes a physical button, a touch panel, and the like. The operation signal output from the operation unit 19 is converted into a physical / logical format of the signal by the interface 18 and input to the bus 9 as operation information.
回転角センサー４３は、撮像部４０の頭部装着部１に対する上下方向及び左右方向の回転角を検出するものであり、ロータリーエンコーダ等で構成されている。回転角センサー４３から出力された回転角信号は、インターフェース１８で信号の物理的・論理的な形式が変換されて、回転角情報としてバス９に入力される。 The rotation angle sensor 43 detects the rotation angle in the vertical direction and the horizontal direction with respect to the head mounting unit 1 of the imaging unit 40, and includes a rotary encoder or the like. The rotation angle signal output from the rotation angle sensor 43 is converted into a physical / logical format of the signal by the interface 18 and input to the bus 9 as rotation angle information.
（遠隔側装置のブロック図）
次に、図３を用いて、遠隔側装置１００のブロック図について説明する。遠隔側装置１００の遠隔装置本体１１０は、ＣＰＵ１１１、ＲＡＭ１１２、記憶部１１３、遠隔側通信部１１４、表示制御部１１５、インターフェース１１６を有している。これらの構成は、相互にバス１１９で接続されている。表示制御部１１５は、遠隔側表示部１２０と接続している。インターフェース１１６は、入力部１３０と接続している。
(Block diagram of remote device)
Next, a block diagram of the remote device 100 will be described with reference to FIG. The remote device main body 110 of the remote device 100 includes a CPU 111, a RAM 112, a storage unit 113, a remote communication unit 114, a display control unit 115, and an interface 116. These components are connected to each other via a bus 119. The display control unit 115 is connected to the remote display unit 120. The interface 116 is connected to the input unit 130.
ＣＰＵ１１１は、ＲＡＭ１１２、記憶部１１３と協動して、各種演算、処理を行う。
ＲＡＭ１１２は、ＣＰＵ１１１で処理されるプログラムや、ＣＰＵ１１１が処理するデータを、そのアドレス空間に一時的に記憶する。
The CPU 111 performs various calculations and processes in cooperation with the RAM 112 and the storage unit 113.
The RAM 112 temporarily stores programs processed by the CPU 111 and data processed by the CPU 111 in its address space.
記憶部１１３には、不揮発性メモリーやハードディスク等の補助記憶装置が含まれる。記憶部１１３には、遠隔側装置本体１１０を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１１１で処理されることにより、各種機能が実現される。
記憶部１１３には、撮像画像表示プログラム１１３ａ、頭部装着部方向算出プログラム１１３ｂ、頭部装着部方向画像生成プログラム１１３ｃが記憶されている。
撮像画像表示プログラム１１３ａは、遠隔側通信部１１４が受信した撮像データに基づき、遠隔側表示部１２０で撮像画像を表示させる描画命令を表示制御部１１５に出力するプログラムである。
頭部装着部方向算出プログラム１１３ｂは、回転角情報に基づき、撮像部４０の撮像方向に対する頭部装着部１の前方方向、つまり、作業者の視界方向を算出するプログラムである。
頭部装着部方向画像生成プログラム１１３ｃは、前記算出された前方方向の情報に基づき頭部装着部方向画像を生成し、この頭部装着部方向画像を撮像データと合成させる描画命令を表示制御部１１５に出力するプログラムである。
The storage unit 113 includes an auxiliary storage device such as a nonvolatile memory or a hard disk. The storage unit 113 stores various programs and parameters for controlling the remote device body 110. Various functions are realized by processing the various programs by the CPU 111.
The storage unit 113 stores a captured image display program 113a, a head mounting unit direction calculation program 113b, and a head mounting unit direction image generation program 113c.
The captured image display program 113 a is a program that outputs a drawing command for displaying a captured image on the remote display unit 120 to the display control unit 115 based on the captured image data received by the remote communication unit 114.
The head mounting unit direction calculation program 113b is a program for calculating the forward direction of the head mounting unit 1 with respect to the imaging direction of the imaging unit 40, that is, the visual field direction of the operator, based on the rotation angle information.
The head mounting unit direction image generation program 113c generates a head mounting unit direction image based on the calculated forward direction information, and displays a drawing command for synthesizing the head mounting unit direction image with imaging data. 115 is a program to be output to 115.
表示制御部１１５は、遠隔側表示部１２０に出力する画像信号を生成するものであり、画像処理回路及びビデオメモリを有している。
インターフェース１１６は、入力部１３０から入力された入力信号の物理的・論理的な形式を変換して、操作情報としてバス１１９に出力する。
The display control unit 115 generates an image signal to be output to the remote display unit 120, and includes an image processing circuit and a video memory.
The interface 116 converts the physical / logical format of the input signal input from the input unit 130 and outputs the converted signal to the bus 119 as operation information.
（頭部装着撮像装置のメイン処理）
次に、図４を用いて、頭部装着撮像装置９０のメイン処理の説明をする。頭部装着撮像装置９０に電源が投入されると、頭部装着撮像装置９０のメイン処理が開始し、Ｓ１１の処理に進む。
(Main processing of head-mounted imaging device)
Next, the main process of the head-mounted imaging device 90 will be described with reference to FIG. When power is turned on to the head-mounted imaging device 90, the main process of the head-mounted imaging device 90 starts, and the process proceeds to S11.
Ｓ１１「撮像開始」の処理において、ＣＰＵ１２は、撮像部４０で撮像させる命令を、信号処理部１６に出力する。撮像部４０で撮像され、信号処理部１６で生成された撮像データは、ＲＡＭ１２又は記憶部１３に記憶され、頭部装着側通信部１４を介して、遠隔側通信部１１４に順次送信される。Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。 In the process of S <b> 11 “start imaging”, the CPU 12 outputs a command for imaging by the imaging unit 40 to the signal processing unit 16. Imaging data captured by the imaging unit 40 and generated by the signal processing unit 16 is stored in the RAM 12 or the storage unit 13 and sequentially transmitted to the remote communication unit 114 via the head-mounted communication unit 14. When the process of S11 ends, the process proceeds to S12.
Ｓ１２「撮像部回転角検知開始」の処理において、ＣＰＵ１１は、インターフェース１８に、回転角センサー４３で撮像部４０の頭部装着部１に対する上下・左右方向の回転角を検知させる命令を出力する。回転角センサー４３で検知され、インターフェース１８で生成された回転角情報は、ＲＡＭ１２又は記憶部１３に記憶され、頭部装着側通信部１４を介して、遠隔側通信部１１４に順次送信される。Ｓ１２の処理が終了すると、Ｓ１３の処理に進む。 In the process of S12 “Start imaging unit rotation angle detection”, the CPU 11 outputs a command to the interface 18 to detect the rotation angle of the imaging unit 40 in the vertical and horizontal directions with respect to the head mounting unit 1 by the rotation angle sensor 43. The rotation angle information detected by the rotation angle sensor 43 and generated by the interface 18 is stored in the RAM 12 or the storage unit 13 and sequentially transmitted to the remote side communication unit 114 via the head-mounted side communication unit 14. When the process of S12 ends, the process proceeds to S13.
Ｓ１３「操作情報受信」の判断処理において、ＣＰＵ１１は、頭部装着側通信部１４が操作情報を受信したか否かを判断する。ＣＰＵ１１が、頭部装着側通信部１４が操作情報を受信したと判断した場合には（Ｓ１３の判断処理がＹＥＳ）、操作情報をＲＡＭ１２又は記憶部１３に記憶させるとともに、Ｓ１４の処理に進む。一方で、ＣＰＵ１１が、頭部装着側通信部１４が操作情報を受信したと判断しない場合には（Ｓ１３の判断処理がＮＯ）、Ｓ１４の処理に進まない。 In the determination process of S13 “operation information reception”, the CPU 11 determines whether or not the head-mounted communication unit 14 has received the operation information. When the CPU 11 determines that the head-mounted communication unit 14 has received the operation information (YES in S13), the operation information is stored in the RAM 12 or the storage unit 13, and the process proceeds to S14. On the other hand, if the CPU 11 does not determine that the head-mounted communication unit 14 has received the operation information (NO in S13), the process does not proceed to S14.
Ｓ１４「撮像部回動」の処理において、撮像部回動プログラム１３ａは、ＲＡＭ１２又は記憶部１３に記憶されている操作情報に応じた回転角で、アクチュエータ４２で撮像部４０を回動させる命令をドライバ１７に出力する。また、撮像部回動プログラム１３ａは、回転角センサー４３によって検知された撮像部４０の回転角情報に基づき、操作情報に応じた回転角で、アクチュエータ４２を停止させる命令をドライバ１７に出力する。Ｓ１４の処理が終了すると、Ｓ１５の処理に進む。 In the process of S14 “imaging unit rotation”, the imaging unit rotation program 13a issues a command to rotate the imaging unit 40 with the actuator 42 at a rotation angle corresponding to the operation information stored in the RAM 12 or the storage unit 13. Output to the driver 17. Further, the imaging unit rotation program 13 a outputs a command to the driver 17 to stop the actuator 42 at a rotation angle corresponding to the operation information based on the rotation angle information of the imaging unit 40 detected by the rotation angle sensor 43. When the process of S14 ends, the process proceeds to S15.
Ｓ１５「撮像方向表示」の処理において、撮像方向表示生成プログラム１３ｂは、ＲＡＭ１２又は記憶部１３に記憶されている回転角情報に基づいて、頭部装着側表示部３０で撮像方向表示を表示させる描画命令を表示制御部１５に出力する。なお、撮像方向表示は、図１の（Ｂ）に示されるように、撮像部４０が撮像している方向を表している表示である。なお、頭部装着側表示部３０が、指示内容やマニュアル、図面等の画像を表示している場合には、撮像方向表示生成プログラム１３ｂは、撮像方向表示と前記画像を合成した画像データを生成する描画命令を表示制御部１５に出力する。なお、撮像方向表示生成プログラム１３ｂは、回転角情報に応じた撮像方向表示を表示させる描画命令を表示制御部１５に出力する。例えば、頭部装着部１の前方方向に対して、撮像部４０が大きく回動している場合には、撮像方向表示が大きく又は長く表示される。これにより、作業者は、撮像方向を正確に認識することが可能となる。
Ｓ１５の処理が終了すると、Ｓ１６の判断処理に進む。
このように、作業者は、撮像部４０が撮像している方向を、常に認識することができる。
In the processing of S15 “imaging direction display”, the imaging direction display generation program 13b is a drawing for displaying the imaging direction display on the head-mounted side display unit 30 based on the rotation angle information stored in the RAM 12 or the storage unit 13. The command is output to the display control unit 15. The imaging direction display is a display indicating the direction in which the imaging unit 40 is imaging, as shown in FIG. When the head-mounted display unit 30 displays images such as instruction contents, manuals, and drawings, the imaging direction display generation program 13b generates image data that combines the imaging direction display and the image. The drawing command to be output is output to the display control unit 15. The imaging direction display generation program 13b outputs a drawing command for displaying the imaging direction display according to the rotation angle information to the display control unit 15. For example, when the imaging unit 40 is rotated largely with respect to the front direction of the head-mounted unit 1, the imaging direction display is displayed large or long. As a result, the operator can accurately recognize the imaging direction.
When the process of S15 ends, the process proceeds to the determination process of S16.
Thus, the operator can always recognize the direction in which the imaging unit 40 is imaging.
Ｓ１６「撮像画像表示」の処理において、ＣＰＵ１１は、撮像画像を頭部装着側表示部３０で表示させる操作情報がバス９に入力されたか否かを判断する。ＣＰＵ１１が、前記操作情報がバス９に入力されたと判断した場合には（Ｓ１６の判断処理がＹＥＳ）、Ｓ１７の判断処理に進む。一方で、ＣＰＵ１１が、前記操作情報がバス９に入力されたと判断しない場合には（Ｓ１６の判断処理がＮＯ）、Ｓ１３の判断処理に戻る。 In the process of S16 “captured image display”, the CPU 11 determines whether or not operation information for displaying the captured image on the head-mounted side display unit 30 is input to the bus 9. If the CPU 11 determines that the operation information has been input to the bus 9 (YES in S16), the process proceeds to S17. On the other hand, when the CPU 11 does not determine that the operation information has been input to the bus 9 (NO in S16), the process returns to the determination process in S13.
Ｓ１７「頭部装着部前方方向算出」の判断処理において、頭部装着部方向算出プログラム１３ｃは、ＲＡＭ１２又は記憶部１３に記憶されている回転角情報に基づき、撮像部４０の撮像方向に対する頭部装着部１の前方方向を算出し、頭部装着部方向情報としてＲＡＭ１２又は記憶部１３に記憶させる。具体的には、例えば、頭部装着側表示部３０からの画像光が作業者の目に入射する入射方向は、頭部装着側表示部３０の光学系の仕様や頭部装着部１への取り付け状態によって予め決まっている。この入射方向を作業者の視界方向、即ち頭部装着部１の前方方向とすることによって、回転角情報に基づき、撮像部４０の撮像方向に対する頭部装着部１の前方方向が算出される。Ｓ１７の処理が終了すると、Ｓ１８の処理に進む。 In the determination process of S17 “head mounting unit forward direction calculation”, the head mounting unit direction calculation program 13c is based on the rotation angle information stored in the RAM 12 or the storage unit 13, and the head with respect to the imaging direction of the imaging unit 40 The front direction of the mounting unit 1 is calculated and stored in the RAM 12 or the storage unit 13 as head mounting unit direction information. Specifically, for example, the incident direction in which the image light from the head-mounted display unit 30 is incident on the eyes of the operator depends on the specifications of the optical system of the head-mounted side display unit 30 and the head mounted unit 1. It is determined in advance depending on the mounting state. By setting this incident direction as the worker's visual field direction, that is, the forward direction of the head-mounted part 1, the forward direction of the head-mounted part 1 with respect to the imaging direction of the imaging part 40 is calculated based on the rotation angle information. When the process of S17 ends, the process proceeds to S18.
Ｓ１８「撮像画像と頭部装着部方向情報を合成表示」の処理において、頭部装着部方向画像生成プログラム１３ｄは、ＲＡＭ１２又は記憶部１３に記憶されている頭部装着部方向情報に基づき、頭部装着部方向画像を生成し、当該頭部装着部方向画像を撮像データと合成させる描画命令を表示制御部１５に出力する。なお、頭部装着部方向画像とは、図１の（ｄ）に示されるように、撮像部４０の撮像方向に対する頭部装着部１の前方方向、つまり、作業者の視界方向を表した画像である。このようにして、頭部装着側画像表示部１２０で、頭部装着部方向画像と合成された撮像データが表示される。このＳ１８の処理において、作業者は、作業支援者が見ている画像を確認することができる。
Ｓ１８の処理が終了すると、Ｓ１３の判断処理に戻る。
In the process of S18 “combined display of captured image and head mounting unit direction information”, the head mounting unit direction image generation program 13d is based on the head mounting unit direction information stored in the RAM 12 or the storage unit 13. A part mounting part direction image is generated, and a drawing command for synthesizing the head mounting part direction image with imaging data is output to the display control unit 15. Note that the head-mounted part direction image is an image representing the forward direction of the head-mounted part 1 relative to the imaging direction of the imaging unit 40, that is, the visual field direction of the operator, as shown in FIG. It is. In this manner, the head-mounted image display unit 120 displays the imaging data combined with the head-mounted unit direction image. In the process of S18, the worker can confirm the image that the work supporter is viewing.
When the process of S18 ends, the process returns to the determination process of S13.
（遠隔側装置のメイン処理）
次に、図４を用いて、遠隔側装置１００のメイン処理の説明をする。遠隔側装置１００に電源が投入されると、遠隔側装置１００のメイン処理が開始し、Ｓ３１の判断処理に進む。
(Main processing of remote device)
Next, the main process of the remote apparatus 100 will be described with reference to FIG. When power is turned on to the remote device 100, the main processing of the remote device 100 is started, and the process proceeds to the determination process of S31.
Ｓ３１「撮像データ受信」の判断処理において、ＣＰＵ１１１は、遠隔側通信部１１４が撮像データを受信したか否かを判断する。ＣＰＵ１１１が、遠隔側通信部１１４が撮像データを受信したと判断した場合には（Ｓ３１の判断処理がＹＥＳ）、ＣＰＵ１１１は、撮像データのＲＡＭ１１２又は記憶部１１３への記憶を開始させ、Ｓ３２の処理に進む。一方で、ＣＰＵ１１１が、遠隔側通信部１１４が撮像データを受信したと判断しない場合には（Ｓ３１の判断処理がＮＯ）、Ｓ３２の処理に進まない。 In the determination process of S31 “image data reception”, the CPU 111 determines whether or not the remote communication unit 114 has received image data. When the CPU 111 determines that the remote communication unit 114 has received the imaging data (YES in S31), the CPU 111 starts storing the imaging data in the RAM 112 or the storage unit 113, and the process in S32 Proceed to On the other hand, if the CPU 111 does not determine that the remote communication unit 114 has received the imaging data (NO in S31), the process does not proceed to S32.
Ｓ３２「撮像画像表示開始」の処理において、撮像画像表示プログラム１１３ａは、ＲＡＭ１１２又は記憶部１１３に記憶されている撮像データに基づき、遠隔側表示部１２０で撮像画像を表示させる描画命令を表示制御部１１５に出力する。Ｓ３２の処理が終了すると、Ｓ３３の判断処理に進む。 In the process of S32 “start captured image display”, the captured image display program 113a displays a drawing command for displaying the captured image on the remote display unit 120 based on the captured image data stored in the RAM 112 or the storage unit 113. 115. When the process of S32 ends, the process proceeds to the determination process of S33.
Ｓ３３「回転角情報受信」の判断処理において、ＣＰＵ１１１は、遠隔側通信部１１４が回転角情報を受信したか否かを判断する。ＣＰＵ１１１が、遠隔側通信部１１４が回転角情報を受信したと判断した場合には（Ｓ３３の判断処理がＹＥＳ）、回転角情報をＲＡＭ１１２又は記憶部１１３に記憶させるとともに、Ｓ３４の処理に進む。一方で、ＣＰＵ１１１が、遠隔側通信部１１４が回転角情報を受信したと判断しない場合には（Ｓ３３の判断処理がＮＯ）、Ｓ３４の処理に進まない。 In the determination process of S33 “Reception of rotation angle information”, the CPU 111 determines whether or not the remote communication unit 114 has received the rotation angle information. When the CPU 111 determines that the remote communication unit 114 has received the rotation angle information (YES in S33), the rotation angle information is stored in the RAM 112 or the storage unit 113, and the process proceeds to S34. On the other hand, if the CPU 111 does not determine that the remote communication unit 114 has received the rotation angle information (NO in S33), the process does not proceed to S34.
Ｓ３４「頭部装着部前方方向算出」の処理において、頭部装着部方向算出プログラム１１３ｂは、ＲＡＭ１１２又は記憶部１１３に記憶されている回転角情報に基づき、撮像部４０の撮像方向に対する頭部装着部１の前方方向を算出し、頭部装着部方向情報としてＲＡＭ１１２又は記憶部１１３に記憶させる。Ｓ３４の処理が終了すると、Ｓ３５の処理に進む。 In the process of S34 “head mounting part forward direction calculation”, the head mounting part direction calculation program 113b is based on the rotation angle information stored in the RAM 112 or the storage unit 113, and the head mounting in the imaging direction of the imaging unit 40 is performed. The front direction of the unit 1 is calculated and stored in the RAM 112 or the storage unit 113 as head-mounted unit direction information. When the process of S34 ends, the process proceeds to S35.
Ｓ３５「頭部装着部方向情報表示」の処理において、頭部装着部方向画像生成プログラム１１３ｃは、ＲＡＭ１１２又は記憶部１１３に記憶されている頭部装着部方向情報に基づき、頭部装着部方向画像を生成し、当該頭部装着部方向画像を撮像データと合成させる描画命令を表示制御部１１５に出力する。なお、頭部装着部方向画像とは、図１の（Ｃ）に示されるように、撮像部４０の撮像方向に対する頭部装着部１の前方方向、つまり、作業者の視界方向を表した画像である。このようにして、遠隔指示側画像表示部１２０で、頭部装着部方向画像と合成された撮像データが表示される。
Ｓ３５の処理が終了すると、Ｓ３６の判断処理に進む。
In the process of S35 “head mounting unit direction information display”, the head mounting unit direction image generation program 113c is based on the head mounting unit direction information stored in the RAM 112 or the storage unit 113, and the head mounting unit direction image is displayed. And a drawing command for synthesizing the head-mounted part direction image with the imaging data is output to the display control unit 115. As shown in FIG. 1C, the head-mounted part direction image is an image representing the forward direction of the head-mounted part 1 with respect to the imaging direction of the imaging unit 40, that is, the visual field direction of the operator. It is. In this way, the remote instruction side image display unit 120 displays the imaging data combined with the head-mounted unit direction image.
When the process of S35 ends, the process proceeds to the determination process of S36.
Ｓ３６「操作信号入力」の判断処理において、ＣＰＵ１１１は、バス１１９に操作信号が入力されたか否かを判断する。ＣＰＵ１１１が、バス１１９に操作情報が入力された判断した場合には（Ｓ３６の判断処理がＹＥＳ）、ＣＰＵ１１１は操作情報をＲＡＭ１１２又は記憶部１１３に記憶させ、Ｓ３７の処理に進む。一方で、ＣＰＵ１１１が、バスに操作情報が入力された判断しない場合には（Ｓ３６の判断処理がＮＯ）、Ｓ３７の処理に進まない。 In the determination process of S36 “operation signal input”, the CPU 111 determines whether an operation signal is input to the bus 119 or not. When the CPU 111 determines that the operation information is input to the bus 119 (YES in the determination process in S36), the CPU 111 stores the operation information in the RAM 112 or the storage unit 113, and proceeds to the process in S37. On the other hand, if the CPU 111 does not determine that operation information has been input to the bus (NO in S36), the process does not proceed to S37.
Ｓ３７「操作情報送信」の処理において、ＣＰＵ１１１はＲＡＭ１１２又は記憶部１１３に記憶されている操作情報を、遠隔側通信部１１４を介して、頭部装着撮像装置９０に送信する。Ｓ３７の処理が終了すると、Ｓ３３の判断処理に戻る。 In the process of S37 “operation information transmission”, the CPU 111 transmits the operation information stored in the RAM 112 or the storage unit 113 to the head-mounted imaging device 90 via the remote communication unit 114. When the process of S37 ends, the process returns to the determination process of S33.
以上説明した実施形態では、撮像部４０を頭部装着部１に対して上下・左右方向に回動させているが、撮像部４０を頭部装着部１に対して左右方向のみ回動させる実施形態、或いは、撮像部４０を頭部装着部１に対して上下方向のみ回動させる実施形態であっても差し支え無い。
なお、Ｓ１５の処理において頭部装着側表示部３０で表示される撮像方向表示は、図５に示されるような３次元的な表示であっても差し支え無い。
また、以上説明した実施形態では、Ｓ１７の処理において、頭部装着部方向算出プログラム１３ｃが、頭部装着部方向情報を算出しているが、Ｓ１７の処理で、遠隔側装置１００の頭部装着部方向算出プログラム１１３ｂが算出した頭部装着部方向情報を頭部装着側通信部１４が受信し、前記頭部装着部方向情報がＲＡＭ１２又は記憶部１３に記憶される実施形態であっても差し支え無い。
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う頭部装着型遠隔撮像システム、頭部装着撮像装置、撮像方向表示方法もまた技術的範囲に包含されるものとして理解されなければならない。
In the embodiment described above, the imaging unit 40 is rotated in the vertical and horizontal directions with respect to the head mounting unit 1. However, the imaging unit 40 is rotated only in the horizontal direction with respect to the head mounting unit 1. The embodiment or the embodiment in which the imaging unit 40 is rotated only in the vertical direction with respect to the head mounting unit 1 may be used.
Note that the imaging direction display displayed on the head-mounted side display unit 30 in the processing of S15 may be a three-dimensional display as shown in FIG.
In the embodiment described above, the head mounting unit direction calculation program 13c calculates the head mounting unit direction information in the process of S17, but the head mounting of the remote device 100 is performed in the process of S17. In the embodiment, the head mounting side communication unit 14 receives the head mounting unit direction information calculated by the head direction calculation program 113b, and the head mounting unit direction information is stored in the RAM 12 or the storage unit 13. No.
Although the present invention has been described above in connection with the most practical and preferred embodiments at the present time, the present invention is not limited to the embodiments disclosed herein. The head-mounted remote imaging system, the head-mounted imaging device, and the imaging direction display can be changed as appropriate without departing from the spirit or concept of the invention that can be read from the claims and the entire specification. The method should also be understood as being within the technical scope.
１ 頭部装着部
９ バス
１１ ＣＰＵ
１２ ＲＡＭ
１３ 記憶部
１４ 頭部装着側通信部
１５ 表示制御部
１６ 信号処理部
１７ ドライバ
１８ インターフェース
１９ 操作部
２０ 制御部
３０ 頭部装着側表示部
４０ 撮像部
４１ 撮像素子
４２ アクチュエータ
４３ 回転角センサー
９０ 頭部装着撮像装置
１００ 遠隔側装置
１１０ 遠隔側装置本体
１２０ 遠隔側画像表示部
１３０ 入力部
９９９ 通信回線
1 Head mounting part 9 Bus 11 CPU
12 RAM
DESCRIPTION OF SYMBOLS 13 Memory | storage part 14 Head mounting side communication part 15 Display control part 16 Signal processing part 17 Driver 18 Interface 19 Operation part 20 Control part 30 Head mounting side display part 40 Imaging part 41 Imaging element 42 Actuator 43 Rotation angle sensor 90 Head Wearable imaging device 100 Remote device 110 Remote device body 120 Remote image display unit 130 Input unit 999 Communication line
Claims (6)
前記頭部装着部に回動可能に取り付けられた撮像部と、
前記撮像部を前記頭部装着部に対して回動させる回動機構と、
前記頭部装着部に対する前記撮像部の回転角を検知する回転角センサーと、
前記頭部装着部に取り付けられ、作業者に画像を視認させる頭部装着側表示部と、
前記回転角センサーが検知した回転角情報に基づき、前記頭部装着部に対する前記撮像部の撮像方向表示を生成する撮像方向表示生成手段と、
外部と通信し、前記撮像部で撮像された撮像データを送信する頭部装着側通信部とを有する頭部装着撮像装置と、
前記頭部装着側通信部と通信し、前記撮像データを受信する遠隔側通信部と、
前記遠隔側通信部が受信した撮像データを表示する遠隔側画像表示部と、
前記撮像部を回動させるための操作を受け付ける入力部を有する遠隔側装置とから構成され、
前記入力部に操作が入力された場合には、前記遠隔側通信部は、前記入力部に入力された操作に応じた操作情報を前記頭部装着側通信部に送信し、
前記頭部装着側通信部が前記操作情報を受信した場合には、前記回動機構は前記操作情報に応じた回転角で前記撮像部を回動させ、
前記頭部装着側表示部は、前記撮像方向表示生成手段が生成した撮像方向表示を表示することを特徴とする頭部装着型遠隔撮像システム。 A head mounting part to be mounted on the operator's head;
An imaging unit rotatably attached to the head mounting unit;
A rotation mechanism for rotating the imaging unit with respect to the head mounting unit;
A rotation angle sensor for detecting a rotation angle of the imaging unit with respect to the head-mounted unit;
A head-mounted side display unit attached to the head-mounted unit and allowing an operator to visually recognize an image;
Based on rotation angle information detected by the rotation angle sensor, an imaging direction display generating unit that generates an imaging direction display of the imaging unit with respect to the head-mounted unit;
A head-mounted imaging device having a head-mounted communication unit that communicates with the outside and transmits imaging data captured by the imaging unit;
A remote communication unit that communicates with the head-mounted communication unit and receives the imaging data;
A remote side image display unit for displaying imaging data received by the remote side communication unit;
A remote device having an input unit that receives an operation for rotating the imaging unit;
When an operation is input to the input unit, the remote communication unit transmits operation information corresponding to the operation input to the input unit to the head-mounted communication unit,
When the head-mounted communication unit receives the operation information, the rotation mechanism rotates the imaging unit at a rotation angle corresponding to the operation information,
The head-mounted remote imaging system, wherein the head-mounted display unit displays an imaging direction display generated by the imaging direction display generation unit.
前記遠隔側装置は、
前記回転角情報から、前記撮像部に対する前記頭部装着部の前方方向を算出する頭部装着部方向算出部と、
前記頭部装着部方向算出部の算出結果に基づき、前記撮像部に対する前記頭部装着部の前方方向を表す画像である頭部装着部方向画像を生成し、当該頭部装着部方向画像を遠隔側画像表示部が表示する撮像データと合成させる頭部装着部方向画像生成手段とを更に有し、
前記遠隔指示側画像表示部は、前記頭部装着部方向画像生成手段によって前記頭部装着部方向画像が合成された撮像データを表示することを特徴とする請求項１に記載の遠隔操作システム。 The head-mounted communication unit transmits rotation angle information detected by the rotation angle sensor to the remote communication unit,
The remote device is:
A head mounting unit direction calculating unit that calculates a forward direction of the head mounting unit with respect to the imaging unit from the rotation angle information;
Based on the calculation result of the head mounting unit direction calculation unit, a head mounting unit direction image that is an image representing the front direction of the head mounting unit with respect to the imaging unit is generated, and the head mounting unit direction image is remotely A head-mounting unit direction image generating means for synthesizing with the imaging data displayed by the side image display unit;
The remote operation system according to claim 1, wherein the remote instruction side image display unit displays imaging data in which the head mounting unit direction image is synthesized by the head mounting unit direction image generation unit.
前記回転角情報から、前記撮像部に対する前記頭部装着部の前方方向を算出する頭部装着部方向算出部と、
前記頭部装着部方向算出部の算出結果に基づき、前記撮像部に対する前記頭部装着部の前方方向を表す画像である頭部装着部方向画像を生成し、当該頭部装着部方向画像を撮像データと合成させる頭部装着部方向画像生成手段とを更に有し、
前記頭部装着側画像表示部は、前記頭部装着部方向画像生成手段によって頭部装着部方向画像が合成された撮像データを表示することを特徴とする請求項２に記載の頭部装着型遠隔撮像システム。 The head-mounted imaging device is
A head mounting unit direction calculating unit that calculates a forward direction of the head mounting unit with respect to the imaging unit from the rotation angle information;
Based on the calculation result of the head mounting unit direction calculation unit, a head mounting unit direction image that is an image representing the forward direction of the head mounting unit with respect to the imaging unit is generated, and the head mounting unit direction image is captured. A head mounting unit direction image generating means for combining with the data,
The head mounted type image display unit according to claim 2, wherein the head mounted side image display unit displays imaging data in which the head mounted unit direction image is synthesized by the head mounted unit direction image generation unit. Remote imaging system.
前記頭部装着部に回動可能に取り付けられた撮像部と、
前記撮像部を前記頭部装着部に対して回動させる回動機構と、
前記頭部装着部に対する前記撮像部の回転角を検知する回転角センサーと、
前記頭部装着部に取り付けられ、作業者に画像を視認させる頭部装着側表示部と、
前記回転角センサーが検知した回転角情報に基づき、前記頭部装着部に対する前記撮像部の撮像方向表示を生成する撮像方向表示生成手段と、
外部と通信し、前記撮像部で撮像された撮像データを送信する頭部装着側通信部とを有し、
前記頭部装着側通信部が、前記回動機構で撮像部を回動させる操作情報を受信した場合には、
前記回動機構は前記操作情報に応じた回転角で前記撮像部を回動させ、
前記頭部装着側表示部は、前記撮像方向表示生成手段が生成した撮像方向表示を表示することを特徴とする頭部装着撮像装置。 A head mounting part to be mounted on the operator's head;
An imaging unit rotatably attached to the head mounting unit;
A rotation mechanism for rotating the imaging unit with respect to the head mounting unit;
A rotation angle sensor for detecting a rotation angle of the imaging unit with respect to the head-mounted unit;
A head-mounted side display unit attached to the head-mounted unit and allowing an operator to visually recognize an image;
Based on rotation angle information detected by the rotation angle sensor, an imaging direction display generating unit that generates an imaging direction display of the imaging unit with respect to the head-mounted unit;
A head-mounted side communication unit that communicates with the outside and transmits imaging data captured by the imaging unit;
When the head mounting side communication unit receives operation information for rotating the imaging unit by the rotation mechanism,
The rotation mechanism rotates the imaging unit at a rotation angle according to the operation information,
The head-mounted imaging apparatus, wherein the head-mounted display unit displays an imaging direction display generated by the imaging direction display generation unit.
前記頭部装着部に回動可能に取り付けられた撮像部と、
前記撮像部を前記頭部装着部に対して回動させる回動機構と、
前記頭部装着部に対する前記撮像部の回転角を検知する回転角センサーと、
前記頭部装着部に取り付けられ、作業者に画像を視認させる頭部装着側表示部と、
前記回転角センサーが検知した回転角情報に基づき、前記頭部装着部に対する前記撮像部の撮像方向表示を生成する撮像方向表示生成手段と、
外部と通信し、前記撮像部で撮像された撮像データを送信する頭部装着側通信部とを有する頭部装着撮像装置と、
前記頭部装着側通信部と通信し、前記撮像データを受信する遠隔側通信部と、
前記遠隔側通信部が受信した撮像データを表示する遠隔側画像表示部と、
遠隔操作者による前記撮像部を回動させるための操作を受け付ける入力部を有する遠隔側装置を備える頭部装着撮像装置遠隔操作システムにおいて実行され、
前記入力部に遠隔操作者による操作が入力された場合には、前記遠隔側通信部が、前記入力部に入力された操作に応じた操作情報を前記頭部装着側通信部に送信する操作情報送信処理と、
前記頭部装着側通信部が前記操作情報を受信した場合には、前記回動機構が前記操作情報に応じた回転角で前記撮像部を回動させる撮像部回動処理と、
前記頭部装着側表示部が、前記撮像方向表示生成手段が生成した撮像方向表示を表示する撮像方向表示処理を有することを特徴とする頭部装着撮像装置の撮像方向表示方法。 A head mounting part to be mounted on the operator's head;
An imaging unit rotatably attached to the head mounting unit;
A rotation mechanism for rotating the imaging unit with respect to the head mounting unit;
A rotation angle sensor for detecting a rotation angle of the imaging unit with respect to the head-mounted unit;
A head-mounted side display unit attached to the head-mounted unit and allowing an operator to visually recognize an image;
Based on rotation angle information detected by the rotation angle sensor, an imaging direction display generating unit that generates an imaging direction display of the imaging unit with respect to the head-mounted unit;
A head-mounted imaging device having a head-mounted communication unit that communicates with the outside and transmits imaging data captured by the imaging unit;
A remote communication unit that communicates with the head-mounted communication unit and receives the imaging data;
A remote side image display unit for displaying imaging data received by the remote side communication unit;
Executed in a head-mounted imaging device remote operation system including a remote side device having an input unit for receiving an operation for rotating the imaging unit by a remote operator;
When the operation by the remote operator is input to the input unit, the remote communication unit transmits operation information corresponding to the operation input to the input unit to the head-mounted communication unit Send processing and
An imaging unit rotation process in which the rotation mechanism rotates the imaging unit at a rotation angle according to the operation information when the head-mounted communication unit receives the operation information;
An imaging direction display method for a head-mounted imaging apparatus, wherein the head-mounted display unit includes an imaging direction display process for displaying an imaging direction display generated by the imaging direction display generation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011016206A JP2012156930A (en) | 2011-01-28 | 2011-01-28 | Head-mounted remote imaging system, head-mounted imaging device, and imaging direction display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011016206A JP2012156930A (en) | 2011-01-28 | 2011-01-28 | Head-mounted remote imaging system, head-mounted imaging device, and imaging direction display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012156930A true JP2012156930A (en) | 2012-08-16 |
Family
ID=46838163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011016206A Withdrawn JP2012156930A (en) | 2011-01-28 | 2011-01-28 | Head-mounted remote imaging system, head-mounted imaging device, and imaging direction display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012156930A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014072803A (en) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | Work support system and program |
| JP2016163136A (en) * | 2015-02-27 | 2016-09-05 | セイコーエプソン株式会社 | Display device and control method for display device |
| JP2016206374A (en) * | 2015-04-21 | 2016-12-08 | セイコーエプソン株式会社 | Display unit, control method of display unit, and program |
| US10013795B2 (en) | 2015-09-14 | 2018-07-03 | Fujitsu Limited | Operation support method, operation support program, and operation support system |
| US10306217B2 (en) | 2015-04-17 | 2019-05-28 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
-
2011
- 2011-01-28 JP JP2011016206A patent/JP2012156930A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014072803A (en) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | Work support system and program |
| JP2016163136A (en) * | 2015-02-27 | 2016-09-05 | セイコーエプソン株式会社 | Display device and control method for display device |
| US10306217B2 (en) | 2015-04-17 | 2019-05-28 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
| JP2016206374A (en) * | 2015-04-21 | 2016-12-08 | セイコーエプソン株式会社 | Display unit, control method of display unit, and program |
| US10013795B2 (en) | 2015-09-14 | 2018-07-03 | Fujitsu Limited | Operation support method, operation support program, and operation support system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI517992B (en) | Vehicular image system, and display control method for vehicular image thereof | |
| TWI539810B (en) | Panoramic scene capturing and browsing mobile device, system and method | |
| US20120256959A1 (en) | Method of controlling mobile device with touch-sensitive display and motion sensor, and mobile device | |
| JP2012156930A (en) | Head-mounted remote imaging system, head-mounted imaging device, and imaging direction display method | |
| JP4725383B2 (en) | Pointing device, external information processing device, pointing position specifying device, and pointing position specifying method | |
| JP7064040B2 (en) | Display system and display control method of display system | |
| JP5949501B2 (en) | Work assistance system and program | |
| JP7372061B2 (en) | Remote work support system | |
| JP2001133854A (en) | Camera system and display device | |
| JP2011162993A (en) | Monitoring device of working machine | |
| JP2015005823A (en) | Image processing apparatus and digital mirror system | |
| JP7146735B2 (en) | Control device, external equipment, medical observation system, control method, display method and program | |
| JP2020032320A (en) | Dismantling system | |
| JP2001121458A (en) | Robot controller | |
| US11720313B2 (en) | Display system, display method and program | |
| WO2021230363A1 (en) | Remote control system, remote-working apparatus, video-processing apparatus, and program | |
| JP6655751B1 (en) | Video display control device, method and program | |
| JP5610297B2 (en) | Head-mounted imaging system, head-mounted imaging device, and image display method | |
| JP5763978B2 (en) | Control device and control method of control device | |
| JP2010141792A (en) | Universal head monitoring camera | |
| JP2007279869A (en) | Projector, remote controller for projector and pointer system | |
| JP2008098961A (en) | Imaging apparatus, its control method, and control program | |
| JP6801136B1 (en) | Remote control system and its remote work equipment, video processing equipment and programs | |
| JP2008294954A (en) | Camera system and remote control unit | |
| JP2022082127A5 (en) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140401 |