JP2006198754A - Remote controller and remote control method - Google Patents
Remote controller and remote control method Download PDFInfo
- Publication number
- JP2006198754A JP2006198754A JP2005016013A JP2005016013A JP2006198754A JP 2006198754 A JP2006198754 A JP 2006198754A JP 2005016013 A JP2005016013 A JP 2005016013A JP 2005016013 A JP2005016013 A JP 2005016013A JP 2006198754 A JP2006198754 A JP 2006198754A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- operator
- work
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、作業空間にある作業装置を遠隔操作する遠隔操作装置および遠隔操作方法に関する。 The present invention relates to a remote operation device and a remote operation method for remotely operating a work device in a work space.
宇宙空間、原子力発電所、海底、災害現場、医療現場等の作業空間でロボットを用いて作業を行う場合、操作者はロボットを遠隔操作することが必要となる。 When working with a robot in a work space such as outer space, a nuclear power plant, the seabed, a disaster site, or a medical site, an operator needs to remotely operate the robot.
操作者が作業空間にあるロボットを直視できない場合には、作業空間にカメラを設置し、操作者はカメラから伝送されてくる実映像を見ながら操作デバイスを操作することによりロボットの作業アームを操作する。 If the operator cannot directly view the robot in the work space, a camera is installed in the work space, and the operator operates the robot's work arm by operating the operation device while watching the actual image transmitted from the camera. To do.
また、カメラを作業空間に適切に設置することが困難な場合にカメラからの映像と同等の映像をグラフィックシミュレータにより作成し、グラフィック映像を操作者に呈示するロボットの遠隔操作支援装置も提案されている(特許文献1参照)。
作業空間でのロボットによる作業では、上記のように、操作者は遠隔場所から伝送される実映像またはそれと同等のグラフィック映像を見ながら操作デバイスを用いてロボットの作業アームを遠隔操作し、移動する物体を作業アームにより把持し、あるいは移動する他のロボットの作業アームと協調作業を行う場合がある。 In the work by the robot in the work space, as described above, the operator remotely moves the robot's work arm by using the operation device while viewing the actual image transmitted from a remote place or a graphic image equivalent thereto. In some cases, an object is held by a work arm or coordinated with a work arm of another robot that moves.
このような場合、操作者は、映像から運動物体や他の作業アームの動きを正確に把握することが困難である。そのため、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができない。 In such a case, it is difficult for the operator to accurately grasp the movement of the moving object and other work arms from the video. For this reason, it is impossible to accurately remote-control work related to the moving object based on the video.
本発明の目的は、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができる遠隔操作装置および遠隔操作方法を提供することである。 An object of the present invention is to provide a remote control device and a remote control method capable of accurately remotely controlling a work related to a moving object based on an image.
本発明者は、動的な視覚環境が3次元運動物体の位置予測の精度にどのような影響を与えるかを調べた結果、自己運動を模擬した動的視覚環境の条件において位置予測の精度が向上することを見出した。この知見に基づいて以下の発明を案出した。 As a result of examining how the dynamic visual environment affects the accuracy of position prediction of a three-dimensional moving object, the present inventor has found that the accuracy of position prediction is improved under the conditions of the dynamic visual environment simulating self-motion. I found it to improve. Based on this knowledge, the following invention has been devised.
本発明に係る遠隔操作装置は、実作業空間に存在する作業装置を操作者が遠隔操作するための遠隔操作装置であって、操作者の操作に基づいて作業装置を遠隔操作する操作手段と、作業装置による作業状態の映像を取得する取得手段と、動画像を生成する生成手段と、取得手段により取得された映像と生成手段により生成された動画像とを合成して合成映像を得る合成手段と、合成手段により得られた合成映像を表示することにより操作者に合成映像を呈示する表示手段とを備えたものである。 A remote operation device according to the present invention is a remote operation device for an operator to remotely operate a work device existing in an actual work space, and an operation means for remotely operating the work device based on an operation of the operator; Acquisition means for acquiring a video of a working state by the work device, generation means for generating a moving image, and combining means for combining the video acquired by the acquisition means and the moving image generated by the generation means to obtain a composite video And display means for presenting the synthesized video to the operator by displaying the synthesized video obtained by the synthesizing means.
その遠隔操作装置においては、操作者による操作手段の操作に基づいて作業装置が遠隔操作される。このとき、取得手段により作業装置による作業状態の映像が取得される。一方、生成手段により動画像が生成される。取得された映像と生成された動画像とが合成手段により合成されて合成映像が得られ、表示手段に表示されることにより操作者に呈示される。 In the remote operation device, the work device is remotely operated based on the operation of the operation means by the operator. At this time, an image of the working state by the working device is obtained by the obtaining unit. On the other hand, a moving image is generated by the generating means. The acquired image and the generated moving image are combined by the combining unit to obtain a combined image, which is displayed on the display unit and presented to the operator.
この場合、表示手段に表示される合成映像の動画像が移動することにより操作者の動的な視覚環境が得られる。それにより、操作者による運動物体の位置予測の精度が向上する。したがって、操作者は、操作手段により作業空間の作業装置を表示手段に表示される合成映像に基づいて正確に遠隔操作することができる。その結果、操作者は、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができる。 In this case, the dynamic visual environment of the operator can be obtained by moving the moving image of the composite video displayed on the display means. Thereby, the accuracy of the position prediction of the moving object by the operator is improved. Therefore, the operator can accurately remotely operate the work device in the work space based on the composite image displayed on the display means by the operation means. As a result, the operator can remotely control the work related to the moving object accurately based on the video.
生成手段は、操作者が空間内を移動した場合に生じる視覚映像を模擬することにより動画像を生成してもよい。 The generation unit may generate a moving image by simulating a visual image generated when the operator moves in the space.
この場合、動画像は、操作者が空間内を移動した場合に生じる視覚映像を模擬することにより生成される。それにより、操作者の動的な視覚環境条件を得ることができる。 In this case, the moving image is generated by simulating a visual image generated when the operator moves in the space. Thereby, the dynamic visual environment condition of the operator can be obtained.
合成手段は、取得手段により取得された映像の背景として生成手段により生成された動画像を合成してもよい。 The synthesizing unit may synthesize the moving image generated by the generating unit as the background of the video acquired by the acquiring unit.
この場合、作業装置の作業状態の映像の背景として動画像が合成される。それにより、操作者は、動的な視覚環境条件において操作手段により作業空間の作業装置を正確に遠隔操作することができる。 In this case, a moving image is synthesized as a background of the image of the working state of the working device. Thus, the operator can accurately remotely operate the work device in the work space by the operation means under dynamic visual environment conditions.
表示手段は、合成手段により得られた合成映像の動画像が操作者に近づく方向に移動するように合成画像を表示してもよい。 The display means may display the synthesized image so that the moving image of the synthesized video obtained by the synthesizing means moves in a direction approaching the operator.
この場合、動画像が操作者に近づく方向に移動することにより、操作者による運動物体の位置予測の精度がさらに向上する。 In this case, since the moving image moves in a direction approaching the operator, the accuracy of the position prediction of the moving object by the operator is further improved.
本発明に係る遠隔操作方法は、実作業空間に存在する作業装置を操作者が遠隔操作するための遠隔操作方法であって、操作者の操作に基づいて作業装置を遠隔操作するステップと、作業装置による作業状態の映像を取得するステップと、動画像を生成するステップと、取得された映像と生成された動画像とを合成して合成映像を得るステップと、合成映像を表示することにより操作者に合成映像を呈示するステップとを備えたものである。 A remote operation method according to the present invention is a remote operation method for an operator to remotely operate a work device existing in an actual work space, the step of remotely operating the work device based on the operation of the operator, A step of acquiring a working state video by the device, a step of generating a moving image, a step of synthesizing the acquired video and the generated moving image to obtain a composite video, and an operation by displaying the composite video Presenting a synthesized video to the person.
その遠隔操作方法においては、操作者の操作に基づいて作業装置が遠隔操作される。このとき、作業装置による作業状態の映像が取得される。一方、動画像が生成される。取得された映像と生成された動画像とが合成されて合成映像が得られ、表示されることにより操作者に呈示される。 In the remote operation method, the work device is remotely operated based on the operation of the operator. At this time, an image of a working state by the working device is acquired. On the other hand, a moving image is generated. The acquired image and the generated moving image are combined to obtain a combined image, which is displayed to the operator when displayed.
この場合、表示される合成映像の動画像が移動することにより操作者の動的な視覚環境が得られる。それにより、操作者による運動物体の位置予測の精度が向上する。したがって、操作者は、操作手段により作業空間の作業装置を表示される合成映像に基づいて正確に遠隔操作することができる。その結果、操作者は、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができる。 In this case, the dynamic visual environment of the operator can be obtained by moving the moving image of the composite video to be displayed. Thereby, the accuracy of the position prediction of the moving object by the operator is improved. Therefore, the operator can accurately remotely control the work device in the work space based on the synthesized video displayed by the operation means. As a result, the operator can remotely control the work related to the moving object accurately based on the video.
本発明によれば、表示される合成映像の動画像が移動することにより操作者の動的な視覚環境が得られる。それにより、操作者による運動物体の位置予測の精度が向上する。したがって、操作者は、作業空間の作業装置を表示される合成映像に基づいて正確に遠隔操作することができる。その結果、操作者は、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができる。 According to the present invention, the dynamic visual environment of the operator can be obtained by moving the moving image of the displayed composite video. Thereby, the accuracy of the position prediction of the moving object by the operator is improved. Therefore, the operator can remotely control the work device in the work space accurately based on the synthesized video displayed. As a result, the operator can remotely control the work related to the moving object accurately based on the video.
(1)遠隔操作装置の構成
図1は本発明の一実施の形態に係る遠隔操作装置の構成を示すブロック図である。
(1) Configuration of Remote Operation Device FIG. 1 is a block diagram showing a configuration of a remote operation device according to an embodiment of the present invention.
図1において、実作業空間100に作業アーム11、作業アーム制御システム12およびカメラ13が設けられている。
In FIG. 1, a work arm 11, a work
ここで、実作業空間100は、例えば、宇宙空間、原子力発電所、海底、災害現場、医療現場、工場等である。作業アーム11は、実作業空間100内で種々の作業を行うマニピュレータである。カメラ13は、例えばCCD(電荷結合素子)カメラ等であり、作業アーム11を撮像するように配置される。
Here, the
一方、仮想作業環境200にマスタアーム21、マスタアーム処理システム22、映像合成装置23、動画像生成装置24および広視野ディスプレイ25が設けられている。
On the other hand, a master arm 21, a master
マスタアーム21は、実作業空間100の作業アーム11を遠隔操作するために用いられる。操作者50がマスタアーム21を操作することにより実作業空間100の作業アーム11を遠隔操作することができる。
The master arm 21 is used for remotely operating the work arm 11 in the
マスタアーム処理システム22は、マスタアーム21の操作を示す操作信号を出力する。動画像生成装置24は、後述する動画像を生成する。
The master
映像合成装置23は、実作業空間100から送信される映像と動画像生成装置24により生成される動画像とを合成する。以下、動画像が合成された映像を合成映像と呼ぶ。
The video synthesizing
この合成映像においては、動画像が背景となり、背景上に作業アーム11の映像が表示される。 In this synthesized video, the moving image is the background, and the video of the work arm 11 is displayed on the background.
映像と動画像との合成方法としては、実作業空間100から送信される映像のうち作業アーム11の領域を抽出し、抽出された領域を動画像に重ね合わせる方法、実作業空間100から送信される映像のうち作業アーム11の周囲の領域を透過状態にし、その映像を動画像に重ね合わせる方法等の種々の方法を用いることができる。
As a method for synthesizing a video and a moving image, a method of extracting a region of the work arm 11 from a video transmitted from the
映像合成装置23および動画像生成装置24の一方または両方は、例えばパーソナルコンピュータおよびアプリケーションプログラムにより構成されてもよく、映像合成装置23および動画像生成装置24の一方または両方が論理回路等の種々の電子回路により構成されてもよい。
One or both of the video synthesizing
広視野ディスプレイ25は、映像合成装置23により得られた合成映像を表示する。広視野ディスプレイ25としては、大画面液晶表示パネル、プラズマディスプレイパネル等のフラットパネルディスプレイ、投射型映像表示装置等の種々の映像表示装置を用いることができる。また、広視野ディスプレイ25として操作者50の前部だけでなく、両側部、底部および上部のうち一部または全部に画面を有する映像表示装置を用いてもよい。さらに、広視野ディスプレイ25として、3次元立体映像を表示する立体映像表示装置を用いてもよく、あるいは平面映像を表示する映像表示装置を用いてもよい。
The wide-
実作業空間100の作業アーム制御システム12およびカメラ13ならびに仮想作業環境200のマスタアーム処理システム22および映像合成装置23は、通信回線30に接続されている。
The work
実作業空間100は、仮想作業環境200から離れた場所にあってもよく、あるいは近接した場所にあってもよい。
The
通信回線30は、通信ケーブルであってもよく、公衆回線網であってもよく、インターネット、ローカルネットワーク等のネットワークであってもよい。
The
(2)遠隔操作装置の動作
次に、図1の遠隔操作装置の動作について説明する。
(2) Operation of Remote Operation Device Next, the operation of the remote operation device of FIG. 1 will be described.
実作業空間100において、カメラ13は作業アーム11を撮像し、その映像を映像信号として通信回線30を経由して仮想作業環境200の映像合成装置23に送信する。
In the
仮想作業環境200の動画像生成装置24は、合成映像の背景となる動画像を生成する。映像合成装置23は、実作業空間100から映像信号として送信された映像に動画像生成装置24により生成された動画像を合成する。広視野ディスプレイ25は、映像合成装置23により得られる合成映像を表示する。
The moving
操作者50は、広視野ディスプレイ25に表示された合成映像を見ながらマスタアーム21を操作する。マスタアーム処理システム22は、マスタアーム21の操作に基づく操作信号を通信回線30を経由して実作業空間100の作業アーム制御システム12に送信する。作業アーム制御システム12は、仮想作業環境200から送信された操作信号に基づいて作業アーム11の動作を制御する。
The
このようにして、仮想作業環境200の操作者50によるマスタアーム21の操作にしたがって実作業空間100の作業アーム11が遠隔操作される。
In this way, the work arm 11 in the
本実施の形態に係る広視野ディスプレイ25には、実作業空間100の作業アーム11の映像が動画像からなる背景とともに表示される。すなわち、作業アーム11の映像の背景が移動する。それにより、操作者50に自己が運動している感覚(自己運動感覚)を擬似的に起こさせることができる。
On the wide-
後述する実験によると、自己運動感覚を擬似的に起こさせる動的な視覚環境条件においては、静的な視覚環境条件に比べて運動物体の位置予測の精度が向上する。 According to an experiment described later, in the dynamic visual environment condition that causes the self-motion sensation to be simulated, the accuracy of the position prediction of the moving object is improved as compared with the static visual environment condition.
作業アーム11の映像に背景として合成される動画像は、操作者50に向かって近づいてくる背景映像であることが好ましい。
It is preferable that the moving image synthesized as a background with the image of the work arm 11 is a background image approaching the
本実施の形態に係る遠隔操作装置においては、広視野ディスプレイ25に表示される作業アーム11の背景が移動することにより操作者50の動的な視覚環境条件が得られる。それにより、移動する作業アーム11の位置予測の精度が向上する。したがって、操作者50は、作業アーム11を広視野ディスプレイ25に表示される合成映像に基づいて正確に遠隔操作することができる。
In the remote control device according to the present embodiment, the dynamic visual environment condition of the
(3)運動物体の位置予測実験
ここで、動的視覚環境が3次元運動物体の位置予測に与える効果を実験により調べた。
(3) Moving object position prediction experiment Here, the effect of the dynamic visual environment on the position prediction of a three-dimensional moving object was examined by experiment.
まず、実験方法および実験条件について説明する。実験装置として視覚環境シミュレータを用いて被験者に3次元立体映像による3次元仮想空間を呈示した。 First, experimental methods and experimental conditions will be described. Using a visual environment simulator as an experimental device, a three-dimensional virtual space by a three-dimensional stereoscopic image was presented to a subject.
図2は視覚環境シミュレータの概略図である。図2に示すように、視覚環境シミュレータ500は、前面、両側面および底面にそれぞれスクリーン501,502,503を有する。スクリーン501,502,503に立体映像が表示されることにより、視覚環境シミュレータ500内の被験者300に3次元仮想空間が呈示される。本実験では、4名の被験者300を採用した。
FIG. 2 is a schematic diagram of a visual environment simulator. As shown in FIG. 2, the
各被験者500に視覚環境シミュレータ500により4種類の映像を呈示した。図3は視覚環境シミュレータ500により被験者300に呈示した4種類の映像を示す模式図である。
Four types of images were presented to each subject 500 by the
図3(a)の映像は、矢印で示すように、部屋の正面の壁、両側面の壁、天井および床の全体が被験者に向かって接近するように移動する映像である。この部屋の床の中央に被験者300の位置から前方に延びるように白線WLが描かれている。この状態で、側方からボールBLの映像が白線WLに近づくように移動する。 The video in FIG. 3A is a video in which the entire front wall, both side walls, the ceiling, and the floor move toward the subject as indicated by arrows. A white line WL is drawn at the center of the floor of this room so as to extend forward from the position of the subject 300. In this state, the image of the ball BL moves from the side so as to approach the white line WL.
図3(b)の映像は、矢印で示すように、床が被験者に向かって接近するように移動する映像である。図3(a)と同様に、この床の中央に、被験者300の位置から前方に延びるように白線WLが描かれている。この状態で、側方からボールBLの映像が白線WLに近づくように移動する。 The video in FIG. 3B is a video that moves so that the floor approaches the subject as indicated by the arrows. Similar to FIG. 3A, a white line WL is drawn at the center of the floor so as to extend forward from the position of the subject 300. In this state, the image of the ball BL moves from the side so as to approach the white line WL.
図3(c)の映像は、暗闇の映像である。この映像では、被験者300の位置から前方に延びるように白線WLのみが描かれている。この状態で、側方からボールBLの映像が白線WLに近づくように移動する。 The image in FIG. 3C is a dark image. In this video, only the white line WL is drawn so as to extend forward from the position of the subject 300. In this state, the image of the ball BL moves from the side so as to approach the white line WL.
図3(d)の映像は、部屋の正面の壁、両側面の壁、天井および床の全体が静止した映像である。図3(a)と同様に、この部屋の床の中央に被験者300の位置から前方に延びるように白線WLが描かれている。この状態で、側方からボールBLの映像が白線WLに近づくように移動する。 The image in FIG. 3D is an image in which the entire front wall, both side walls, the ceiling, and the floor of the room are stationary. Similar to FIG. 3A, a white line WL is drawn in the center of the floor of this room so as to extend forward from the position of the subject 300. In this state, the image of the ball BL moves from the side so as to approach the white line WL.
図4は視覚環境シミュレータ500内で被験者300に呈示されるボールBLの映像を示す平面図である。ボールBLの映像は、白線WLに近づくように移動するが、白線WLに到達する前の位置Pで消滅する。被験者300は、ボールBLが白線WLと交差する位置を予測する。
FIG. 4 is a plan view showing an image of the ball BL presented to the subject 300 in the
この視覚環境シミュレータ500では、被験者300のリモコン操作により白線WL上の任意の位置にポールの映像を表示することができる。被験者300は、ボールBLが白線WLと交差すると予測した位置(以下、予測交差位置と呼ぶ)にポールの映像を表示させる。それにより、被験者300から予測交差位置までの距離が測定される。各被験者300について、ボールBLの移動方向を3パターンに変えて予測交差位置を調べた。
In this
図5は視覚環境シミュレータ500内で被験者300に呈示されるボールBLの映像の移動方向を示す平面図である。
FIG. 5 is a plan view showing the moving direction of the image of the ball BL presented to the subject 300 in the
ボールBLの映像の移動方向は、白線WLに垂直に交差する方向(0度の方向)D0、方向D0から奥側(被験者300から遠ざかる方向)に20度傾斜した方向(+20度の方向)D1および方向D0から手前(被験者300に近づく方向)に20度傾斜した方向(−20度の方向)D3の3パターンである。 The moving direction of the image of the ball BL is a direction perpendicular to the white line WL (a direction of 0 degrees) D0, and a direction inclined by 20 degrees from the direction D0 (a direction away from the subject 300) (a direction of +20 degrees) D1. And three patterns of a direction D3 tilted by 20 degrees from the direction D0 toward the near side (direction approaching the subject 300) (direction of -20 degrees).
図6は視覚環境シミュレータ500を用いた3次元運動物体の位置予測の結果を示す図である。
FIG. 6 is a diagram showing a result of position prediction of a three-dimensional moving object using the
図6の横軸はボールBLの移動方向を示し、縦軸は予測交差位置および実際の交差位置を示す。黒丸印は部屋全体が移動する図3(a)の映像を表示した場合の予測交差位置を示し、黒四角印は床が移動する図3(b)の映像を表示した場合の予測交差位置を示し、菱形印は暗闇である図3(c)の映像を表示した場合の予測交差位置を示し、X印は部屋全体が静止している図3(d)の映像を表示した場合の予測交差位置を示す。また、十字印は実際の交差位置を示す。図6の結果は4人の被験者の予測交差位置の平均値を表わしている。 The horizontal axis in FIG. 6 indicates the moving direction of the ball BL, and the vertical axis indicates the predicted intersection position and the actual intersection position. A black circle mark indicates a predicted intersection position when the image of FIG. 3A in which the entire room moves is displayed, and a black square mark indicates a predicted intersection position in the case of displaying the image of FIG. 3B in which the floor moves. The diamond marks indicate the predicted intersection position when the image of FIG. 3C in the dark is displayed, and the X marks indicate the predicted intersection when the image of FIG. 3D in which the entire room is stationary is displayed. Indicates the position. A cross mark indicates an actual intersection position. The result of FIG. 6 represents an average value of predicted intersection positions of four subjects.
十字印で示すように、ボールの移動方向が−20度の場合には、実際の交差位置は54cmであり、ボールの移動方向が0度の場合には、実際の交差位置は200cmであり、ボールの移動方向が+20度の場合には、実際の交差位置は346cmである。 As indicated by the cross mark, when the moving direction of the ball is −20 degrees, the actual crossing position is 54 cm, and when the moving direction of the ball is 0 degree, the actual crossing position is 200 cm, When the moving direction of the ball is +20 degrees, the actual intersection position is 346 cm.
菱形印で示すように暗闇の映像を表示した場合およびX印で示すように部屋全体が静止している映像を表示した場合には、予測交差位置と実際の交差位置との誤差が大きくなった。 When a dark image is displayed as indicated by the rhombus mark and when an image of the entire room is stationary as indicated by the X mark, the error between the predicted intersection position and the actual intersection position is increased. .
これに対して、黒丸印で示すように部屋全体が移動する映像を表示した場合および黒四角矢印で示すように床が移動する映像を表示した場合には、予測交差位置と実際の交差位置との誤差が小さくなった。 On the other hand, when an image in which the entire room moves is displayed as indicated by a black circle mark and an image in which the floor moves as indicated by a black square arrow is displayed, the predicted intersection position and the actual intersection position are The error of became small.
特に、黒丸印で示すように部屋全体が移動する映像を表示した場合には、予測交差位置と実際の交差位置との誤差がより小さくなった。 In particular, when an image in which the entire room is moved is displayed as indicated by a black circle, the error between the predicted intersection position and the actual intersection position becomes smaller.
上記の結果から、被験者300の周囲に動的視覚環境を呈示することにより3次元運動物体の位置予測の精度が向上することがわかった。特に、床だけでなく壁および天井の映像を移動させることにより、3次元運動物体の位置予測の精度がさらに向上することがわかった。 From the above results, it was found that the accuracy of the position prediction of the three-dimensional moving object is improved by presenting the dynamic visual environment around the subject 300. In particular, it has been found that the accuracy of position prediction of a three-dimensional moving object is further improved by moving not only the floor but also the images of the walls and ceiling.
したがって、図1の遠隔操作装置において、仮想作業環境200の広視野ディスプレイ25に作業アーム11の映像に背景として動画像を表示することにより、操作者50による作業アーム11の位置予測の精度が向上する。それにより、仮想作業環境200の操作者50は、広視野ディスプレイ25に表示される合成映像を見ながらマスタアーム21を操作することにより、実作業空間100の作業アーム11を正確かつ容易に遠隔操作することができる。
Accordingly, in the remote operation device of FIG. 1, the accuracy of the position prediction of the work arm 11 by the
(4)請求項の各構成要素と実施の形態の各部との対応
上記実施の形態では、作業アーム11が作業装置に相当し、マスタアーム21が操作手段に相当し、カメラ13が取得手段に相当し、動画像生成装置24が生成手段に相当し、映像合成装置23が合成手段に相当し、広視野ディスプレイ25が表示手段に相当する。
(4) Correspondence between each component of claims and each part of the embodiment In the above embodiment, the work arm 11 corresponds to the work device, the master arm 21 corresponds to the operation means, and the
(5)他の実施の形態
なお、広視野ディスプレイ25に表示される合成映像は3次元立体映像であってもよく、あるいは2次元平面映像であってもよい。
(5) Other Embodiments The synthesized video displayed on the wide-
また、作業アーム11の背景として表示される動画像は、部屋の映像に限らず、移動する種々の環境、景色、模様、物体等の映像を用いることができる。この場合、背景として表示される動画像は、操作者50に近づく方向に移動することが好ましいが、他の方向に移動してもよい。
Further, the moving image displayed as the background of the work arm 11 is not limited to a room image, and images of various moving environments, scenery, patterns, objects, and the like can be used. In this case, the moving image displayed as the background is preferably moved in a direction approaching the
また、上記実施の形態では、作業装置として作業アーム11が用いられているが、これに限定されず、作業装置として種々のロボット、マニピュレータ等を用いることができる。 Moreover, in the said embodiment, although the working arm 11 is used as a working device, it is not limited to this, A various robot, a manipulator, etc. can be used as a working device.
さらに、上記実施の形態では、操作手段としてマスタアーム21が用いられているが、これに限定されず、操作手段としてマウス、リモートコントローラ等の種々の入力装置等を用いることができる。 Furthermore, in the above embodiment, the master arm 21 is used as the operation means, but the present invention is not limited to this, and various input devices such as a mouse and a remote controller can be used as the operation means.
また、上記実施の形態では、表示手段として広視野ディスプレイ25が用いられているが、これに限定されず、CRT(陰極線管)等の種々の映像表示装置を用いることができる。
In the above embodiment, the wide-
本発明は、宇宙空間、原子力発電所、海底、災害現場、医療現場等の実作業空間の作業装置を遠隔操作等に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can use a working device in an actual working space such as outer space, nuclear power plant, seabed, disaster site, medical site, etc. for remote operation or the like.
11 作業アーム
12 作業アーム制御システム
13 カメラ
21 マスタアーム
22 マスタアーム処理システム
23 映像合成装置
24 動画像生成装置
25 広視野ディスプレイ
30 通信回線
50 操作者
100 実作業空間
200 仮想作業環境
300 被験者
500 視覚環境シミュレータ
501,502,503 スクリーン
WL 白線
BL ボール
DESCRIPTION OF SYMBOLS 11
Claims (5)
前記操作者の操作に基づいて前記作業装置を遠隔操作する操作手段と、
前記作業装置による作業状態の映像を取得する取得手段と、
動画像を生成する生成手段と、
前記取得手段により取得された映像と前記生成手段により生成された動画像とを合成して合成映像を得る合成手段と、
前記合成手段により得られた合成映像を表示することにより前記操作者に合成映像を呈示する表示手段とを備えたことを特徴とする遠隔操作装置。 A remote operation device for an operator to remotely operate a work device existing in a real work space,
Operating means for remotely operating the working device based on the operation of the operator;
An acquisition means for acquiring an image of a working state by the working device;
Generating means for generating a moving image;
Synthesizing means for synthesizing the video acquired by the acquiring means and the moving image generated by the generating means to obtain a composite video;
A remote operation device comprising: display means for presenting the synthesized video to the operator by displaying the synthesized video obtained by the synthesizing means.
前記操作者の操作に基づいて前記作業装置を遠隔操作するステップと、
前記作業装置による作業状態の映像を取得するステップと、
動画像を生成するステップと、
前記取得された映像と前記生成された動画像とを合成して合成映像を得るステップと、
前記合成映像を表示することにより前記操作者に前記合成映像を呈示するステップとを備えたことを特徴とする遠隔操作方法。 A remote operation method for an operator to remotely operate a work device existing in a real work space,
Remotely operating the working device based on the operation of the operator;
Obtaining an image of a working state by the working device;
Generating a moving image;
Synthesizing the acquired video and the generated moving image to obtain a composite video;
A remote operation method comprising: displaying the synthesized video to the operator by displaying the synthesized video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005016013A JP4320305B2 (en) | 2005-01-24 | 2005-01-24 | Remote control device and remote control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005016013A JP4320305B2 (en) | 2005-01-24 | 2005-01-24 | Remote control device and remote control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006198754A true JP2006198754A (en) | 2006-08-03 |
JP4320305B2 JP4320305B2 (en) | 2009-08-26 |
Family
ID=36957179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005016013A Expired - Fee Related JP4320305B2 (en) | 2005-01-24 | 2005-01-24 | Remote control device and remote control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4320305B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111168689A (en) * | 2018-11-13 | 2020-05-19 | 上海元趣信息技术有限公司 | Robot system capable of automatically generating children growth video and working method thereof |
-
2005
- 2005-01-24 JP JP2005016013A patent/JP4320305B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111168689A (en) * | 2018-11-13 | 2020-05-19 | 上海元趣信息技术有限公司 | Robot system capable of automatically generating children growth video and working method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP4320305B2 (en) | 2009-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8217995B2 (en) | Providing a collaborative immersive environment using a spherical camera and motion capture | |
US8615383B2 (en) | Immersive collaborative environment using motion capture, head mounted display, and cave | |
CA2662318C (en) | Immersive collaborative environment using motion capture, head mounted display, and cave | |
US20110029903A1 (en) | Interactive virtual reality image generating system | |
CA3016539A1 (en) | Image processing method, display device, and inspection system | |
Jia et al. | 3D image reconstruction and human body tracking using stereo vision and Kinect technology | |
CN107809628B (en) | Projection method, projector and projection system with full coverage of multidirectional ring screen | |
JP2020068513A5 (en) | Image processing device and its control method, program | |
CN106971658A (en) | A kind of mixed reality goods electronic sand map system and analogy method | |
JP5727207B2 (en) | Image monitoring device | |
JP4320305B2 (en) | Remote control device and remote control method | |
US7030876B2 (en) | System and method for three-dimensional imaging | |
JP2009212582A (en) | Feedback system for virtual studio | |
Shete et al. | A real-time stereo rectification of high definition image stream using GPU | |
WO2022047768A1 (en) | Virtual experience system and method combining hololens and cave | |
JP2018181288A (en) | Virtual work display method, virtual work data creation method, and three-dimensional space layout data creation method | |
JP5656809B2 (en) | Conversation video display system | |
JP5300645B2 (en) | Three-dimensional temperature distribution display device, texture creation device, and three-dimensional temperature distribution display method | |
JP2005141433A (en) | Three-dimensional virtual reality simulator | |
KR101430187B1 (en) | Controlling machine for multi display and method for providing contents | |
WO2023238759A1 (en) | Information processing method, information processing device, and information processing program | |
Zanaty et al. | 3D visualization for Intelligent Space: Time-delay compensation in a remote controlled environment | |
US20230130815A1 (en) | Image processing apparatus, image processing method, and program | |
JP2004021848A (en) | Building design system, plant design system, and three-dimensional structure body observation system | |
Daphalapurkar et al. | Motion Capture for Human-Centered Simulation Using Kinects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090601 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4320305 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130605 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130605 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130605 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140605 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |