JP2009012106A - Remote operation supporting device and program - Google Patents
Remote operation supporting device and program Download PDFInfo
- Publication number
- JP2009012106A JP2009012106A JP2007175240A JP2007175240A JP2009012106A JP 2009012106 A JP2009012106 A JP 2009012106A JP 2007175240 A JP2007175240 A JP 2007175240A JP 2007175240 A JP2007175240 A JP 2007175240A JP 2009012106 A JP2009012106 A JP 2009012106A
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- coordinate system
- laser scanner
- stereo camera
- model expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は遠隔操作支援装置および遠隔操作支援プログラムに関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。 The present invention relates to a remote operation support device and a remote operation support program, and in particular, to a method for remotely operating a work robot arranged in an environment where a human cannot easily enter, such as in a nuclear reactor. Therefore, it is suitable.
放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所では、そのような環境下に配置された作業用ロボットを遠隔操作することで、保守や点検などの作業が一般的に行われている。
ここで、保守や点検において実施される作業が既知である場合、あるいは定期的な保守における作業の内容が毎回同一である場合には、ロボットの動作を予めプログラミングしておくことで、人間が操作することなく自動運転で作業を行わせることができる。
In places where humans cannot easily enter, such as in a radiation environment or space environment, operations such as maintenance and inspection are generally performed by remotely operating a work robot placed in such an environment. It has been broken.
Here, if the work to be performed in maintenance or inspection is known, or if the content of the work in periodic maintenance is the same every time, the robot operation is programmed in advance so that a human can operate it. Work without automatic operation
一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献１には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。
しかしながら、特許文献１に開示された方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。 However, in the method disclosed in Patent Document 1, it is necessary to prepare information on the position and orientation of an object in a work environment and positioning necessary for robot operation as an environment model. In addition, it is assumed that the object exists at a predetermined position registered in the environmental model, and the state of the remotely operated object is similarly maintained during operation. It needs to be leaned.
このため、特許文献１に開示された方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、予め設定された視点のみからの合成画像しか表示することができず、任意の方向から対象物を確認することができないという問題があった。
そこで、本発明の目的は、対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物や作業環境を確認することを可能としつつ、対象物の遠隔操作を支援することが可能な遠隔操作支援装置および遠隔操作支援プログラムを提供することである。
For this reason, in the method disclosed in Patent Document 1, if the position of the target object is different from the initial position or the position of the target object is changed during the operation, the target object cannot be remotely controlled and set in advance. There is a problem that only a synthesized image from only the viewpoints can be displayed, and the object cannot be confirmed from an arbitrary direction.
Therefore, an object of the present invention is to support remote operation of an object while enabling the object and work environment to be confirmed from an arbitrary direction even when the position and orientation of the object are not known in advance. It is to provide a remote operation support device and a remote operation support program that can be used.
上述した課題を解決するために、請求項１記載の遠隔操作支援装置によれば、レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得する環境データ取得手段と、前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するマニピュレータモデル表現手段と、三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする。 In order to solve the above-described problem, according to the remote operation support device according to claim 1, environmental data acquisition means for acquiring measurement data by a laser scanner and measurement data by a stereo camera as environmental data, and an object by the laser scanner By performing three-dimensional recognition processing based on measurement data of the shape of the object, the object model expression means for generating the object model expression reflecting the shape and orientation of the object, and the state of each axis of the manipulator The manipulator model expression means for generating a manipulator model expression reflecting the operation state of the manipulator based on the same, and the object model expression and the manipulator model expression viewed from a specified viewpoint in the three-dimensional space are the same as the environment data Three-dimensional image generation means for three-dimensional display on the screen Characterized in that it comprises a.
また、請求項２記載の遠隔操作支援装置によれば、前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するカメラ座標系変換手段をさらに備え、前記三次元画像生成手段は、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする。 The remote operation support device according to claim 2, further comprising camera coordinate system conversion means for converting a coordinate system of the stereo camera into a coordinate system of the laser scanner, wherein the three-dimensional image generation means includes the laser The stereo camera measurement data converted into a scanner coordinate system is displayed together with the laser scanner measurement data.
また、請求項３記載の遠隔操作支援プログラムによれば、レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得するステップと、前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するステップと、三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする。 According to the remote operation support program of claim 3, the step of acquiring measurement data by the laser scanner and the measurement data by the stereo camera as environment data, and the third order based on the measurement data of the shape of the object by the laser scanner Performing an original recognition process to generate an object model expression reflecting the shape and orientation of the object, and a manipulator model expression reflecting the operation state of the manipulator based on the state of each axis of the manipulator And causing the computer to execute three-dimensionally displaying the object model representation and the manipulator model representation viewed from a specified viewpoint in a three-dimensional space on the same screen together with the environment data. It is characterized by.
また、請求項４記載の遠隔操作支援プログラムによれば、前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するステップをさらに備え、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする。 The remote operation support program according to claim 4, further comprising the step of converting the coordinate system of the stereo camera into the coordinate system of the laser scanner, and the stereo camera converted into the coordinate system of the laser scanner. The measurement data is displayed together with the measurement data of the laser scanner.
以上説明したように、本発明によれば、対象物およびマニピュレータの現在の状態が反映された三次元的なモデルを生成し、そのモデルをレーザスキャナやステレオカメラによる環境データとともに同一画面上に三次元的に表示させることが可能となる。このため、対象物の位置や姿勢が変化する場合においても、対象物およびマニピュレータの現在の状態を作業環境とともに精度よく表示させることが可能となるとともに、対象物およびマニピュレータを三次元的にモデル化することにより、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物の遠隔操作を円滑に行うことが可能となる。 As described above, according to the present invention, a three-dimensional model reflecting the current state of the object and the manipulator is generated, and the model is displayed on the same screen together with environmental data from a laser scanner or a stereo camera. Original display is possible. For this reason, even when the position and orientation of an object change, the current state of the object and manipulator can be accurately displayed along with the work environment, and the object and manipulator can be modeled three-dimensionally. This makes it possible to switch to an image from an arbitrary viewpoint, enabling smooth remote control of objects even in a radiation environment or space environment that humans cannot easily enter. It becomes.
以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。
図１は、本発明の一実施形態に係る遠隔操作支援装置の概略構成を示すブロック図である。
図１において、保守や点検などの作業が行われる作業エリアには、対象物１１を操作するマニピュレータ１２およびマニピュレータ１２にて操作される対象物１１が配置されている。なお、対象物１１およびマニピュレータ１２は、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。また、マニピュレータ１２とは、作業用ロボットなどを含めた遠隔操作で使用される機械装置全般を言う。
Hereinafter, a remote control support device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of a remote control support device according to an embodiment of the present invention.
In FIG. 1, a manipulator 12 that operates a target object 11 and a target object 11 that is operated by the manipulator 12 are arranged in a work area in which work such as maintenance and inspection is performed. The object 11 and the manipulator 12 can be installed in a place where humans cannot easily enter, such as in a radiation environment or a space environment. The manipulator 12 refers to all mechanical devices used in remote operation including a working robot.
ここで、マニピュレータ１２には、対象物１１を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結することができる。そして、アームは関節点を介して互いに連結され、各アームはＸ軸、Ｙ軸およびＺ軸を中心として回転自在に構成することができる。そして、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、各アームの位置を特定することができる。また、マニピュレータ１２には、対象物１１の周辺の環境を立体的に撮影するステレオカメラ１３がグリッパの近傍に取り付けられている。 Here, the manipulator 12 is provided with a gripper for gripping the object 11, and can be connected to an arm that moves the gripper to an arbitrary position in the three-dimensional space or rotates it in an arbitrary direction. The arms are connected to each other via joint points, and each arm can be configured to be rotatable about the X, Y, and Z axes. An axis is set for each arm, a three-dimensional coordinate system is set for each axis, and the position of each arm can be specified by observing the state of each axis. Further, the manipulator 12 is provided with a stereo camera 13 that stereoscopically captures the environment around the object 11 in the vicinity of the gripper.
一方、マニピュレータ１２に人間が指令を出すエリアには、マニピュレータ１２の遠隔操作を支援する遠隔操作支援装置１５が設置されている。
ここで、遠隔操作支援装置１５には、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５ｅが設けられるとともに、対象物１１の形状を計測するレーザスキャナ１４および対象物１１やマニピュレータ１２の現在の状態などを表示する表示装置１６が接続されている。
On the other hand, a remote operation support device 15 that supports remote operation of the manipulator 12 is installed in an area where a human gives a command to the manipulator 12.
Here, the remote operation support device 15 is provided with environment data acquisition means 15a, object model expression means 15b, manipulator model expression means 15c, camera coordinate system conversion means 15d, and 3D image generation means 15e, as well as the object. 11 is connected to a laser scanner 14 that measures the shape of 11 and a display device 16 that displays the current state of the object 11 and the manipulator 12.
環境データ取得手段１５ａは、レーザスキャナ１４にて計測された対象物１１上の点群データを環境データＰ１として取得したり、ステレオカメラ１３による計測データを環境データＰ３として取得したりすることができる。対象物モデル表現手段１５ｂは、対象物１１についての環境データ１５に基づいて三次元認識処理を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現を生成することができる。マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態に基づいてマニピュレータ１２の動作状態が反映されたマニピュレータモデル表現を生成することができる。カメラ座標系変換手段１５ｄは、ステレオカメラ１３とレーザスキャナ１４との間でキャリブレーションを実施することで、ステレオカメラ１３の座標系をレーザスキャナ１４の座標系に変換することができる。三次元画像生成手段１５ｅは、三次元空間の指定された視点から見た対象物モデル表現およびマニピュレータモデル表現を、レーザスキャナ１４およびステレオカメラ１３による環境データとともに同一画面上に三次元的に表示させることができる。 The environmental data acquisition means 15a can acquire the point cloud data on the object 11 measured by the laser scanner 14 as the environmental data P1, and can acquire the measurement data obtained by the stereo camera 13 as the environmental data P3. . The object model expression means 15b can generate an object model expression in which the shape and orientation of the object 11 are reflected by performing a three-dimensional recognition process based on the environment data 15 about the object 11. The manipulator model expression means 15 c can generate a manipulator model expression reflecting the operation state of the manipulator 12 based on the state of each axis of the manipulator 12. The camera coordinate system conversion unit 15 d can convert the coordinate system of the stereo camera 13 to the coordinate system of the laser scanner 14 by performing calibration between the stereo camera 13 and the laser scanner 14. The three-dimensional image generation means 15e displays the object model expression and the manipulator model expression viewed from the specified viewpoint in the three-dimensional space in three dimensions on the same screen together with the environment data from the laser scanner 14 and the stereo camera 13. be able to.
なお、対象物モデル表現およびマニピュレータモデル表現には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
また、遠隔操作支援装置１５には、マニピュレータ環境データ格納手段１７、ステレオカメラ環境データ格納手段１８、マニピュレータキャリブレーション結果格納手段１９、ステレオカメラキャリブレーション結果格納手段２０、対象物変換行列格納手段２１およびマニピュレータ変換行列格納手段２２が接続されている。
マニピュレータ座標格納手段１７は、マニピュレータ座標系の各点についてレーザスキャナ座標系における三次元座標Ａ１、Ｂ１、Ｃ１、Ｄ１、・・・を格納することができる。ステレオカメラ環境データ格納手段１８は、ステレオカメラ座標系の座標値についてレーザスキャナ座標系における三次元座標Ａ２、Ｂ２、Ｃ２、・・・を格納することができる。
For the object model expression and the manipulator model expression, for example, a surface model generally used in computer graphics can be used.
The remote operation support device 15 includes a manipulator environment data storage unit 17, a stereo camera environment data storage unit 18, a manipulator calibration result storage unit 19, a stereo camera calibration result storage unit 20, an object transformation matrix storage unit 21, and Manipulator transformation matrix storage means 22 is connected.
The manipulator coordinate storage means 17 can store the three-dimensional coordinates A1, B1, C1, D1,... In the laser scanner coordinate system for each point of the manipulator coordinate system. The stereo camera environment data storage means 18 can store the three-dimensional coordinates A2, B2, C2,... In the laser scanner coordinate system for the coordinate values of the stereo camera coordinate system.
マニピュレータキャリブレーション結果格納手段１９は、マニピュレータ１２のキャリブレーション結果を格納することができる。なお、マニピュレータ１２のキャリブレーション結果とは、マニピュレータ座標系の座標値をレーザスキャナ座標系に変換する剛体変換行列を言う。ここで、レーザスキャナ１４にてマニピュレータ１２上の３箇所以上の点に対応するレーザスキャナ座標値を測定することにより、レーザスキャナ１４とマニピュレータ１２とのキャリブレーション（関係決め）を実施することができる。具体的には、マニピュレータ１２上の測定点が３点であれば、レーザスキャナ座標系とマニピュレータ座標系との間の回転関係を表現する３×３行列と平行移動関係を表現する３次元ベクトルから構成される４×４の剛体変換行列を算出することができる。そして、レーザスキャナ１４とマニピュレータ１２とのキャリブレーションを予め実施し、マニピュレータ１２のキャリブレーション結果をマニピュレータキャリブレーション結果格納手段１９に事前に登録することができる。 The manipulator calibration result storage unit 19 can store the calibration result of the manipulator 12. The calibration result of the manipulator 12 refers to a rigid body transformation matrix that converts the coordinate values of the manipulator coordinate system into the laser scanner coordinate system. Here, by measuring the laser scanner coordinate values corresponding to three or more points on the manipulator 12 with the laser scanner 14, calibration (determination) between the laser scanner 14 and the manipulator 12 can be performed. . Specifically, if there are three measurement points on the manipulator 12, the 3 × 3 matrix representing the rotational relationship between the laser scanner coordinate system and the manipulator coordinate system and the three-dimensional vector representing the translation relationship are used. A configured 4 × 4 rigid transformation matrix can be calculated. Then, calibration of the laser scanner 14 and the manipulator 12 can be performed in advance, and the calibration result of the manipulator 12 can be registered in advance in the manipulator calibration result storage unit 19.
ステレオカメラキャリブレーション結果格納手段２０は、ステレオカメラ１３のキャリブレーション結果を格納することができる。なお、ステレオカメラ１３のキャリブレーション結果とは、ステレオカメラ座標系の座標値をレーザスキャナ座標系に変換する剛体変換行列を言う。そして、マニピュレータ１２の各軸の角度とマニピュレータ１２のキャリブレーション結果を用いることで、ステレオカメラ１３のキャリブレーション結果を算出することができる。 The stereo camera calibration result storage means 20 can store the calibration result of the stereo camera 13. The calibration result of the stereo camera 13 refers to a rigid body transformation matrix that converts the coordinate values of the stereo camera coordinate system into the laser scanner coordinate system. Then, by using the angle of each axis of the manipulator 12 and the calibration result of the manipulator 12, the calibration result of the stereo camera 13 can be calculated.
対象物変換行列格納手段２１は、対象物１１上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。なお、対象物１１の三次元認識処理による認識結果は、回転変換要素と並行移動要素からなる４×４の変換行列に対応させることができ、基本座標系に予め配置された対象物１１を基準座標系の対象物１１の位置や姿勢に合わせることができる。そして、対象物１１の基本座標系に変換行列を乗算することで、対象物１１の基準座標系に変換することができる。 The object conversion matrix storage means 21 can store a conversion matrix for converting the points on the object 11 into the three-dimensional coordinates of the reference coordinate system. Note that the recognition result of the object 11 by the three-dimensional recognition process can correspond to a 4 × 4 transformation matrix composed of a rotation transformation element and a translation element, and the object 11 placed in advance in the basic coordinate system is used as a reference. The position and orientation of the object 11 in the coordinate system can be adjusted. Then, by multiplying the basic coordinate system of the object 11 by the conversion matrix, the object 11 can be converted to the reference coordinate system.
マニピュレータ変換行列格納手段２２は、マニピュレータ１２上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。なお、マニピュレータ変換行列格納手段２２に格納される変換行列は、マニピュレータ１２の各軸１、２、・・・ごとに設けることができ、マニピュレータのアームから定期的に現在の軸角度を読み出し、各軸座標系の変換行列（軸１の変換行列、軸２の変換行列、・・・、先端の変換行列）に変換して保存することができる。そして、マニピュレータ１２上の指定された点の三次元座標系に変換行列を乗算することで、基準座標系の三次元座標に変換することができる。 The manipulator conversion matrix storage means 22 can store a conversion matrix for converting the points on the manipulator 12 into the three-dimensional coordinates of the reference coordinate system. Note that the transformation matrix stored in the manipulator transformation matrix storage means 22 can be provided for each axis 1, 2,... Of the manipulator 12, and periodically reads the current axis angle from the arm of the manipulator, It can be converted into an axis coordinate system conversion matrix (axis 1 conversion matrix, axis 2 conversion matrix,..., Tip conversion matrix) and stored. Then, by multiplying the three-dimensional coordinate system of the designated point on the manipulator 12 by the conversion matrix, it can be converted into the three-dimensional coordinates of the reference coordinate system.
そして、レーザスキャナ１４は、レーザ光にて対象物１１を走査することにより、三次元計測処理を行う。そして、環境データ取得手段１５ａは、レーザスキャナ１４にて三次元計測処理が行われると、対象物１１上の点群データを環境データＰ１として取得し、遠隔操作支援装置１５に保存する。
そして、対象物モデル表現手段１５ｂは、三次元認識データベースを参照しながら、対象物１１についての環境データＰ１に基づいて三次元認識処理を行うことで、対象物１１の形状および姿勢が反映された対象物モデル表現を生成する。ここで、三次元認識データベースには、マニピュレータ１２にて操作される複数の対象物１１についてのスピンイメージを格納することができる。そして、対象物１１についての環境データＰ１に基づいて三次元認識処理を行う場合、対象物１１の点群データについての法線ベクトルを設定し、レーザスキャナ１４にて計測された点群データについてのスピンイメージと、三次元認識データベースに格納されたスピンイメージとを照合することができる。なお、スピンイメージを用いた三次元認識処理については、特開２００６−１３９７１３号公報に詳細に記載されている。
The laser scanner 14 performs a three-dimensional measurement process by scanning the object 11 with laser light. Then, when the three-dimensional measurement process is performed by the laser scanner 14, the environment data acquisition unit 15 a acquires the point cloud data on the object 11 as the environment data P 1 and stores it in the remote operation support device 15.
Then, the object model expression means 15b reflects the shape and orientation of the object 11 by performing the 3D recognition process based on the environment data P1 for the object 11 while referring to the 3D recognition database. Generate an object model representation. Here, the three-dimensional recognition database can store spin images for a plurality of objects 11 operated by the manipulator 12. And when performing a three-dimensional recognition process based on the environmental data P1 about the target object 11, the normal vector about the point cloud data of the target object 11 is set, and the point cloud data measured by the laser scanner 14 is set. The spin image and the spin image stored in the three-dimensional recognition database can be collated. Note that the three-dimensional recognition process using the spin image is described in detail in Japanese Patent Application Laid-Open No. 2006-139713.
このスピンイメージを用いた三次元認識処理では、対象物１１の三次元認識を行うために、対象物１１全体の点群データを計測する必要がなく、レーザスキャナ１４による一方向からの計測で済ませることができるので、計算量を減らすことができる。
また、対象物モデル表現手段１５ｂは、対象物１１についての環境データＰ１に基づいて三次元認識処理を行うことで、対象物１１の変換行列を算出し、対象物変換行列格納手段２１に格納することができる。
また、ステレオカメラ１３は、対象物１１の周辺環境を複数の視点から撮影することにより、対象物１１の周辺環境についての立体的な計測を行う。そして、環境データ取得手段１５ａは、ステレオカメラ１３による計測データを環境データＰ３として取得し、遠隔操作支援装置１５に保存する。
In the three-dimensional recognition process using the spin image, it is not necessary to measure the point cloud data of the entire target object 11 in order to perform the three-dimensional recognition of the target object 11, and the measurement can be performed from one direction by the laser scanner 14. This can reduce the amount of calculation.
Further, the object model expression means 15 b calculates a transformation matrix of the object 11 by performing a three-dimensional recognition process based on the environment data P <b> 1 about the object 11, and stores it in the object transformation matrix storage means 21. be able to.
In addition, the stereo camera 13 performs three-dimensional measurement of the surrounding environment of the object 11 by photographing the surrounding environment of the object 11 from a plurality of viewpoints. Then, the environment data acquisition unit 15 a acquires measurement data obtained by the stereo camera 13 as environment data P <b> 3 and stores it in the remote operation support device 15.
さらに、マニピュレータ１２は、マニピュレータ１２の各軸の状態Ｐ２を検出し、遠隔操作支援装置１５に送る。そして、マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態Ｐ２に基づいて、マニピュレータ１２の実際の動きが反映されたマニピュレータ１２と同様な形状を構築することにより、マニピュレータ１２の動作状態が反映されたマニピュレータモデル表現を生成する。なお、マニピュレータモデル表現を生成するために必要なアームなどのマニピュレータ１２の構成要素の寸法は遠隔操作支援装置１５に予め登録することができる。また、マニピュレータ１２の各軸の状態Ｐ２は、マニピュレータ１２の各軸の角度を用いることができ、マニピュレータ１２の各軸の角度を検出するために角度センサを各軸ごとに設けることができる。 Further, the manipulator 12 detects the state P <b> 2 of each axis of the manipulator 12 and sends it to the remote operation support device 15. Then, the manipulator model expression means 15c reflects the operation state of the manipulator 12 by constructing a shape similar to the manipulator 12 in which the actual movement of the manipulator 12 is reflected based on the state P2 of each axis of the manipulator 12. Generate a manipulator model representation. Note that the dimensions of the components of the manipulator 12 such as an arm necessary for generating the manipulator model representation can be registered in the remote operation support device 15 in advance. Further, the state P2 of each axis of the manipulator 12 can use the angle of each axis of the manipulator 12, and an angle sensor can be provided for each axis in order to detect the angle of each axis of the manipulator 12.
また、マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態Ｐ２を取得すると、マニピュレータ１２の各軸座標系の変換行列に変換して、マニピュレータ変換行列格納手段２２に格納することができる。
そして、カメラ座標系変換手段１５ｄは、マニピュレータ１２の各軸ごとの変換行列とマニピュレータ１２のキャリブレーション結果を用いることで、ステレオカメラ１３のキャリブレーション結果を算出し、ステレオカメラキャリブレーション結果格納手段２０に登録する。そして、ステレオカメラ１３のキャリブレーション結果を用いて、ステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換することで、ステレオカメラ座標系の座標値についてのレーザスキャナ座標系における三次元座標Ａ２、Ｂ２、Ｃ２、・・・を求め、ステレオカメラ環境データ格納手段１８に格納する。
Further, when the manipulator model expressing unit 15 c acquires the state P <b> 2 of each axis of the manipulator 12, the manipulator model expressing unit 15 c can convert it into a conversion matrix of each axis coordinate system of the manipulator 12 and store it in the manipulator conversion matrix storage unit 22.
Then, the camera coordinate system conversion unit 15d calculates the calibration result of the stereo camera 13 by using the conversion matrix for each axis of the manipulator 12 and the calibration result of the manipulator 12, and the stereo camera calibration result storage unit 20 Register with. Then, by using the calibration result of the stereo camera 13, the coordinate value of the stereo camera coordinate system is converted into the coordinate value of the laser scanner coordinate system, so that the coordinate value of the stereo camera coordinate system is three-dimensional in the laser scanner coordinate system. Coordinates A2, B2, C2,... Are obtained and stored in the stereo camera environment data storage means 18.
そして、三次元画像生成手段１５ｅは、三次元空間の指定された視点から見た対象物モデル表現およびマニピュレータモデル表現を三次元的に示す二次元画像を生成し、レーザスキャナ１４による環境データＰ１およびレーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３とともに、表示装置１６の同一画面上に重ねて表示させることができる。なお、対象物モデル表現およびマニピュレータモデル表現を表示装置１６に表示させる場合、Ｏｏｅｎ ＧＬなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現およびマニピュレータモデル表現を同一画面上に重ねて表示させることができる。 Then, the three-dimensional image generation means 15e generates a two-dimensional image that three-dimensionally shows the object model expression and the manipulator model expression viewed from the specified viewpoint in the three-dimensional space, and the environmental data P1 and the laser scanner 14 Along with the environment data P3 by the stereo camera 13 converted into the laser scanner coordinate system, it can be displayed on the same screen of the display device 16 in an overlapping manner. When the object model expression and the manipulator model expression are displayed on the display device 16, the object model expression and the manipulator model expression viewed from an arbitrary viewpoint can be displayed on the same screen by using graphics software such as Ooen GL. Can be displayed in an overlapping manner.
そして、オペレータは、対象物モデル表現およびマニピュレータモデル表現を三次元的に示す画像が環境データＰ１、Ｐ３とともに表示装置１６上に表示されると、遠隔操作しやすいように視点を切り替えながら、マニピュレータ１２を操作することができる。
これにより、対象物１１およびマニピュレータ１２の現在の状態が反映された三次元的なモデルを生成し、そのモデルをレーザスキャナ１４やステレオカメラ１３による環境データＰ１、Ｐ３とともに同一画面上に三次元的に表示させることが可能となる。このため、対象物１１の位置や姿勢が変化したり、対象物１１の近傍に障害物が存在したりする場合においても、対象物１１およびマニピュレータ１２の現在の状態を作業環境とともに精度よく表示させることが可能となるとともに、対象物１１およびマニピュレータ１２を三次元的にモデル化することにより、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物１１の遠隔操作を円滑に行うことが可能となる。
Then, when an image that three-dimensionally shows the object model expression and the manipulator model expression is displayed on the display device 16 together with the environment data P1 and P3, the operator switches the viewpoint so that it can be easily operated remotely. Can be operated.
As a result, a three-dimensional model reflecting the current state of the object 11 and the manipulator 12 is generated, and the model is three-dimensionally displayed on the same screen together with the environment data P1 and P3 from the laser scanner 14 and the stereo camera 13. Can be displayed. For this reason, even when the position and posture of the target object 11 change or an obstacle exists in the vicinity of the target object 11, the current state of the target object 11 and the manipulator 12 is accurately displayed together with the work environment. In addition, by modeling the object 11 and the manipulator 12 three-dimensionally, it is possible to switch to an image from an arbitrary viewpoint, and in a radiation environment or space where humans cannot easily enter Even in an environment or the like, the remote operation of the object 11 can be performed smoothly.
なお、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５ｅは、これらの手段で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。
そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置１５のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５で行われる処理を実現することができる。
The environment data acquisition means 15a, the object model expression means 15b, the manipulator model expression means 15c, the camera coordinate system conversion means 15d, and the 3D image generation means 15e are described with instructions for performing the processing performed by these means. This can be realized by causing the computer to execute the program.
If this program is stored in a storage medium such as a CD-ROM, the environment data acquisition means 15a, the target are installed by installing the storage medium in the computer of the remote operation support device 15 and installing the program in the computer. The processing performed by the object model expressing unit 15b, the manipulator model expressing unit 15c, the camera coordinate system converting unit 15d, and the 3D image generating unit 15 can be realized.
また、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。 In addition, a program in which instructions for executing the processing performed by the environment data acquisition means 15a, the object model expression means 15b, the manipulator model expression means 15c, the camera coordinate system conversion means 15d, and the 3D image generation means 15 are described in the computer When executed, it may be executed by a stand-alone computer, or may be distributed to a plurality of computers connected to a network.
図２は、本発明の一実施形態に係る遠隔操作支援装置に適用されるマニピュレータ座標系およびステレオカメラ座標系の一例を示す図である。
図２において、マニピュレータ１２の三次元座標系は、マニピュレータ１２の各軸１、２、・・・ごとに設けることができる。例えば、マニピュレータ１２の基準座標系はＸ０・Ｙ０・Ｚ０座標系、軸１の座標系はＸ１・Ｙ１・Ｚ１座標系、軸２の座標系はＸ２・Ｙ２・Ｚ２座標系、軸３の座標系はＸ３・Ｙ３・Ｚ３座標系、軸４の座標系はＸ４・Ｙ４・Ｚ４座標系とし、マニピュレータ１２に取り付けられたステレオカメラ１３の座標系はＸ５・Ｙ５・Ｚ５座標系とすることができる。そして、マニピュレータ１２の各軸間の距離ｄ１、ｄ２、ｄ３、ｄ４を設定することができる。
FIG. 2 is a diagram illustrating an example of a manipulator coordinate system and a stereo camera coordinate system applied to the remote operation support device according to the embodiment of the present invention.
2, the three-dimensional coordinate system of the manipulator 12 can be provided for each axis 1, 2,... For example, the reference coordinate system of the manipulator 12 is the X0 / Y0 / Z0 coordinate system, the coordinate system of the axis 1 is the X1 / Y1 / Z1 coordinate system, the coordinate system of the axis 2 is the X2 / Y2 / Z2 coordinate system, and the coordinate system of the axis 3 Can be an X3 / Y3 / Z3 coordinate system, the coordinate system of the axis 4 can be an X4 / Y4 / Z4 coordinate system, and the coordinate system of the stereo camera 13 attached to the manipulator 12 can be an X5 / Y5 / Z5 coordinate system. Then, the distances d1, d2, d3, d4 between the axes of the manipulator 12 can be set.
そして、例えば、軸１の座標系の点は、以下の（１）式にてレーザスキャナ座標系の座標値に変換することができる。
（マニピュレータ１２のキャリブレーション結果）×（軸１の座標系の変換行列）×（軸１上の点座標） ・・・（１）
また、例えば、ステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換する変換行列は、以下の（２）式にて与えることができる。
（マニピュレータ１２のキャリブレーション結果）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸３の座標系の変換行列）×（軸４の座標系の変換行列）×（ステレオカメラ座標系の変換行列） ・・・（２）
For example, a point in the coordinate system of the axis 1 can be converted into a coordinate value in the laser scanner coordinate system by the following equation (1).
(Calibration result of manipulator 12) × (conversion matrix of coordinate system of axis 1) × (point coordinates on axis 1) (1)
Further, for example, a conversion matrix for converting the coordinate value of the stereo camera coordinate system into the coordinate value of the laser scanner coordinate system can be given by the following equation (2).
(Calibration result of manipulator 12) × (Conversion matrix of coordinate system of axis 1) × (Conversion matrix of coordinate system of axis 2) × (Conversion matrix of coordinate system of axis 3) × (Conversion of coordinate system of axis 4) Matrix) × (transformation matrix of stereo camera coordinate system) (2)
図３は、本発明の一実施形態に係るステレオカメラによる環境データの位置変換方法を示すフローチャートである。なお、図３の環境データの位置変換方法では、マニピュレータ１２の４個の軸があるものとして説明する。
図３において、図１のカメラ座標系変換手段１５ｄは、マニピュレータ１２のキャリブレーション結果をマニピュレータキャリブレーション結果格納手段１９から読み出す（ステップＳ１）。また、カメラ座標系変換手段１５ｄは、マニピュレータ１２の軸角度とアーム長ｄ１〜ｄ４を読み出し（ステップＳ２）、マニピュレータ１２の軸数分だけ前軸の変換行列と現軸の変換行列とを順次乗算し（ステップＳ３、Ｓ５）、その乗算結果を保持する（ステップＳ４）。
FIG. 3 is a flowchart showing a method for converting the position of environmental data by a stereo camera according to an embodiment of the present invention. Note that the environmental data position conversion method in FIG. 3 will be described on the assumption that there are four axes of the manipulator 12.
In FIG. 3, the camera coordinate system conversion unit 15d in FIG. 1 reads the calibration result of the manipulator 12 from the manipulator calibration result storage unit 19 (step S1). The camera coordinate system conversion means 15d reads the axis angle of the manipulator 12 and the arm lengths d1 to d4 (step S2), and sequentially multiplies the conversion matrix of the front axis and the conversion matrix of the current axis by the number of axes of the manipulator 12. (Steps S3 and S5), and the multiplication result is held (Step S4).
そして、マニピュレータ１２の軸４の座標系をステレオカメラ座標系に合致させるための移動量を算出し（ステップＳ６）、マニピュレータ１２のキャリブレーション結果とマニピュレータ１２の軸数分の変換行列とが乗算された乗算結果に、マニピュレータ１２の軸４の移動量を加算することで、ステレオカメラ１３のキャリブレーション結果を算出する（ステップＳ７）。 Then, a movement amount for matching the coordinate system of the axis 4 of the manipulator 12 with the stereo camera coordinate system is calculated (step S6), and the calibration result of the manipulator 12 and the conversion matrix for the number of axes of the manipulator 12 are multiplied. The calibration result of the stereo camera 13 is calculated by adding the movement amount of the axis 4 of the manipulator 12 to the multiplication result (step S7).
次に、カメラ座標系変換手段１５ｄは、ステレオカメラ１３による環境データＰ３と色情報とを読み出し（ステップＳ８）、ステレオカメラ１３のキャリブレーション結果とステレオカメラ１３による環境データＰ３とを乗算することで、ステレオカメラ１３による環境データＰ３におけるステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換する（ステップＳ９）。そして、レーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３に色情報を付加し（ステップＳ１０）、ステレオカメラ環境データ格納手段１８に保存する（ステップＳ１１）。そして、ステップＳ９〜Ｓ１１の処理を環境データＰ３の個数分だけ繰り返したかどうかを判断し（ステップＳ１２）、環境データＰ３の個数分だけ繰り返してない場合にはステップＳ９〜Ｓ１１の処理を繰り返す。 Next, the camera coordinate system conversion means 15d reads the environment data P3 and color information from the stereo camera 13 (step S8), and multiplies the calibration result of the stereo camera 13 by the environment data P3 from the stereo camera 13. Then, the coordinate value of the stereo camera coordinate system in the environment data P3 by the stereo camera 13 is converted to the coordinate value of the laser scanner coordinate system (step S9). Then, the color information is added to the environment data P3 by the stereo camera 13 converted into the laser scanner coordinate system (step S10), and is stored in the stereo camera environment data storage means 18 (step S11). Then, it is determined whether or not the processing of steps S9 to S11 has been repeated for the number of environmental data P3 (step S12). If the processing has not been repeated for the number of environmental data P3, the processing of steps S9 to S11 is repeated.
図４（ａ）は、本発明の一実施形態に係るレーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図、図４（ｂ）は、本発明の一実施形態に係るステレオカメラによる環境データ、レーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図である。
図４（ａ）において、対象物１１の形状および姿勢が反映された対象物モデル表現およびマニピュレータ１２の実際の動きが反映されたマニピュレータモデル表現が、レーザスキャナ１４による環境データＰ１とともに表示装置１６に表示されている。
また、図４（ｂ）において、対象物１１の形状および姿勢が反映された対象物モデル表現およびマニピュレータ１２の実際の動きが反映されたマニピュレータモデル表現が、レーザスキャナ１４による環境データＰ１およびレーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３とともに表示装置１６に表示されている。
FIG. 4A is a diagram showing a display example of environmental data, model expression of an object, and model expression of a manipulator by a laser scanner according to an embodiment of the present invention, and FIG. 4B is an embodiment of the present invention. It is a figure which shows the example of a display of the environmental data by the stereo camera which concerns on a form, the environmental data by a laser scanner, the model expression of a target object, and the model expression of a manipulator.
In FIG. 4A, the object model expression reflecting the shape and posture of the object 11 and the manipulator model expression reflecting the actual movement of the manipulator 12 are displayed on the display device 16 together with the environmental data P1 from the laser scanner 14. It is displayed.
In FIG. 4B, the object model expression reflecting the shape and orientation of the object 11 and the manipulator model expression reflecting the actual movement of the manipulator 12 are the environmental data P1 and the laser scanner by the laser scanner 14. It is displayed on the display device 16 together with the environment data P3 by the stereo camera 13 converted into the coordinate system.
１１ 対象物
１２ マニピュレータ
１３ ステレオカメラ
１４ レーザスキャナ
１５ 遠隔操作支援装置
１５ａ 環境データ取得手段
１５ｂ 対象物モデル表現手段
１５ｃ マニピュレータモデル表現手段
１５ｄ カメラ座標系変換手段
１５ｅ 三次元画像生成手段
１６ 表示装置
１７ マニピュレータ環境データ格納手段
１８ ステレオカメラ環境データ格納手段
１９ マニピュレータキャリブレーション結果格納手段
２０ ステレオカメラキャリブレーション結果格納手段
２１ 対象物変換行列格納手段
２２ マニピュレータ変換行列格納手段
DESCRIPTION OF SYMBOLS 11 Object 12 Manipulator 13 Stereo camera 14 Laser scanner 15 Remote operation support device 15a Environment data acquisition means 15b Object model expression means 15c Manipulator model expression means 15d Camera coordinate system conversion means 15e Three-dimensional image generation means 16 Display device 17 Manipulator environment Data storage means 18 Stereo camera environment data storage means 19 Manipulator calibration result storage means 20 Stereo camera calibration result storage means 21 Object conversion matrix storage means 22 Manipulator conversion matrix storage means
Claims (4)
前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、
マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するマニピュレータモデル表現手段と、
三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする遠隔操作支援装置。 Environmental data acquisition means for acquiring measurement data by a laser scanner and measurement data by a stereo camera as environmental data;
An object model expression means for generating an object model expression reflecting the shape and orientation of the object by performing a three-dimensional recognition process based on measurement data of the object shape by the laser scanner;
Manipulator model expression means for generating a manipulator model expression reflecting the operation state of the manipulator based on the state of each axis of the manipulator;
3D image generating means for displaying the object model representation and the manipulator model representation viewed from a specified viewpoint in a three-dimensional space together with the environment data in a three-dimensional manner on the same screen. Operation support device.
前記三次元画像生成手段は、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする請求項１記載の遠隔操作支援装置。 Further comprising camera coordinate system conversion means for converting the coordinate system of the stereo camera into the coordinate system of the laser scanner;
The remote operation support device according to claim 1, wherein the three-dimensional image generation means displays the measurement data of the stereo camera converted into the coordinate system of the laser scanner together with the measurement data of the laser scanner.
前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、
マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するステップと、
三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする遠隔操作支援プログラム。 Obtaining measurement data from a laser scanner and measurement data from a stereo camera as environmental data;
Generating an object model expression reflecting the shape and orientation of the object by performing three-dimensional recognition processing based on measurement data of the object shape by the laser scanner;
Generating a manipulator model representation reflecting the operating state of the manipulator based on the state of each axis of the manipulator;
A remote operation characterized by causing a computer to execute the step of displaying the object model representation and the manipulator model representation viewed from a designated viewpoint in a three-dimensional space on the same screen together with the environment data. Support program.
前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする請求項３記載の遠隔操作支援プログラム。 Further comprising the step of converting the coordinate system of the stereo camera into the coordinate system of the laser scanner,
The remote operation support program according to claim 3, wherein the measurement data of the stereo camera converted into the coordinate system of the laser scanner is displayed together with the measurement data of the laser scanner.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007175240A JP2009012106A (en) | 2007-07-03 | 2007-07-03 | Remote operation supporting device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007175240A JP2009012106A (en) | 2007-07-03 | 2007-07-03 | Remote operation supporting device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009012106A true JP2009012106A (en) | 2009-01-22 |
Family
ID=40353646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007175240A Pending JP2009012106A (en) | 2007-07-03 | 2007-07-03 | Remote operation supporting device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009012106A (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012521855A (en) * | 2009-03-31 | 2012-09-20 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| CN103717358A (en) * | 2011-08-02 | 2014-04-09 | 索尼公司 | Control system, display control method, and non-transitory computer readable storage medium |
| CN103909525A (en) * | 2012-12-28 | 2014-07-09 | 发那科株式会社 | Robot system display device |
| US8864652B2 (en) | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
| US8903546B2 (en) | 2009-08-15 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Smooth control of an articulated instrument across areas with different work space conditions |
| US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US9101397B2 (en) | 1999-04-07 | 2015-08-11 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| JP2015164073A (en) * | 2015-05-13 | 2015-09-10 | 東芝プラントシステム株式会社 | Three-dimensional cad data creation system and three-dimensional cad data creation method |
| US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US9333042B2 (en) | 2007-06-13 | 2016-05-10 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9345387B2 (en) | 2006-06-13 | 2016-05-24 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
| US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US9788909B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc | Synthetic representation of a surgical instrument |
| US10008017B2 (en) | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US10258425B2 (en) | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| WO2020246225A1 (en) * | 2019-06-06 | 2020-12-10 | 株式会社日立ビルシステム | Robot assistance system, robot assistance method, and installation device |
| WO2022124398A1 (en) * | 2020-12-10 | 2022-06-16 | 三菱電機株式会社 | Remote control manipulator system and remote control assistance system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63124107A (en) * | 1986-11-14 | 1988-05-27 | Toshiba Corp | Producing device for working environment model |
| JPH0857784A (en) * | 1994-03-29 | 1996-03-05 | General Electric Co <Ge> | Remote maintenance system using robot type arm |
-
2007
- 2007-07-03 JP JP2007175240A patent/JP2009012106A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63124107A (en) * | 1986-11-14 | 1988-05-27 | Toshiba Corp | Producing device for working environment model |
| JPH0857784A (en) * | 1994-03-29 | 1996-03-05 | General Electric Co <Ge> | Remote maintenance system using robot type arm |
Cited By (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9101397B2 (en) | 1999-04-07 | 2015-08-11 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| US10271909B2 (en) | 1999-04-07 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Display of computer generated image of an out-of-view portion of a medical device adjacent a real-time image of an in-view portion of the medical device |
| US9232984B2 (en) | 1999-04-07 | 2016-01-12 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| US10433919B2 (en) | 1999-04-07 | 2019-10-08 | Intuitive Surgical Operations, Inc. | Non-force reflecting method for providing tool force information to a user of a telesurgical system |
| US9345387B2 (en) | 2006-06-13 | 2016-05-24 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US10773388B2 (en) | 2006-06-29 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US11865729B2 (en) | 2006-06-29 | 2024-01-09 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US10737394B2 (en) | 2006-06-29 | 2020-08-11 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US10730187B2 (en) | 2006-06-29 | 2020-08-04 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US9801690B2 (en) | 2006-06-29 | 2017-10-31 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical instrument |
| US9788909B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc | Synthetic representation of a surgical instrument |
| US10008017B2 (en) | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US9789608B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US11638999B2 (en) | 2006-06-29 | 2023-05-02 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US10137575B2 (en) | 2006-06-29 | 2018-11-27 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
| US10271912B2 (en) | 2007-06-13 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US10188472B2 (en) | 2007-06-13 | 2019-01-29 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9629520B2 (en) | 2007-06-13 | 2017-04-25 | Intuitive Surgical Operations, Inc. | Method and system for moving an articulated instrument back towards an entry guide while automatically reconfiguring the articulated instrument for retraction into the entry guide |
| US11751955B2 (en) | 2007-06-13 | 2023-09-12 | Intuitive Surgical Operations, Inc. | Method and system for retracting an instrument into an entry guide |
| US9333042B2 (en) | 2007-06-13 | 2016-05-10 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US11432888B2 (en) | 2007-06-13 | 2022-09-06 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US10695136B2 (en) | 2007-06-13 | 2020-06-30 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US11399908B2 (en) | 2007-06-13 | 2022-08-02 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9901408B2 (en) | 2007-06-13 | 2018-02-27 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US10258425B2 (en) | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US9717563B2 (en) | 2008-06-27 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US8864652B2 (en) | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
| US9516996B2 (en) | 2008-06-27 | 2016-12-13 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip |
| US11382702B2 (en) | 2008-06-27 | 2022-07-12 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US10368952B2 (en) | 2008-06-27 | 2019-08-06 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US11638622B2 (en) | 2008-06-27 | 2023-05-02 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| JP2012521855A (en) * | 2009-03-31 | 2012-09-20 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| US10984567B2 (en) | 2009-03-31 | 2021-04-20 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US10282881B2 (en) | 2009-03-31 | 2019-05-07 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US11941734B2 (en) | 2009-03-31 | 2024-03-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US10772689B2 (en) | 2009-08-15 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US9956044B2 (en) | 2009-08-15 | 2018-05-01 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US11596490B2 (en) | 2009-08-15 | 2023-03-07 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US10959798B2 (en) | 2009-08-15 | 2021-03-30 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US10271915B2 (en) | 2009-08-15 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US8903546B2 (en) | 2009-08-15 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Smooth control of an articulated instrument across areas with different work space conditions |
| US10537994B2 (en) | 2010-02-12 | 2020-01-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US10828774B2 (en) | 2010-02-12 | 2020-11-10 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US9622826B2 (en) | 2010-02-12 | 2017-04-18 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| CN103717358A (en) * | 2011-08-02 | 2014-04-09 | 索尼公司 | Control system, display control method, and non-transitory computer readable storage medium |
| US9199379B2 (en) | 2012-12-28 | 2015-12-01 | Fanuc Corporation | Robot system display device |
| JP2014128845A (en) * | 2012-12-28 | 2014-07-10 | Fanuc Ltd | Robot system display device |
| CN103909525A (en) * | 2012-12-28 | 2014-07-09 | 发那科株式会社 | Robot system display device |
| US11389255B2 (en) | 2013-02-15 | 2022-07-19 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| US11806102B2 (en) | 2013-02-15 | 2023-11-07 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| JP2015164073A (en) * | 2015-05-13 | 2015-09-10 | 東芝プラントシステム株式会社 | Three-dimensional cad data creation system and three-dimensional cad data creation method |
| JP2020199562A (en) * | 2019-06-06 | 2020-12-17 | 株式会社日立ビルシステム | Robot support system, robot support method and guide rail installation device |
| WO2020246225A1 (en) * | 2019-06-06 | 2020-12-10 | 株式会社日立ビルシステム | Robot assistance system, robot assistance method, and installation device |
| JPWO2022124398A1 (en) * | 2020-12-10 | 2022-06-16 | ||
| WO2022124398A1 (en) * | 2020-12-10 | 2022-06-16 | 三菱電機株式会社 | Remote control manipulator system and remote control assistance system |
| JP7224559B2 (en) | 2020-12-10 | 2023-02-17 | 三菱電機株式会社 | Remote control manipulator system and remote control support system |
| US11926064B2 (en) | 2020-12-10 | 2024-03-12 | Mitsubishi Electric Corporation | Remote control manipulator system and remote control assistance system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009012106A (en) | Remote operation supporting device and program | |
| JP2009006410A (en) | Remote operation support device and remote operation support program | |
| JP5928114B2 (en) | Robot system, robot system calibration method, robot | |
| CN112839764B (en) | System and method for weld path generation | |
| JP4737668B2 (en) | 3D measurement method and 3D measurement system | |
| JP2012011498A (en) | System and method for operating robot arm | |
| JP6826069B2 (en) | Robot motion teaching device, robot system and robot control device | |
| CN106104198A (en) | Messaging device, information processing method and program | |
| WO2015186508A1 (en) | Teaching data-generating device and teaching data-generating method for work robot | |
| WO2019239848A1 (en) | Robot control system | |
| JP2010042466A (en) | Robot teaching system and method for displaying simulation result of operation of robot | |
| CN110009689B (en) | Image data set rapid construction method for collaborative robot pose estimation | |
| JP2010094777A (en) | Remote control support device | |
| JPH0825254A (en) | Master-slave type robot arm device and arm positioning/ guiding method | |
| JP5201341B2 (en) | Remote operation support device | |
| JP2011177808A (en) | Robot control device | |
| JPH1011122A (en) | Information providing device | |
| JP5018282B2 (en) | How to create 3D shape model data for products | |
| US11926064B2 (en) | Remote control manipulator system and remote control assistance system | |
| JP7366264B2 (en) | Robot teaching method and robot working method | |
| JP7423387B2 (en) | Calibration system, information processing system, robot control system, calibration method, information processing method, robot control method, calibration program, information processing program, calibration device, information processing device, and robot control device | |
| JP5300645B2 (en) | Three-dimensional temperature distribution display device, texture creation device, and three-dimensional temperature distribution display method | |
| JP5862382B2 (en) | Work support device | |
| JP2005165665A (en) | Operation assist device and method for virtual object, computer program, and computer readable recording medium | |
| WO2023073959A1 (en) | Work assistance device and work assistance method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20100514 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110422 |
|
| A977 | Report on retrieval |
Effective date: 20111117 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20120104 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| RD03 | Notification of appointment of power of attorney |
Effective date: 20120104 Free format text: JAPANESE INTERMEDIATE CODE: A7423 |
|
| A02 | Decision of refusal |
Effective date: 20120508 Free format text: JAPANESE INTERMEDIATE CODE: A02 |