JP2009012106A - Remote operation supporting device and program - Google Patents

Remote operation supporting device and program Download PDF

Info

Publication number
JP2009012106A
JP2009012106A JP2007175240A JP2007175240A JP2009012106A JP 2009012106 A JP2009012106 A JP 2009012106A JP 2007175240 A JP2007175240 A JP 2007175240A JP 2007175240 A JP2007175240 A JP 2007175240A JP 2009012106 A JP2009012106 A JP 2009012106A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
manipulator
object
coordinate system
laser scanner
model representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007175240A
Other languages
Japanese (ja)
Inventor
Keisuke Wada
圭介 和田
Original Assignee
Fuji Electric Systems Co Ltd
富士電機システムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To support a remote operation of an object, while confirming the object from an optional direction, even when a position and attitude of the object is unknown in advance.
SOLUTION: An environmental data acquisition means 21a acquires point group data on the object 11 measured by a laser scanner 14 as environmental data 15. An object model expression means 21b generates an object model expression 18 on which shape and attitude of the object 11 are reflected by performing a three-dimensional recognition processing based on the environmental data 15 of the object 11. A manipulator model expression means 21c generates a manipulator model expression 20 on which an operation state of a manipulator 12 is reflected based on a state 19 of each axis of the manipulator 12. A three-dimensional image generation means 21d three-dimensionally displays the object model expression 18 and the manipulator model expression 20 viewed from a viewpoint designated in a three-dimensional space on the same screen.
COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は遠隔操作支援装置および遠隔操作支援プログラムに関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。 The present invention relates to a remote operation support apparatus and the remote operation support program, in particular, apply a working robot human disposed environment that can not go into easily, such as nuclear power system for a reactor in a method of remotely operated and it is suitable for.

放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所では、そのような環境下に配置された作業用ロボットを遠隔操作することで、保守や点検などの作業が一般的に行われている。 In places where human such as a radiation environment and space environment can not go into easy, such an arrangement has been working robot environment by remote control, is generally line operations such as maintenance and inspection are we.
ここで、保守や点検において実施される作業が既知である場合、あるいは定期的な保守における作業の内容が毎回同一である場合には、ロボットの動作を予めプログラミングしておくことで、人間が操作することなく自動運転で作業を行わせることができる。 Here, when the work to be executed in the maintenance and inspection are known, or if the content of the work in a regular maintenance is the same every time, by previously programming the operation of the robot, human manipulation it is possible to perform the work in automatic operation without.

一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献1には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。 On the other hand, even for the same task performed periodically, or there is an obstacle that has not previously exist, so that also address the possibility of unforeseen circumstances and some are maintenance target apparatus is broken to the positioning, for example, Patent Document 1, the information on positioning required for position and orientation and the robot operation of the object in the working environment is stored as an environmental model, the camera is obtained from the video and environmental model that captures information by displaying the synthesized image obtained by synthesizing the image displayed by graphically related method that allows induce manual operation is disclosed.
特開2003−311661号公報 JP 2003-311661 JP

しかしながら、特許文献1に開示された方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。 However, in the method disclosed in Patent Document 1, since the information about the position required for the operation of the position and orientation and robot objects in the working environment must be prepared as an environmental model, the arrangement of the object to be remotely operated pre not only need to know the object has become a prerequisite to be present at a predetermined position registered in the environment model, also when the condition of the subject being remotely controlled operation coercive it is necessary that the sauce.

このため、特許文献1に開示された方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、予め設定された視点のみからの合成画像しか表示することができず、任意の方向から対象物を確認することができないという問題があった。 Therefore, in the method disclosed in Patent Document 1, or different position of the object to the initial position, when the or change the position of the object during operation, the upper can not be remotely operated object, preset can not only be displayed combined image only from the viewpoint that is, there is a problem that it is impossible to check the object from any direction.
そこで、本発明の目的は、対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物や作業環境を確認することを可能としつつ、対象物の遠隔操作を支援することが可能な遠隔操作支援装置および遠隔操作支援プログラムを提供することである。 An object of the present invention, even when the position and orientation of the object is not known in advance, while it possible to check the object and working environment from any direction, to support the remote control of the object to provide a capable remote operation support apparatus and the remote operation support program.

上述した課題を解決するために、請求項1記載の遠隔操作支援装置によれば、レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得する環境データ取得手段と、前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するマニピュレータモデル表現手段と、三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させる三次元画像生成手段 To solve the problems described above, according to the remote operation support apparatus according to claim 1, wherein the environmental data acquisition means for acquiring measurement data by the measurement data and the stereo camera by the laser scanner as environmental data, target of the laser scanner by performing three-dimensional recognition processing based on the measurement data of the shape of the object, and the object model representation means for generating an object model representation of the shape and orientation of the object is reflected, the state of each axis of the manipulator identical to the manipulator model representation means, said object model representation and the manipulator model representation viewed from a specified viewpoint of the three-dimensional space together with the environmental data to generate the manipulator model representation the operation state of the manipulator is reflected on the basis three-dimensional image generating means for displaying three-dimensionally on the screen を備えることを特徴とする。 Characterized in that it comprises a.

また、請求項2記載の遠隔操作支援装置によれば、前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するカメラ座標系変換手段をさらに備え、前記三次元画像生成手段は、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする。 Further, according to the remote operation support apparatus according to claim 2, further comprising a camera coordinate system conversion means for converting the coordinate system of the stereo camera coordinate system of the laser scanner, the three-dimensional image generation means, said laser the measurement data of the stereo camera which has been converted into the coordinate system of the scanner, characterized in that to display along with the measurement data of the laser scanner.

また、請求項3記載の遠隔操作支援プログラムによれば、レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得するステップと、前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するステップと、三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする。 Further, according to claim 3, wherein the remote operation support program, a three-based measurement data by the measurement data and the stereo camera by the laser scanner and the step of acquiring the environmental data, the measurement data of the shape of the object by the laser scanner order by performing the origin recognition process, and generating an object model representation of the shape and orientation of the object is reflected, the manipulator model representation of the operating state of the manipulator is reflected based on the state of each axis of the manipulator generating a, be executed together with the environmental data the object model representation and the manipulator model representation viewed from a specified viewpoint three-dimensional space and causing the three-dimensionally displayed on the same screen to the computer the features.

また、請求項4記載の遠隔操作支援プログラムによれば、前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するステップをさらに備え、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする。 Further, according to the remote operation support program according to claim 4, wherein the coordinate system of the stereo camera further comprising the step of converting the coordinate system of the laser scanner, the stereo camera which has been converted into the coordinate system of the laser scanner the measurement data, characterized in that to display along with the measurement data of the laser scanner.

以上説明したように、本発明によれば、対象物およびマニピュレータの現在の状態が反映された三次元的なモデルを生成し、そのモデルをレーザスキャナやステレオカメラによる環境データとともに同一画面上に三次元的に表示させることが可能となる。 As described above, according to the present invention, to generate the object and three-dimensional model of the current state is reflected in the manipulator, tertiary on the same screen the model along with environmental data by the laser scanner or stereo camera It can be based on displaying the composed. このため、対象物の位置や姿勢が変化する場合においても、対象物およびマニピュレータの現在の状態を作業環境とともに精度よく表示させることが可能となるとともに、対象物およびマニピュレータを三次元的にモデル化することにより、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物の遠隔操作を円滑に行うことが可能となる。 Therefore, even when the position and orientation of the object is changed, the object and the current state it becomes possible to display accurately with the working environment of the manipulator, the object and three-dimensionally modeling the manipulator by, it is possible to switch the image from an arbitrary viewpoint, even human-like radiation environment and space environment which can not be go into easy, you can perform a remote operation object smoothly to become.

以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。 It will be described below with reference to the drawings remote operation support apparatus according to an embodiment of the present invention.
図1は、本発明の一実施形態に係る遠隔操作支援装置の概略構成を示すブロック図である。 Figure 1 is a block diagram showing the schematic configuration of a remote operation support apparatus according to an embodiment of the present invention.
図1において、保守や点検などの作業が行われる作業エリアには、対象物11を操作するマニピュレータ12およびマニピュレータ12にて操作される対象物11が配置されている。 In Figure 1, the work area of ​​the work, such as maintenance and inspection is performed, the object 11 to be operated at the manipulator 12 and the manipulator 12 to manipulate the object 11 is disposed. なお、対象物11およびマニピュレータ12は、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。 Incidentally, the object 11 and the manipulator 12 may be installed in a place where humans, such as a radiation environment and space environment can not intrude facilitated. また、マニピュレータ12とは、作業用ロボットなどを含めた遠隔操作で使用される機械装置全般を言う。 Further, the manipulator 12, refers to mechanical device which is used remotely, including such working robot.

ここで、マニピュレータ12には、対象物11を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結することができる。 Here, the manipulator 12, provided with a gripper for gripping an object 11, can be or move the gripper to the desired position of the three-dimensional space, connecting the arm to rotate or in any direction. そして、アームは関節点を介して互いに連結され、各アームはX軸、Y軸およびZ軸を中心として回転自在に構成することができる。 The arms are connected to one another via the articulation points, each arm can rotate freely configured around the X axis, Y axis and Z axis. そして、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、各アームの位置を特定することができる。 Then, set the axis for each arm, to set the three-dimensional coordinate system in each axis, by observing the status of each axis, it is possible to specify the position of each arm. また、マニピュレータ12には、対象物11の周辺の環境を立体的に撮影するステレオカメラ13がグリッパの近傍に取り付けられている。 Further, the manipulator 12, the stereo camera 13 that stereoscopically photographed environment around the object 11 is mounted near the grippers.

一方、マニピュレータ12に人間が指令を出すエリアには、マニピュレータ12の遠隔操作を支援する遠隔操作支援装置15が設置されている。 On the other hand, the area issuing person command to the manipulator 12, the remote operation support device 15 for supporting the remote control of the manipulator 12 is installed.
ここで、遠隔操作支援装置15には、環境データ取得手段15a、対象物モデル表現手段15b、マニピュレータモデル表現手段15c、カメラ座標系変換手段15dおよび三次元画像生成手段15eが設けられるとともに、対象物11の形状を計測するレーザスキャナ14および対象物11やマニピュレータ12の現在の状態などを表示する表示装置16が接続されている。 Here, the remote operation support device 15, environmental data acquisition unit 15a, the object model representation means 15b, manipulator model representation means 15c, along with the camera coordinate system transformation unit 15d and the three-dimensional image generating unit 15e is provided, the object display device 16 for displaying the current state of the laser scanner 14 and the object 11 and the manipulator 12 for measuring the 11 shape is connected.

環境データ取得手段15aは、レーザスキャナ14にて計測された対象物11上の点群データを環境データP1として取得したり、ステレオカメラ13による計測データを環境データP3として取得したりすることができる。 Environmental data acquisition unit 15a may be or retrieve acquires point group data on the object 11 which is measured by the laser scanner 14 as an environmental data P1, the measurement data by the stereo camera 13 as environmental data P3 . 対象物モデル表現手段15bは、対象物11についての環境データ15に基づいて三次元認識処理を行うことにより、対象物11の形状および姿勢が反映された対象物モデル表現を生成することができる。 Object model representation means 15b, by performing the three-dimensional recognition processing based on the environment data 15 for object 11, it is possible to generate an object model representation of the shape and orientation of the target object 11 is reflected. マニピュレータモデル表現手段15cは、マニピュレータ12の各軸の状態に基づいてマニピュレータ12の動作状態が反映されたマニピュレータモデル表現を生成することができる。 Manipulator model representation means 15c can generate a manipulator model representation the operation state of the manipulator 12 is reflected based on the state of each axis of the manipulator 12. カメラ座標系変換手段15dは、ステレオカメラ13とレーザスキャナ14との間でキャリブレーションを実施することで、ステレオカメラ13の座標系をレーザスキャナ14の座標系に変換することができる。 Camera coordinate system transformation unit 15d, by performing the calibration with the stereo camera 13 and the laser scanner 14, it is possible to convert a coordinate system of the stereo camera 13 to the coordinate system of the laser scanner 14. 三次元画像生成手段15eは、三次元空間の指定された視点から見た対象物モデル表現およびマニピュレータモデル表現を、レーザスキャナ14およびステレオカメラ13による環境データとともに同一画面上に三次元的に表示させることができる。 Three-dimensional image generating unit 15e includes an object model representation and the manipulator model representation viewed from a specified viewpoint of the three-dimensional space, is three-dimensionally displayed on the same screen together with the environmental data by the laser scanner 14 and the stereo camera 13 be able to.

なお、対象物モデル表現およびマニピュレータモデル表現には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。 Note that the object model representation and the manipulator model representation, for example, can be used as the Surface model commonly used in computer graphics.
また、遠隔操作支援装置15には、マニピュレータ環境データ格納手段17、ステレオカメラ環境データ格納手段18、マニピュレータキャリブレーション結果格納手段19、ステレオカメラキャリブレーション結果格納手段20、対象物変換行列格納手段21およびマニピュレータ変換行列格納手段22が接続されている。 Further, the remote operation support apparatus 15, the manipulator environment data storage unit 17, a stereo camera environment data storage means 18, the manipulator calibration result storage unit 19, a stereo camera calibration result storage unit 20, the object transformation matrix storage unit 21 and manipulator transform matrix storing means 22 is connected.
マニピュレータ座標格納手段17は、マニピュレータ座標系の各点についてレーザスキャナ座標系における三次元座標A1、B1、C1、D1、・・・を格納することができる。 Manipulator coordinate storage means 17, the three-dimensional coordinates for each point of the manipulator coordinate system in the laser scanner coordinate system A1, B1, C1, D1, it is possible to store,. ステレオカメラ環境データ格納手段18は、ステレオカメラ座標系の座標値についてレーザスキャナ座標系における三次元座標A2、B2、C2、・・・を格納することができる。 Stereo camera environment data storage means 18, the three-dimensional coordinates for the coordinate values ​​of the stereo camera coordinate system in the laser scanner coordinate system A2, B2, C2, can be stored,.

マニピュレータキャリブレーション結果格納手段19は、マニピュレータ12のキャリブレーション結果を格納することができる。 Manipulator calibration result storage unit 19 may store the calibration result of the manipulator 12. なお、マニピュレータ12のキャリブレーション結果とは、マニピュレータ座標系の座標値をレーザスキャナ座標系に変換する剛体変換行列を言う。 Note that the calibration result of the manipulator 12, refers to the rigid body transformation matrix for transforming the coordinate values ​​of the manipulator coordinate system into the laser scanner coordinate system. ここで、レーザスキャナ14にてマニピュレータ12上の3箇所以上の点に対応するレーザスキャナ座標値を測定することにより、レーザスキャナ14とマニピュレータ12とのキャリブレーション(関係決め)を実施することができる。 Here, by measuring the laser scanner coordinate values ​​corresponding with the laser scanner 14 to a point above three on the manipulator 12, it is possible to implement the calibration of the laser scanner 14 and the manipulator 12 (determined relationship) . 具体的には、マニピュレータ12上の測定点が3点であれば、レーザスキャナ座標系とマニピュレータ座標系との間の回転関係を表現する3×3行列と平行移動関係を表現する3次元ベクトルから構成される4×4の剛体変換行列を算出することができる。 More specifically, if the measurement point is 3 points on the manipulator 12, from the three-dimensional vector representing the 3 × 3 matrix and translation relations representing the rotational relationship between the laser scanner coordinate system and the manipulator coordinate system it is possible to calculate the rigid transformation matrix comprised 4 × 4. そして、レーザスキャナ14とマニピュレータ12とのキャリブレーションを予め実施し、マニピュレータ12のキャリブレーション結果をマニピュレータキャリブレーション結果格納手段19に事前に登録することができる。 Then, it is possible to previously performed calibration of the laser scanner 14 and the manipulator 12, is registered in advance a calibration result of the manipulator 12 to the manipulator calibration result storage unit 19.

ステレオカメラキャリブレーション結果格納手段20は、ステレオカメラ13のキャリブレーション結果を格納することができる。 Stereo camera calibration result storage unit 20 may store the calibration result of the stereo camera 13. なお、ステレオカメラ13のキャリブレーション結果とは、ステレオカメラ座標系の座標値をレーザスキャナ座標系に変換する剛体変換行列を言う。 Note that the calibration result of the stereo camera 13, refers to the rigid body transformation matrix for transforming the coordinate values ​​of the stereo camera coordinate system in the laser scanner coordinate system. そして、マニピュレータ12の各軸の角度とマニピュレータ12のキャリブレーション結果を用いることで、ステレオカメラ13のキャリブレーション結果を算出することができる。 Then, by using the calibration result of the angle and the manipulator 12 for each axis of the manipulator 12, it is possible to calculate the calibration result of the stereo camera 13.

対象物変換行列格納手段21は、対象物11上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。 Object transformation matrix storage unit 21 may store a transformation matrix for transforming a point on the object 11 in the three-dimensional coordinates of the reference coordinate system. なお、対象物11の三次元認識処理による認識結果は、回転変換要素と並行移動要素からなる4×4の変換行列に対応させることができ、基本座標系に予め配置された対象物11を基準座標系の対象物11の位置や姿勢に合わせることができる。 Incidentally, the recognition result by the three-dimensional recognition processing of the object 11 can be made to correspond to the transformation matrix of 4 × 4 consisting of parallel movement elements and the rotation conversion element, based on the object 11 which is previously arranged in the basic coordinate system it can be adjusted to the position and attitude of the object 11 of the coordinate system. そして、対象物11の基本座標系に変換行列を乗算することで、対象物11の基準座標系に変換することができる。 Then, by multiplying the transformation matrix to the base coordinate system of the object 11 can be converted to the reference coordinate system of the object 11.

マニピュレータ変換行列格納手段22は、マニピュレータ12上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。 Manipulator transform matrix storing unit 22 may store a transformation matrix for transforming a point on the manipulator 12 into the three-dimensional coordinates of the reference coordinate system. なお、マニピュレータ変換行列格納手段22に格納される変換行列は、マニピュレータ12の各軸1、2、・・・ごとに設けることができ、マニピュレータのアームから定期的に現在の軸角度を読み出し、各軸座標系の変換行列(軸1の変換行列、軸2の変換行列、・・・、先端の変換行列)に変換して保存することができる。 The conversion matrix stored in the manipulator transform matrix storing means 22, the axes 1 and 2 of the manipulator 12, can be provided for each.., Periodically reads the current axis angle from the arm of the manipulator, the transform matrix-axis coordinate system can be stored into a (axis 1 transformation matrix, the transformation matrix of the shaft 2, ..., transform matrix of the tip). そして、マニピュレータ12上の指定された点の三次元座標系に変換行列を乗算することで、基準座標系の三次元座標に変換することができる。 Then, by multiplying the transformation matrix into a three-dimensional coordinate system of the specified points on the manipulator 12, it can be converted into three-dimensional coordinates of the reference coordinate system.

そして、レーザスキャナ14は、レーザ光にて対象物11を走査することにより、三次元計測処理を行う。 The laser scanner 14 by scanning the object 11 at the laser beam, performs three-dimensional measurement process. そして、環境データ取得手段15aは、レーザスキャナ14にて三次元計測処理が行われると、対象物11上の点群データを環境データP1として取得し、遠隔操作支援装置15に保存する。 Then, environmental data acquisition unit 15a, when the three-dimensional measurement processing by a laser scanner 14 is performed, acquires the point cloud data on the object 11 as environmental data P1, it is stored in the remote operation support apparatus 15.
そして、対象物モデル表現手段15bは、三次元認識データベースを参照しながら、対象物11についての環境データP1に基づいて三次元認識処理を行うことで、対象物11の形状および姿勢が反映された対象物モデル表現を生成する。 Then, the object model representation means 15b, while referring to the three-dimensional recognition database, by performing three-dimensional recognition processing based on the environmental data P1 for the object 11, the shape and orientation of the object 11 is reflected to produce an object model representation. ここで、三次元認識データベースには、マニピュレータ12にて操作される複数の対象物11についてのスピンイメージを格納することができる。 Here, the three-dimensional recognition database may store spin images for a plurality of objects 11 to be operated at the manipulator 12. そして、対象物11についての環境データP1に基づいて三次元認識処理を行う場合、対象物11の点群データについての法線ベクトルを設定し、レーザスキャナ14にて計測された点群データについてのスピンイメージと、三次元認識データベースに格納されたスピンイメージとを照合することができる。 Then, the object 11 in the case of performing three-dimensional recognition processing based on the environmental data P1, for point cloud data of the object 11 to set the normal vector, for the measurement point cloud data by the laser scanner 14 it can be collated and spin images, and a spin image stored in the three-dimensional recognition database. なお、スピンイメージを用いた三次元認識処理については、特開2006−139713号公報に詳細に記載されている。 Note that the three-dimensional recognition processing using a spin image is described in detail in JP 2006-139713.

このスピンイメージを用いた三次元認識処理では、対象物11の三次元認識を行うために、対象物11全体の点群データを計測する必要がなく、レーザスキャナ14による一方向からの計測で済ませることができるので、計算量を減らすことができる。 In the three-dimensional recognition process using the spin image, in order to perform the three-dimensional object recognition 11, the object 11 is not necessary to measure the entire point cloud data, dispense with the measurement from one direction by the laser scanner 14 it is possible, it is possible to reduce the amount of computation.
また、対象物モデル表現手段15bは、対象物11についての環境データP1に基づいて三次元認識処理を行うことで、対象物11の変換行列を算出し、対象物変換行列格納手段21に格納することができる。 Further, the object model representation means 15b, by performing the three-dimensional recognition processing based on the environmental data P1 for the object 11, calculates a transformation matrix of the object 11, and stores the object transformation matrix storage unit 21 be able to.
また、ステレオカメラ13は、対象物11の周辺環境を複数の視点から撮影することにより、対象物11の周辺環境についての立体的な計測を行う。 Further, the stereo camera 13, by taking the surrounding environment of an object 11 from a plurality of viewpoints, performs three-dimensional measurement for the surroundings of the object 11. そして、環境データ取得手段15aは、ステレオカメラ13による計測データを環境データP3として取得し、遠隔操作支援装置15に保存する。 Then, environmental data acquisition unit 15a acquires the measurement data by the stereo camera 13 as an environmental data P3, is stored in the remote operation support apparatus 15.

さらに、マニピュレータ12は、マニピュレータ12の各軸の状態P2を検出し、遠隔操作支援装置15に送る。 Furthermore, the manipulator 12 detects the state P2 of each axis of the manipulator 12, and sends to the remote operation support apparatus 15. そして、マニピュレータモデル表現手段15cは、マニピュレータ12の各軸の状態P2に基づいて、マニピュレータ12の実際の動きが反映されたマニピュレータ12と同様な形状を構築することにより、マニピュレータ12の動作状態が反映されたマニピュレータモデル表現を生成する。 Then, the manipulator model representation means 15c on the basis of the state P2 of each axis of the manipulator 12, by building the same shape as the manipulator 12 the actual movement is reflected in the manipulator 12, it reflects the operating state of the manipulator 12 It has been to generate a manipulator model representation. なお、マニピュレータモデル表現を生成するために必要なアームなどのマニピュレータ12の構成要素の寸法は遠隔操作支援装置15に予め登録することができる。 The size of the components of the manipulator 12, such as arm needed to generate the manipulator model representation may be pre-registered in the remote operation support apparatus 15. また、マニピュレータ12の各軸の状態P2は、マニピュレータ12の各軸の角度を用いることができ、マニピュレータ12の各軸の角度を検出するために角度センサを各軸ごとに設けることができる。 The state P2 of each axis of the manipulator 12 can be used the angle of each axis of the manipulator 12, an angle sensor for detecting the angle of each axis of the manipulator 12 may be provided for each axis.

また、マニピュレータモデル表現手段15cは、マニピュレータ12の各軸の状態P2を取得すると、マニピュレータ12の各軸座標系の変換行列に変換して、マニピュレータ変換行列格納手段22に格納することができる。 Further, the manipulator model representation means 15c acquires the state P2 of each axis of the manipulator 12, and converts the transformation matrix of each axis coordinate system of the manipulator 12 may be stored in the manipulator transform matrix storing means 22.
そして、カメラ座標系変換手段15dは、マニピュレータ12の各軸ごとの変換行列とマニピュレータ12のキャリブレーション結果を用いることで、ステレオカメラ13のキャリブレーション結果を算出し、ステレオカメラキャリブレーション結果格納手段20に登録する。 Then, the camera coordinate system transformation unit 15d, by using the calibration result of the transformation matrix and the manipulator 12 for each axis of the manipulator 12, and calculates a calibration result of the stereo camera 13, the stereo camera calibration result storage means 20 to register to. そして、ステレオカメラ13のキャリブレーション結果を用いて、ステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換することで、ステレオカメラ座標系の座標値についてのレーザスキャナ座標系における三次元座標A2、B2、C2、・・・を求め、ステレオカメラ環境データ格納手段18に格納する。 Then, using the calibration results of the stereo camera 13, to convert the coordinates of the stereo camera coordinate system into coordinate values ​​of the laser scanner coordinate system, the three-dimensional in the laser scanner coordinate system for the coordinate values ​​of the stereo camera coordinate system coordinates A2, B2, C2, seek ..., stored in the stereo camera environment data storage unit 18.

そして、三次元画像生成手段15eは、三次元空間の指定された視点から見た対象物モデル表現およびマニピュレータモデル表現を三次元的に示す二次元画像を生成し、レーザスキャナ14による環境データP1およびレーザスキャナ座標系に変換されたステレオカメラ13による環境データP3とともに、表示装置16の同一画面上に重ねて表示させることができる。 Then, the three-dimensional image generating unit 15e generates a two-dimensional image showing the object model representation and the manipulator model representation viewed from a specified viewpoint of the three-dimensional space in three dimensions, environmental data P1 and by the laser scanner 14 together with environmental data P3 by the stereo camera 13 is converted into a laser scanner coordinate system can be displayed superimposed on the same screen of the display device 16. なお、対象物モデル表現およびマニピュレータモデル表現を表示装置16に表示させる場合、Ooen GLなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現およびマニピュレータモデル表現を同一画面上に重ねて表示させることができる。 In the case of displaying the object model representation and the manipulator model representation to a display device 16, by using the graphics software, such as Ooen GL, the same screen objects model representation and the manipulator model representation viewed from an arbitrary viewpoint it can be displayed superimposed on.

そして、オペレータは、対象物モデル表現およびマニピュレータモデル表現を三次元的に示す画像が環境データP1、P3とともに表示装置16上に表示されると、遠隔操作しやすいように視点を切り替えながら、マニピュレータ12を操作することができる。 The operator, when an image showing an object model representation and the manipulator model representation in three dimensions is displayed on the display device 16 together with the environmental data P1, P3, while switching the viewpoint to be easy to remote control manipulator 12 it is possible to manipulate.
これにより、対象物11およびマニピュレータ12の現在の状態が反映された三次元的なモデルを生成し、そのモデルをレーザスキャナ14やステレオカメラ13による環境データP1、P3とともに同一画面上に三次元的に表示させることが可能となる。 Thus, to generate a three-dimensional model of the current state of the object 11 and the manipulator 12 is reflected, three-dimensionally on the same screen the model along with environmental data P1, P3 by the laser scanner 14 and the stereo camera 13 it is possible to display on. このため、対象物11の位置や姿勢が変化したり、対象物11の近傍に障害物が存在したりする場合においても、対象物11およびマニピュレータ12の現在の状態を作業環境とともに精度よく表示させることが可能となるとともに、対象物11およびマニピュレータ12を三次元的にモデル化することにより、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物11の遠隔操作を円滑に行うことが可能となる。 Therefore, the position and may change the attitude of the object 11, even when an obstacle in the vicinity of the object 11 or present, to accurately displayed with the current state of the working environment of the object 11 and the manipulator 12 it together is possible, the object 11 and the manipulator 12 by modeling three-dimensionally, it is possible to switch the image from an arbitrary viewpoint, human can not intrude facilitate radiation environment and space be an environment, it is possible to perform smoothly the remote operation of the object 11.

なお、環境データ取得手段15a、対象物モデル表現手段15b、マニピュレータモデル表現手段15c、カメラ座標系変換手段15dおよび三次元画像生成手段15eは、これらの手段で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。 Incidentally, environmental data acquisition unit 15a, the object model representation means 15b, manipulator model representation means 15c, the camera coordinate system transformation unit 15d and the three-dimensional image generating unit 15e includes instructions to perform the processing performed by these means is described and the program can be realized by causing a computer to execute.
そして、このプログラムをCD−ROMなどの記憶媒体に記憶しておけば、遠隔操作支援装置15のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、環境データ取得手段15a、対象物モデル表現手段15b、マニピュレータモデル表現手段15c、カメラ座標系変換手段15dおよび三次元画像生成手段15で行われる処理を実現することができる。 Then, by storing the program in a storage medium such as a CD-ROM, equipped with a computer in a storage medium remote operation support device 15, by installing the program into a computer, environmental data acquisition unit 15a, the subject it is possible to achieve the object model representation means 15b, manipulator model representation means 15c, the processing performed by the camera coordinate system transformation unit 15d and the three-dimensional image generating unit 15.

また、環境データ取得手段15a、対象物モデル表現手段15b、マニピュレータモデル表現手段15c、カメラ座標系変換手段15dおよび三次元画像生成手段15で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。 Moreover, environmental data acquisition unit 15a, the object model representation means 15b, manipulator model representation means 15c, the program instructions are written to perform the processing performed by the camera coordinate system transformation unit 15d and the three-dimensional image generating unit 15 to the computer case of executing, may be caused to execute a stand-alone computer, it may be caused to distributed processing on multiple computers connected to the network.

図2は、本発明の一実施形態に係る遠隔操作支援装置に適用されるマニピュレータ座標系およびステレオカメラ座標系の一例を示す図である。 Figure 2 is a diagram showing an example of the manipulator coordinate system and the stereo camera coordinate system applied to remote operation support apparatus according to an embodiment of the present invention.
図2において、マニピュレータ12の三次元座標系は、マニピュレータ12の各軸1、2、・・・ごとに設けることができる。 2, three-dimensional coordinate system of the manipulator 12, the axes 1 and 2 of the manipulator 12, can be provided for each,. 例えば、マニピュレータ12の基準座標系はX0・Y0・Z0座標系、軸1の座標系はX1・Y1・Z1座標系、軸2の座標系はX2・Y2・Z2座標系、軸3の座標系はX3・Y3・Z3座標系、軸4の座標系はX4・Y4・Z4座標系とし、マニピュレータ12に取り付けられたステレオカメラ13の座標系はX5・Y5・Z5座標系とすることができる。 For example, the reference coordinate system of the manipulator 12 is X0 · Y0 · Z0 coordinate system, the coordinate system of the shaft 1 is X1 · Y1 · Z1 coordinate system, the coordinate system of the shaft 2 is X2 · Y2 · Z2 coordinate system, the coordinate system of the axis 3 the X3 · Y3 · Z3 coordinate system, the coordinate system of the axis 4 and X4 · Y4 · Z4 coordinate system, the coordinate system of the stereo camera 13 attached to the manipulator 12 may be a X5 · Y5 · Z5 coordinate system. そして、マニピュレータ12の各軸間の距離d1、d2、d3、d4を設定することができる。 Then, it is possible to set the distance d1, d2, d3, d4 between the axes of the manipulator 12.

そして、例えば、軸1の座標系の点は、以下の(1)式にてレーザスキャナ座標系の座標値に変換することができる。 Then, for example, the point of the coordinate system of the shaft 1, can be converted into the coordinate values ​​of the laser scanner coordinate system by the following equation (1).
(マニピュレータ12のキャリブレーション結果)×(軸1の座標系の変換行列)×(軸1上の点座標) ・・・(1) (Calibration result of the manipulator 12) × (transformation matrix of the coordinate system of the axis 1) × (the point coordinates on the axis 1) ... (1)
また、例えば、ステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換する変換行列は、以下の(2)式にて与えることができる。 Further, for example, transformation matrix for transforming the coordinate values ​​of the stereo camera coordinate system into coordinate values ​​of the laser scanner coordinate system, can be given by the following equation (2).
(マニピュレータ12のキャリブレーション結果)×(軸1の座標系の変換行列)×(軸2の座標系の変換行列)×(軸3の座標系の変換行列)×(軸4の座標系の変換行列)×(ステレオカメラ座標系の変換行列) ・・・(2) (Calibration result of the manipulator 12) × (transformation matrix of the shaft 1 coordinate system) × (transformation matrix of the shaft 2 coordinate system) × (coordinate system transformation matrix of the shaft 3) × (the coordinate system of the axis 4 of the converter matrix) × (conversion matrix of the stereo camera coordinate system) (2)

図3は、本発明の一実施形態に係るステレオカメラによる環境データの位置変換方法を示すフローチャートである。 Figure 3 is a flowchart illustrating a position conversion process of environmental data by the stereo camera according to an embodiment of the present invention. なお、図3の環境データの位置変換方法では、マニピュレータ12の4個の軸があるものとして説明する。 In the position conversion process environmental data in FIG. 3 will be described as being four axes of the manipulator 12.
図3において、図1のカメラ座標系変換手段15dは、マニピュレータ12のキャリブレーション結果をマニピュレータキャリブレーション結果格納手段19から読み出す(ステップS1)。 3, the camera coordinate system transformation unit 15d of FIG. 1 reads the calibration result of the manipulator 12 from the manipulator calibration result storage unit 19 (step S1). また、カメラ座標系変換手段15dは、マニピュレータ12の軸角度とアーム長d1〜d4を読み出し(ステップS2)、マニピュレータ12の軸数分だけ前軸の変換行列と現軸の変換行列とを順次乗算し(ステップS3、S5)、その乗算結果を保持する(ステップS4)。 The camera coordinate system transformation unit 15d reads out the axial angle and arm length d1~d4 of the manipulator 12 (step S2), and sequentially multiplying the transformation matrix of the transformation matrix and Genjiku only front axle number of axes of the manipulator 12 (step S3, S5), to hold the multiplication result (step S4).

そして、マニピュレータ12の軸4の座標系をステレオカメラ座標系に合致させるための移動量を算出し(ステップS6)、マニピュレータ12のキャリブレーション結果とマニピュレータ12の軸数分の変換行列とが乗算された乗算結果に、マニピュレータ12の軸4の移動量を加算することで、ステレオカメラ13のキャリブレーション結果を算出する(ステップS7)。 Then, calculates the movement amount for matching the coordinate system of the axis 4 of the manipulator 12 to the stereo camera coordinate system (step S6), and the calibration result and the transformation matrix for the number of axes of the manipulator 12 of the manipulator 12 are multiplied the multiplication result by adding the amount of movement of the shaft 4 of the manipulator 12, and calculates a calibration result of the stereo camera 13 (step S7).

次に、カメラ座標系変換手段15dは、ステレオカメラ13による環境データP3と色情報とを読み出し(ステップS8)、ステレオカメラ13のキャリブレーション結果とステレオカメラ13による環境データP3とを乗算することで、ステレオカメラ13による環境データP3におけるステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換する(ステップS9)。 Then, the camera coordinate system transformation unit 15d reads out the environmental data P3 by the stereo camera 13 and the color information (step S8), and by multiplying the environmental data P3 by the calibration result and the stereo camera 13 of the stereo camera 13 , converts the coordinates of the stereo camera coordinate system in the environment data P3 by the stereo camera 13 to the coordinate values ​​of the laser scanner coordinate system (step S9). そして、レーザスキャナ座標系に変換されたステレオカメラ13による環境データP3に色情報を付加し(ステップS10)、ステレオカメラ環境データ格納手段18に保存する(ステップS11)。 Then, the environmental data P3 by the stereo camera 13 is converted into a laser scanner coordinate system by adding the color information (step S10), and stores the stereo camera environmental data storage unit 18 (step S11). そして、ステップS9〜S11の処理を環境データP3の個数分だけ繰り返したかどうかを判断し(ステップS12)、環境データP3の個数分だけ繰り返してない場合にはステップS9〜S11の処理を繰り返す。 Then, the processing of step S9~S11 determine whether repeated by the number fraction of the environmental data P3 (step S12), the repeats the processing in step S9~S11 if not repeated for the number fraction of the environmental data P3.

図4(a)は、本発明の一実施形態に係るレーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図、図4(b)は、本発明の一実施形態に係るステレオカメラによる環境データ、レーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図である。 4 (a) is a diagram showing a display example of a model representation and the manipulator model representation of the laser scanner according to environmental data, an object according to an embodiment of the present invention, FIG. 4 (b), an embodiment of the present invention environmental data from the stereo camera according to the embodiment, a diagram illustrating the environment data by the laser scanner, a display example of a model representation and the manipulator model representation of the object.
図4(a)において、対象物11の形状および姿勢が反映された対象物モデル表現およびマニピュレータ12の実際の動きが反映されたマニピュレータモデル表現が、レーザスキャナ14による環境データP1とともに表示装置16に表示されている。 Figure 4 (a), the actual manipulator model representation motion is reflected in the object 11 object model representation and the manipulator 12 shape and orientation is reflected of the display device 16 together with the environmental data P1 by the laser scanner 14 It is displayed.
また、図4(b)において、対象物11の形状および姿勢が反映された対象物モデル表現およびマニピュレータ12の実際の動きが反映されたマニピュレータモデル表現が、レーザスキャナ14による環境データP1およびレーザスキャナ座標系に変換されたステレオカメラ13による環境データP3とともに表示装置16に表示されている。 Further, FIG. 4 (b), the manipulator model representation of actual movement is reflected in the object model representation and the manipulator 12 the shape and orientation of the object 11 is reflected, environmental data P1 and the laser scanner by the laser scanner 14 It is displayed on the display device 16 together with the environmental data P3 by the stereo camera 13, which is converted into the coordinate system.

本発明の一実施形態に係る遠隔操作支援装置の概略構成を示すブロック図である。 Is a block diagram showing the schematic configuration of a remote operation support apparatus according to an embodiment of the present invention. 本発明の一実施形態に係る遠隔操作支援装置に適用されるマニピュレータ座標系およびステレオカメラ座標系の一例を示す図である。 Is a diagram illustrating an example of the manipulator coordinate system and the stereo camera coordinate system applied to remote operation support apparatus according to an embodiment of the present invention. 本発明の一実施形態に係るステレオカメラによる環境データの位置変換方法を示すフローチャートである。 Is a flowchart illustrating a position conversion process of environmental data by the stereo camera according to an embodiment of the present invention. 図4(a)は、本発明の一実施形態に係るレーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図、図4(b)は、本発明の一実施形態に係るステレオカメラによる環境データ、レーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図である。 4 (a) is a diagram showing a display example of a model representation and the manipulator model representation of the laser scanner according to environmental data, an object according to an embodiment of the present invention, FIG. 4 (b), an embodiment of the present invention environmental data from the stereo camera according to the embodiment, a diagram illustrating the environment data by the laser scanner, a display example of a model representation and the manipulator model representation of the object.

符号の説明 DESCRIPTION OF SYMBOLS

11 対象物 12 マニピュレータ 13 ステレオカメラ 14 レーザスキャナ 15 遠隔操作支援装置 15a 環境データ取得手段 15b 対象物モデル表現手段 15c マニピュレータモデル表現手段 15d カメラ座標系変換手段 15e 三次元画像生成手段 16 表示装置 17 マニピュレータ環境データ格納手段 18 ステレオカメラ環境データ格納手段 19 マニピュレータキャリブレーション結果格納手段 20 ステレオカメラキャリブレーション結果格納手段 21 対象物変換行列格納手段 22 マニピュレータ変換行列格納手段 11 object 12 manipulator 13 stereo camera 14 the laser scanner 15 remote operation support apparatus 15a environmental data acquisition unit 15b object model representation means 15c manipulator model representation means 15d camera coordinate system transformation unit 15e three-dimensional image generating unit 16 display device 17 Manipulator environment data storage means 18 stereo camera environmental data storing means 19 the manipulator calibration result storage unit 20 the stereo camera calibration result storage means 21 an object transformation matrix storage unit 22 manipulator transform matrix storing means

Claims (4)

  1. レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得する環境データ取得手段と、 Environmental data acquisition means for acquiring the measurement data by the measurement data and the stereo camera by the laser scanner as environmental data,
    前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、 By performing three-dimensional recognition processing based on the measurement data of the shape of the object by the laser scanner, and the object model representation means for generating an object model representation of the shape and orientation of the object is reflected,
    マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するマニピュレータモデル表現手段と、 Manipulator model representation means for generating a manipulator model representation the operation state of the manipulator is reflected based on the state of each axis of the manipulator,
    三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする遠隔操作支援装置。 Remote characterized in that it comprises a three-dimensional image generating means for three-dimensionally displayed on the same screen together with the environmental data the object model representation and the manipulator model representation viewed from a specified viewpoint three-dimensional space operation support device.
  2. 前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するカメラ座標系変換手段をさらに備え、 Further comprising a camera coordinate system conversion means for converting the coordinate system of the stereo camera coordinate system of the laser scanner,
    前記三次元画像生成手段は、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする請求項1記載の遠隔操作支援装置。 The three-dimensional image generation means, the remote operation support apparatus according to claim 1, wherein the measurement data of the stereo camera which has been converted into the coordinate system of the laser scanner can be displayed together with the measurement data of the laser scanner.
  3. レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得するステップと、 Acquiring measurement data by the measurement data and the stereo camera by the laser scanner as environmental data,
    前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、 By performing three-dimensional recognition processing based on the measurement data of the shape of the object by the laser scanner, and generating an object model representation of the shape and orientation of the object is reflected,
    マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するステップと、 A step of operating state of the manipulator generates a manipulator model representation which is reflected based on the state of each axis of the manipulator,
    三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする遠隔操作支援プログラム。 Remote control, characterized in that to run with the environmental data the object model representation and the manipulator model representation viewed from a specified viewpoint three-dimensional space and causing the three-dimensionally displayed on the same screen to the computer support program.
  4. 前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するステップをさらに備え、 Further comprising the step of converting the coordinate system of the stereo camera coordinate system of the laser scanner,
    前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする請求項3記載の遠隔操作支援プログラム。 Claim 3, wherein the remote operation support program characterized the measurement data of the stereo camera which has been converted into the coordinate system of the laser scanner can be displayed together with the measurement data of the laser scanner.
JP2007175240A 2007-07-03 2007-07-03 Remote operation supporting device and program Pending JP2009012106A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007175240A JP2009012106A (en) 2007-07-03 2007-07-03 Remote operation supporting device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007175240A JP2009012106A (en) 2007-07-03 2007-07-03 Remote operation supporting device and program

Publications (1)

Publication Number Publication Date
JP2009012106A true true JP2009012106A (en) 2009-01-22

Family

ID=40353646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007175240A Pending JP2009012106A (en) 2007-07-03 2007-07-03 Remote operation supporting device and program

Country Status (1)

Country Link
JP (1) JP2009012106A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012521855A (en) * 2009-03-31 2012-09-20 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Synthetic representation of a surgical robot
CN103717358A (en) * 2011-08-02 2014-04-09 索尼公司 Control system, display control method, and non-transitory computer readable storage medium
CN103909525A (en) * 2012-12-28 2014-07-09 发那科株式会社 Robot system display device
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9101397B2 (en) 1999-04-07 2015-08-11 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
JP2015164073A (en) * 2015-05-13 2015-09-10 東芝プラントシステム株式会社 Three-dimensional cad data creation system and three-dimensional cad data creation method
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9333042B2 (en) 2007-06-13 2016-05-10 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9345387B2 (en) 2006-06-13 2016-05-24 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9788909B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc Synthetic representation of a surgical instrument
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63124107A (en) * 1986-11-14 1988-05-27 Toshiba Corp Producing device for working environment model
JPH0857784A (en) * 1994-03-29 1996-03-05 General Electric Co <Ge> Remote maintenance system using robotic arm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63124107A (en) * 1986-11-14 1988-05-27 Toshiba Corp Producing device for working environment model
JPH0857784A (en) * 1994-03-29 1996-03-05 General Electric Co <Ge> Remote maintenance system using robotic arm

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9232984B2 (en) 1999-04-07 2016-01-12 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
US9101397B2 (en) 1999-04-07 2015-08-11 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
US9345387B2 (en) 2006-06-13 2016-05-24 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9788909B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc Synthetic representation of a surgical instrument
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9801690B2 (en) 2006-06-29 2017-10-31 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical instrument
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US9901408B2 (en) 2007-06-13 2018-02-27 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9629520B2 (en) 2007-06-13 2017-04-25 Intuitive Surgical Operations, Inc. Method and system for moving an articulated instrument back towards an entry guide while automatically reconfiguring the articulated instrument for retraction into the entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9333042B2 (en) 2007-06-13 2016-05-10 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9516996B2 (en) 2008-06-27 2016-12-13 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9717563B2 (en) 2008-06-27 2017-08-01 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
JP2012521855A (en) * 2009-03-31 2012-09-20 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Synthetic representation of a surgical robot
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9956044B2 (en) 2009-08-15 2018-05-01 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9622826B2 (en) 2010-02-12 2017-04-18 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
CN103717358A (en) * 2011-08-02 2014-04-09 索尼公司 Control system, display control method, and non-transitory computer readable storage medium
JP2014128845A (en) * 2012-12-28 2014-07-10 Fanuc Ltd Robot system display device
CN103909525A (en) * 2012-12-28 2014-07-09 发那科株式会社 Robot system display device
US9199379B2 (en) 2012-12-28 2015-12-01 Fanuc Corporation Robot system display device
JP2015164073A (en) * 2015-05-13 2015-09-10 東芝プラントシステム株式会社 Three-dimensional cad data creation system and three-dimensional cad data creation method

Similar Documents

Publication Publication Date Title
US5053975A (en) Master-slave manipulator control
US7714895B2 (en) Interactive and shared augmented reality system and method having local and remote access
Kim et al. Graphics displays for operator aid in telemanipulation
US6157873A (en) Robot programming system and method
US20030180697A1 (en) Multi-degree of freedom telerobotic system for micro assembly
US20110320039A1 (en) Robot calibration system and calibrating method thereof
WO2009034477A2 (en) Frame mapping and force feedback methods, devices and systems
JP2003270719A (en) Projection method, projector, and method and system for supporting work
US5181823A (en) Apparatus and method for producing a video display
JP2007241857A (en) Device for robot simulation, program, storage medium, and method
US20100041991A1 (en) Haptic feedback medical scanning methods and systems
JP2002331480A (en) Interference avoiding device
US20130116828A1 (en) Robot teach device with 3-d display
CN101859439A (en) Movement tracking device for man-machine interaction and tracking method thereof
Kim et al. A force reflected exoskeleton-type masterarm for human-robot interaction
CN101085523A (en) Robot simulation apparatus
US20140236565A1 (en) Robot simulator, robot teaching apparatus and robot teaching method
JPH07121214A (en) Measuring sensor device for robot, and calibration method and measuring method using the same
JP2003117861A (en) Position correcting system of robot
Arai et al. 3D viewpoint selection and bilateral control for bio-micromanipulation
JP2000293695A (en) Picture processor
JP2008049459A (en) System, method and program for controlling manipulator
JP2005001022A (en) Object model creating device and robot control device
CN103302668A (en) Kinect-based space teleoperation robot control system and method thereof
JPH1055165A (en) Image display device, image display controller and image display system

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20100514

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110422

A977 Report on retrieval

Effective date: 20111117

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20120104

Free format text: JAPANESE INTERMEDIATE CODE: A131

RD03 Notification of appointment of power of attorney

Effective date: 20120104

Free format text: JAPANESE INTERMEDIATE CODE: A7423

A02 Decision of refusal

Effective date: 20120508

Free format text: JAPANESE INTERMEDIATE CODE: A02