JP2008055584A - Robot for holding object and holding method of object by robot - Google Patents
Robot for holding object and holding method of object by robot Download PDFInfo
- Publication number
- JP2008055584A JP2008055584A JP2006238514A JP2006238514A JP2008055584A JP 2008055584 A JP2008055584 A JP 2008055584A JP 2006238514 A JP2006238514 A JP 2006238514A JP 2006238514 A JP2006238514 A JP 2006238514A JP 2008055584 A JP2008055584 A JP 2008055584A
- Authority
- JP
- Japan
- Prior art keywords
- gripping
- shape
- robot
- infrared
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、物体把持を行うロボットに関する。 The present invention relates to a robot that grips an object.
作業環境内に存在する物体を認識して把持動作を実行するロボットが従来から提案されている。例えば、特許文献１には、ステレオカメラを用いて作業環境の３次元データを取得し、取得した３次元データによって環境内に存在する把持対象物体の位置及び形状を認識し、これに対する把持動作を実行するロボットが開示されている。 Conventionally, a robot that recognizes an object existing in a work environment and performs a gripping operation has been proposed. For example, in Patent Document 1, three-dimensional data of a work environment is acquired using a stereo camera, the position and shape of a gripping target object existing in the environment are recognized from the acquired three-dimensional data, and a gripping operation for this is performed. A robot to perform is disclosed.
特許文献２には、人の熱線を検知するための赤外線センサをロボットハンドの把持部に備え、赤外線センサの検知結果を用いてロボットハンドの把持部を人の体温に近い温度に制御するロボットが開示されている。
特許文献１に開示されているような物体把持を行う従来のロボットは、視覚センサによって得られたデータ、具体的には、ステレオカメラによって得られたステレオ画像データやレンジセンサによって得られた距離画像データに基づいて把持対象物体の形状を認識し、認識した把持対象物体の形状に適応した把持動作を実行する。しかしながら、形状が同一又は近似していても材質が互いに異なっている物体の間では、物体を把持する際の最適な把持位置や把持力の大きさが異なる場合がある。 A conventional robot that grips an object as disclosed in Patent Document 1 is data obtained by a visual sensor, specifically, stereo image data obtained by a stereo camera or a distance image obtained by a range sensor. The shape of the gripping target object is recognized based on the data, and a gripping operation adapted to the recognized shape of the gripping target object is executed. However, there are cases in which the optimal gripping position and gripping force when gripping an object are different between objects having the same or similar shapes but different materials.
本発明は上述した事情を考慮してなされたものであり、形状認識のみを行う場合に比べて把持対象物体をより正確に認識することにより、ロボットが実行する物体把持動作の正確性を向上させることを目的とする。 The present invention has been made in view of the above-described circumstances, and improves the accuracy of the object gripping operation performed by the robot by more accurately recognizing the gripping target object than when only shape recognition is performed. For the purpose.
本発明の第１の態様にかかるロボットは、把持対象物体の把持動作を実行するロボットであって、前記把持対象物体を把持可能なエンドエフェクタを有する腕部と、前記把持対象物体の画像データを取得する視覚センサと、前記把持対象物体の材質を特定するための計測データを取得する計測データ取得部と、前記画像データに基づいて前記把持対象物体の形状を推定する形状推定部と、前記計測データに基づいて前記把持対象物体の材質を推定する材質推定部と、前記把持対象物体の形状及び材質に適応した前記腕部の動作内容を決定する動作計画部とを備える。このような構成により、把持対象物体の材質を物体把持動作を決定する際の判断要素とすることができる。つまり、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。 A robot according to a first aspect of the present invention is a robot that performs a gripping operation of a gripping target object, and includes an arm unit having an end effector capable of gripping the gripping target object, and image data of the gripping target object. A visual sensor to be acquired, a measurement data acquisition unit that acquires measurement data for specifying the material of the gripping target object, a shape estimation unit that estimates the shape of the gripping target object based on the image data, and the measurement A material estimation unit configured to estimate a material of the gripping target object based on the data; and an operation planning unit configured to determine the operation content of the arm adapted to the shape and material of the gripping target object. With such a configuration, the material of the object to be grasped can be used as a determination element when determining the object grasping operation. That is, the accuracy of specifying the gripping target object can be improved by increasing the determination material for specifying the gripping target object, and the robot can perform a reliable object gripping operation.
なお、上述した本発明の第１の態様にかかるロボットにおいて、前記画像データは、ステレオカメラによって得られるステレオ画像及びレンジセンサによって得られる距離画像のいずれかとすればよい。 In the above-described robot according to the first aspect of the present invention, the image data may be either a stereo image obtained by a stereo camera or a distance image obtained by a range sensor.
上述した本発明の第１の態様にかかるロボットにおいて、前記計測データは赤外線反射スペクトルとすることができる。より具体的には、前記材質推定部が、前記計測データ取得部によって得られた赤外線反射スペクトルを基準物質の赤外線反射スペクトルと照合することにより、前記把持対象物体の材質を推定するよう構成してもよい。 In the robot according to the first aspect of the present invention described above, the measurement data can be an infrared reflection spectrum. More specifically, the material estimation unit is configured to estimate the material of the object to be grasped by comparing the infrared reflection spectrum obtained by the measurement data acquisition unit with the infrared reflection spectrum of a reference material. Also good.
上述した本発明の第１の態様にかかるロボットにおいて、前記計測データ取得部が、赤外線光源と、前記把持対象物体に対して前記赤外線光源から赤外線を照射して得られる赤外線反射スペクトルを計測する赤外線センサとを備えるよう構成してもよい。なお、前記赤外線光源及び前記赤外線センサを前記エンドエフェクタに設けることが望ましい。このような構成により、赤外線光源及び赤外線センサを把持対象物体の近傍に移動した状態で赤外線反射スペクトルを取得できるため、把持対象物体の赤外線反射スペクトルを正確に取得することができる。 In the robot according to the first aspect of the present invention described above, the measurement data acquisition unit measures an infrared light source and an infrared reflection spectrum obtained by irradiating the grip target object with infrared light from the infrared light source. You may comprise so that a sensor may be provided. The infrared light source and the infrared sensor are preferably provided in the end effector. With such a configuration, the infrared reflection spectrum can be acquired in a state where the infrared light source and the infrared sensor are moved to the vicinity of the object to be grasped, and therefore the infrared reflection spectrum of the object to be grasped can be accurately obtained.
上述した本発明の第１の態様にかかるロボットは、複数の物体の把持情報が登録されたデータベースと、前記形状推定部及び前記材質推定部によって推定された形状及び材質に基づいて前記データベースを検索することにより、推定された形状及び材質に対応する把持情報を取得する検索部とをさらに備えることが望ましく、前記動作計画部が、前記検索部によって取得した把持情報に基づいて前記腕部の動作内容を決定することが望ましい。このような構成により、把持動作の都度、把持対象物体の形状や材質をパラメータとして把持動作を演算処理によって算出する場合に比べて、把持動作の作成に要する処理負荷を削減できる。このため、把持対象物体に適した把持動作を高速に行うことができる。 The robot according to the first aspect of the present invention described above searches the database based on a database in which grip information of a plurality of objects is registered, and the shape and material estimated by the shape estimation unit and the material estimation unit. It is preferable to further include a search unit that acquires grip information corresponding to the estimated shape and material, and the motion planning unit operates the arm unit based on the grip information acquired by the search unit. It is desirable to determine the contents. With such a configuration, it is possible to reduce the processing load required for creating the gripping operation, as compared with the case where the gripping operation is calculated by calculation processing using the shape and material of the object to be gripped as parameters for each gripping operation. For this reason, a gripping operation suitable for the gripping target object can be performed at high speed.
さらに、前記把持対象物体に対する把持動作の実行結果に基づいて前記データベースに登録された前記把持情報を更新することが望ましい。このような構成により、過去の把持動作の経験を蓄積できるため、ロボットによる把持動作の最適化を行うことができる。 Furthermore, it is desirable to update the grip information registered in the database based on the execution result of the grip operation on the grip target object. With such a configuration, experience of past gripping motions can be accumulated, so that the gripping motions by the robot can be optimized.
本発明の第２の態様にかかる方法は、ロボットによる物体の把持方法である。具体的には、視覚センサによる取得情報に基づいて把持対象物体の形状を推定し、前記把持対象物体の赤外線の反射率に基づいて前記把持対象物体の材質を推定し、推定した前記把持対象物体の形状及び材質に応じて、前記把持対象物体を把持するロボット動作を作成することを特徴とする。これにより、把持対象物体の材質をロボットによる物体把持動作を決定する際の判断要素とすることができる。つまり、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。 The method according to the second aspect of the present invention is a method of gripping an object by a robot. Specifically, the shape of the gripping target object is estimated based on information acquired by a visual sensor, the material of the gripping target object is estimated based on the infrared reflectance of the gripping target object, and the estimated gripping target object According to the shape and material, a robot motion for gripping the gripping target object is created. Thereby, the material of the object to be grasped can be used as a determination element when determining the object grasping operation by the robot. That is, the accuracy of specifying the gripping target object can be improved by increasing the determination material for specifying the gripping target object, and the robot can perform a reliable object gripping operation.
本発明により、物体把持動作の正確性を向上させたロボット及びロボットによる物体把持方法を提供することができる。 According to the present invention, it is possible to provide a robot and an object gripping method using the robot with improved accuracy of the object gripping operation.
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In the drawings, the same elements are denoted by the same reference numerals, and redundant description will be omitted as necessary for the sake of clarity.
発明の実施の形態１．
本実施の形態にかかるロボット１は、ステレオカメラ１０１によって取得したステレオ画像データを元に把持対象である物体５０の位置及び形状を推定し、赤外線センサ１２６によって得た赤外線反射スペクトルから物体５０の材質を推定し、推定した物体５０の形状及び材質に適応した把持動作を実行するものである。
Embodiment 1 of the Invention
The robot 1 according to the present embodiment estimates the position and shape of the object 50 to be grasped based on the stereo image data acquired by the stereo camera 101, and uses the infrared reflection spectrum obtained by the infrared sensor 126 to determine the material of the object 50. And a gripping operation adapted to the estimated shape and material of the object 50 is executed.
本実施の形態にかかるロボット１の外観を図１に示す。頭部１０は、胴体部１１に連結されている。また、胴体部１１には、腕部１２が連結されている。より詳細には、腕部１２に含まれる上腕部１２１が胴体部１１と肩関節機構（不図示）を介して連結され、上腕部１２１と前腕部１２３とが肘関節部１２２を介して連結され、前腕部１２３の先端に手部１２４が設けられている。ここで、手部１２４は、物体５０を把持するエンドエフェクタである。また、胴体部１１にはロボット１の移動機構である車輪１３１及び１３２が設けられている。 An appearance of the robot 1 according to the present embodiment is shown in FIG. The head 10 is connected to the body 11. An arm 12 is connected to the body 11. More specifically, the upper arm part 121 included in the arm part 12 is connected to the body part 11 via a shoulder joint mechanism (not shown), and the upper arm part 121 and the forearm part 123 are connected via an elbow joint part 122. A hand portion 124 is provided at the tip of the forearm portion 123. Here, the hand portion 124 is an end effector that holds the object 50. Further, the body portion 11 is provided with wheels 131 and 132 which are moving mechanisms of the robot 1.
ロボット１の頭部１０には、外界を撮影可能な視覚センサとしてのステレオカメラ１０１が設けられている。一方、手部１２４には、赤外線を照射する赤外線光源１２５と、赤外線反射スペクトルを取得するための赤外線センサ１２６が設けられている。具体的には、赤外線光源１２５から照射される赤外線を物体５０に入射し、物体５０の赤外線波長領域での分光反射率、つまり赤外線反射スペクトルを赤外線センサ１２６によって取得する。 The head 10 of the robot 1 is provided with a stereo camera 101 as a visual sensor capable of photographing the outside world. On the other hand, the hand portion 124 is provided with an infrared light source 125 for irradiating infrared rays and an infrared sensor 126 for acquiring an infrared reflection spectrum. Specifically, infrared light emitted from the infrared light source 125 is incident on the object 50, and the spectral reflectance in the infrared wavelength region of the object 50, that is, the infrared reflection spectrum is acquired by the infrared sensor 126.
続いて以下では、物体５０の形状及び材質の推定結果を利用して物体５０の把持動作を実行する処理について、図２及び図３を用いて詳細に説明する。図２のブロック図は、物体５０の把持を実行する処理に関係するロボット１の主要部の構成を示している。 Next, in the following, a process for executing the gripping operation of the object 50 using the estimation result of the shape and material of the object 50 will be described in detail with reference to FIGS. The block diagram of FIG. 2 shows a configuration of a main part of the robot 1 related to processing for executing gripping of the object 50.
図２において、計測データ取得部１１０は、物体５０の材質特定に使用するための計測データを取得する。本実施の形態では、物体５０の材質を特定するための計測データとして赤外線反射スペクトルを利用するため、計測データ取得部１１０は、赤外線光源１２５及び赤外線センサ１２６を有している。 In FIG. 2, the measurement data acquisition unit 110 acquires measurement data for use in specifying the material of the object 50. In the present embodiment, the measurement data acquisition unit 110 includes an infrared light source 125 and an infrared sensor 126 in order to use an infrared reflection spectrum as measurement data for specifying the material of the object 50.
形状推定部１１１は、ステレオカメラ１０１によって撮影されたステレオ画像データを用いて物体５０の三次元形状を算出する。具体的には、ステレオカメラ１０１によって撮影したステレオ画像データから対応点を検出し、対応点の３次元位置を復元する。ここで、ステレオ画像における対応点の探索は、複数の撮影画像に対する時空間微分の拘束式を用いた勾配法や相関法等の公知の手法を適用して行えばよい。 The shape estimation unit 111 calculates the three-dimensional shape of the object 50 using the stereo image data captured by the stereo camera 101. Specifically, corresponding points are detected from stereo image data photographed by the stereo camera 101, and the three-dimensional positions of the corresponding points are restored. Here, the search for the corresponding points in the stereo image may be performed by applying a known method such as a gradient method or a correlation method using a time-space differential constraint formula for a plurality of captured images.
材質推定部１１２は、赤外線センサ１２６によって取得された赤外線反射スペクトルを、ＲＯＭ（Read Only Memory）等の記憶部（不図示）に保持されている基準物質の赤外線反射スペクトルと照合することによって物体５０の材質を判定する。例えば、金属、ＡＢＳ及びポリカーボネート等のプラスチック、並びに木材といった基準物質の赤外線反射スペクトルを予め保持しておけばよい。 The material estimation unit 112 collates the infrared reflection spectrum acquired by the infrared sensor 126 with the infrared reflection spectrum of the reference material held in a storage unit (not shown) such as a ROM (Read Only Memory), and thereby the object 50. Determine the material. For example, the infrared reflection spectrum of a reference material such as metal, plastic such as ABS and polycarbonate, and wood may be held in advance.
物体情報データベース１１３は、物体の形状及び材質に関する情報、並びに、物体を把持するための把持情報が関連付けて格納されたデータベースである。把持情報の具体例は、手部１２４による適切な把持位置や把持力に関する情報のほか、腕部１２の移動方向及び移動速度等の情報である。例えば、物体５０が上下２つに分離する物体が重ねられた集合物である場合は、下側の物体を把持位置とする把持情報を物体情報データベース１１３に登録するとよい。また、例えば、物体５０の形状が球体であり、かつ物体５０が滑り易い材質である場合は、物体５０の重心位置、つまり球体の中心より下側を把持位置とする把持情報を登録するとよい。 The object information database 113 is a database in which information related to the shape and material of an object and grip information for gripping the object are stored in association with each other. Specific examples of the grip information include information on an appropriate grip position and grip force by the hand portion 124, and information on the moving direction and moving speed of the arm portion 12. For example, in the case where the object 50 is an aggregate in which objects that are separated into two upper and lower parts are stacked, grip information with the lower object as the grip position may be registered in the object information database 113. Further, for example, when the shape of the object 50 is a sphere and the object 50 is a slippery material, it is preferable to register gripping information with the position of the center of gravity of the object 50, that is, the gripping position below the center of the sphere.
検索部１１４は、形状推定部１１１において算出した物体５０の形状と、材質推定部１１２において判定した物体５０の材質を、物体情報データベース１１３の格納データと照合する。当該照合の結果、物体５０に対応する物体を特定できた場合は、特定した物体の把持情報を物体情報データベース１１３から取得する。なお、検索部１１４は、物体５０の形状だけでなく、ステレオカメラ１０１による撮影画像から得られる物体５０のテクスチャを併せて照合することとしてもよい。この場合、物体のテクスチャ情報を物体情報データベース１１３に格納しておけばよい。 The search unit 114 collates the shape of the object 50 calculated by the shape estimation unit 111 and the material of the object 50 determined by the material estimation unit 112 with data stored in the object information database 113. If the object corresponding to the object 50 can be identified as a result of the collation, the grip information of the identified object is acquired from the object information database 113. Note that the search unit 114 may collate not only the shape of the object 50 but also the texture of the object 50 obtained from the image captured by the stereo camera 101. In this case, the texture information of the object may be stored in the object information database 113.
動作計画部１１５は、物体５０の位置及び形状並びに物体５０に対応する把持情報を元に、物体５０を把持するための腕部１２の動作を決定し、腕部１２の動作情報を制御部１１６に出力する。 The motion planning unit 115 determines the motion of the arm unit 12 for gripping the object 50 based on the position and shape of the object 50 and the grip information corresponding to the object 50, and the motion information of the arm unit 12 is controlled by the control unit 116. Output to.
制御部１１６は、頭部１０、腕部１２、車輪１３２及び１３３の位置、角度、速度、角速度等を検出するためにロボット１が備えているエンコーダ（不図示）や関節角センサ（不図示）等の内界センサの計測情報を収集し、頭部１０、腕部１２、車輪１３２及び１３３を駆動するための制御信号を、これらを駆動する駆動部に対して出力する。さらに、制御部１１６は、動作計画部１１５によって決定された腕部１２の移動経路に従って腕部１２を動作させるための制御信号をアーム駆動部１１７に出力する。アーム駆動部１１７は、腕部１２のアクチュエータを動作させるための駆動回路である。 The control unit 116 includes an encoder (not shown) and a joint angle sensor (not shown) included in the robot 1 for detecting the position, angle, speed, angular velocity, and the like of the head 10, the arm 12, and the wheels 132 and 133. And the like, and control signals for driving the head 10, the arm 12, and the wheels 132 and 133 are output to the driving unit that drives them. Further, the control unit 116 outputs a control signal for operating the arm unit 12 to the arm driving unit 117 according to the movement path of the arm unit 12 determined by the operation planning unit 115. The arm drive unit 117 is a drive circuit for operating the actuator of the arm unit 12.
次に、物体５０の形状及び材質の認識から物体把持動作を実行するまでの一連の処理手順を、図３のフローチャートを用いて説明する。まずステップＳ１０１では、ステレオカメラ１０１によって物体５０を撮像する。ステップＳ１０２では、形状推定部１１１が、ステレオカメラ１０１によって得たステレオ画像を用いて物体５０の三次元位置及び形状を推定する。 Next, a series of processing procedures from recognition of the shape and material of the object 50 to execution of the object gripping operation will be described with reference to the flowchart of FIG. First, in step S101, the object 50 is imaged by the stereo camera 101. In step S <b> 102, the shape estimation unit 111 estimates the three-dimensional position and shape of the object 50 using the stereo image obtained by the stereo camera 101.
ステップＳ１０３では、赤外線光源１２５によって物体５０に赤外線を照射し、赤外線センサ１２６によって物体５０の赤外線反射スペクトルを取得する。ステップＳ１０４では、材質推定部１１２が、物体５０の赤外線反射スペクトルを基準物質の反射スペクトルと照合して物体５０の材質を判定する。 In step S103, the infrared light source 125 irradiates the object 50 with infrared rays, and the infrared sensor 126 acquires the infrared reflection spectrum of the object 50. In step S104, the material estimation unit 112 determines the material of the object 50 by comparing the infrared reflection spectrum of the object 50 with the reflection spectrum of the reference material.
ステップＳ１０５では、検索部１１４が、物体５０の形状及び材質を物体情報データベース１１３の格納データと照合する。物体５０の形状及び材質に対応する物体の情報が物体情報データベース１１３に登録されている場合は、対応する把持情報を取得する（ステップＳ１０６）。一方、物体５０の形状及び材質に対応する物体の情報が物体情報データベース１１３に登録されていない場合は、物体５０の形状及び材質を新たな物体の情報として物体情報データベース１１３に格納する（ステップＳ１０７）。 In step S <b> 105, the search unit 114 collates the shape and material of the object 50 with the data stored in the object information database 113. When object information corresponding to the shape and material of the object 50 is registered in the object information database 113, the corresponding grip information is acquired (step S106). On the other hand, if the object information corresponding to the shape and material of the object 50 is not registered in the object information database 113, the shape and material of the object 50 are stored in the object information database 113 as new object information (step S107). ).
ステップＳ１０８では、物体５０の位置及び形状並びに物体５０に対応する把持情報を用いて、物体５０に適した把持動作を実行する。なお、物体５０に対応する記録が物体情報データベース１１３に存在しなかった場合は、物体５０の形状及び材質から決定した把持動作を実行する。例えば、物体５０の形状から物体５０の重心位置を演算し、物体５０の形状及び材質から物体５０の質量を演算し、物体５０の材質、重心及び質量に相応する把持位置及び把持力を決定すればよい。 In step S <b> 108, a gripping operation suitable for the object 50 is executed using the position and shape of the object 50 and gripping information corresponding to the object 50. In addition, when the record corresponding to the object 50 does not exist in the object information database 113, the gripping operation determined from the shape and material of the object 50 is executed. For example, the position of the center of gravity of the object 50 is calculated from the shape of the object 50, the mass of the object 50 is calculated from the shape and material of the object 50, and the gripping position and gripping force corresponding to the material, the center of gravity and the weight of the object 50 are determined. That's fine.
ステップＳ１０９では、物体５０に対する把持動作の実行結果をもとに物体情報データベース１１３を更新する。具体的には、物体５０の把持に成功した把持位置及び把持力の情報を、把持情報として物体情報データベース１１３に格納する。 In step S109, the object information database 113 is updated based on the execution result of the gripping operation on the object 50. Specifically, information on the gripping position and the gripping force at which the object 50 is successfully gripped is stored in the object information database 113 as gripping information.
上述したように、本実施の形態にかかるロボット１は、赤外線光源１２５及び赤外線センサ１２６によって得られた赤外線反射スペクトルを用いて物体５０の材質を特定し、特定した物体５０の材質を用いて把持動作の内容を決定する。これにより、同じ形状を有する物体であっても、材質が異なれば異なる物体として認識することができ、材質に応じた把持動作、把持位置及び把持力などを採用した動作計画が可能となる。すなわち、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。 As described above, the robot 1 according to the present embodiment specifies the material of the object 50 using the infrared reflection spectrum obtained by the infrared light source 125 and the infrared sensor 126, and grips using the specified material of the object 50. Determine the content of the action. As a result, even objects having the same shape can be recognized as different objects if the materials are different, and an operation plan employing a gripping operation, a gripping position, a gripping force, and the like according to the material becomes possible. That is, the accuracy of specifying the gripping target object can be improved by increasing the determination material for specifying the gripping target object, and the robot can perform a reliable object gripping operation.
なお、ロボット１の動作環境が暗いためにステレオカメラ１０１の撮影画像による物体５０のテクスチャの特定が困難である場合でも、赤外線反射スペクトルによる物体材質特定は可能である。したがって本発明は、テクスチャによる把持対象物体の特定が困難である場合に、把持対象物体の特定を詳細に実行するための補助手段としても有効である。 Even when it is difficult to specify the texture of the object 50 from the captured image of the stereo camera 101 because the operating environment of the robot 1 is dark, the object material can be specified by the infrared reflection spectrum. Therefore, the present invention is also effective as an auxiliary means for executing the detailed specification of the gripping target object when it is difficult to specify the gripping target object by the texture.
上述した発明の実施の形態１にかかるロボット１は、ステレオカメラ１０１によって得たステレオ画像をもとに物体５０の形状を推定することとしたが、レンジセンサによって外界の距離画像を取得し、当該距離画像を用いて物体５０の形状を推定してもよい。また、物体５０の形状の特定に熱画像を使用してもよい。可視光による形状取得が困難な場合に有効である。 The robot 1 according to the first embodiment of the present invention described above estimates the shape of the object 50 based on the stereo image obtained by the stereo camera 101. However, the range sensor acquires a distance image of the outside world using the range sensor. The shape of the object 50 may be estimated using the distance image. Further, a thermal image may be used for specifying the shape of the object 50. This is effective when it is difficult to obtain the shape by visible light.
また、発明の実施の形態１にかかるロボット１は、赤外線光源１２５及び赤外線センサ１２６を手部１２４に固定することとしたが、これらをロボット１の他の部位に設けることも可能である。しかしながら、赤外線光源１２５及び赤外線センサ１２６を手部１２４の近傍に設ければ、赤外線光源１２５及び赤外線センサ１２６を物体５０の近傍に配置した状態で赤外線反射スペクトルを取得することができる。このため、発明の実施の形態１の構成は、物体５０の赤外線反射スペクトルを正確に取得できる点で有効である。 Further, in the robot 1 according to the first embodiment of the invention, the infrared light source 125 and the infrared sensor 126 are fixed to the hand portion 124, but these may be provided in other parts of the robot 1. However, if the infrared light source 125 and the infrared sensor 126 are provided in the vicinity of the hand portion 124, the infrared reflection spectrum can be acquired in a state where the infrared light source 125 and the infrared sensor 126 are disposed in the vicinity of the object 50. For this reason, the configuration of the first embodiment of the invention is effective in that the infrared reflection spectrum of the object 50 can be accurately acquired.
また、発明の実施の形態１にかかるロボット１は、物体５０の形状及び材質を物体情報データベース１１３の格納情報と照合するものであるが、物体５０の形状及び材質に応じた把持動作を物体情報データベース１１３と照合せずに決定してもよい。しかしながら、把持動作の都度、把持対象物体の形状や材質をパラメータとして把持動作を演算処理によって算出するのでは、動作作成に要する処理負荷が大きい。また、把持対象物体の落下など過去と同じ失敗動作を繰り返す可能性が高い。これに対して、発明の実施の形態１にかかるロボット１は、物体情報データベース１１３に登録された把持位置及び把持力等の把持情報を参照して腕部１２の動作を決定するため、把持対象物体に適した把持動作を高速に行うことができる。また、物体情報データベース１１３に登録された把持情報を把持動作の実行結果によって更新することにより、過去の経験を蓄積し、把持動作の最適化を行うことができる。 Further, the robot 1 according to the first embodiment of the invention collates the shape and material of the object 50 with the information stored in the object information database 113, but performs the gripping operation according to the shape and material of the object 50 as object information. The determination may be made without checking with the database 113. However, each time the gripping operation is performed, the processing load required to create the motion is large if the gripping motion is calculated by arithmetic processing using the shape and material of the gripping target object as parameters. In addition, there is a high possibility of repeating the same failure operation as in the past, such as dropping the object to be grasped. On the other hand, the robot 1 according to the first embodiment of the invention determines the movement of the arm unit 12 with reference to gripping information such as the gripping position and the gripping force registered in the object information database 113. A gripping operation suitable for an object can be performed at high speed. In addition, by updating the grip information registered in the object information database 113 with the execution result of the gripping operation, past experience can be accumulated and the gripping operation can be optimized.
なお、発明の実施の形態１の物体情報データベース１１３には、把持対象物体の材質に関する情報ではなく、材質を反映している計測データを登録してもよい。つまり、発明の実施の形態１であれば、赤外線反射スペクトルを登録すればよい。 In the object information database 113 according to the first embodiment of the present invention, measurement data reflecting the material may be registered instead of information on the material of the object to be grasped. That is, in the first embodiment of the invention, an infrared reflection spectrum may be registered.
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。 Furthermore, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention described above.
１ ロボット
１０ 頭部
１１ 胴体部
１２ 腕部
１０１ ステレオカメラ
１１０ 計測データ取得部
１１１ 形状推定部
１１２ 材質推定部
１１３ 物体情報データベース
１１４ 検索部
１１５ 動作計画部
１１６ 制御部
１１７ アーム駆動部
１２１ 上腕部
１２２ 肘関節機構
１２３ 前腕部
１２４ 手部
１２５ 赤外線光源
１２６ 赤外線センサ
５０ 物体
DESCRIPTION OF SYMBOLS 1 Robot 10 Head 11 Torso part 12 Arm part 101 Stereo camera 110 Measurement data acquisition part 111 Shape estimation part 112 Material estimation part 113 Object information database 114 Search part 115 Motion planning part 116 Control part 117 Arm drive part 121 Upper arm part 122 Elbow Joint mechanism 123 Forearm part 124 Hand part 125 Infrared light source 126 Infrared sensor 50 Object
Claims (9)
前記把持対象物体を把持可能なエンドエフェクタを有する腕部と、
前記把持対象物体の画像データを取得する視覚センサと、
前記把持対象物体の材質を特定するための計測データを取得する計測データ取得部と、
前記画像データに基づいて前記把持対象物体の形状を推定する形状推定部と、
前記計測データに基づいて前記把持対象物体の材質を推定する材質推定部と、
前記把持対象物体の形状及び材質に適応した前記腕部の動作内容を決定する動作計画部と、
を備える物体把持ロボット。 A robot that performs a gripping operation of a gripping target object,
An arm portion having an end effector capable of gripping the gripping object;
A visual sensor for acquiring image data of the object to be grasped;
A measurement data acquisition unit for acquiring measurement data for specifying the material of the gripping target object;
A shape estimation unit that estimates the shape of the object to be grasped based on the image data;
A material estimation unit that estimates the material of the object to be grasped based on the measurement data;
An operation planning unit for determining the operation content of the arm adapted to the shape and material of the object to be grasped;
An object gripping robot comprising:
赤外線光源と、
前記把持対象物体に対して前記赤外線光源から赤外線を照射して得られる赤外線反射スペクトルを計測する赤外線センサとを備え、
前記赤外線光源及び前記赤外線センサが前記エンドエフェクタに設けられている請求項３に記載の物体把持ロボット。 The measurement data acquisition unit
An infrared light source;
An infrared sensor that measures an infrared reflection spectrum obtained by irradiating infrared light from the infrared light source to the object to be grasped, and
The object gripping robot according to claim 3, wherein the infrared light source and the infrared sensor are provided in the end effector.
前記形状推定部及び前記材質推定部によって推定された形状及び材質に基づいて前記データベースを検索することにより、推定された形状及び材質に対応する把持情報を取得する検索部と、
をさらに備え、
前記動作計画部は、前記検索部によって取得した把持情報に基づいて前記腕部の動作内容を決定する請求項１に記載の物体把持ロボット。 A database in which grip information of a plurality of objects is registered;
A search unit that acquires gripping information corresponding to the estimated shape and material by searching the database based on the shape and material estimated by the shape estimation unit and the material estimation unit;
Further comprising
The object gripping robot according to claim 1, wherein the motion planning unit determines the motion content of the arm based on grip information acquired by the search unit.
視覚センサによる取得情報に基づいて把持対象物体の形状を推定し、
前記把持対象物体の赤外線の反射率に基づいて前記把持対象物体の材質を推定し、
推定した前記把持対象物体の形状及び材質に応じて、前記把持対象物体を把持するロボット動作を作成することを特徴とする方法。 A method of gripping an object by a robot,
Estimate the shape of the object to be grasped based on the information acquired by the visual sensor,
Based on the infrared reflectance of the gripping object, estimate the material of the gripping object,
A method of creating a robot motion for gripping the gripping target object according to the estimated shape and material of the gripping target object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006238514A JP2008055584A (en) | 2006-09-04 | 2006-09-04 | Robot for holding object and holding method of object by robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006238514A JP2008055584A (en) | 2006-09-04 | 2006-09-04 | Robot for holding object and holding method of object by robot |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008055584A true JP2008055584A (en) | 2008-03-13 |
Family
ID=39238921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006238514A Pending JP2008055584A (en) | 2006-09-04 | 2006-09-04 | Robot for holding object and holding method of object by robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008055584A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010172992A (en) * | 2009-01-28 | 2010-08-12 | Toyota Motor Corp | Device and method for controlling robot |
| JP2011033497A (en) * | 2009-08-03 | 2011-02-17 | Honda Motor Co Ltd | Environmental recognition system, environmental recognition method, and robot |
| JP2011058858A (en) * | 2009-09-08 | 2011-03-24 | Honda Motor Co Ltd | Viewing device |
| JP2012011531A (en) * | 2010-07-05 | 2012-01-19 | Yaskawa Electric Corp | Robot apparatus and gripping method for use in robot apparatus |
| KR101709651B1 (en) * | 2015-09-25 | 2017-02-24 | 대한민국 | Apparatus for Supporting grip and Control Method thereof |
| JP2018504333A (en) * | 2014-12-16 | 2018-02-15 | アマゾン テクノロジーズ インコーポレイテッド | Item gripping by robot in inventory system |
| WO2019038945A1 (en) * | 2017-08-23 | 2019-02-28 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Picking system |
| CN110091331A (en) * | 2019-05-06 | 2019-08-06 | 广东工业大学 | Grasping body method, apparatus, equipment and storage medium based on manipulator |
| CN110355774A (en) * | 2018-04-10 | 2019-10-22 | 发那科株式会社 | Hand control device and hand control system |
| WO2020008538A1 (en) * | 2018-07-03 | 2020-01-09 | 三菱電機株式会社 | Material estimation device and robot |
| JP2020023050A (en) * | 2019-11-08 | 2020-02-13 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Tactile information estimation device, tactile information estimation method and program |
| WO2020075423A1 (en) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | Robot control device, robot control method and robot control program |
| WO2020166134A1 (en) * | 2019-02-13 | 2020-08-20 | 日本金銭機械株式会社 | Robot hand-equipped robot arm control method, control device and control system |
| US11590658B2 (en) | 2018-01-16 | 2023-02-28 | Preferred Networks, Inc. | Tactile information estimation apparatus, tactile information estimation method, and program |
| KR20230082860A (en) * | 2021-12-02 | 2023-06-09 | 주식회사 씨랩 | Underwater drone robot arm with elastic gripper |
| CN116766212A (en) * | 2023-08-17 | 2023-09-19 | 深圳市心流科技有限公司 | Bionic hand control method, bionic hand control device, bionic hand control equipment and storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01205993A (en) * | 1988-02-09 | 1989-08-18 | Nec Corp | Robot |
| JPH0495852A (en) * | 1990-08-14 | 1992-03-27 | Toshiba Corp | Dust-generating substance analyzer |
| JPH09257569A (en) * | 1996-03-18 | 1997-10-03 | Sony Corp | Resinous casing whose construction material is easily detected by infrared ray, construction material detecting method of resinous casing by infrared ray, construction material detecting-disassembling method of resinous casing and construction material detecting-disassembling device |
| JPH10249767A (en) * | 1997-03-13 | 1998-09-22 | Mitsubishi Electric Corp | Moving-type body holding device and control method of the same |
| JP2003094377A (en) * | 2001-09-25 | 2003-04-03 | Ricoh Co Ltd | Hand for working robot, working robot, working robot controlling device, and external memory device storing processing program for working robot |
| WO2006006624A1 (en) * | 2004-07-13 | 2006-01-19 | Matsushita Electric Industrial Co., Ltd. | Article holding system, robot and robot control method |
| JP2006102881A (en) * | 2004-10-06 | 2006-04-20 | Nagasaki Prefecture | Gripping robot device |
| JP2008049459A (en) * | 2006-08-28 | 2008-03-06 | Toshiba Corp | System, method and program for controlling manipulator |
-
2006
- 2006-09-04 JP JP2006238514A patent/JP2008055584A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01205993A (en) * | 1988-02-09 | 1989-08-18 | Nec Corp | Robot |
| JPH0495852A (en) * | 1990-08-14 | 1992-03-27 | Toshiba Corp | Dust-generating substance analyzer |
| JPH09257569A (en) * | 1996-03-18 | 1997-10-03 | Sony Corp | Resinous casing whose construction material is easily detected by infrared ray, construction material detecting method of resinous casing by infrared ray, construction material detecting-disassembling method of resinous casing and construction material detecting-disassembling device |
| JPH10249767A (en) * | 1997-03-13 | 1998-09-22 | Mitsubishi Electric Corp | Moving-type body holding device and control method of the same |
| JP2003094377A (en) * | 2001-09-25 | 2003-04-03 | Ricoh Co Ltd | Hand for working robot, working robot, working robot controlling device, and external memory device storing processing program for working robot |
| WO2006006624A1 (en) * | 2004-07-13 | 2006-01-19 | Matsushita Electric Industrial Co., Ltd. | Article holding system, robot and robot control method |
| JP2006102881A (en) * | 2004-10-06 | 2006-04-20 | Nagasaki Prefecture | Gripping robot device |
| JP2008049459A (en) * | 2006-08-28 | 2008-03-06 | Toshiba Corp | System, method and program for controlling manipulator |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010172992A (en) * | 2009-01-28 | 2010-08-12 | Toyota Motor Corp | Device and method for controlling robot |
| JP2011033497A (en) * | 2009-08-03 | 2011-02-17 | Honda Motor Co Ltd | Environmental recognition system, environmental recognition method, and robot |
| JP2011058858A (en) * | 2009-09-08 | 2011-03-24 | Honda Motor Co Ltd | Viewing device |
| JP2012011531A (en) * | 2010-07-05 | 2012-01-19 | Yaskawa Electric Corp | Robot apparatus and gripping method for use in robot apparatus |
| JP2018504333A (en) * | 2014-12-16 | 2018-02-15 | アマゾン テクノロジーズ インコーポレイテッド | Item gripping by robot in inventory system |
| US10272566B2 (en) | 2014-12-16 | 2019-04-30 | Amazon Technologies, Inc. | Robotic grasping of items in inventory system |
| KR101709651B1 (en) * | 2015-09-25 | 2017-02-24 | 대한민국 | Apparatus for Supporting grip and Control Method thereof |
| WO2019038945A1 (en) * | 2017-08-23 | 2019-02-28 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Picking system |
| JP2019038047A (en) * | 2017-08-23 | 2019-03-14 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Picking system |
| US11590658B2 (en) | 2018-01-16 | 2023-02-28 | Preferred Networks, Inc. | Tactile information estimation apparatus, tactile information estimation method, and program |
| JP2019181622A (en) * | 2018-04-10 | 2019-10-24 | ファナック株式会社 | Hand control device and hand control system |
| CN110355774A (en) * | 2018-04-10 | 2019-10-22 | 发那科株式会社 | Hand control device and hand control system |
| US11207788B2 (en) | 2018-04-10 | 2021-12-28 | Fanuc Corporation | Hand control apparatus and hand control system |
| WO2020008538A1 (en) * | 2018-07-03 | 2020-01-09 | 三菱電機株式会社 | Material estimation device and robot |
| WO2020075423A1 (en) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | Robot control device, robot control method and robot control program |
| WO2020166134A1 (en) * | 2019-02-13 | 2020-08-20 | 日本金銭機械株式会社 | Robot hand-equipped robot arm control method, control device and control system |
| JP2020131306A (en) * | 2019-02-13 | 2020-08-31 | 日本金銭機械株式会社 | Control method for robot arm with robot hand, control device, and control system |
| CN110091331A (en) * | 2019-05-06 | 2019-08-06 | 广东工业大学 | Grasping body method, apparatus, equipment and storage medium based on manipulator |
| JP2020023050A (en) * | 2019-11-08 | 2020-02-13 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Tactile information estimation device, tactile information estimation method and program |
| JP7249928B2 (en) | 2019-11-08 | 2023-03-31 | 株式会社Preferred Networks | Tactile information estimation device, tactile information estimation method and program |
| KR20230082860A (en) * | 2021-12-02 | 2023-06-09 | 주식회사 씨랩 | Underwater drone robot arm with elastic gripper |
| KR102557033B1 (en) * | 2021-12-02 | 2023-07-19 | 주식회사 씨랩 | Underwater drone robot arm with elastic gripper |
| CN116766212A (en) * | 2023-08-17 | 2023-09-19 | 深圳市心流科技有限公司 | Bionic hand control method, bionic hand control device, bionic hand control equipment and storage medium |
| CN116766212B (en) * | 2023-08-17 | 2023-12-19 | 深圳市心流科技有限公司 | Bionic hand control method, bionic hand control device, bionic hand control equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008055584A (en) | Robot for holding object and holding method of object by robot | |
| US11752625B2 (en) | Robot grip detection using non-contact sensors | |
| US11975446B2 (en) | Sensorized robotic gripping device | |
| CN104057447B (en) | The manufacture method of robot picking up system and machined object | |
| JP6005950B2 (en) | Surgery support apparatus and control method thereof | |
| CN101479082B (en) | Robot device and robot device control method | |
| US8855814B2 (en) | Robot and control method thereof | |
| JP2004157850A (en) | Motion detector | |
| JP4578438B2 (en) | Robot device | |
| JP2007319938A (en) | Robot device and method of obtaining three-dimensional shape of object | |
| Rhee et al. | Door opening control using the multi-fingered robotic hand for the indoor service robot | |
| JPWO2019146201A1 (en) | Information processing equipment, information processing methods and information processing systems | |
| Ardón et al. | Reaching and grasping of objects by humanoid robots through visual servoing | |
| JP2008168372A (en) | Robot device and shape recognition method | |
| Zhang et al. | Improving robustness of robotic grasping by fusing multi-sensor | |
| JP2010058243A (en) | Picking device | |
| Berger et al. | A multi-camera system for human detection and activity recognition | |
| Hogan et al. | Finger-sts: Combined proximity and tactile sensing for robotic manipulation | |
| Schiebener et al. | Discovery, segmentation and reactive grasping of unknown objects | |
| JP5218209B2 (en) | Method for detecting relative movement between multiple objects | |
| JP2021045810A (en) | Motion information generation device, end effector, robot and robot system | |
| KR102559105B1 (en) | Robotic hand system and method for controlling robotic hand | |
| JP2016078185A (en) | robot | |
| JP2023105577A (en) | Robot remote operation control device, robot remote operation control method and program | |
| Du et al. | Human‐Manipulator Interface Using Particle Filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20090317 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A977 | Report on retrieval |
Effective date: 20101008 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110104 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110426 |