JP2013173191A - Robot apparatus, robot control apparatus, robot control method, and robot control program - Google Patents
Robot apparatus, robot control apparatus, robot control method, and robot control program Download PDFInfo
- Publication number
- JP2013173191A JP2013173191A JP2012037666A JP2012037666A JP2013173191A JP 2013173191 A JP2013173191 A JP 2013173191A JP 2012037666 A JP2012037666 A JP 2012037666A JP 2012037666 A JP2012037666 A JP 2012037666A JP 2013173191 A JP2013173191 A JP 2013173191A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- coordinate system
- unit
- image
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、ロボット装置、ロボット制御装置、ロボット制御方法及びロボット制御プログラムに関する。 The present invention relates to a robot apparatus, a robot control apparatus, a robot control method, and a robot control program.
部品(例えばギア)をロボットハンドで把持して、その部品を台等に設置された別の部品に組み付ける場合において、部品を回転させて組み付ける場合がある。部品を回転させて組み付ける一例として、ギアの輪列組立がある。ギアの輪列組立では、ギアを軸に通した状態でギアを回転させて別のギアと嵌め合わせを行う必要がある。ここで、ギアを回転させる際に回転の中心位置(以下、回転中心位置と称する)が正確でないとギアと軸が接触し、ギアや軸を傷つける又は破損させる恐れがある。 When a part (for example, a gear) is gripped by a robot hand and the part is assembled to another part installed on a stand or the like, the part may be rotated and assembled. As an example of rotating and assembling parts, there is a gear train assembly. In the gear train assembly, the gear needs to be fitted with another gear by rotating the gear while passing the gear through the shaft. Here, if the rotation center position (hereinafter referred to as the rotation center position) is not accurate when the gear is rotated, the gear and the shaft may come into contact with each other, which may damage or damage the gear or the shaft.
そこで、従来では、ロボットハンドの中心位置から、ロボットハンドの手先位置(以下、ロボット手先位置と称する)を実測していた。そして、ロボットはその実測値に基づいて、部品の回転中心位置を軸として部品を回転させていた。 Therefore, conventionally, the hand position of the robot hand (hereinafter referred to as the robot hand position) is actually measured from the center position of the robot hand. Then, the robot rotates the component based on the measured value with the rotation center position of the component as an axis.
また、特許文献1では、部品の姿勢と位置座標とを視覚センサによって検出し、この検出した位置座標を視覚センサの検出位置座標系から多関節ロボットのツール位置座標系に変換し、変換して得た部品のツール位置座標に部品の姿勢に対応した方向からツールを移動させ、基準作業姿勢をとった該ツールにより部品に作業を行なう多関節ロボットのツール位置補正方法が開示されている。
Further, in
特許文献1では、部品の回転中心位置(例えば、ギアの中心位置)は、ロボットハンドのモデル及び部品のモデルを用いて、ロボット手先位置からの相対位置として調べておく必要があった。そのため、ロボットハンドが変わるか、又は把持する部品が変わるたびに、回転中心位置を計測する必要があるが、この計測の作業に非常に手間がかかるという問題があった。
In
そこで本発明は、上記問題に鑑みてなされたものであり、物体を回転させる際の手間を軽減することを可能とするロボット装置、ロボット制御装置、ロボット制御方法及びロボット制御プログラムを提供する。 Therefore, the present invention has been made in view of the above problems, and provides a robot apparatus, a robot control apparatus, a robot control method, and a robot control program that can reduce the trouble of rotating an object.
(1)本発明は前記事情に鑑みなされたもので、本発明の一態様は、物体を把持してゴール位置まで搬送するロボット本体と、前記ゴール位置と前記ロボット本体が把持する前記物体とを視野に含めて撮像する撮像部と、前記撮像部が撮像した画像の座標系と前記ロボット本体の座標系との対応関係を取得する対応関係取得部と、前記対応関係取得部が取得した対応関係に基づいて、前記撮像部が撮像した画像中の指定された位置を前記ロボット座標系における指定位置に座標変換する座標変換部と、前記座標変換部が座標変換することにより得られた前記ロボット座標系における指定位置に、前記ロボット本体が把持している前記物体の回転中心位置を移動するよう前記ロボット本体を制御し、前記回転中心位置を中心として該物体を回転させる移動制御部と、を備えることを特徴とするロボット装置である。
この構成によれば、ロボット装置は、撮像部が撮像した画像において予め指定された位置に、ロボット本体が把持している物体の回転中心位置を移動するようロボット本体を制御する。これにより、ロボット装置は、物体の回転中心位置が物体を把持するたびに変化しても、物体の回転中心位置を、画像中の指定された位置に移動することにより、画像の中心位置に移動させ、その画像の中心位置を軸として物体を回転させることができる。その結果、ロボット装置は、把持している物体の回転中心位置を計測する必要がないので、部品を回転させる際の手間を軽減することができる。
(1) The present invention has been made in view of the above circumstances, and one aspect of the present invention includes a robot body that grips an object and conveys the object to a goal position, and the goal position and the object that the robot body grips. An imaging unit that captures an image in a field of view, a correspondence acquisition unit that acquires a correspondence between a coordinate system of an image captured by the imaging unit and a coordinate system of the robot body, and a correspondence acquired by the correspondence acquisition unit A coordinate conversion unit that converts the designated position in the image captured by the imaging unit to a designated position in the robot coordinate system, and the robot coordinates obtained by the coordinate conversion by the coordinate conversion unit The robot body is controlled to move the rotation center position of the object held by the robot body to a specified position in the system, and the object is rotated around the rotation center position. A movement control unit for a robot apparatus, characterized in that it comprises a.
According to this configuration, the robot apparatus controls the robot body to move the rotation center position of the object held by the robot body to a position specified in advance in the image captured by the imaging unit. As a result, even if the rotation center position of the object changes each time the object is gripped, the robot apparatus moves to the center position of the image by moving the rotation center position of the object to the designated position in the image. The object can be rotated about the center position of the image as an axis. As a result, the robot apparatus does not need to measure the rotation center position of the gripped object, so that it is possible to reduce time and effort when rotating the component.
(2)上記に記載のロボット装置において、本発明の一態様は、前記画像中の指定された位置は、前記画像の中心であることを特徴とする。
この構成によれば、画像の中心位置が光学系のゆがみが少なく、画像の中心位置は精度良く被写体の位置を示すので、ロボット装置は、簡便な処理で、精度良く物体の位置を画像の中心位置へ移動させることができる。
(2) In the robot apparatus described above, according to one aspect of the present invention, the designated position in the image is a center of the image.
According to this configuration, since the center position of the image is less distorted in the optical system and the center position of the image accurately indicates the position of the subject, the robot apparatus can accurately determine the position of the object with the center of the image by simple processing. It can be moved to a position.
(3)上記に記載のロボット装置において、本発明の一態様は、前記座標変換部が座標変換することにより得られたロボット座標系における回転中心位置と、前記ロボット座標系における前記ロボット本体が把持している位置を示すロボット手先位置とに基づいて、回転後のロボット手先位置を算出する回転後位置算出部を備え、前記移動制御部は、前記回転後位置算出部が算出したロボット手先位置へ前記ロボットの手先が移動するよう、前記ロボット座標系における指定位置を中心として前記ロボットの手先を回転させることを特徴とする。
この構成によれば、ロボット装置は、ロボット座標系における指定位置を中心としてロボットの手先を回転させるので、物体の回転中心位置が物体を把持する毎に変化しても、物体をその回転中心位置を軸として正確に回転させることができる。
(3) In the robot apparatus described above, according to one aspect of the present invention, the rotation center position in the robot coordinate system obtained by coordinate conversion by the coordinate conversion unit and the robot body in the robot coordinate system grip A post-rotation position calculation unit that calculates a rotated robot hand position based on the robot hand position indicating the position of the robot, and the movement control unit moves to the robot hand position calculated by the post-rotation position calculation unit. The robot hand is rotated about a designated position in the robot coordinate system so that the robot hand moves.
According to this configuration, since the robot device rotates the hand of the robot around the specified position in the robot coordinate system, even if the rotation center position of the object changes every time the object is gripped, the object is moved to the rotation center position. Can be accurately rotated around the axis.
(4)上記に記載のロボット装置において、本発明の一態様は、前記ロボット本体が備えるアームの関節の各角度に基づいて、前記ロボット座標系における前記ロボット手先位置を算出するロボット手先位置算出部を備えることを特徴とする。
この構成によれば、ロボット装置は、算出したロボット座標系におけるロボット手先位置に基づいて、回転後のロボット手先位置を算出することができるので、ロボット座標系における指定位置を中心としてロボットの手先を回転させることができる。
(4) In the robot apparatus described above, one aspect of the present invention is a robot hand position calculation unit that calculates the robot hand position in the robot coordinate system based on each angle of an arm joint included in the robot body. It is characterized by providing.
According to this configuration, the robot apparatus can calculate the robot hand position after the rotation based on the calculated robot hand position in the robot coordinate system, so the robot hand is moved around the designated position in the robot coordinate system. Can be rotated.
(5)本発明の一態様は、物体を把持してゴール位置まで搬送するロボット本体を制御するロボット制御装置であって、前記撮像部が撮像した画像の座標系と前記ロボット本体の座標系との対応関係を取得する対応関係取得部と、前記対応関係取得部が取得した対応関係に基づいて、前記撮像部が撮像した画像中の指定された位置を前記ロボット座標系における指定位置に座標変換する座標変換部と、前記座標変換部が座標変換することにより得られた前記ロボット座標系における指定位置に、前記ロボット本体が把持している物体の回転中心位置を移動するよう前記ロボット本体を制御し、前記回転中心位置を中心として該物体を回転させる移動制御部と、を備えることを特徴とするロボット制御装置である。
この構成によれば、ロボット制御装置は、撮像装置が撮像した画像において予め指定された位置に、ロボット本体が把持している物体の回転中心位置を移動するようロボット本体を制御する。これにより、ロボット制御装置は、物体の回転中心位置が物体を把持するたびに変化しても、物体の回転中心位置を、画像中の指定された位置に移動することにより、把持している物体の回転中心位置を取得することができる。その結果、ロボット制御装置は、把持している物体の回転中心位置を計測する手間を軽減することができる。
(5) One aspect of the present invention is a robot control apparatus that controls a robot body that grips an object and conveys the object to a goal position, and includes a coordinate system of an image captured by the imaging unit and a coordinate system of the robot body. A corresponding relationship acquisition unit that acquires the corresponding relationship, and coordinate conversion of the specified position in the image captured by the imaging unit to a specified position in the robot coordinate system based on the corresponding relationship acquired by the corresponding relationship acquisition unit A coordinate conversion unit that controls the robot main body to move the rotation center position of the object held by the robot main body to a specified position in the robot coordinate system obtained by the coordinate conversion performed by the coordinate conversion unit And a movement control unit that rotates the object around the rotation center position.
According to this configuration, the robot control device controls the robot body to move the rotation center position of the object held by the robot body to a position designated in advance in the image captured by the imaging device. Thereby, even if the rotation center position of the object changes every time the object is gripped, the robot control device moves the rotation center position of the object to the designated position in the image, thereby Can be obtained. As a result, the robot control apparatus can reduce the trouble of measuring the rotation center position of the grasped object.
(6)本発明の一態様は、物体を把持してゴール位置まで搬送するロボット本体を制御するロボット制御装置が実行するロボット制御方法であって、撮像装置が撮像した画像の座標系と前記ロボット本体の座標系との対応関係を取得する対応関係取得手順と、前記対応関係取得手順により取得された対応関係に基づいて、前記撮像装置が撮像した画像中の指定された位置を前記ロボット座標系における指定位置に座標変換する座標変換手順と、前記座標変換手順により座標変換されることにより得られた前記ロボット座標系における指定位置に、前記ロボット本体が把持している物体の回転中心位置を移動するよう前記ロボット本体を制御し、前記回転中心位置を中心として該物体を回転させる移動制御手順と、を有することを特徴とするロボット制御方法である。 (6) One aspect of the present invention is a robot control method executed by a robot control device that controls a robot body that grips an object and conveys the object to a goal position. The coordinate system of an image captured by an imaging device and the robot Based on the correspondence acquisition procedure for acquiring the correspondence with the coordinate system of the main body and the correspondence acquired by the correspondence acquisition procedure, the designated position in the image picked up by the imaging device is represented by the robot coordinate system. A coordinate conversion procedure for converting the coordinates to the designated position in the position, and the rotation center position of the object gripped by the robot body to the designated position in the robot coordinate system obtained by the coordinate transformation by the coordinate transformation procedure And a movement control procedure for controlling the robot body so as to rotate the object about the rotation center position. It is a Tsu door control method.
(7)本発明の一態様は、物体を把持してゴール位置まで搬送するロボット本体を制御するロボット制御装置のコンピュータに、撮像装置が撮像した画像の座標系と前記ロボット本体の座標系との対応関係を取得する対応関係取得ステップと、前記対応関係取得ステップにより取得された対応関係に基づいて、前記撮像装置が撮像した画像中の指定された位置を前記ロボット座標系における指定位置に座標変換する座標変換ステップと、前記座標変換ステップにより座標変換されることにより得られた前記ロボット座標系における指定位置に、前記ロボット本体が把持している物体の回転中心位置を移動するよう前記ロボット本体を制御し、前記回転中心位置を中心として該物体を回転させる移動制御ステップと、を実行させるためのロボット制御プログラムである。 (7) According to one aspect of the present invention, a computer of a robot control device that controls a robot main body that grips an object and conveys the object to a goal position is provided with a coordinate system of an image captured by the imaging device and a coordinate system of the robot main body. Based on the correspondence acquisition step for acquiring the correspondence and the correspondence acquired by the correspondence acquisition step, the specified position in the image captured by the imaging device is coordinate-converted to the specified position in the robot coordinate system. The robot body to move the rotational center position of the object gripped by the robot body to the designated position in the robot coordinate system obtained by the coordinate transformation in the coordinate transformation step. And a movement control step for rotating the object around the rotation center position. Is a control program.
以下、本発明の実施形態について、図面を参照して詳細に説明する。図1は、本発明の実施形態であるロボット装置1の機能構成を表すブロック図である。このロボット装置1は、ビジュアルフィードバック制御によって部品を目標位置まで搬送し、アセンブリ部品の組立作業を行う装置である。本実施形態における部品は、小型電子機器や精密機器等に組み込まれるアセンブリ部品を構成する精密部品(例えば、超小型のギア)である。
同図に示すように、ロボット装置1は、ロボット本体10と、撮像装置(撮像部)20と、位置検出装置30と、ロボット制御装置(ロボット制御部)50とを備える。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a functional configuration of a
As shown in the figure, the
ロボット装置1において、ロボット本体10に把持させた部品を撮像装置20が撮像し、位置検出装置30が撮像装置20によって撮像された画像を解析して部品に対応して定義付けた検出対象の検出処理を行う。ここで、検出対象とは、部品の一部分である。ロボット制御装置50が位置検出装置30によって検出された検出対象を目標位置まで移動させるようにロボット本体10を制御する。ロボット本体10がロボット制御装置50による制御により当該部品を搬送してアセンブリ部品を組立てる。ロボット装置1の各構成について、図2を併せ参照して説明する。
In the
図2は、ロボット装置1が工場の組立製造ラインに設置され、そのロボット装置1のロボット本体10がアセンブリ部品の組立作業を行っている様子を模式的に表した図である。同図に示す組立製造ラインには、ロボット装置1におけるロボット本体10および撮像装置20と、組立中である同種複数のアセンブリ部品が並べ置かれたコンベヤー100とが設置されている。
FIG. 2 is a diagram schematically showing a state in which the
同図は、ロボット本体10が部品220bを軸210bにこれから嵌め込む動作を開始する直前の図である。同図において、撮像装置20の光軸上に、極細の軸径を有する軸210bの長軸が位置するよう、予めコンベヤー100により軸210bが位置決めされている。ロボット装置1は、一例として、部品220bを軸210bに嵌め込む際には、撮像装置20の光軸上に、軸210bの長軸が位置するようコンベヤー100を制御してもよい。これにより、ロボット装置1は、撮像装置20が撮像した画像の中心に、軸210bの基台200と接合している面とは反対の端面が位置するようにすることができる。
なお、同図では、位置検出装置30およびロボット制御装置50の図示を省略している。また、同図における部品や構造等の縮尺は、図を明りょうなものとするために実際のものとは異なる(後述する図3および図4についても同様)。
This figure is a diagram immediately before the
In the figure, the
ロボット本体10は、地面に固定された支持台10aと、旋回可能および屈伸可能に支持台10aに連結されたアーム部10bと、回動可能および首振り可能にアーム部10bに連結されたハンド部10cと、ハンド部10cに取り付けられた把持部10dとを含んで構成される。ロボット本体10は、物体を把持してゴール位置まで搬送可能に保持する。
ロボット本体10は、例えば6軸の垂直多関節ロボットであり、支持台10aとアーム部10bとハンド部10cとの連係した動作によって6軸の自由度を有し、把持部10dが把持する部品の位置および向きを自在に変更することができる。ロボット本体10は、ロボット制御装置50による制御によって、アーム部10bとハンド部10cと把持部10dとのうちいずれか一つまたは組み合わせを動かす。
なお、ロボット本体10の自由度は6軸によるものに限ったものではなく、例えば、自由度は7軸でもよい。また、支持台10aは、壁や天井等、地面に対して固定された場所に設置してもよい。
The
The
Note that the degree of freedom of the
ロボット本体10の把持部10dは、部品220bを把持する。部品220bは、前述したとおり精密部品であり、例えば、微細な軸穴が設けられた平歯車である。本実施形態では、部品220bの具体例を示す場合には、微細な軸穴を有する平歯車を例として説明する。
The
コンベヤー100は、水平な可動載置台を有し、組立て中である同種複数のアセンブリ部品をその可動載置台に配置して矢印A方向に搬送する。各アセンブリ部品は、基台200に極細の軸径を有する軸210aと極細の軸径を有する軸210bとが設けられたものである。基台200は、可動載置台に載置された状態で水平面に平行となる面を有している。軸210a又は軸210bは、その軸方向が基台200の上記面に対して垂直となるように当該面に設けられている。複数のアセンブリ部品は、各軸210の開放された端部の中心点を結ぶ線が矢印A方向に伸びる直線Bとなるように、可動載置台に整列配置される。
図2に示す組立製造ラインでは、ロボット装置1は、アセンブリ部品の軸210a又は軸210bが部品(平歯車)220a又は220bの軸穴に貫通するように、部品220a又は220bをアセンブリ部品に取り付ける作業を行うものである。
The
In the assembly production line shown in FIG. 2, the
撮像装置20は、ゴール位置(例えば、軸210b)とロボット本体10が把持する物体(例えば、部品220b)とを視野に含めて撮像する。撮像装置20は、例えば、30フレーム/秒(fps;frame per second)、120フレーム/秒、200フレーム/秒等のフレームレートで撮像するビデオカメラ装置である。撮像装置20は、コンベヤー100の可動載置台の上方において、撮影方向が垂直下方であり、図示しないレンズ光学系の光軸が直線Bと略交わる位置に固定設置される。なお、図2では、撮像装置20を固定する構造物等の図示を省略している。
撮像装置20の撮影に際しては、コンベヤー100は、配列した複数のアセンブリ部品それぞれについて、軸210a又は軸210bが撮像装置20の略直下、すなわち、レンズ光学系の光軸と軸210とが略一致する位置で可動載置台の動作を停止させる。撮像装置20は、例えば、可動載置台の動作が停止しているときに、位置検出装置30から供給される撮像要求コマンドにしたがって、ゴール位置と部品220bとを被写体として撮像し、この撮像により得られた画像データを位置検出装置30に供給する。
The
When photographing with the
位置検出装置30は、粗検出モードで動作した後に、微細検出モードで動作する。
粗検出モードは、例えば、部品220bに設けたマーカーの領域(以下、単にマーカーともいう。)を検出対象とし、位置検出装置30がそのマーカーを検出して、目標位置である軸210bの軸中心を含む位置(マーカーゴール位置)にマーカーを移動させるよう制御する処理のモードである。
また、微細検出モードは、例えば、部品220bに設けられた位置合わせの基準の部位であるターゲット(例えば平歯車の軸穴)の領域(以下、単にターゲットともいう。)を検出対象とし、位置検出装置30がマーカーの領域内においてそのターゲットを検出して、目標位置である軸210bの軸中心の位置(ターゲットゴール位置)にターゲットの基準位置(平歯車の軸穴の中心位置)を移動させるよう制御する処理のモードである。
The
In the coarse detection mode, for example, a marker region (hereinafter also simply referred to as a marker) provided on the
In the fine detection mode, for example, an area of a target (for example, a shaft hole of a spur gear) (hereinafter also simply referred to as a target) that is a reference part of alignment provided in the
粗検出モードでは、位置合わせの精度を比較的低くすることにより処理負荷を抑えて処理速度を高速にする。一方、微細検出モードでは、位置合わせの精度を粗検出モードによるものよりも高くし、処理速度を粗検出モードによるものよりも低速にする。しかし、微細検出モードにおいては、ターゲットの検出領域をマーカーの領域内に限定するため、処理速度が低速になることによる影響は極めて少ない。 In the coarse detection mode, the processing load is reduced and the processing speed is increased by relatively reducing the alignment accuracy. On the other hand, in the fine detection mode, the alignment accuracy is made higher than that in the coarse detection mode, and the processing speed is made slower than that in the coarse detection mode. However, in the fine detection mode, the detection area of the target is limited to the area of the marker, so that the influence of the low processing speed is extremely small.
粗検出モードにおいて、位置検出装置30は、撮像装置20から供給される画像データを取り込み、探索領域を例えば画像全体とした画像のテンプレートマッチング処理によって当該画像から部品220bに設けられたマーカーを検出する。そして、位置検出装置30は、その検出したマーカーをマーカーゴール位置に移動させる内容のロボット制御コマンドを生成してロボット制御装置50に供給する。
テンプレートマッチングは、公知のオブジェクト検出方式の一つであり、例えば、検索対象画像をテンプレート画像で走査して、両画像の輝度差の絶対値の総和、または輝度差の二乗和を計算することによって類似度を求め、この類似度にしたがってオブジェクトを検出する。
In the coarse detection mode, the
Template matching is one of known object detection methods, for example, by scanning a search target image with a template image and calculating a sum of absolute values of luminance differences between the two images or a square sum of luminance differences. The similarity is obtained, and the object is detected according to the similarity.
また、微細検出モードにおいて、位置検出装置30は、撮像装置20から供給される画像データを取り込み、探索領域をマーカーの領域内に限定した画像のテンプレートマッチング処理によって当該画像の限定領域から部品220bのターゲット(平歯車の軸穴)を検出する。そして、位置検出装置30は、その検出したターゲットの基準位置(平歯車の軸穴の中心位置)をターゲットゴール位置(例えば軸210bの軸中心の位置)に移動させる内容のロボット制御コマンドを生成してロボット制御装置50に供給する。
また、位置検出装置30は、ロボット制御装置50から供給されるロボット制御ステータスを取り込むと、このロボット制御ステータスの内容に応じて撮像装置20に撮像要求コマンドを供給する。
In the fine detection mode, the
Further, when the
ロボット制御装置50は、位置検出装置30から供給されるロボット制御コマンドを取り込み、このロボット制御コマンドに基づいて、ロボット本体10のアーム部10bとハンド部10cと把持部10dとのうちいずれか一つまたは組み合わせの動作を制御する。
また、ロボット制御装置50は、ロボット本体10を制御した後に、制御が成功したか否かを示す情報等を含めたロボット制御ステータスを位置検出装置30に供給する。
The
In addition, after controlling the
図3は、同実施形態に係る把持部10dの動作を示す平面図である。同図において、把持部10dは、本体部11と、一対の指部12とを有する。また、図3(a)において、本体部11と一対の指部12とが接合する本体部11の端面であって、指部12のそれぞれが本体部11と接合している位置の中間の位置がロボット手先位置13である。
図3(a)は把持部10dを部品220bに向けて相対移動させるとき、図3(b)は部品220bの周辺に一対の指部12を配置させたとき、図3(c)は部品220bの側方から一対の指部12の間に部品220bを挟み込ませたとき、図3(d)は把持部10dに部品220bを把持させたとき、を示している。
なお、図3において、符号G1,G2,G3,G4は、一対の指部12と部品220bとの接触点である。
FIG. 3 is a plan view showing the operation of the
3A shows a relative movement of the
In FIG. 3, reference numerals G1, G2, G3, and G4 are contact points between the pair of
図3(a)に示すように、アーム部10bを制御して把持部10dを部品220bに向けて相対移動させる。次に、把持部10dを制御して把持部10dに部品220bを把持させる。ここでは、把持部10dに部品220bのケージング、セルフアライメント、摩擦把持の3つの機能を実現させる。
As shown in FIG. 3A, the
なお、「ケージング」とは、対象物(例えば、部品220b)がある位置・姿勢のときに、把持部10dや部品220bが配置された面によって閉じられた空間の中にあることをいう。ケージングでは、部品220bの位置・姿勢は拘束されておらず自由である。「セルフアライメント」とは、把持部10dで部品220bを挟み込む際に、把持部10dの形状や把持部10dと部品220bとの摩擦力によって、部品220bを前記閉じられた空間の中で所定の位置に移動させることをいう。「摩擦把持」とは、把持部10dに部品220bを3点以上の接触点で接触させて部品220bを拘束し、かつ、摩擦力によって部品220bを部品220bが配置された面に対して垂直な方向に拘束して把持することをいう。
“Caging” means that the object (for example, the
具体的には、図3(b)に示すように、部品220bの周辺に一対の指部12を配置させた後、把持部10dを制御して一対の指部12を部品220bが載置された面と平行な面で開閉させて一対の指部12に部品220bの周辺を囲ませる。これにより、把持部10dは、部品220bを一対の指部12で囲まれた領域の外に飛び出さないようにする(ケージングする)。
Specifically, as shown in FIG. 3B, after the pair of
次に、図3(c)に示すように、部品220bの側方から一対の指部12の間に部品220bを挟み込ませる。これにより、部品220bは一対の指部12に従って移動し、これにより位置が整われる。このように位置が自動的に定まることをセルフアライメントという。
Next, as shown in FIG. 3C, the
そして、図3(d)に示すように、3点以上の接触点(ここでは接触点は4点)G1,G2,G3,G4で一対の指部12に部品220bを把持させる。これにより、部品220bは、所定の位置で拘束される。このことを摩擦把持という。
Then, as shown in FIG. 3D, the
図4は、同実施形態における平歯車の輪列組立において、部品(平歯車)220bが基台200の軸210bに取り付けられる工程を模式的に表した図である。
同図において、部品220aは、粗検出に用いられるマーカー222aと、微細検出に用いられるターゲットとを有している。同図においては、軸穴221aがターゲットである。同様に、部品220bは、粗検出に用いられるマーカー222bと、微細検出に用いられるターゲットとを有している。同図においては、軸穴221bがターゲットである。
FIG. 4 is a diagram schematically showing a process in which the component (spur gear) 220b is attached to the
In the figure, a
マーカー222a又はマーカー222bは、例えば、同図に示すような円周の曲線である。マーカー222aの内側にターゲットである軸穴221aが入っている。また、マーカー222bの内側にターゲットである軸穴221bが入っている。
ただし、マーカー222aの円の中心点は、軸穴221aの中心点に必ずしも一致しなくてよい。また、マーカー222bの円の中心点は、軸穴221bの中心点に必ずしも一致しなくてよい。
The
However, the center point of the circle of the
マーカー222a又はマーカー222bは、撮像装置20によって撮像される被写体となるため、撮像装置20により視覚的に識別可能に設けられる。例えば、マーカー222a又はマーカー222bは、それぞれ部品220a又は部品220bの外形色とのコントラストが異なる色の塗料で着色される。また、マーカー222a又はマーカー222bは、塗料の塗布によるものではなく、シールを貼付するものでもよい。また、マーカー222a又はマーカー222bは、部品220a又は220b自体の加工によるものでもよい。例えば、マーカー222a又はマーカー222bは、平歯車の面に円周の曲線を切削加工したものでもよい。また、部品220a又は220bの材質が金属や樹脂等である場合、マーカー222a又はマーカー222bをプレス加工や射出成形によって形成することが可能である。
マーカー222a又はマーカー222bを円周の曲線とすることにより、被写体が画像の面内で回転した場合でも、正確に識別することができる。
Since the
By making the
図4(a)、図4(b)及び図4(c)において、部品220a又は部品220bは把持部10dによって把持されているが、把持部10dの図示を省略している。図4(a)に示すように、まず、把持部10dは、部品220aを、軸穴221aの中心軸が軸210aの軸上に一致し且つ軸210aの上方となる位置へ搬送し、次に垂直下方である矢印C方向に搬送することにより、軸210aを軸穴221aに貫通させて基台200に取り付ける。
4A, 4B, and 4C, the
続いて、把持部10dは、軸穴221bの中心軸が軸210bに一致し且つ軸210bの上方となる位置へ部品220bを搬送する。そして、把持部10dは、次に垂直下方である矢印D方向に部品220bを搬送する。これにより、把持部10dは、軸穴221bが軸210bの基台200に接合された面とは反対の端面211bを通過させ、軸210bが軸穴221bを貫通している状態にする。
Subsequently, the
図4(b)には、部品220bが、軸210aが軸穴221aを貫通している状態かつ部品220bが基台200及び部品220aに接しない位置に位置していることが示されている。部品220bがその位置に位置している状態で、把持部10dは、部品220bと部品220aとを嵌め合うことができる角度まで、予め決められた回転方向(この例では、上から見て左周り)に部品220bを回転させる。
FIG. 4B shows that the
把持部10dは、部品220bを部品220aと嵌め合わせることができる角度まで部品220bを回転させた後に、図4(c)に示すように、部品220bを垂直下方に搬送し、部品220bを基台200に取り付ける。その結果、把持部10dは、部品220bと部品220aとの歯先がかみ合うように、部品220bと部品220aとを基台200に設置することができる。
The gripping
図5は、同実施形態に係る位置検出装置30の構成を表す概略ブロック図である。同図に示すように、位置検出装置30は、画像データ取得部31と、マーカーゴール画像記憶部32と、マーカー検出部33と、マーカー位置調整部35と、ターゲットゴール画像記憶部36と、ターゲット検出部37と、ターゲット位置調整部39とを備える。
FIG. 5 is a schematic block diagram showing the configuration of the
画像データ取得部31は、撮像装置20から供給される画像データをフレーム単位で取り込み、粗検出モードにおいては取り込んだ画像データをマーカー検出部33に供給し、微細検出モードにおいては取り込んだ画像データをターゲット検出部37に供給する。
The image
マーカーゴール画像記憶部32は、マーカーがマーカーゴール位置に位置した状態の画像であるマーカーゴール画像データを記憶する。例えば、マーカーゴール画像記憶部32は、円周の曲線で表されるマーカー222がターゲットである軸210を囲む位置に設けられた状態のマーカーゴール画像データを記憶する。
The marker goal
マーカー検出部33は、粗検出モードにおいて、画像データ取得部31から供給される画像データを取り込むとともに、マーカーゴール画像記憶部32からマーカーゴール画像データを読み込む。そして、マーカー検出部33は、マーカーゴール画像データを用いてテンプレートマッチング方式によるマーカーの検出処理を実行し、画像データからマーカーを検出してこの検出したマーカーの基準位置の座標値(xt,yt)を取得する。例えば、円周の曲線で表されるマーカー222では、円周の中心位置をマーカー222の基準位置(xt,yt)とする。なお、画像における座標系の原点は、例えば画像の左上隅の画素位置である。そして、マーカー検出部33は、その画像データにおけるマーカーの基準位置の座標値(xt,yt)とマーカーゴール画像データにおけるマーカーの基準位置の座標値(xg,yg)とを、マーカー位置調整部35に供給する。
In the coarse detection mode, the marker detection unit 33 captures the image data supplied from the image
例えば、マーカー検出部33は、画像データ上で、マーカーゴール画像データにおけるマーカーを含む部分画像(マーカー画像)を1画素または数画素ずつずらしながらパターンが一致する場所を探索する。そして、マーカー検出部33は、パターンが一致する場所を検出した場合に、その場所におけるマーカーの基準位置の座標値(xt,yt)を取得し、このマーカーの基準位置の座標値(xt,yt)とマーカーゴール画像データにおけるマーカーの基準位置の座標値(xg,yg)とをマーカー位置調整部35に供給する。
For example, the marker detection unit 33 searches the image data for a place where the pattern matches while shifting a partial image (marker image) including the marker in the marker goal image data by one pixel or several pixels. When the marker detection unit 33 detects a place where the patterns match, the marker detection unit 33 acquires the coordinate value (xt, yt) of the reference position of the marker at the place, and the coordinate value (xt, yt) of the reference position of the marker ) And the coordinate value (xg, yg) of the reference position of the marker in the marker goal image data are supplied to the marker
マーカー位置調整部35は、粗検出モードにおいて、マーカー検出部33から供給される、画像データにおけるマーカーの基準位置の座標値(xt,yt)とマーカーゴール画像データにおけるマーカーの基準位置の座標値(xg,yg)とを取り込む。そして、マーカー位置調整部35は、マーカーゴール画像データにおけるマーカーの基準位置の座標値(xg,yg)と画像データにおけるマーカーの基準位置の座標値(xt,yt)との差分値(xg−xt,yg−yt)が(0,0)となる方向にマーカーを移動させる内容のロボット制御コマンドを生成してロボット制御装置50に供給する。
In the coarse detection mode, the marker
また、マーカー位置調整部35は、ロボット制御装置50から供給されるロボット制御ステータスを取り込み、このロボット制御ステータスの内容が制御の成功を表す内容である場合に、撮像要求コマンドを撮像装置20に供給する。
In addition, the marker
ターゲットゴール画像記憶部36は、ターゲットの基準位置がターゲットゴール位置に位置した状態の画像であるターゲットゴール画像データを記憶する。例えば、ターゲットゴール画像記憶部36は、平歯車の軸穴221の中心が軸210の軸中心に一致する位置に当該平歯車の軸穴221が設けられた状態のターゲットゴール画像データを記憶する。
The target goal
ターゲット検出部37は、微細検出モードにおいて、画像データ取得部31から供給される画像データを取り込むとともに、ターゲットゴール画像記憶部36からターゲットゴール画像データを読み込む。そして、ターゲット検出部37は、ターゲットゴール画像データを用いてテンプレートマッチング方式によるターゲットの検出処理をマーカーの画像領域内で実行し、画像データからターゲットを検出してこの検出したターゲットの基準位置の座標値(xp,yp)を取得する。例えば、ターゲットが部品220(平歯車)の軸穴221である場合、この軸穴221の中心位置を基準位置(xp,yp)とする。そして、ターゲット検出部37は、その画像データにおける基準位置の座標値(xt,yt)とターゲットゴール画像データにおけるターゲットの基準位置の座標値(xo,yo)とを、ターゲット位置調整部39に供給する。
The
例えば、ターゲット検出部37は、画像データ上で、ターゲットゴール画像データにおけるターゲットを含む部分画像(ターゲット画像)を1画素ずつずらしながらパターンが一致する場所を探索する。そして、ターゲット検出部37は、パターンが一致する場所を検出した場合に、その場所におけるターゲットの基準位置の座標値(xp,yp)を取得し、このターゲットの基準位置の座標値(xp,yp)とターゲットゴール画像データにおけるターゲットの基準位置の座標値(xo,yo)とをターゲット位置調整部39に供給する。
For example, the
ターゲット位置調整部39は、微細検出モードにおいて、ターゲット検出部37から供給される、画像データにおけるターゲットの基準位置の座標値(xp,yp)とターゲットゴール画像データにおけるターゲットの基準位置の座標値(xo,yo)とを取り込む。そして、ターゲット位置調整部39は、ターゲットゴール画像データにおけるターゲットの基準位置の座標値(xo,yo)と画像データにおけるターゲットの基準位置の座標値(xp,yp)との差分値(xo−xp,yo−yp)が(0,0)となる方向にターゲットを移動させる内容のロボット制御コマンドを生成してロボット制御装置50に供給する。
In the fine detection mode, the target
また、ターゲット位置調整部39は、ロボット制御装置50から供給されるロボット制御ステータスを取り込み、このロボット制御ステータスの内容が制御の成功を表す内容である場合に、撮像要求コマンドを撮像装置20に供給する。
Further, the target
図6は、同実施形態に係るロボット制御装置50の構成を表す概略ブロック図である。同図に示すように、ロボット制御装置50は、記憶部51と、入力部52と、対応関係算出部53と、対応関係取得部54と、座標変換部55と、ロボット手先位置算出部56と、回転後位置算出部57と、移動制御部58とを備える。
FIG. 6 is a schematic block diagram showing the configuration of the
記憶部51には、ロボット本体10の6軸それぞれの回転角φ1〜φ6が記憶されている。
また、記憶部51には、画像における座標系(以下、画像座標系と称する)とロボット本体10の座標系(以下、ロボット座標系と称する)との対応関係が記憶されている。具体的には、記憶部51には、画像座標系からロボット座標系への座標変換の式が予め記憶されている。
なお、対応関係は、一例として、座標変換の式としたが、画像座標系の座標とロボット座標系における座標とが1対1に関連付けられたテーブルであってもよい。
The
The
The correspondence relationship is, for example, a coordinate conversion formula, but may be a table in which the coordinates in the image coordinate system and the coordinates in the robot coordinate system are associated one-to-one.
ここで、この座標変換の式は、例えば、以下の処理によって予め計算されている。
例えば、ロボット装置1は、あるマーカーが付けられたロボット手先位置を、撮像装置20の光軸と垂直な平面上で動かしながら、撮像装置20にロボット手先位置を撮像させる。設計者は、撮像された画像における複数のマーカーの位置Pfを取得する。また、設計者は、ロボット座標系におけるマーカーの位置Prを実測する。なお、ロボット制御装置50が撮像された画像における複数のマーカーの位置Pfを抽出してもよい。
Here, the coordinate conversion formula is calculated in advance by the following processing, for example.
For example, the
そして、入力部52は、画像上における複数のマーカーの位置Pfと、それらに対応するロボット座標系における複数のマーカーの位置Prとの入力を受け付け、受け付けたそれらの位置を対応関係算出部53に出力する。
対応関係算出部53は、受け付けた画像上における複数のマーカーの位置Pfと、それらに対応するロボット座標系における複数のマーカーの位置Prとに基づいて、上述の座標変換の式を算出する。具体的には、例えば、対応関係算出部53は、複数のマーカーの位置Pfと対応する複数のマーカーの位置Prとを用いて、カメラキャリブレーションにより座標変換の式を算出する。そして、対応関係算出部53は、算出した座標変換の式を記憶部51に記憶させる。
Then, the
The
対応関係取得部54は、画像座標系とロボット座標系との対応関係を取得する。具体的には、例えば、対応関係取得部54は、上述した対応関係の一例である座標変換の式を記憶部51から読み出すことにより座標変換の式を取得する。そして、対応関係取得部54は、取得した座標変換の式を座標変換部55へ出力する。
The correspondence
座標変換部55は、対応関係取得部54が取得した対応関係に基づいて、画像において指定された位置(例えば、画像の中心位置)をロボット座標系における位置に座標変換する。なお、画像の中心位置は、正確に画像の中心でなくとも、画像の中心付近であればよく、画像の端を除く位置であればよい。
座標変換部55は、具体的には、対応関係取得部54から入力された座標変換の式に従って、画像において予め指定された位置をロボット座標系における位置に座標変換する。
The coordinate
Specifically, the coordinate
例えば、座標変換部55は、予め画像の中心位置(uc,vc)を保持している。そして、座標変換部55は、対応関係取得部54から入力された座標変換の式に従って、画像の中心位置(uc,vc)をロボット座標系における中心位置(Xc,Yc)へ座標変換する。
座標変換部55は、変換により得られたロボット座標系における指定位置(例えば、ロボット座標系における中心位置(Xc,Yc))を示す指定位置情報を回転後位置算出部57と移動制御部58へ出力する。
For example, the coordinate
The coordinate
ロボット手先位置算出部56は、ロボット本体が備えるアームの各角度に基づいて、ロボット手先位置を算出する。ここで、アームとは、アーム部10bとハンド部10cとを含むものである。具体的には、例えば、ロボット手先位置算出部56は、以下の処理により、ロボット手先位置を算出する。
ロボット手先位置算出部56は、ロボット本体10の6軸それぞれの回転角φ1〜φ6を記憶部51から読み出す。そして、ロボット手先位置算出部56は、読み出した回転角φ1〜φ6を用いて、公知の逆運動学の処理に従って、ロボット座標系におけるロボット手先位置(X1,Y1)を算出する。ロボット手先位置算出部56は、算出したロボット手先位置(X1,Y1)を示すロボット手先位置情報を回転後位置算出部57に出力する。
The robot hand
The robot hand
回転後位置算出部57は、座標変換部55が座標変換することにより得られたロボット座標系における位置と、ロボット座標系におけるロボットの手先の位置を示すロボット手先位置とに基づいて、回転後のロボット手先位置を算出する。
具体的には、回転後位置算出部57は、座標変換部55から入力された指定位置情報が示す位置(例えば、ロボット座標系における中心位置(Xc,Yc))と、ロボット手先位置算出部56から入力されたロボット手先位置情報が示す位置(X1,Y1)とを用いて、以下の式(1)に従って、回転後のロボット手先位置(X2,Y2)を算出する。
The post-rotation
Specifically, the post-rotation
ここで、θは、予め決められた回転角度である。回転後位置算出部57は、算出により得られた回転後のロボット手先位置(X2,Y2)を示す回転後ロボット手先位置情報を移動制御部58へ出力する。
Here, θ is a predetermined rotation angle. The post-rotation
移動制御部58は、座標変換部55が座標変換することにより得られたロボット座標系における指定位置に、ロボット本体10が把持している物体(例えば、部品220b)の回転中心位置を移動するようロボット本体10を制御する。より詳細には、移動制御部58は、座標変換部55から入力されたロボット座標系における指定位置情報が示す指定位置に、ロボット本体10が把持している物体の回転中心位置を移動するようロボット本体10を制御する。
The
また、移動制御部58は、回転後位置算出部57が算出した回転後のロボット手先位置へロボットの手先が移動するよう、ロボット座標系における指定位置を中心としてロボットの手先を回転させる。具体的には、移動制御部58は、回転後位置算出部57から入力された回転後ロボット手先位置情報が示す位置(X2,Y2)にロボット手先位置を移動するよう、ロボット座標系における指定位置を中心としてロボットの手先を予め決められた回転方向へ回転させる。
Further, the
また、移動制御部58は、位置検出装置30から入力されたロボット制御コマンドに基づいて、ロボット本体10を制御する。また、移動制御部58は、ロボット本体10を制御した後に、制御が成功したか否かを示す情報等を含めたロボット制御ステータスを生成し、生成したロボット制御ステータスを位置検出装置30に供給する。
Further, the
図7は、同実施形態におけるロボット制御装置50の処理を説明するための図である。同図において、第1の撮影画像の模式図71と、把持部10dを移動させた後の第2の撮影画像の模式図72の一例が示されている。
第1の撮影画像の模式図71において、画像座標系(UV座標系)において、部品220bの軸穴221bの中心位置と、画像中心位置(uc,vc)とが示されている。ここで、画像中心位置(uc,vc)が一例として軸210bの端面の中心に一致しているとして、以下説明する。
FIG. 7 is a diagram for explaining processing of the
In the schematic diagram 71 of the first photographed image, the center position of the
把持部11dの移動の際には、ロボット装置1は、以下の処理を行うことにより、把持部11dを移動させる。
まず、位置検出装置30は、画像座標系における軸穴221bの中心位置を検出し、検出した軸穴221bの中心位置を示す軸穴中心位置情報をロボット制御装置50の座標変換部55へ出力する。
When the grip portion 11d is moved, the
First, the
座標変換部55は、位置検出装置30から入力された軸穴中心位置情報が示す軸穴221bの中心位置を、ロボット座標系における軸穴221bの中心位置へ変換する。また、座標変換部55は、予め保持している画像中心位置を、ロボット座標系における画像中心位置(Xc,Yc)へ変換する。座標変換部55は、変換により得られたロボット座標系における軸穴221bの中心位置を示すロボット座標軸穴中心位置情報とロボット座標系における画像中心位置(Xc,Yc)を示すロボット座標画像中心位置情報とを移動制御部58へ出力する。
The coordinate
移動制御部58は、座標変換部55から入力されたロボット座標軸穴中心位置情報とロボット座標画像中心位置情報とに基づいて、ロボットを移動させる方向と距離を算出する。具体的には、例えば、移動制御部58は、ロボット座標軸穴中心位置情報が示す位置からロボット座標画像中心位置情報が示す位置への方向をロボットを移動させる方向として算出する。また、例えば、移動制御部58は、ロボット座標軸穴中心位置情報が示す位置と、ロボット座標画像中心位置情報が示す位置との間の距離を、ロボットを移動させる距離として算出する。
The
そして、移動制御部58は、ロボットに対して、算出した方向に対して、算出した距離だけ動くよう指令する。これにより、移動制御部58は、ロボット座標系における軸穴221bの中心位置がロボット座標系における画像中心位置(Xc,Yc)になるように把持部11dを移動させることができる。
Then, the
続いて、同図の第2の撮影画像の模式図72は、画像において把持物体の中心位置が画像中心位置(uc, vc)になるように、把持部11dが移動された後に撮像された画像の模式図である。同図の第2の撮影画像の模式図72において、把持物体の中心位置が画像中心位置(uc, vc)に位置していることが示されている。同図の第2の撮像画像の模式図72において、画像座標系におけるロボット手先位置(u1,v1)が示されている。 Subsequently, a schematic diagram 72 of the second photographed image in the same figure is picked up after the gripping part 11d is moved so that the center position of the gripping object becomes the image center position (u c , v c ) in the image. FIG. In the schematic diagram 72 of the second photographed image in the same figure, it is shown that the center position of the grasped object is located at the image center position (u c , v c ). In the schematic diagram 72 of the second captured image in the same figure, the robot hand position (u 1 , v 1 ) in the image coordinate system is shown.
第2の撮影画像を取得後に、位置検出装置30は、画像座標系におけるロボット手先位置(u1,v1)を抽出し、抽出したロボット手先位置(u1,v1)を示すロボット手先位置情報をロボット制御装置50の座標変換部55へ出力する。
座標変換部55は、位置検出装置30から入力されたロボット手先位置情報が示すロボット手先位置(u1,v1)を、ロボット座標系におけるロボット手先位置(X1,Y1)へ変換する。座標変換部55は、変換により得られたロボット手先位置(X1,Y1)を示す変換後ロボット手先位置情報を移動制御部58へ出力する。
After acquiring the second captured image, the
The coordinate
図8は、同実施形態における回転前の把持部10dと回転後の把持部10dの関係を示す図である。同図において、回転前の把持部10dの模式図81と回転後の把持部10dの模式図82の一例が示されている。また、ロボット座標系における回転中心位置(Xc,Yc)と、ロボット座標系における回転前のロボット手先位置(X1,Y1)と、ロボット座標系における回転後のロボット手先位置(X2,Y2)の一例が示されている。ロボット座標系における回転後のロボット手先位置(X2,Y2)は、ロボット座標系における回転中心位置(Xc,Yc)を中心として、把持部81が左回りにθ回転した場合のロボット手先位置である。
FIG. 8 is a diagram illustrating a relationship between the
同図の例において、回転後位置算出部57は、一例として、ロボット座標系における回転中心位置(Xc,Yc)と、ロボット座標系における回転前のロボット手先位置(X1,Y1)と予め決められた回転角度θを式(1)に適用して、ロボット座標系における回転後のロボット手先位置(X2,Y2)を算出する。そして、回転後位置算出部57は、算出した回転後のロボット手先位置(X2,Y2)を示す回転後ロボット手先位置情報を移動制御部58へ出力する。
そして、移動制御部58は、回転後位置算出部57から入力された回転後ロボット手先位置情報が示す位置(X2,Y2)にロボット手先位置を移動するようロボット本体10を制御する。
In the example of the figure, the post-rotation
Then, the
図9は、ロボット装置1が部品220bを軸210bに取り付ける処理の第1の例を示すフローチャートである。ここで、既に軸210aには、部品220aが取り付けられており、軸210bの基台200に接合された面とは反対の端面211bが画像中心に位置していることを前提にする。
FIG. 9 is a flowchart illustrating a first example of processing in which the
まず、移動制御部58は、部品220bの軸穴221bの中心位置を、端面211bの上方の空間において画像の中心位置へ移動するようロボット本体10を制御する(ステップS101)。次に、移動制御部58は、軸210bに部品220bを嵌め込むようロボット本体10を制御する(ステップS102)。次に、座標変換部55は、画像座標系における回転中心位置をロボット座標系における回転中心位置(Xc,Yc)へ座標変換する(ステップS103)。
First, the
次に、ロボット手先位置算出部56は、ロボット本体10の6軸それぞれの回転角φ1〜φ6に基づいて、ロボット座標系におけるロボット手先位置の算出する(ステップS104)。次に、回転後位置算出部57は、ロボット座標系における回転中心位置とロボット座標系におけるロボット手先位置から回転後のロボット手先位置を算出する(ステップS105)。次に、移動制御部58は、回転後のロボット手先位置まで、ロボット手先位置を回転するようロボット本体10を制御する(ステップS106)。
Next, the robot hand
次に、ロボット制御装置50は、撮像装置20に、部品220aと部品220bとが視野に入るように撮像させる(ステップS107)。次に、移動制御部58は、ステップS107において撮像された画像において、部品200aの歯先と部品200bの歯先とが重なるか否か判定する(ステップS108)。部品200aの歯先と部品200bの歯先とが重なる場合(ステップS108 YES)、ロボット制御装置50は、ステップS104の処理に戻る。一方、部品200aの歯先と部品200bの歯先とが重ならない場合(ステップS108 NO)、移動制御部58は、部品220bを部品220aへ嵌め込むようロボット本体10を制御する(ステップS109)。以上で、本フローチャートの処理を終了する。
Next, the
ロボット制御装置50は、撮像装置20が撮像した画像において画像の中心位置に、ロボット本体10が把持している物体(例えば、部品220b)の回転中心位置(軸穴221bの中心位置)を移動するようロボット本体10を制御する。これにより、ロボット制御装置50は、物体の回転中心位置が物体を把持するたびに変化しても、物体の回転中心位置を、画像の中心位置に移動させ、その画像の中心位置を軸として物体を回転させることができる。その結果、ロボット制御装置50は、把持している物体の回転中心位置を計測する必要がないので、部品を回転させる際の手間を軽減することができる。
The
また、ロボット制御装置50は、部品220bの軸穴221bの中心位置(あるいは重心位置)を画像の中心位置に移動させるようにする。これにより、画像の中心位置が光学系のゆがみが少なく、画像の中心位置は精度良く被写体の位置を示すので、ロボット制御装置50は、部品220bをサブピクセルオーダーで移動させる場合にも、精度良く移動させることができる。すなわち、ロボット制御装置50は、簡便な方法で、高い精度で部品220bの位置を合わせることができる。
Further, the
また、ロボット制御装置50は、画像の中心位置は精度良く被写体の位置を示すので、撮像装置20の光学的なゆがみを補正することなどのキャリブレーションをする必要がないので、キャリブレーションにかかる手間と時間を削減することができる。
In addition, since the
ロボット装置1は、部品220bを画像の中心位置になるように制御したので、撮像装置20がズームしても、部品220bが画像の中心付近に位置する。これにより、ロボット装置1は、部品220bを画像の中心位置に移動後に、ズームしてピクセルレベルで部品220bの位置を調整する場合に、ズーム後の撮像範囲に入るように部品220bを移動させる必要がないので、ズーム後の位置調整にかかる手間と時間を削減することができる。
Since the
なお、ロボット制御装置50は、撮像装置200が撮像した画像において、軸210bの基台200と接合している面とは反対の端面211bを示す端面画像領域が画像の中心位置に位置しない場合、その端面画像領域の重心を抽出し、その端面画像領域の重心へ部品220bを移動させるようにしてもよい。ここで、端面画像領域の重心は、端面画像領域の中心であってもよい。
これにより、ロボット制御装置50は、コンベヤー100による軸210bの位置決めの精度が低くても、その端面画像領域の重心または中心を回転中心にして、部品220bを回転させることができる。
In the image captured by the
Thereby, even if the accuracy of positioning of the
図10は、図9におけるステップS101の処理の詳細の一例を示したフローチャートである。図2に示した工場の組立製造ラインにおいて、コンベヤー100が、可動載置台に配列した複数のアセンブリ部品のうち、組立対象であるアセンブリ部品の軸210bが撮像装置20の略直下、すなわち、撮像装置20のレンズ光学系の光軸と軸210bとが略一致する位置で可動載置台の動作を停止させ、位置検出装置30が粗検出モードに設定された後、図10のフローチャートの処理が実行される。
FIG. 10 is a flowchart showing an example of details of the processing in step S101 in FIG. In the assembly production line of the factory shown in FIG. 2, the
まず、ステップS201において、撮像装置20は組立対象であるアセンブリ部品を撮像し、撮像によって得られる画像データを位置検出装置30に供給する。
First, in step S <b> 201, the
次に、ステップS202において、位置検出装置30は、撮像装置20から供給される画像データを取り込み、探索領域を例えば画像全体とした画像のテンプレートマッチング処理によって当該画像から部品220bに設けられたマーカーを検出する。
Next, in step S202, the
ステップS202の処理について詳細に説明する。位置検出装置30の画像データ取得部31は、撮像装置20から供給される画像データを取り込んでマーカー検出部33に供給する。次に、マーカー検出部33は、画像データ取得部31から供給される画像データを取り込み、マーカーゴール画像記憶部32からマーカーゴール画像データを読み込む。次に、マーカー検出部33は、マーカーゴール画像データを用いてテンプレートマッチング法によるマーカーの探索処理を実行し、画像データからマーカーを検出してこの検出したマーカーの基準位置の座標値(xt,yt)を取得する。次に、マーカー検出部33は、その画像データにおけるマーカーの基準位置の座標値(xt,yt)とマーカーゴール画像データにおけるマーカーの基準位置の座標値(xg,yg)とを、マーカー位置調整部35に供給する。
The process of step S202 will be described in detail. The image
次に、ステップS203において、マーカー位置調整部35は、マーカー検出部33から供給される、画像データにおけるマーカーの基準位置の座標値(xt,yt)とマーカーゴール画像データにおけるマーカーの基準位置の座標値(xg,yg)とを取り込む。次に、マーカー位置調整部35は、マーカーゴール画像データにおけるマーカーの基準位置の座標値(xg,yg)と画像データにおけるマーカーの基準位置の座標値(xt,yt)との差分値(xg−xt,yg−yt)を計算する。次に、マーカー位置調整部35は、差分値が(0,0)でない場合は、マーカーがゴールしていないと判定してステップS4の処理に移る。
Next, in step S203, the marker
ステップS204において、マーカー位置調整部35は、差分値が(0,0)となる方向にマーカーを移動させる内容のロボット制御コマンドを生成してロボット制御装置50に供給する。次に、ロボット制御装置50は、位置検出装置30から供給されるロボット制御コマンドを取り込み、このロボット制御コマンドに基づいて、ロボット本体10のアーム部10bとハンド部10cと把持部10dとのうちいずれか一つまたは組み合わせの動作を制御する。そして、ロボット本体10は、ロボット制御装置50による制御によって、アーム部10bとハンド部10cと把持部10dとのうちいずれか一つまたは組み合わせを動かす。次に、ロボット制御装置50は、ロボット本体10を制御した後に、制御が成功したか否かを示す情報等を含めたロボット制御ステータスを位置検出装置30に供給する。
In step S <b> 204, the marker
次に、ステップS205において、位置検出装置30のマーカー位置調整部35は、ロボット制御装置50から供給されるロボット制御ステータスを取り込み、このロボット制御ステータスの内容が制御の成功を表す内容である場合に、撮像要求コマンドを撮像装置20に供給して、ステップS1の処理に戻る。
Next, in step S205, the marker
一方、ステップS203の処理において、差分値が(0,0)であるとマーカー位置調整部35が判定した場合は、位置検出装置30を微細検出モードに設定してステップS206の処理に移る。
On the other hand, if the marker
ステップS206において、撮像装置20は組立対象であるアセンブリ部品を撮像し、撮像によって得られる画像データを位置検出装置30に供給する。
In step S <b> 206, the
ステップS207において、位置検出装置30は、撮像装置20から供給される画像データを取り込み、探索領域をマーカーの領域内に限定した画像のテンプレートマッチング処理によって当該画像の限定領域から部品220bのターゲット(平歯車の軸穴)を検出する。
In step S207, the
ステップS207の処理について詳細に説明する。位置検出装置30の画像データ取得部31は、撮像装置20から供給される画像データをフレーム単位で取り込んでターゲット検出部37に供給する。次に、ターゲット検出部37は、画像データ取得部31から供給される画像データを取り込み、ターゲットゴール画像記憶部36からターゲットゴール画像データを読み込む。次に、ターゲット検出部37は、ターゲットゴール画像データを用いてテンプレートマッチング法によるターゲットの探索処理をマーカーの画像領域内で実行し、画像データからターゲットを検出してこの検出したターゲットの基準位置の座標値(xp,yp)を取得する。次に、ターゲット検出部37は、その画像データにおける基準位置の座標値(xt,yt)とターゲットゴール画像データにおけるターゲットの基準位置の座標値(xo,yo)とを、ターゲット位置調整部39に供給する。
The process of step S207 will be described in detail. The image
次に、ステップS208において、ターゲット位置調整部39は、ターゲット検出部37から供給される、画像データにおけるターゲットの基準位置の座標値(xp,yp)とターゲットゴール画像データにおけるターゲットの基準位置の座標値(xo,yo)とを取り込む。次に、ターゲット位置調整部39は、ターゲットゴール画像データにおけるターゲットの基準位置の座標値(xo,yo)と画像データにおけるターゲットの基準位置の座標値(xp,yp)との差分値(xo−xp,yo−yp)を計算する。次に、ターゲット位置調整部39は、差分値が(0,0)でない場合は、ターゲットがゴールしていないと判定してステップS209の処理に移る。
Next, in step S208, the target
ステップS209において、ターゲット位置調整部39は、差分値が(0,0)となる方向にターゲットを移動させる内容のロボット制御コマンドを生成してロボット制御装置50に供給する。次に、ロボット制御装置50は、位置検出装置30から供給されるロボット制御コマンドを取り込み、このロボット制御コマンドに基づいて、ロボット本体10のアーム部10bとハンド部10cと把持部10dとのうちいずれか一つまたは組み合わせの動作を制御する。そして、ロボット本体10は、ロボット制御装置50による制御によって、アーム部10bとハンド部10cと把持部10dとのうちいずれか一つまたは組み合わせを動かす。次に、ロボット制御装置50は、ロボット本体10を制御した後に、制御が成功したか否かを示す情報等を含めたロボット制御ステータスを位置検出装置30に供給する。
In step S <b> 209, the target
次に、ステップS210において、位置検出装置30のターゲット位置調整部39は、ロボット制御装置50から供給されるロボット制御ステータスを取り込み、このロボット制御ステータスの内容が制御の成功を表す内容である場合に、撮像要求コマンドを撮像装置20に供給してステップS206の処理に戻る。
Next, in step S210, the target
一方、ステップS208の処理において、差分値が(0,0)であるとターゲット位置調整部39が判定した場合は、本フローチャートの処理を終了する。
On the other hand, when the target
図11は、ロボット装置1が部品220bを軸210bに取り付ける処理の第2の例を示すフローチャートである。同図の処理は、部品220bの軸穴221bの中心位置を、画像の中心位置ではなく、画像中の予め決められた位置へ移動する点で、図9のフローチャートの処理と異なっている。ここで、既に軸210aには、部品220aが取り付けられており、軸210bの基台200に接合された面とは反対の端面211bが該画像中の予め決められた位置に位置していることを前提にする。
FIG. 11 is a flowchart showing a second example of the process in which the
まず、移動制御部58は、軸穴221bの中心位置を画像中の予め決められた位置へ移動するようロボット本体10を制御する(ステップS301)。次に、移動制御部58は、軸210bに部品220bを嵌め込むようロボット本体10を制御する(ステップS302)。
First, the
次に、移動制御部58は、画像座標系における画像中の予め決められた位置をロボット座標系における位置へ座標変換する(ステップS303)。次に、ロボット手先位置算出部56は、ロボット本体10の6軸それぞれの回転角φ1〜φ6に基づいて、ロボット座標系におけるロボット手先位置を算出する(ステップS304)。次に、回転後位置算出部57は、ロボット座標系における回転中心位置とロボット座標系におけるロボット手先位置から回転後のロボット手先位置を算出する(ステップS305)。
Next, the
次に、移動制御部58は、回転後のロボット手先位置まで、ロボット手先位置を回転させる(ステップS306)。次に、ロボット制御装置50は、撮像装置20に、部品220aと部品220bとが視野に入るように撮像させる(ステップS307)。次に、移動制御部58は、ステップS307において撮像された画像において、部品200aの歯先と部品200bの歯先とが重なるか否か判定する(ステップS308)。部品200aの歯先と部品200bの歯先とが重なる場合(ステップS308 YES)、ロボット制御装置50は、ステップS304の処理に戻る。一方、部品200aの歯先と部品200bの歯先とが重ならない場合(ステップS308 NO)、移動制御部58は、部品220bを部品220aへ嵌め込むようロボット本体10を制御する(ステップS109)。以上で、本フローチャートの処理を終了する。
Next, the
以上、本実施形態におけるロボット制御装置50は、画像中の予め決められた位置に、部品220bの軸穴221bの中心位置を移動させる。そして、ロボット制御装置50は、画像中の当該予め決められた位置を中心として、部品220bを回転させる。すなわち、ロボット制御装置50は、画像の中心位置だけでなく画像中の予め決められた位置を中心として、部品220bを回転させることができる。
As described above, the
これにより、ロボット制御装置50は、予め軸210bを画像の中心位置に位置するようにしなくても、軸210bが撮像装置20の撮像範囲内に位置していれば、部品220bを回転させることができる。例えば、軸210bを画像中心に位置すると部品220bの嵌め込み処理がしにくい場合に、軸210bの位置を画像の中心位置ではなく画像の予め決められた位置にしたとしても、ロボット制御装置50は、その軸210bの位置を中心として部品220bを回転させることができる。これにより、ロボット制御装置50は、処理効率を向上させることができる。このように、ロボット制御装置50は、軸210bの位置すなわち回転中心位置を撮像装置20の撮像範囲内で自由に設定することができるので、組み立ての自由度を向上させることができる。
As a result, the
なお、ロボット制御装置50は、撮像装置20が撮像した画像から抽出された部品220bに関する大きさに関する情報(例えば、軸穴221bの大きさ)に応じて、部品220bを回転させる位置を変更してもよい。
具体的には、例えば、ロボット制御装置50は、軸穴221bの直径が予め決められた長さより短い場合、画像の中心位置で部品220bを回転させ、軸穴221bの直径が予め決められた長さ以上の場合、画像中の予め決められた位置で部品220bを回転させるようにしてもよい。
Note that the
Specifically, for example, when the diameter of the
これにより、ロボット制御装置50は、部品220bの位置の調節に高い精度が要求されるような部品220bの場合に、位置の調節の精度を優先させ、部品220bの位置の調節にそれほど精度が要求されないような部品220bの場合には、処理効率又は組み立ての自由度を優先することができる。
Thereby, the
図12は、把持部10dが他の部品を把持して回転させて組付ける様子の模式図である。同図は、一対の指部12が把持している部品220dを基台200に接合された軸210dに通すよう、垂直下方方向Eに向かって部品220dを搬送している図である。また、同図において、部品220cは、基台200に接合された軸210cを通した状態で、基台200に既に取り付けられている。
FIG. 12 is a schematic view of the
同図に示すように、把持部10dは把持対象部分が略円形である必要があるが、部品が図のように2段構造となっている場合は、把持対象部分である1段目の形状が略円形であれば、把持する部分ではない2段目の形状は略円形でなくてもよい。ここで、略円形とは、楕円またはギアのように側周部に凹凸がある形状を含むものである。
同図のように2段目の一部に組付ける部品との位置あわせをしなければならない部分が存在している場合にも、部品を軸に通した状態で回転させる必要がある。このような部品の組付けにも本発明は適用可能である。
As shown in the figure, the
Even when there is a part that needs to be aligned with a part to be assembled in a part of the second stage as shown in the same figure, it is necessary to rotate the part through the shaft. The present invention is also applicable to assembly of such parts.
<効果>
以上、本実施形態におけるロボット制御装置50は、撮像装置20が撮像した画像において予め指定された位置に、ロボット本体10が把持している物体(例えば、部品220b)の回転中心位置(軸穴221bの中心位置)を移動するようロボット本体10を制御する。これにより、ロボット制御装置50は、物体の回転中心位置が物体を把持するたびに変化しても、物体の回転中心位置を、画像中の指定された位置に移動させることにより、画像の中心位置に移動させ、その画像の中心位置を軸として物体を回転させることができる。その結果、ロボット制御装置50は、把持している物体の回転中心位置を計測する必要がないので、部品を回転させる際の手間を軽減することができる。
<Effect>
As described above, the
また、ロボット制御装置50は、ロボット座標系における指定位置を中心としてロボットの手先を回転させるので、物体の回転中心位置とロボット手先位置との距離が物体を把持する毎に変化しても、物体をその回転中心位置を軸として回転させることができる。
ロボット制御装置50は、撮像装置10が撮像した画像において、部品200aの歯先と部品200bの歯先とが重ならない位置まで、部品200bを回転させるようにするので、部品220aと部品220bとを嵌め合わせることができる。
Further, since the
Since the
また、本実施形態における把持部10dは、特定の形状の部品に対してのみセルフアライメント機能が有効であるが、ロボット制御装置50は、セルフアライメント機能が有効でない様々な形状の部品に対しても正確に回転中心周りに回転させることができる。
なお、本実施形態において、セルフアライメント機能を有する把持部10dについて説明したが、これに限らず、把持部10dはセルフアライメント機能を有していなくてもよい。
In addition, the
In addition, in this embodiment, although the
把持する部品が複数種類ある場合に、従来は、人がロボット本体10により把持された部品の種類を特定し、事前に計測しておいた部品のモデルでの回転中心位置を選択し、部品を回転させる為、処理に非常に手間がかかるという問題があった。
本実施形態によれば、ロボット制御装置50は、部品のモデルでの回転中心位置を事前に計測しておく必要なく、ロボット座標系における回転後のロボット手先位置を算出することができるので、手間を軽減することができる。
When there are a plurality of types of parts to be gripped, conventionally, the type of the part gripped by the
According to this embodiment, the
また、従来、把持する部品が複数種類ある場合に、ロボット本体10が部品を把持しただけでは、どの種類の部品を持ったかは分からないので、部品の中心位置が分からず、その結果、どの位置を軸に合わせてよいか分からないという問題があった。
本実施形態によれば、撮像装置20が部品を撮像することにより、把持する部品が変更されたとしても、ロボット制御装置50は、画像における部品の中心位置を特定することができる。これにより、ロボット制御装置50は、部品の中心位置を、画像において予め決められた位置(例えば、画像の中心位置)に移動するよう制御することができる。その結果、ロボット制御装置50は、部品の中心位置と軸の位置とを合わせることができる。
Further, conventionally, when there are a plurality of types of parts to be gripped, it is not known which type of parts are held just by gripping the parts by the
According to the present embodiment, the
本実施形態では、一例として、本体部11と同じ面上に一対の指部12が位置しているとして説明したが、一対の指部12が本体部11と同じ面上になく、本体部11の面から外れた方向に角度がついて位置していてもよい。
その場合、従来は、部品220bの軸穴221bの中心位置を精度良く算出することができなかった。一方、本実施形態におけるロボット制御装置50は、撮像装置20が撮像した画像から部品220bの軸穴221bの中心位置を算出するので、部品220bの軸穴221bの中心位置を精度良く算出することができる。
In the present embodiment, as an example, the pair of
In that case, conventionally, the center position of the
また、従来は、ロボット本体10自体のガタがあって、必ずしも軸穴221bの中心位置を画像内の予め指定された位置(例えば、画像の中心位置)に移動できないという問題があった。一方、本実施形態におけるロボット制御装置50は、撮像装置20が撮像した画像から部品220bの軸穴221bの中心位置を算出するので、ロボット本体10自体にガタがあっても、画像内の予め指定された位置に精度よく移動するようにすることができる。
Conventionally, there is a backlash of the
なお、本実施形態では、ロボット本体10が一つで、ロボット本体10が部品220bを把持しながら部品220bを回転させたが、これに限ったものではない。ロボット本体10が二つあって、一方のロボット本体10が部品220aを把持しながら回転させ、他方のロボット本体10が部品220bを把持しながら回転させて、部品220aと部品220bとを嵌め合わせてもよい。
In this embodiment, the number of the robot
図13は、第2の実施形態におけるロボット装置の概略の外観図である。
同図において、ロボット装置2は、ロボット本体60と、撮影装置61と、把持部62と、ロボット制御装置50と、ケーブル63とを含んで構成される。
ロボット本体60とロボット制御装置50とケーブル63とは、ロボット装置に含まれる。
ロボット制御装置50は、本実施形態と同様の構成であるため、ロボット制御装置50についての詳細な説明を省略する。
FIG. 13 is a schematic external view of the robot apparatus according to the second embodiment.
In the figure, the
The
Since the
ロボット本体60は、具体的には、地面に対して可動に設置された本体60aと、旋回可能に本体60aに連結された首部60bと、首部60bに対して固定された頭部60cと、旋回可能および屈伸可能に頭部60cに連結された第1アーム部60dと、旋回可能および屈伸可能に頭部60cに連結された第2アーム部60eと、ロボット本体60の設置面に対してロボット本体60を移動可能に本体60aに取り付けられた搬送部60fとを含んで構成される。
Specifically, the robot
第1アーム部60dの開放端であるハンドには、把持部62が取り付けられている。また、第2アーム部60eの開放端であるハンドには、撮影装置61が取り付けられている。
搬送部60fは、ロボット本体60の設置面に対して、ロボット本体60を一定方向または方向自在に移動可能に支持する。搬送部60fは、四組の車輪、四組のキャスター、一対の無限軌道等により実現される。
A
The
ロボット本体60は、例えば、2系統のアームを備えた垂直多関節ロボット(双腕ロボット)である。ロボット本体60は、ロボット制御装置50から供給されるロボット制御命令を取り込み、このロボット制御命令による駆動制御によって、撮影装置61および把持部62それぞれの位置および姿勢を三次元空間内で所望に変更し、また把持部62の爪部を開閉させる。
The
撮影装置61は、被写体を撮影して静止画像または動画像である撮影画像を取得し、この撮影画像をロボット制御装置20に供給する。撮影装置61は、例えば、デジタルカメラ装置、デジタルビデオカメラ装置により実現される。
把持部62は、物体を挟持可能な爪部を備える。なお、図13では、把持部62を、その機能を示すために模式的に示してある。
The
The holding
ケーブル63は、ロボット制御装置20が出力するロボット制御命令をロボット本体60に供給したり、ロボット本体60が出力するロボット制御応答をロボット制御装置20に供給したりする。ロボット制御命令は、ロボット本体60の各可動部を駆動制御する制御命令である。ロボット制御応答は、例えば、ロボット本体60がロボット制御装置20に対して通知する、ロボット制御命令に対する応答を含む。ケーブル63は、例えば、シリアル通信線等のケーブルやコンピューターネットワークである。
The
ロボット制御装置50は、ロボット本体60の首部60bと頭部60cと第2アーム部60eとの動作を制御し、撮影装置61の位置および姿勢を変更させる。具体的に、ロボット制御装置50は、撮影装置61を、図示しないアセンブリ部品に対して略垂直上方において、撮影方向が略垂直下方となる位置に設置させる。
また、ロボット制御装置50は、ロボット制御装置50は、撮影装置61から供給される、アセンブリ部品の撮影画像を取り込み、この撮影画像に基づいてロボット本体60の首部60bと頭部60cと第1アーム部60dとの動作を制御し、第1の実施形態と同様に、歯車を軸に通してアセンブリ部品に取り付ける。
The
Further, the
以上、第2の実施形態におけるロボット装置2は、第1の実施形態のロボット装置1と同じロボット制御装置50を備えており、第1の実施形態と同様の効果を奏する。
なお、ロボット制御装置50は、例えば、ロボット本体60の本体60aのキャビネットに収納されていてもよい。
As described above, the
The
また、本実施形態の位置検出装置30とロボット制御装置50の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、位置検出装置30とロボット制御装置50に係る上述した種々の処理を行ってもよい。
In addition, a program for executing each process of the
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.
1、2 ロボット装置
10 ロボット本体
10a 支持台
10b アーム部
10c ハンド部
10d 把持部
20 撮像装置(撮像部)
30 位置検出装置
31 画像データ取得部
32 マーカーゴール画像記憶部
33 マーカー検出部
35 マーカー位置調整部
36 ターゲットゴール画像記憶部
37 ターゲット検出部
39 ターゲット位置調整部
50 ロボット制御装置(ロボット制御部)
51 記憶部
52 入力部
53 対応関係算出部
54 対応関係取得部
55 座標変換部
56 ロボット手先位置算出部
57 回転後位置算出部
58 移動制御部
60 ロボット本体
60a 本体
60b 首部
60c 頭部
60d 第1アーム部
60e 第2アーム部
60f 搬送部
61 撮影装置
62 把持部
63 ケーブル
DESCRIPTION OF
DESCRIPTION OF
51
Claims (7)
前記ゴール位置と前記ロボット本体が把持する前記物体とを視野に含めて撮像する撮像部と、
前記撮像部が撮像した画像の座標系と前記ロボット本体の座標系との対応関係を取得する対応関係取得部と、
前記対応関係取得部が取得した対応関係に基づいて、前記撮像部が撮像した画像中の指定された位置を前記ロボット座標系における指定位置に座標変換する座標変換部と、
前記座標変換部が座標変換することにより得られた前記ロボット座標系における指定位置に、前記ロボット本体が把持している前記物体の回転中心位置を移動するよう前記ロボット本体を制御し、前記回転中心位置を中心として該物体を回転させる移動制御部と、
を備えることを特徴とするロボット装置。 A robot body that grips an object and transports it to a goal position;
An imaging unit that captures an image including the goal position and the object held by the robot body in a visual field;
A correspondence acquisition unit that acquires a correspondence between a coordinate system of an image captured by the imaging unit and a coordinate system of the robot body;
A coordinate conversion unit that converts the designated position in the image captured by the imaging unit to a designated position in the robot coordinate system based on the correspondence acquired by the correspondence acquisition unit;
Controlling the robot body to move the rotation center position of the object held by the robot body to a specified position in the robot coordinate system obtained by the coordinate conversion by the coordinate conversion unit; A movement control unit that rotates the object around a position;
A robot apparatus comprising:
前記移動制御部は、前記回転後位置算出部が算出した回転後のロボット手先位置へ前記ロボットの手先が移動するよう、前記ロボット座標系における指定位置を中心として前記ロボットの手先を回転させることを特徴とする請求項1または請求項2に記載のロボット装置。 Based on the rotation center position in the robot coordinate system obtained by the coordinate conversion by the coordinate conversion unit and the robot hand position indicating the position held by the robot body in the robot coordinate system, the robot after rotation A post-rotation position calculation unit for calculating the hand position,
The movement control unit rotates the hand of the robot around a designated position in the robot coordinate system so that the hand of the robot moves to the position of the robot hand after rotation calculated by the position calculation unit after rotation. The robot apparatus according to claim 1, wherein the robot apparatus is characterized.
前記撮像部が撮像した画像の座標系と前記ロボット本体の座標系との対応関係を取得する対応関係取得部と、
前記対応関係取得部が取得した対応関係に基づいて、前記撮像部が撮像した画像中の指定された位置を前記ロボット座標系における指定位置に座標変換する座標変換部と、
前記座標変換部が座標変換することにより得られた前記ロボット座標系における指定位置に、前記ロボット本体が把持している物体の回転中心位置を移動するよう前記ロボット本体を制御し、前記回転中心位置を中心として該物体を回転させる移動制御部と、
を備えることを特徴とするロボット制御装置。 A robot control device that controls a robot body that grips an object and conveys it to a goal position,
A correspondence acquisition unit that acquires a correspondence between a coordinate system of an image captured by the imaging unit and a coordinate system of the robot body;
A coordinate conversion unit that converts the designated position in the image captured by the imaging unit to a designated position in the robot coordinate system based on the correspondence acquired by the correspondence acquisition unit;
The robot body is controlled to move the rotation center position of the object held by the robot body to a specified position in the robot coordinate system obtained by the coordinate conversion by the coordinate conversion unit, and the rotation center position A movement control unit for rotating the object around
A robot control device comprising:
撮像装置が撮像した画像の座標系と前記ロボット本体の座標系との対応関係を取得する対応関係取得手順と、
前記対応関係取得手順により取得された対応関係に基づいて、前記撮像装置が撮像した画像中の指定された位置を前記ロボット座標系における指定位置に座標変換する座標変換手順と、
前記座標変換手順により座標変換されることにより得られた前記ロボット座標系における指定位置に、前記ロボット本体が把持している物体の回転中心位置を移動するよう前記ロボット本体を制御し、前記回転中心位置を中心として該物体を回転させる移動制御手順と、
を有することを特徴とするロボット制御方法。 A robot control method executed by a robot control device that controls a robot body that grips an object and conveys it to a goal position,
A correspondence acquisition procedure for acquiring a correspondence between the coordinate system of the image captured by the imaging device and the coordinate system of the robot body;
A coordinate conversion procedure for converting the designated position in the image captured by the imaging device into a designated position in the robot coordinate system based on the correspondence acquired by the correspondence acquisition procedure;
Controlling the robot body to move the rotation center position of the object held by the robot body to a specified position in the robot coordinate system obtained by coordinate transformation by the coordinate transformation procedure; A movement control procedure for rotating the object around a position;
A robot control method comprising:
撮像装置が撮像した画像の座標系と前記ロボット本体の座標系との対応関係を取得する対応関係取得ステップと、
前記対応関係取得ステップにより取得された対応関係に基づいて、前記撮像装置が撮像した画像中の指定された位置を前記ロボット座標系における指定位置に座標変換する座標変換ステップと、
前記座標変換ステップにより座標変換されることにより得られた前記ロボット座標系における指定位置に、前記ロボット本体が把持している物体の回転中心位置を移動するよう前記ロボット本体を制御し、前記回転中心位置を中心として該物体を回転させる移動制御ステップと、
を実行させるためのロボット制御プログラム。 To the computer of the robot controller that controls the robot body that grips the object and transports it to the goal position,
A correspondence acquisition step for acquiring a correspondence between a coordinate system of an image captured by the imaging device and a coordinate system of the robot body;
A coordinate conversion step of converting the designated position in the image captured by the imaging device into a designated position in the robot coordinate system based on the correspondence acquired by the correspondence acquisition step;
Controlling the robot body to move the rotation center position of the object held by the robot body to the designated position in the robot coordinate system obtained by the coordinate transformation in the coordinate transformation step; A movement control step of rotating the object around a position;
Robot control program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037666A JP2013173191A (en) | 2012-02-23 | 2012-02-23 | Robot apparatus, robot control apparatus, robot control method, and robot control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037666A JP2013173191A (en) | 2012-02-23 | 2012-02-23 | Robot apparatus, robot control apparatus, robot control method, and robot control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013173191A true JP2013173191A (en) | 2013-09-05 |
Family
ID=49266623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012037666A Pending JP2013173191A (en) | 2012-02-23 | 2012-02-23 | Robot apparatus, robot control apparatus, robot control method, and robot control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013173191A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015085457A (en) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | Robot, robot system, and robot control device |
JP2015085467A (en) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | Control device, robot, robot system and control method |
CN104889973A (en) * | 2014-03-07 | 2015-09-09 | 精工爱普生株式会社 | Robot, robot system, control device, and control method |
JP2020196093A (en) * | 2019-06-03 | 2020-12-10 | 三菱重工業株式会社 | Robot control system and method |
CN117226853A (en) * | 2023-11-13 | 2023-12-15 | 之江实验室 | Robot kinematics calibration method, device, storage medium and equipment |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63191589A (en) * | 1987-02-05 | 1988-08-09 | 関東自動車工業株式会社 | Method of mounting part |
JPH05318361A (en) * | 1992-05-20 | 1993-12-03 | Nec Corp | Method for manipulating object |
JPH06785A (en) * | 1992-06-23 | 1994-01-11 | Citizen Watch Co Ltd | Correcting method for visual sensor coordinate system |
JPH0675629U (en) * | 1993-04-09 | 1994-10-25 | オリンパス光学工業株式会社 | Vacuum suction pad |
JPH0976180A (en) * | 1995-09-12 | 1997-03-25 | Hitachi Constr Mach Co Ltd | Operating point setting device of manupulator |
JPH1185235A (en) * | 1997-09-01 | 1999-03-30 | Yaskawa Electric Corp | Visual feedback method for machine device using image pickup unit |
JP2003089086A (en) * | 2001-09-14 | 2003-03-25 | Yaskawa Electric Corp | Robot controller |
JP2009269110A (en) * | 2008-05-02 | 2009-11-19 | Olympus Corp | Assembly equipment |
JP2009279719A (en) * | 2008-05-23 | 2009-12-03 | Toyota Motor Corp | Teaching device and teaching method for robot |
JP2012030320A (en) * | 2010-07-30 | 2012-02-16 | Dainippon Screen Mfg Co Ltd | Work system, working robot controller, and work program |
-
2012
- 2012-02-23 JP JP2012037666A patent/JP2013173191A/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63191589A (en) * | 1987-02-05 | 1988-08-09 | 関東自動車工業株式会社 | Method of mounting part |
JPH05318361A (en) * | 1992-05-20 | 1993-12-03 | Nec Corp | Method for manipulating object |
JPH06785A (en) * | 1992-06-23 | 1994-01-11 | Citizen Watch Co Ltd | Correcting method for visual sensor coordinate system |
JPH0675629U (en) * | 1993-04-09 | 1994-10-25 | オリンパス光学工業株式会社 | Vacuum suction pad |
JPH0976180A (en) * | 1995-09-12 | 1997-03-25 | Hitachi Constr Mach Co Ltd | Operating point setting device of manupulator |
JPH1185235A (en) * | 1997-09-01 | 1999-03-30 | Yaskawa Electric Corp | Visual feedback method for machine device using image pickup unit |
JP2003089086A (en) * | 2001-09-14 | 2003-03-25 | Yaskawa Electric Corp | Robot controller |
JP2009269110A (en) * | 2008-05-02 | 2009-11-19 | Olympus Corp | Assembly equipment |
JP2009279719A (en) * | 2008-05-23 | 2009-12-03 | Toyota Motor Corp | Teaching device and teaching method for robot |
JP2012030320A (en) * | 2010-07-30 | 2012-02-16 | Dainippon Screen Mfg Co Ltd | Work system, working robot controller, and work program |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015085457A (en) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | Robot, robot system, and robot control device |
JP2015085467A (en) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | Control device, robot, robot system and control method |
CN104889973A (en) * | 2014-03-07 | 2015-09-09 | 精工爱普生株式会社 | Robot, robot system, control device, and control method |
JP2015168040A (en) * | 2014-03-07 | 2015-09-28 | セイコーエプソン株式会社 | Robot, robot system, control device, and control method |
USRE47553E1 (en) | 2014-03-07 | 2019-08-06 | Seiko Epson Corporation | Robot, robot system, control device, and control method |
JP2020196093A (en) * | 2019-06-03 | 2020-12-10 | 三菱重工業株式会社 | Robot control system and method |
JP7296252B2 (en) | 2019-06-03 | 2023-06-22 | 三菱重工業株式会社 | Robot control system and method |
CN117226853A (en) * | 2023-11-13 | 2023-12-15 | 之江实验室 | Robot kinematics calibration method, device, storage medium and equipment |
CN117226853B (en) * | 2023-11-13 | 2024-02-06 | 之江实验室 | Robot kinematics calibration method, device, storage medium and equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6966582B2 (en) | Systems and methods for automatic hand-eye calibration of vision systems for robot motion | |
JP6415190B2 (en) | ROBOT DEVICE, ROBOT CONTROL PROGRAM, RECORDING MEDIUM, AND ROBOT DEVICE CONTROL METHOD | |
JP3946711B2 (en) | Robot system | |
JP4267005B2 (en) | Measuring apparatus and calibration method | |
JP4021413B2 (en) | Measuring device | |
CN105066884B (en) | A kind of robot end's deviations bearing calibration and system | |
JP6855492B2 (en) | Robot system, robot system control device, and robot system control method | |
JP6611888B2 (en) | Robot device, control method of robot device, program, and recording medium | |
US8306660B2 (en) | Device and a method for restoring positional information of robot | |
JP5815761B2 (en) | Visual sensor data creation system and detection simulation system | |
US20160184996A1 (en) | Robot, robot system, control apparatus, and control method | |
US20150224649A1 (en) | Robot system using visual feedback | |
US20110320039A1 (en) | Robot calibration system and calibrating method thereof | |
JP5803124B2 (en) | Robot, position detection device, position detection program, and position detection method | |
JP2009269110A (en) | Assembly equipment | |
JP2018094654A (en) | Control device, robot, and robot system | |
EP3421930A1 (en) | Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method | |
JP2019113895A (en) | Imaging apparatus with visual sensor for imaging work-piece | |
JP2013173191A (en) | Robot apparatus, robot control apparatus, robot control method, and robot control program | |
JP6885856B2 (en) | Robot system and calibration method | |
JP6855491B2 (en) | Robot system, robot system control device, and robot system control method | |
JP2018094653A (en) | Control device, robot, and robot system | |
JP5803119B2 (en) | Robot apparatus, position detection apparatus, position detection program, and position detection method | |
JP2009269134A (en) | Simulation device in visual inspection apparatus | |
TW202102347A (en) | Calibration method of vision-guided robot arm only needing to specify a positioning mark in the calibration target to perform calibration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160128 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160510 |