JP2010152664A - Sensorless motor-driven robot using image - Google Patents
Sensorless motor-driven robot using image Download PDFInfo
- Publication number
- JP2010152664A JP2010152664A JP2008330360A JP2008330360A JP2010152664A JP 2010152664 A JP2010152664 A JP 2010152664A JP 2008330360 A JP2008330360 A JP 2008330360A JP 2008330360 A JP2008330360 A JP 2008330360A JP 2010152664 A JP2010152664 A JP 2010152664A
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- hand
- image
- motor
- release
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明はカメラ画像を利用したワークの把持、解放の技術に関する。 The present invention relates to a technique for gripping and releasing a workpiece using a camera image.
ワークを把持、解放する多軸ロボットのハンドは、一般に、ワークを正確に把持するためには、ワーク把持動作の時点に留まらず、移動開始からワークへの接近の過程においても定められた軌跡を正確に辿ることを要求される。又、ワークの解放においても、ワークを解放する地点の形状によってはワークを正確な位置で解放しなければならないので、同様に、定められた軌跡を正確に辿ることを要求される。 In general, a multi-axis robot hand that grips and releases a workpiece does not stop at the time of workpiece gripping operation, but also has a defined trajectory in the process of approaching to the workpiece in order to grip the workpiece accurately. It is required to trace accurately. Also, in releasing the workpiece, the workpiece must be released at an accurate position depending on the shape of the point at which the workpiece is released. Similarly, it is required to accurately follow a predetermined locus.
このため、移動軌跡の決定に関するティーチング作業やモータの駆動に関するパラメータの設定等に長時間の作業が必要であった。さらに、移動中におけるハンド及びアームの連続する位置が設定通りであるかを検証する必要があった。 For this reason, a long time is required for teaching work related to determination of the movement trajectory, parameter setting related to motor drive, and the like. Furthermore, it is necessary to verify whether the continuous positions of the hand and the arm during movement are as set.
近年、高効率、可変速、軽量化の要請からブラシレスモータが増加しつつあるが、ブラシレスモータとしては磁極の位置を検出するために外部センサによるフィードバック機構を有するタイプが多く、多軸アームロボットにおいても、上記事情からエンコーダ付きのモータが一般的に用いられている。 In recent years, brushless motors are increasing due to demands for high efficiency, variable speed, and weight reduction. However, many types of brushless motors have a feedback mechanism using an external sensor to detect the position of the magnetic pole. However, a motor with an encoder is generally used due to the above circumstances.
しかし、エンコーダ等のセンサを備えることにより、モータの機構が複雑化し、耐環境性が低下するという問題があることから、センサレス化が望まれている。 However, the provision of a sensor such as an encoder complicates the motor mechanism and reduces the environmental resistance, so that sensorlessness is desired.
センサレスブラシレスモータに関して、誘起電圧の検出により磁極位置を判別する方法が従来より知られているが、電圧を検出できない停止時の磁極位置の判別が問題となっていた。 Regarding a sensorless brushless motor, a method of determining a magnetic pole position by detecting an induced voltage has been conventionally known. However, determination of a magnetic pole position at the time of stop where voltage cannot be detected has been a problem.
この点について、起動時には回転子の磁極位置にかかわらず電機子巻線に回転磁界が発生するような特定の信号を与えて、回転子を強制回転させる提案がある（特許文献１）。しかし、この方法ではモータを停止したままで磁極位置を推定することができない。又、回転子を回転させずにモータを停止したままで検出する方法として、γ軸上に電流を流したときにδ軸上に観測される干渉電流を利用して磁極位置を推定する提案がある（特許文献２）しかし、推定結果が間違っていてもそれを判別できないという問題がある。これを解消するために、電流制御を変更すると共に推定動作の繰り返しにより推定の成功を判断するという提案もなされている（特許文献３）。この方法で正しい推定が担保されるが、繰り返しにより推定に時間を要するという問題点も生じる。
多軸アームロボットは、ワークの把持及びワークの解放についてはワークやワーク解放地点に対する正確な自己位置認識の下に移動及び動作を行わなければならないが、その一方、ワーク又はワーク解放地点に接近するまではそれ程正確な軌跡を辿る必要がない。本発明はこのような条件に着目し、移動の開始からワークの把持、さらに移動、ワークの解放に至る一連のプロセスの中で、位置認識の必要度合いに応じて必要な手段を確保して、全体として多関節アームロボットの効率的な移動、動作の実現を図ることを目的とする。 Multi-axis arm robots must move and operate under accurate self-position recognition for workpieces and workpiece release points for workpiece gripping and workpiece release, while approaching workpieces or workpiece release points Until then, it is not necessary to follow such a precise trajectory. The present invention pays attention to such a condition, and in the series of processes from the start of movement to gripping the workpiece, further moving, releasing the workpiece, securing necessary means according to the degree of position recognition, The objective is to achieve efficient movement and operation of the articulated arm robot as a whole.
上記課題を解決するため、減速機を介して回転可能に連結された複数のアームと、該減速機の入力側に接続された該アームを駆動するモータと、アーム先端に連結されたハンドと、該ハンドに装着される撮像装置と、位置決め制御部と三次元モデル検索用データベースを含む駆動指令部と、駆動指令部の指令に基づき前記アーム及び/又はハンドを駆動するドライバにより構成される多軸アームロボットにおいて、前記アーム及び/又はハンドの駆動を外部センサによるフィードバック機構を有さない前記モータにより行い、かつ、少なくともワーク検索位置からワーク把持まで及び/又はワーク解放検索位置からワーク解放までの移動及び動作は前記撮像装置で撮像したワーク及び/又はワーク解放エリア画像と予めデータベースに保存されたワーク及び/又はワーク解放エリアのテンプレート画像とのマッチングによるワーク及び/又はワーク解放エリア検出に基づいて前記モータにより行うことを特徴とするセンサレス多軸アームロボットが提供される。 In order to solve the above problem, a plurality of arms rotatably connected via a speed reducer, a motor driving the arm connected to the input side of the speed reducer, a hand connected to an arm tip, Multi-axis configured by an imaging device mounted on the hand, a drive command unit including a positioning control unit and a 3D model search database, and a driver that drives the arm and / or the hand based on a command of the drive command unit In an arm robot, the arm and / or hand is driven by the motor without a feedback mechanism by an external sensor, and at least from the workpiece search position to the workpiece gripping and / or from the workpiece release search position to the workpiece release. And a work and / or a work release area image picked up by the image pickup device and a work previously stored in a database. A sensorless multi-axis arm robot is provided which is performed by the motor based on workpiece and / or workpiece release area detection by matching with a template image of a workpiece and / or workpiece release area.
ワークの把持、移動、解放において、ハンドの位置を対象物等に対して正確に位置づけなければならないのは、ワークを把持するとき、及び移動先でワークを解放するときである。また、これらの場合にはハンドと対象物等との正確な位置づけに留まらず、ワークの傾斜や重なり等の状況に適切に対応する必要がある。このような状況下においては、外部センサによるフィードバック機構を有したモータのみでは十分な対応をすることはできない。一方、ワークに接近する移動やワーク把持後の移動は移動中のプロセスにおける正確な位置認識を必ずしも必要としない。このような状況下においては、外部センサによる移動中の正確な自己位置認識は必須ではない。したがって、駆動についてはステッピングモータ等オープン制御のモータや外部センサを有さないブラシレスモータ等を採用しつつ、ワークの把持等においてはワークの状況等の認識を行うことができる画像認識に基づく制御を行うことが効果的かつ効率的である。 In gripping, moving, and releasing the workpiece, the position of the hand must be accurately positioned with respect to the object or the like when the workpiece is gripped and when the workpiece is released at the movement destination. In these cases, it is necessary not only to accurately position the hand and the object, but also to appropriately cope with the situation such as tilting and overlapping of the workpieces. Under such circumstances, it is not possible to sufficiently cope with only a motor having a feedback mechanism by an external sensor. On the other hand, the movement approaching the workpiece and the movement after gripping the workpiece do not necessarily require accurate position recognition in the moving process. Under such circumstances, accurate self-position recognition during movement by an external sensor is not essential. Therefore, for driving, a stepping motor or other open control motor, a brushless motor without an external sensor, or the like is adopted. It is effective and efficient to do.
ワーク解放エリアとは、把持し・移動中のワークについて、解放するワークを収納する容器を含むワーク解放地点の周囲の領域をいう。ワークを解放する際にワーク収納容器等の画像認識を行い、正確な位置にワークを載置する。又、三次元モデル検索用データベースには、少なくともワークの三次元画像及びワーク解放エリアの三次元画像が含まれる。 The workpiece release area refers to an area around a workpiece release point including a container for storing a workpiece to be released with respect to the workpiece being gripped and moved. When releasing the workpiece, image recognition of the workpiece storage container or the like is performed, and the workpiece is placed at an accurate position. The 3D model search database includes at least a 3D image of the workpiece and a 3D image of the workpiece release area.
又、モータがブラシレスモータの場合、モータの電流又は誘起電圧によってロータの位置を検出する手段を備えていることが好適である。 Further, when the motor is a brushless motor, it is preferable to include means for detecting the position of the rotor by the current or induced voltage of the motor.
又、アーム及び/又はハンドの駆動において、駆動開始からワーク検索位置まで、及び/又は駆動開始からワーク解放検索位置又はワーク解放位置までの移動は前記撮像装置で撮像したワーク把持エリア及び/又はワーク解放エリア及び/又はワークの画像と予めデータベースに保存されたワーク把持エリア及び/又はワーク解放エリア及び/又はワークのテンプレート画像とのマッチングによるワーク把持エリア及び/又はワーク解放エリア及び/又はワークの検出に基づいて前記モータにより行うことが好適である。 In the driving of the arm and / or hand, the movement from the driving start to the workpiece search position and / or the movement from the driving start to the workpiece release search position or the workpiece release position is the workpiece gripping area and / or the workpiece imaged by the imaging device. Detection of work gripping area and / or work release area and / or work by matching work release area and / or work release area and / or work template image stored in database in advance Is preferably performed by the motor based on the above.
本発明に係る駆動モータは、予め入力された又は都度の外部入力による移動先座標に基づいて駆動、すなわちハンドの移動を行うことが可能であるが、移動先座標を入力せずに撮像装置による画像認識によって移動先の位置情報を取得することができる。この場合、距離が遠いのでワークよりもワーク把持地点の周囲の領域であるワーク把持エリアやワーク解放地点の周囲の領域であるワーク解放エリアを画像認識することが好ましい。三次元モデル検索用データベースには、ワーク把持エリアの三次元画像も含まれ、ワーク把持エリアやワーク解放エリアにはワーク収納容器も含まれる。又、ワーク解放検索位置と別にワーク解放位置と記載しているのは、ワークの材質、形状等によってはワークの解放時にワーク解放のための検索を行わずに、そのままワークを解放する場合があるので、その場合の移動先を意味するためである。なお、ワークそのものの画像認識によって移動先の位置情報を取得する場合も排除されるものではない。 The drive motor according to the present invention can be driven based on the destination coordinates input in advance or by external input each time, that is, the hand can be moved, but it is based on the imaging device without inputting the destination coordinates. The position information of the movement destination can be acquired by image recognition. In this case, since the distance is long, it is preferable to recognize an image of a workpiece gripping area that is a region around the workpiece gripping point and a workpiece release area that is a region around the workpiece release point rather than the workpiece. The three-dimensional model search database includes a three-dimensional image of the workpiece gripping area, and the workpiece gripping area and the workpiece release area include a workpiece storage container. Also, the workpiece release position is described separately from the workpiece release search position, depending on the workpiece material, shape, etc., the workpiece may be released as it is without searching for the workpiece release when the workpiece is released. This is to mean the destination in that case. Note that the case where the position information of the movement destination is acquired by image recognition of the workpiece itself is not excluded.
又、前記アームの回転の数値を所定の限界値とすることにより定まるアーム及びハンドの三次元座標を駆動開始位置とすることが好適である。 Further, it is preferable that the three-dimensional coordinates of the arm and the hand determined by setting the numerical value of the rotation of the arm as a predetermined limit value are set as the driving start position.
又、三次元座標が既知である複数のマーキング手段を備え、該マーキング手段による複数の
画像の前記カメラ全体画像における位置関係に基づいてハンドの三次元座標を特定すること
が好適である。
It is preferable that a plurality of marking means having known three-dimensional coordinates are provided, and the three-dimensional coordinates of the hand are specified based on the positional relationship of the plurality of images by the marking means in the entire camera image.
又、撮像装置で撮像したワーク及び/又はワーク解放エリアの画像と予めデータベースに保存されたワーク及び/又はワーク解放エリアのテンプレート画像とのマッチングにおいて、三次元カメラ画像に基づくマッチングを行った後に、ワーク及び/又はワーク解放エリアに向けてより接近し、細部に着目したマッチング及び/又は二次元画像認識に基づくマッチングを行うことにより、ワーク形状及び/又はワーク解放エリア形状を認識することが好適である。三次元モデル検索用データベースには、ワーク及び/又はワーク解放エリアの二次元画像も含まれる。 In addition, in the matching between the workpiece and / or workpiece release area image captured by the imaging device and the workpiece and / or workpiece release area template image stored in advance in the database, after performing matching based on the three-dimensional camera image, It is preferable to recognize the workpiece shape and / or workpiece release area shape by performing closer matching toward the workpiece and / or workpiece release area and performing matching based on details and / or matching based on two-dimensional image recognition. is there. The three-dimensional model search database includes a two-dimensional image of the work and / or the work release area.
又、ハンドに三次元加速度センサ、及び/又はジャイロスコープ、及び/又は地磁気センサを備
えることにより、前記ハンド及び前記撮像装置の姿勢及び/又は方向を認識するこが好適であ
る。
In addition, it is preferable to recognize the posture and / or direction of the hand and the imaging device by providing the hand with a three-dimensional acceleration sensor and / or a gyroscope and / or a geomagnetic sensor.
本発明により多軸ロボットの作業内容に対応した必要かつ十分な動作を実現することができる。 According to the present invention, necessary and sufficient operations corresponding to the work contents of the multi-axis robot can be realized.
外部センサを用いないことによって、省配線が可能となる。エンコーダを用いる場合は、モータ１台あたり動力線（Ｕ/Ｖ/Ｗ）及びエンコーダ線（Ｘ/Ｙ/Ｚ/ＮＸ/ＮＹ/ＮＺ/電源+/電源）の１１本の配線が必要であるが、動力線３本のみで足りる。 By not using an external sensor, wiring can be saved. When an encoder is used, eleven wires of a power line (U / V / W) and an encoder line (X / Y / Z / NX / NY / NZ / power supply + / power supply) are required per motor. Only three power lines are enough.
高温、低温、高湿、多ノイズ等悪環境下における耐性が向上する。エンコーダの場合は、弱電系で構成されており、耐ＥＭＣの観点よりＥＭＣ対策が必要であるが、本発明の場合は不要である。同様に、エンコーダ線は信号波形の歪みや電圧降下を考慮する必要があることにより、１０ｍ以上の長距離配線時はバッファの追加が一般的に必要になるが、本発明では考慮する必要がなく、長距離配線が可能となる。したがって、必ずしもコントローラをロボット近傍に配置する必要がなくなる。 Resistance to adverse environments such as high temperature, low temperature, high humidity, and high noise is improved. In the case of an encoder, it is composed of a weak electric system, and an EMC countermeasure is necessary from the viewpoint of EMC resistance, but in the case of the present invention, it is unnecessary. Similarly, since it is necessary to consider distortion of the signal waveform and voltage drop in the encoder line, it is generally necessary to add a buffer for long-distance wiring of 10 m or more, but this need not be considered in the present invention. Long-distance wiring is possible. Therefore, it is not always necessary to arrange the controller near the robot.
駆動開始からワーク検索位置まで等全体的に画像認識による制御を行う場合には、予め移動先等の座標を計測して入力する必要がない。又、少数のワークが多数の位置に載置されている場合やワーク移動先が頻繁に変更される場合には特に効果が大きい。 In the case of performing control by image recognition as a whole from the start of driving to the workpiece search position, it is not necessary to measure and input the coordinates of the movement destination in advance. The effect is particularly great when a small number of workpieces are placed at a large number of positions or when the workpiece movement destination is frequently changed.
自己位置を適切に認識することにより、移動開始位置の特定、作業途中における位置誤差の修正を行うことができる。又、マッチング方法を組み合わせることで正確なワーク等の認識を行うことができる。三次元加速度センサ等のセンサによる認識によって故障等の場合に対応する二重系の認識システムの構築が可能となる。 By appropriately recognizing the self position, it is possible to specify the movement start position and correct the position error during the work. In addition, it is possible to recognize an accurate workpiece or the like by combining matching methods. Recognition by a sensor such as a three-dimensional acceleration sensor makes it possible to construct a dual recognition system that responds to failures.
以下、本発明の最良の実施形態に係る多軸アームロボットについて図面を参照しつつ詳細に説明する。図１は本発明に係るアームロボットの全体概念図である。アームロボット１０はアーム２０、連結部３０、ハンド４０、カメラ５０、コントローラ６０、ドライバ３１、画像処理部７０により構成されている。アームは５基で、各アーム間、アームとアーム基部間、アームとハンド間にはそれぞれ連結部がある。カメラ５０はハンド４０に固定して連結されているが、回転又はスライド可能に連結することも可能である。図示していないが、各連結部にはブラシレスモータの１種である埋め込み磁石型同期モータ３６と減速機３７が備えられている。又、アーム基部にはＬＥＤ光発光装置９０が配されている。左向きのアームロボットは移動開始時の状態を、右向きのアームロボットはワーク検索位置における状態を示している。 Hereinafter, a multi-axis arm robot according to the best embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is an overall conceptual diagram of an arm robot according to the present invention. The arm robot 10 includes an arm 20, a connecting unit 30, a hand 40, a camera 50, a controller 60, a driver 31, and an image processing unit 70. There are five arms, and there are connecting portions between each arm, between the arm and the arm base, and between the arm and the hand. Although the camera 50 is fixedly connected to the hand 40, it can also be connected to be rotatable or slidable. Although not shown, each connecting portion is provided with an embedded magnet type synchronous motor 36 and a speed reducer 37 which are one type of brushless motor. Further, an LED light emitting device 90 is disposed on the arm base. A left-facing arm robot indicates a state at the start of movement, and a right-facing arm robot indicates a state at a workpiece search position.
図２は、コントローラの指令に基づくドライバの埋め込み磁石型同期モータ制御に関するシステム構成図である。ドライバとモータ間は、Ｕ・Ｖ・Ｗの３本の動力線のみが接続されている。モータからの磁極検知センサの信号や、エンコーダ、レゾルバなどの外部センサ信号は不要である。コントローラ６０は位置決め制御ユニット６１、データベース６２等により構成されている。コントローラには外部入力手段としてコントローラには外部入力手段として、画像処理部７０を介したステレオカメラ５０、ティーチング装置７６が接続されている。図示していないが、キーボード等による入力も可能である。ドライバ３１は、変調部３２、マイコン３３、駆動電流出力部３４、異常値出力部３５により構成されている。 FIG. 2 is a system configuration diagram related to embedded magnet type synchronous motor control of a driver based on a command from the controller. Only three power lines U, V, and W are connected between the driver and the motor. There is no need for a magnetic pole detection sensor signal from the motor or an external sensor signal such as an encoder or resolver. The controller 60 includes a positioning control unit 61, a database 62, and the like. A stereo camera 50 and a teaching device 76 are connected via an image processing unit 70 as external input means to the controller and as external input means to the controller. Although not shown, input using a keyboard or the like is also possible. The driver 31 includes a modulation unit 32, a microcomputer 33, a drive current output unit 34, and an abnormal value output unit 35.
図２に基づいて、移動開始からワーク検索位置までの多軸アームロボットの駆動について説明する。多軸アームロボットの駆動、すなわちハンドの移動は移動開始位置座標と移動先座標を特定した後、位置決め制御ユニットでモータの駆動パターンを作成し、パルス信号により駆動指令を行う。コントローラからの指令に基づきドライバは変調した電力をモータに出力する。埋め込み磁石型同期モータ３６は指令パルスの数に対応したロータの回転角度分回転を行い、減速機３７を通じてアームを回転させる。所定の角度分回転した後、到達地点からは後述するカメラ画像に基づく移動・把持を行うことで、到達地点の設定の精度をラフなもので済ませることが可能である。なお、電流の異常値を検出した場合には異常値情報を出力し、コントローラによって駆動を非常停止させる。 Based on FIG. 2, the driving of the multi-axis arm robot from the movement start to the workpiece search position will be described. For driving the multi-axis arm robot, that is, the movement of the hand, after specifying the movement start position coordinate and the movement destination coordinate, a motor drive pattern is created by the positioning control unit, and a drive command is issued by a pulse signal. Based on the command from the controller, the driver outputs the modulated power to the motor. The embedded magnet type synchronous motor 36 rotates by the rotation angle of the rotor corresponding to the number of command pulses, and rotates the arm through the speed reducer 37. After rotating by a predetermined angle, it is possible to perform rough setting accuracy of the arrival point by performing movement / gripping based on a camera image described later from the arrival point. When an abnormal value of current is detected, abnormal value information is output, and the drive is emergency stopped by the controller.
埋め込み磁石型同期モータ３６の代わりに、ロータの磁極検知センサや、エンコーダ、レゾルバ等の外部センサを有しない表面貼付け磁石型同期モータを使用することも可能である。この場合、モータの回転角を検出するための代替機構が必要であるが、誘導電圧の検出等によりモータの回転角を検出する技術が既知であり、これらの技術を用いることによりハンドを移動先に移動させることが可能である。代替技術を用いた場合、外部センサに比して検出精度の低下や検出時間の長期化という問題があるが、上述のようにワーク検索位置以降及びワーク解放検索位置以降はカメラ画像に基つく移動・把持を行うことにより誤差の解消、迅速な移動を行うことが可能である。 Instead of the embedded magnet type synchronous motor 36, it is also possible to use a surface-attached magnet type synchronous motor that does not have an external sensor such as a rotor magnetic pole detection sensor, an encoder, or a resolver. In this case, an alternative mechanism for detecting the rotation angle of the motor is required. However, techniques for detecting the rotation angle of the motor by detecting an induced voltage or the like are known, and by using these techniques, the hand is moved to the destination. It is possible to move to. When using alternative technology, there are problems such as lower detection accuracy and longer detection time compared to external sensors, but as described above, movement based on the camera image after the workpiece search position and after the workpiece release search position.・ By gripping, it is possible to eliminate errors and move quickly.
移動開始位置座標の特定方法について説明する。各アーム及びハンド連結部の回転角度を限界値とすることでハンドの現在位置とロボットアームの姿勢を特定することができる。各アーム及びハンド連結部の回転角度には一定方向に対してそれ以上の回転が不可能な限界値がある。図１における第１アームの水平旋回運動は左向きの図の位置より時計回りに回転させることはできない。一方、反時計回りには旋回が可能である。よって、図１に係る第１アームの回転角度を限界値とすることにより、第１アームの位置及び向きが特定される。同様に他のアーム及びハンドの回転角度の限界値を決定することにより、他のアーム及びハンドの位置と向きが特定され、多軸ロボットアーム全体の姿勢も特定されることとなる。この特定されたハンドの位置を移動開始座標として、座標が既知の移動先に対して移動を開始することが可能となる。 A method for specifying the movement start position coordinates will be described. The current position of the hand and the posture of the robot arm can be specified by setting the rotation angle of each arm and the hand connecting portion as a limit value. There is a limit value for the rotation angle of each arm and the hand connecting portion that cannot be further rotated in a certain direction. The horizontal turning movement of the first arm in FIG. 1 cannot be rotated clockwise from the position shown in the left direction. On the other hand, it can turn counterclockwise. Therefore, the position and orientation of the first arm are specified by setting the rotation angle of the first arm according to FIG. 1 as a limit value. Similarly, by determining the limit value of the rotation angle of the other arm and hand, the position and orientation of the other arm and hand are specified, and the posture of the entire multi-axis robot arm is also specified. Using the position of the identified hand as the movement start coordinates, the movement can be started with respect to the movement destination whose coordinates are known.
図３、図４に基づいてＬＥＤ９０の発光に基づくハンドの座標の特定方法を説明する。図３は移動開始時の多軸アームロボットの概念図であり、多数のＬＥＤのうち、２個のＬＥＤが発光している。各々のＬＥＤの三次元座標は既知である。ステレオカメラ５０にＬＥＤの画像が撮像されていない場合、画像処理部７０からの情報に基づきコントローラ６０がハンドを回転させて、ＬＥＤの画像が撮像された位置でハンドとアームの連結部の角度を固定する。図４はＬＥＤの画像が撮像された位置におけるステレオカメラの画像であり、ＬＥＤ１２Ｂは中央部に、ＬＥＤ１２Ａは左上の位置に撮影されている。ステレオカメラからＬＥＤ１２Ａ又は１２Ｂまでの距離はステレオマッチング法により算出することができる。カメラに配置された左右のレンズ機構によりＬＥＤ１２Ａ及び１２Ｂが同時に撮影され、カメラ内のＣＣＤ等の撮像素子に記録される。レンズ機構は平行に２組配置されており、各組におけるＬＥＤ１２Ａ及び１２Ｂの両画像の位置すなわち撮像素子上のピクセル位置の差分情報が得られる。この差分情報から各ＬＥＤの距離情報が三角関数を用いて簡単に算出できるのである。又、画面上のＬＥＤ１２Ａと１２Ｂの位置関係に基づいてＬＥＤからの角度が算出できるので、ステレオカメラの三次元座標が特定できることとなり、ステレオカメラを固定しているハンドの三次元座標も特定される。なお、単レンズカメラでも、複数のＬＥＤ発光により自己の三次元座標を特定することは可能であるが、ステレオカメラの方が迅速な位置特定、計測値のチエックの観点から好適である。 A method for specifying the coordinates of the hand based on the light emission of the LED 90 will be described with reference to FIGS. FIG. 3 is a conceptual diagram of the multi-axis arm robot at the start of movement. Two of the LEDs emit light. The three-dimensional coordinates of each LED are known. When the LED image is not captured by the stereo camera 50, the controller 60 rotates the hand based on the information from the image processing unit 70, and the angle between the hand and the arm connecting portion at the position where the LED image is captured. Fix it. FIG. 4 is an image of the stereo camera at the position where the LED image is taken, and the LED 12B is taken at the center and the LED 12A is taken at the upper left position. The distance from the stereo camera to the LED 12A or 12B can be calculated by the stereo matching method. The LEDs 12A and 12B are simultaneously photographed by the left and right lens mechanisms arranged in the camera and recorded on an image pickup device such as a CCD in the camera. Two sets of lens mechanisms are arranged in parallel, and the difference information of the positions of the images of the LEDs 12A and 12B in each set, that is, the pixel position on the image sensor is obtained. From this difference information, the distance information of each LED can be easily calculated using a trigonometric function. Further, since the angle from the LED can be calculated based on the positional relationship between the LEDs 12A and 12B on the screen, the three-dimensional coordinates of the stereo camera can be specified, and the three-dimensional coordinates of the hand holding the stereo camera can also be specified. . Even with a single-lens camera, it is possible to specify its own three-dimensional coordinates by light emission from a plurality of LEDs, but a stereo camera is preferable from the viewpoint of quick position specification and measurement value checking.
移動先座標の特定について説明する。ワーク検出位置、ワーク解放検出位置、ワーク解放位置はワークの保管場所、移動後の加工又は保管場所が固定の場合は、予め座標をコントローラに入力しておくことも可能であり、移動開始の時点で入力することも可能である。 The specification of the movement destination coordinates will be described. When the workpiece detection position, workpiece release detection position, and workpiece release position are the storage location of the workpiece, the processing after the movement or the storage location is fixed, the coordinates can be input to the controller in advance, and the point of movement start It is also possible to input with.
又、カメラ画像に基ついて移動先の座標を特定することも可能である。多軸アームロボットが移動開始位置にある場合、ワークまでの距離が遠くカメラ画像によってワークを認識することは困難な場合が多い。しかし、ワークの収納容器は一般に大きくはるかに認識が容易である。コントローラのデータベースにワーク収納容器の三次元モデル検索用データベースを備え、移動開始の際にカメラに撮影されるワーク収納容器とデータベースにおける三次元テンプレート画像とのマッチングにより移動先の認識を行うことができる。移動先の認識ができた後は、上述のステレオマッチング法によりワーク収納容器の方向及び距離の算出を行う。カメラ画像に基づいて移動を行う場合は、ワーク収納容器に対する第１マッチングとワーク検索位置からワーク把持のための第２マッチングによる２種のマッチングを組み合わせることとなる。なお、ワークの大きさ、形状によってはワーク自体の形状に基づいて移動先の認識を行うことも可能である。 It is also possible to specify the coordinates of the movement destination based on the camera image. When the multi-axis arm robot is at the movement start position, it is often difficult to recognize the workpiece by the camera image because the distance to the workpiece is long. However, the work container is generally large and much easier to recognize. The controller database has a 3D model search database for workpiece storage containers, and the destination can be recognized by matching the workpiece storage container photographed by the camera at the start of movement with the 3D template image in the database. . After the movement destination is recognized, the direction and distance of the work storage container are calculated by the stereo matching method described above. When moving based on the camera image, the first matching for the workpiece storage container and the two types of matching by the second matching for gripping the workpiece from the workpiece search position are combined. Depending on the size and shape of the workpiece, the movement destination can be recognized based on the shape of the workpiece itself.
図示していないが、ハンドやカメラに地磁気センサや三次元加速度センサを搭載することが好適である。地磁気センサによって絶対方位を認識でき、地磁気センサと加速度センサの組み合わせによって絶対方位とハンド部の姿勢を認識することができる。地磁気センサとジャイロスコープの組み合わせでも良く、又、それぞれの単体でも、いずれかの機能を発揮することができる。センサによる認識によってハンド部姿勢及び移動方向認識をチエック、修正して故障等の場合に対応する二重系の認識システムの構築が可能となる。 Although not shown, it is preferable to mount a geomagnetic sensor or a three-dimensional acceleration sensor on the hand or camera. The absolute direction can be recognized by the geomagnetic sensor, and the absolute direction and the posture of the hand unit can be recognized by the combination of the geomagnetic sensor and the acceleration sensor. A combination of a geomagnetic sensor and a gyroscope may be used, and any of these functions can be achieved with each single unit. The recognition of the hand unit posture and the moving direction can be checked and corrected by the recognition by the sensor, so that it is possible to construct a dual system recognition system corresponding to a failure or the like.
次に、図５に基づいてワーク検索位置からワーク把持までの移動、動作について説明する。ワーク検索位置に移動（Ｓ１０１）後、ハンドに固定されているステレオカメラでワークを撮影し、ワーク画像を取り込む（Ｓ１０３）。次に撮像画像の中からデータベースに登録された三次元モデル検索用テンプレート画像に近い画像を検索する（Ｓ１０５）。複数のワークが映りこんでいる場合にはカメラ画面中央位置のワークを第１対象として選択する。 Next, the movement and operation from the workpiece search position to the workpiece gripping will be described with reference to FIG. After moving to the workpiece search position (S101), the workpiece is photographed with a stereo camera fixed to the hand, and the workpiece image is captured (S103). Next, an image close to the 3D model search template image registered in the database is searched from the captured images (S105). When a plurality of workpieces are reflected, the workpiece at the center position of the camera screen is selected as the first target.
次に、選択したワークの三次元画像をデータベースに登録された三次元モデル検索用テンプレート画像と対比してスコアーをとる。スコアーを基に一定時間以上に一定数以上のマッチング数がカウントされれば画像認識できたこととなり、一定時間以上に一定数以上のマッチング数がカウントされなければ画像認識できないこととなる。ワーク検索位置はワークの全体形状を撮影することが可能な距離にあるので、全体形状を一度に照合することが可能である。又、ワークが多少傾斜して設置されていてもデータベースの三次元モデル検索用テンプレート画像との照合は可能である。 Next, a score is obtained by comparing the three-dimensional image of the selected workpiece with the template image for three-dimensional model search registered in the database. Based on the score, if a certain number or more of the matching number is counted for a certain time or more, the image can be recognized, and if a certain number or more of the matching number is not counted for a certain time or more, the image cannot be recognized. Since the workpiece search position is at a distance at which the entire shape of the workpiece can be photographed, it is possible to collate the entire shape at a time. In addition, even if the workpiece is installed at a slight inclination, it can be collated with the template image for 3D model search in the database.
図１ではワークは溝が浅く歯数の多い歯車であるが、ワークの外形が複雑な形状の場合、ワーク検索位置における画像認識が十分にできない場合がある。このような場合には２段階アプローチを行う。ワーク把持近接エリアでは近似形状の認識を行い、接近して詳細形状の認識を行うのである。カメラをワークに接近させてワーク検索エリアを分割する。歯の部分に着目してワークの円周に沿ってエリアごとに詳細形状のスコアーをとり、マッチング数をカウントして画像認識を行う。この場合は歯数に着目すれば足り、ワークの奥行きのマッチングは必要ないので三次元画像認識を行う必要はない。二次元画像認識とすることによって計算時間を低減し迅速に画像認識を行うことができる。 In FIG. 1, the workpiece is a gear having a shallow groove and a large number of teeth. However, when the outer shape of the workpiece is complicated, image recognition at the workpiece search position may not be sufficiently performed. In such cases, a two-step approach is taken. The approximate shape is recognized in the work gripping proximity area, and the detailed shape is recognized by approaching. Divide the work search area by moving the camera closer to the work. Focusing on the tooth portion, the score of the detailed shape is taken for each area along the circumference of the workpiece, and the number of matching is counted to perform image recognition. In this case, it is sufficient to focus on the number of teeth, and it is not necessary to perform three-dimensional image recognition since matching of the depth of the work is not necessary. By using two-dimensional image recognition, calculation time can be reduced and image recognition can be performed quickly.
ワークの三次元画像とデータベースに登録された三次元モデル検索用テンプレート画像とのマッチングによりワークが検出される（Ｓ１０７）と、ワークの位置情報が取得される（Ｓ１０９）。位置情報は既述のステレオマッチング法により取得される。 When the workpiece is detected by matching the three-dimensional image of the workpiece with the template image for 3D model search registered in the database (S107), the position information of the workpiece is acquired (S109). The position information is acquired by the stereo matching method described above.
位置情報に基づきハンドはワーク上空へ移動し（Ｓ１１１）、真上からワークに接近して（Ｓ１１３）ワークを把持する（Ｓ１１５）。ワークの形状や載置されているワークの傾斜によっては、位置情報取得の後に斜め上方からワークに直線的に接近することが好適である。ワーク把持したハンドはワーク解放検索位置に移動する（Ｓ１１７，Ｓ１１９）。 Based on the position information, the hand moves over the work (S111), approaches the work from directly above (S113), and grips the work (S115). Depending on the shape of the workpiece and the inclination of the workpiece placed, it is preferable to approach the workpiece linearly from diagonally above after obtaining the position information. The hand holding the workpiece moves to the workpiece release search position (S117, S119).
ワークを載置する場所をステレオカメラでワークを撮影し、ワーク解放エリア画像を取り込む。次に撮像画像の中からデータベースに登録されたワーク解放エリアについての三次元モデル検索用テンプレート画像に近い画像を検索する。ワーク画像のマッチングと同様に画像認識を行い、ワーク解放エリアに接近してハンドを開き、ワークを解放する（Ｓ１２１）。ワークを解放する場所によっては、ワーク解放検索位置で画像認識を行わずにワークを解放することも可能である。ワークの解放後、ワーク検索位置に戻り（Ｓ１２３）、別のワークの検索を開始する。 The work is photographed with a stereo camera at the place where the work is placed, and the work release area image is captured. Next, an image close to the 3D model search template image for the work release area registered in the database is searched from the captured images. Image recognition is performed in the same manner as workpiece image matching, the hand is opened by approaching the workpiece release area, and the workpiece is released (S121). Depending on the place where the workpiece is released, the workpiece can be released without performing image recognition at the workpiece release search position. After releasing the work, the work returns to the work search position (S123) and a search for another work is started.
ワークの三次元画像とデータベースに登録された三次元モデル検索用テンプレート画像とのマッチングによってもワークが検出されない場合は、そのワーク検出位置におけるワークは存在せず移動作業が完了した状態（Ｓ２０１）なので、次のワーク検出位置に移動する（Ｓ２０３）。すべてのワーク検出位置においてワークが検出されない場合は作業を完了する。 If the workpiece is not detected by matching the 3D image of the workpiece with the template image for 3D model search registered in the database, the workpiece is not present at the workpiece detection position and the moving operation is completed (S201). Then, it moves to the next workpiece detection position (S203). If no workpiece is detected at all workpiece detection positions, the operation is completed.
本発明は上記実施の形態に限定されるものではなく、例えばステレオカメラによるステレオマッチング法の代わりにレーザ光とカメラを用いた光切断法による画像処理でも良い。また、ステレオマッチング法の代わりに線ベースステレオ法によるマッチング法でも良い。 The present invention is not limited to the above-described embodiment. For example, instead of the stereo matching method using a stereo camera, image processing using a laser beam and a light cutting method using a camera may be used. Further, a matching method based on a line-based stereo method may be used instead of the stereo matching method.
本発明は、多軸アームロボットのワーク検索、把持、移動、解放についてカメラ画像を利用した効率的な方法を提供するもので、産業上の利用可能性は高い。 The present invention provides an efficient method using camera images for workpiece search, gripping, movement, and release of a multi-axis arm robot, and has high industrial applicability.
１０ 多軸アームロボット
２０ アーム
３０ 連結部
３１ ドライバ
３２ 変調部
３３ マイコン
３４ 駆動電力出力部
３５ 異常電力出力部
３６ 埋め込み磁石型同期モータ
３７ 減速機
４０ ハンド
５０ ステレオカメラ
６０ コントローラ
６１ 位置決め制御ユニット
６２ データベース
７０ 画像処理部
７６ ディーチング装置
８０ ワーク
９０ ＬＥＤ発光装置
DESCRIPTION OF SYMBOLS 10 Multi-axis arm robot 20 Arm 30 Connection part 31 Driver 32 Modulation part 33 Microcomputer 34 Driving power output part 35 Abnormal power output part 36 Implanted magnet type synchronous motor 37 Reduction gear 40 Hand 50 Stereo camera
60 Controller 61 Positioning Control Unit 62 Database 70 Image Processing Unit 76 Deaching Device 80 Work 90 LED Light Emitting Device
Claims (7)
前記アーム及び/又はハンドの駆動を外部センサによるフィードバック機構を有さない前記モータにより行い、かつ、少なくともワーク検索位置からワーク把持まで及び/又はワーク解放検索位置からワーク解放までの移動及び動作は前記撮像装置で撮像したワーク及び/又はワーク解放エリア画像と予めデータベースに保存されたワーク及び/又はワーク解放エリアのテンプレート画像とのマッチングによるワーク及び/又はワーク解放エリア検出に基づいて前記モータにより行うことを特徴とするセンサレス多軸アームロボット。 A plurality of arms rotatably connected via a speed reducer, a motor driving the arm connected to the input side of the speed reducer, a hand connected to the tip of the arm, and an image attached to the hand In a multi-axis arm robot constituted by a device, a drive command unit including a positioning control unit and a 3D model search database, and a driver that drives the arm and / or the hand based on a command of the drive command unit,
The arm and / or hand is driven by the motor without a feedback mechanism using an external sensor, and at least the movement and operation from the workpiece search position to the workpiece gripping and / or from the workpiece release search position to the workpiece release Performing by the motor based on the workpiece and / or workpiece release area detection by matching the workpiece and / or workpiece release area image captured by the imaging device with the template image of the workpiece and / or workpiece release area previously stored in the database. A sensorless multi-axis arm robot.
の前記カメラ全体画像における位置関係に基づいてハンドの三次元座標を特定することを特
徴とする請求項１ないし４に記載のセンサレス多軸アームロボット。 5. A plurality of marking means having known three-dimensional coordinates, wherein the three-dimensional coordinates of the hand are specified based on a positional relationship of a plurality of images in the whole camera image by the marking means. Sensorless multi-axis arm robot described in 1.
を備えることにより、前記ハンド及び前記撮像装置の姿勢及び/又は方向を認識することを特
徴とする請求項１ないし６に記載のセンサレス多軸アームロボット。
The posture and / or direction of the hand and the imaging device are recognized by providing the hand with a three-dimensional acceleration sensor and / or a gyroscope and / or a geomagnetic sensor. The sensorless multi-axis arm robot described.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008330360A JP2010152664A (en) | 2008-12-25 | 2008-12-25 | Sensorless motor-driven robot using image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008330360A JP2010152664A (en) | 2008-12-25 | 2008-12-25 | Sensorless motor-driven robot using image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010152664A true JP2010152664A (en) | 2010-07-08 |
Family
ID=42571682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008330360A Pending JP2010152664A (en) | 2008-12-25 | 2008-12-25 | Sensorless motor-driven robot using image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010152664A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011011318A (en) * | 2009-07-06 | 2011-01-20 | Seiko Epson Corp | Position controlling method, robot |
| JP2012086285A (en) * | 2010-10-15 | 2012-05-10 | Seiko Epson Corp | Tracking robot device, tracking robot control method, tracking robot control program, homography matrix acquisition device, homography matrix acquisition method, and homography matrix acquisition program |
| JP2015062994A (en) * | 2015-01-14 | 2015-04-09 | セイコーエプソン株式会社 | Robot device, and control method for robot device |
| CN105729469A (en) * | 2016-02-17 | 2016-07-06 | 中国科学院自动化研究所 | Shaft-hole assembling method and system based on environmental attraction domain |
| JP2016530507A (en) * | 2013-07-26 | 2016-09-29 | エフ．ホフマン−ラ ロシュ アーゲーＦ． Ｈｏｆｆｍａｎｎ−Ｌａ Ｒｏｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | Method and handling device for handling sample tubes |
| CN107085391A (en) * | 2017-05-26 | 2017-08-22 | 清华大学 | Position image collecting device |
| DE102016203701A1 (en) * | 2016-03-07 | 2017-09-07 | Kuka Roboter Gmbh | Industrial robot with at least two image capture devices |
| JP6259959B1 (en) * | 2016-09-30 | 2018-01-10 | 株式会社オプティム | Drone control system, drone control method and program |
| US10239551B2 (en) | 2012-12-28 | 2019-03-26 | Autoliv Development Ab | Steering wheel device |
| WO2019102822A1 (en) * | 2017-11-27 | 2019-05-31 | アズビル株式会社 | Pointer device |
| WO2020238538A1 (en) * | 2019-05-31 | 2020-12-03 | 宁波舜宇光电信息有限公司 | Workpiece handling system, workpiece positioning system and positioning method therefor |
| KR102217644B1 (en) * | 2020-08-11 | 2021-02-19 | 주식회사 엠앤디 | Filter replacement apparatus |
| CN113597966A (en) * | 2021-07-20 | 2021-11-05 | 山东农业大学 | Intelligent robot and method for flower and fruit thinning of grapes based on image recognition |
| JP7054036B1 (en) | 2021-07-09 | 2022-04-13 | 株式会社不二越 | Robot vision system |
| WO2023226397A1 (en) * | 2022-05-27 | 2023-11-30 | 中迪机器人(盐城)有限公司 | Multi-axis robot-based feeding/discharging control system and method |
| WO2023248353A1 (en) * | 2022-06-21 | 2023-12-28 | ファナック株式会社 | Device for acquiring position data pertaining to workpiece, control device, robot system, method, and computer program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60180494A (en) * | 1984-02-24 | 1985-09-14 | Sankyo Seiki Mfg Co Ltd | Driving circuit of sensorless brushless motor |
| JPS62204109A (en) * | 1986-03-04 | 1987-09-08 | Yokogawa Electric Corp | Measuring instrument for robot arm attitude |
| JPH054180A (en) * | 1991-06-27 | 1993-01-14 | Toyota Autom Loom Works Ltd | Co-ordinate system matching method for multi-axis robot with hand-eye |
| JPH0740279A (en) * | 1993-07-30 | 1995-02-10 | Toshiba Corp | Articulated robot |
| JP2000293695A (en) * | 1999-04-08 | 2000-10-20 | Fanuc Ltd | Picture processor |
| JP2002307361A (en) * | 2001-04-12 | 2002-10-23 | Sony Corp | Member carrier device and member positioning method |
-
2008
- 2008-12-25 JP JP2008330360A patent/JP2010152664A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60180494A (en) * | 1984-02-24 | 1985-09-14 | Sankyo Seiki Mfg Co Ltd | Driving circuit of sensorless brushless motor |
| JPS62204109A (en) * | 1986-03-04 | 1987-09-08 | Yokogawa Electric Corp | Measuring instrument for robot arm attitude |
| JPH054180A (en) * | 1991-06-27 | 1993-01-14 | Toyota Autom Loom Works Ltd | Co-ordinate system matching method for multi-axis robot with hand-eye |
| JPH0740279A (en) * | 1993-07-30 | 1995-02-10 | Toshiba Corp | Articulated robot |
| JP2000293695A (en) * | 1999-04-08 | 2000-10-20 | Fanuc Ltd | Picture processor |
| JP2002307361A (en) * | 2001-04-12 | 2002-10-23 | Sony Corp | Member carrier device and member positioning method |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8655488B2 (en) | 2009-07-06 | 2014-02-18 | Seiko Epson Corporation | Position control method and robot |
| US9020638B2 (en) | 2009-07-06 | 2015-04-28 | Seiko Epson Corporation | Position control method and robot |
| US9221173B2 (en) | 2009-07-06 | 2015-12-29 | Seiko Epson Corporation | Position control method and robot |
| JP2011011318A (en) * | 2009-07-06 | 2011-01-20 | Seiko Epson Corp | Position controlling method, robot |
| JP2012086285A (en) * | 2010-10-15 | 2012-05-10 | Seiko Epson Corp | Tracking robot device, tracking robot control method, tracking robot control program, homography matrix acquisition device, homography matrix acquisition method, and homography matrix acquisition program |
| US10239551B2 (en) | 2012-12-28 | 2019-03-26 | Autoliv Development Ab | Steering wheel device |
| JP2016530507A (en) * | 2013-07-26 | 2016-09-29 | エフ．ホフマン−ラ ロシュ アーゲーＦ． Ｈｏｆｆｍａｎｎ−Ｌａ Ｒｏｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | Method and handling device for handling sample tubes |
| US10509047B2 (en) | 2013-07-26 | 2019-12-17 | Roche Diagnostics Operations, Inc. | Method for handling a sample tube and handling device |
| JP2015062994A (en) * | 2015-01-14 | 2015-04-09 | セイコーエプソン株式会社 | Robot device, and control method for robot device |
| CN105729469A (en) * | 2016-02-17 | 2016-07-06 | 中国科学院自动化研究所 | Shaft-hole assembling method and system based on environmental attraction domain |
| DE102016203701A1 (en) * | 2016-03-07 | 2017-09-07 | Kuka Roboter Gmbh | Industrial robot with at least two image capture devices |
| JP6259959B1 (en) * | 2016-09-30 | 2018-01-10 | 株式会社オプティム | Drone control system, drone control method and program |
| WO2018061176A1 (en) * | 2016-09-30 | 2018-04-05 | 株式会社オプティム | Drone control system, drone control method, and program |
| US10472062B2 (en) | 2016-09-30 | 2019-11-12 | Optim Corporation | System, method, and program for controlling drone |
| CN107085391A (en) * | 2017-05-26 | 2017-08-22 | 清华大学 | Position image collecting device |
| WO2019102822A1 (en) * | 2017-11-27 | 2019-05-31 | アズビル株式会社 | Pointer device |
| WO2020238538A1 (en) * | 2019-05-31 | 2020-12-03 | 宁波舜宇光电信息有限公司 | Workpiece handling system, workpiece positioning system and positioning method therefor |
| KR102217644B1 (en) * | 2020-08-11 | 2021-02-19 | 주식회사 엠앤디 | Filter replacement apparatus |
| EP4199005A4 (en) * | 2020-08-11 | 2024-03-06 | M&D Co Ltd | Filter replacement device |
| WO2022034965A1 (en) * | 2020-08-11 | 2022-02-17 | 주식회사 엠앤디 | Filter replacement device |
| JP2023010327A (en) * | 2021-07-09 | 2023-01-20 | 株式会社不二越 | robot vision system |
| WO2023282032A1 (en) * | 2021-07-09 | 2023-01-12 | 株式会社不二越 | Robot vision system |
| JP7054036B1 (en) | 2021-07-09 | 2022-04-13 | 株式会社不二越 | Robot vision system |
| CN113597966A (en) * | 2021-07-20 | 2021-11-05 | 山东农业大学 | Intelligent robot and method for flower and fruit thinning of grapes based on image recognition |
| WO2023226397A1 (en) * | 2022-05-27 | 2023-11-30 | 中迪机器人(盐城)有限公司 | Multi-axis robot-based feeding/discharging control system and method |
| WO2023248353A1 (en) * | 2022-06-21 | 2023-12-28 | ファナック株式会社 | Device for acquiring position data pertaining to workpiece, control device, robot system, method, and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010152664A (en) | Sensorless motor-driven robot using image | |
| US11241796B2 (en) | Robot system and method for controlling robot system | |
| JP6420229B2 (en) | A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot | |
| JP5561260B2 (en) | Robot system and imaging method | |
| US9244463B2 (en) | Automated guided vehicle and method of operating an automated guided vehicle | |
| JP4079792B2 (en) | Robot teaching method and robot with teaching function | |
| JP5803155B2 (en) | Robot position detection device and robot system | |
| JP6579498B2 (en) | Automation device and position detection device | |
| JP6855492B2 (en) | Robot system, robot system control device, and robot system control method | |
| JP2006227673A (en) | Autonomous travel device | |
| JP2011133313A (en) | Method of measuring sensor position and attitude | |
| WO2017133756A1 (en) | Robot system calibration | |
| JP2011093014A (en) | Control device of hand-eye bin picking robot | |
| JP2017033429A (en) | Three-dimensional object inspection device | |
| JP2008168372A (en) | Robot device and shape recognition method | |
| JP2014240106A (en) | Robot, robot control device, and driving method of robot | |
| JP2011104759A (en) | Teaching auxiliary tool for robot control system, teaching method using the teaching auxiliary tool, and robot control system performing teaching by the teaching method | |
| TWI767350B (en) | Control method, control device, robot system, program, and recording medium | |
| JP2016203282A (en) | Robot with mechanism for changing end effector attitude | |
| WO2023013740A1 (en) | Robot control device, robot control system, and robot control method | |
| WO2023032400A1 (en) | Automatic transport device, and system | |
| JP2022139157A (en) | Carrying system and control method thereof | |
| JP5516974B2 (en) | Vision sensor mounting apparatus and method | |
| JP7364773B2 (en) | Teaching system and robot control device | |
| JP7155216B2 (en) | Mobile body control device and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20111216 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20130225 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A02 | Decision of refusal |
Effective date: 20130624 Free format text: JAPANESE INTERMEDIATE CODE: A02 |