JP2023051664A - 自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法 - Google Patents
自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法 Download PDFInfo
- Publication number
- JP2023051664A JP2023051664A JP2021209592A JP2021209592A JP2023051664A JP 2023051664 A JP2023051664 A JP 2023051664A JP 2021209592 A JP2021209592 A JP 2021209592A JP 2021209592 A JP2021209592 A JP 2021209592A JP 2023051664 A JP2023051664 A JP 2023051664A
- Authority
- JP
- Japan
- Prior art keywords
- robot arm
- calibration
- image
- target
- computer vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 63
- 230000036544 posture Effects 0.000 claims abstract description 36
- 230000033001 locomotion Effects 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims description 34
- 238000005259 measurement Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000005498 polishing Methods 0.000 claims description 5
- 238000003466 welding Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 3
- 239000011248 coating agent Substances 0.000 claims description 2
- 238000000576 coating method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000002834 transmittance Methods 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 238000010191 image analysis Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 239000012636 effector Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/005—Manipulators for mechanical processing tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39045—Camera on end effector detects reference pattern
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
Abstract
【課題】撮影光軸とロボットアームのフランジ軸との重ね合わせを可能とし、ロボットアームとコンピュータビジョンとの協調性を向上させる自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法を提供する。【解決手段】ロボットアームとコンピュータビジョンとの間の協調方法は、ビームスプリッタにより可視光と測距光とを分離し、それぞれ非同軸に配置される画像撮像装置と光学測距装置とに導くことと、校正モードにおいて、ロボットアームの複数の校正姿勢及び対応する複数の校正画像に基づいて変換関係を計算することと、作業モードにおいて、撮影された作業画像及び変換関係に基づいて機械的空間座標を決定し、ロボットアームの移動を制御することを含む。【選択図】図４
Description
本発明はロボットアームに関し、特に自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法に関する。
従来のロボットアームシステムでは、カメラを用いて作業対象の画像を撮影し、画像分析により作業対象の位置を決定し、決定した位置にロボットアームを移動させることで作業対象に対して動作する。
しかし、従来のロボットアームシステムの欠点は、ロボットアームをカメラと同軸上に上下配置すると、ロボットアームの加工可能範囲が大幅に狭くなり、カメラの体積上限が大幅に制限されることである。
ロボットアームをカメラと非同軸に配置すると、ロボットアームのフランジ軸とカメラの撮影光軸との間にオフセット量が存在する。このオフセット量は、撮影画像を基準とした視覚的空間とロボットアームの機械的空間との間にランダム誤差を生じさせ、コンピュータビジョンがロボットアームを正確に制御することができない。
そのため、従来のロボットアームシステムには上述の問題があり、より効果的な解決策が急務となっている。
本発明の主な目的は、撮影光軸とフランジ軸とを重ね合わせ、ターゲット距離を測定し、ロボットアームとコンピュータビジョンとを協調することができる自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法を提供することである。
一実施形態では、ロボットアームとコンピュータビジョンとの間の協調方法は、校正モードにおいて、光学測距装置により測定されたターゲット距離に基づいて、画像撮像装置の有効撮影範囲内において複数の校正姿勢となるようにロボットアームを移動制御し、前記画像撮像装置により前記複数の校正姿勢で複数の校正画像をそれぞれ撮影し、ビームスプリッタにより前記ロボットアームのフランジ軸の外に配置された前記画像撮像装置に可視光を導くとともに、前記光学測距装置に測距光を導くことであって、前記光学測距装置の測距軸は、前記フランジ軸と平行又は重なることと、前記複数の校正姿勢及び前記複数の校正画像に基づいて、前記画像撮像装置の視覚的空間と前記ロボットアームの機械的空間との間の変換関係を計算することと、作業モードにおいて、前記画像撮像装置により作業画像を撮影し、前記作業画像及び前記変換関係に基づいて、作業を実行する機械的空間座標を決定することと、前記ロボットアームを前記機械的空間座標に移動制御することと、を含む。
一実施形態では、自動ロボットアームシステムは、ロボットアームと、画像撮像装置と、光学測距装置と、光路構造と、制御装置とを含む。前記ロボットアームは、立体空間を移動することに用いられる。前記画像撮像装置は、前記ロボットアームのフランジ軸の外に配置され、画像を撮影するために用いられる。前記光学測距装置は、前記ロボットアームに配置され、ターゲット距離を測定するために用いられ、前記光学測距装置の測距軸が前記フランジ軸と平行又は重なる。前記光路構造はビームスプリッタを含み、前記ビームスプリッタは、可視光を前記画像撮像装置に導くとともに、測距光を前記光学測距装置に導くために用いられる。前記制御装置は、前記ロボットアームと、前記画像撮像装置と、前記光学測距装置とに接続される。前記制御装置は、校正モードにおいて、前記ターゲット距離に基づいて前記画像撮像装置の有効撮影距離内において複数の校正姿勢となるように前記ロボットアームを移動制御し、前記複数の校正姿勢で複数の校正画像をそれぞれ撮影するように前記画像撮像装置を制御し、前記複数の校正姿勢及び前記複数の校正画像に基づいて、前記画像撮像装置の視覚的空間と前記ロボットアームの機械的空間との間の変換関係を計算するように設定される。前記制御装置は、作業モードにおいて、前記画像撮像装置を制御して作業画像を撮影し、前記作業画像及び前記変換関係に基づいて作業を実行する機械的空間座標を決定し、前記ロボットアームを前記機械的空間座標に移動制御するように設定される。
本発明によれば、撮影光軸とロボットアームのフランジ軸との重ね合わせを可能とし、ロボットアームとコンピュータビジョンとの協調性を向上させる。
本発明の好適な実施形態について、図面を参照しながら以下に説明する。
図１２及び図１３を参照する。図１２は、従来のロボットアームシステムの概略配置図であり、図１３は、従来のロボットアームシステムの視野範囲の概略図である。
図１２に示すように、ロボットアームシステム１のカメラ１２は、ロボットアーム１０と非同軸に配置されている。非同軸配置のため、カメラ１２の撮影光軸１４１とロボットアーム１０のフランジ軸１４０との間にオフセット量ｄ１が存在し、このオフセット量ｄ１は、視覚的空間と機械的空間との位置決めにランダム誤差を引き起こす。
エンドエフェクタ１１は、ロボットアーム１０の先端に直接設けられている。ロボットアーム１０がエンドエフェクタ１１を移動させる（即ち、姿勢を変える）に伴い、ロボットアームに搭載されたカメラ１２の視野範囲も変化し、ターゲット１３を異なる角度で撮影することができる。
図１３に示すように、ロボットアーム１０がフランジ軸１４０を軸心１８として角度α１の回動運動を行うと、エンドエフェクタ１１は水平方向に移動しないので、実際にターゲット１３を加工することができる。
しかし、回動したカメラ１２の視野範囲は、範囲１６から回動後の範囲１７に変化し、ターゲット１３のターゲット画像１５がカメラ１２の視野範囲から外れ、ロボットアームシステム１がターゲット１３を視覚的空間的に位置決めすることができなくなる。
本発明は、上記非同軸配置に起因する問題を解決するために、新規な光路構造（特にビームスプリッタ）により、撮影光軸の入射端をフランジ軸に重ね合わせてハンドアイの同軸効果を達成することができる自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法を提供する。
また、本発明は、ハンドアイの同軸化を実現することができるため、非同軸配置に起因するオフセット量の問題を解消することができ、ターゲット物が視野範囲から外れることを回避することができる。
また、本発明は、非同軸配置を採用することにより、ロボットアームの加工可能範囲を大幅に向上させることができ、カメラの体積上限を大幅に向上させることができる。
さらに、本発明は、光学測距により視覚的空間と機械との間の位置決め校正を補助することで、ロボットアームとコンピュータ視覚との協調性を高めることができる。
図１は、本発明の一実施形態に係る自動ロボットアームシステムの構成図である。本発明の自動ロボットアームシステム２は、画像撮像装置２１と、光学測距装置２２と、ロボットアーム２３と、記憶装置２５と、これらの装置に接続される制御装置２０とを主に含む。
画像撮像装置２１は、例えばＲＧＢビデオカメラ等のカラービデオカメラであり、作業エリアのターゲット２６を撮影して、ターゲット２６を含む（後述する校正画像及び作業画像のような）カラー画像を取得する。上記カラー画像は、主にコンピュータ視覚分析を実行し、ロボットアーム２３の動きの参考として演算結果を提供するために用いられる。
ロボットアーム２３は、立体空間内で搭載された装置を移動させることにより、異なる位置に対する（搭載された光学測距装置２２により）測定、（搭載された画像撮像装置２１により）撮影、（搭載された作業装置５４により）加工等の作業を実現する。
ロボットアーム２３の先端には、仮想のフランジ軸（例えばロボットアーム２３の移動基準点）が設定され、その先端の空間位置は、フランジ軸に基づいて計算して決定されることができる。上記フランジ軸の計算は、ロボットアーム２３の制御分野における従来技術であり、ここで説明を省略する。
本発明では、画像撮像装置２１は、ロボットアーム２３のフランジ軸の外に配置されている。これにより、ロボットアーム２３の加工可能範囲（フランジ軸の可動範囲により決定される）を拡大し、画像撮像装置２１の許容体積の上限を向上させることができる。その結果、体積が大きく効率の高いカメラを採用することができ、配線制限が緩くなる。
一実施形態では、図８及び図９に示すように、ロボットアーム２３の先端に作業装置５４が搭載されると、作業装置５４は、ロボットアーム２３の動きにより異なる位置に加工を実行することができる。本発明は、異なる作業装置５４を搭載することにより、異なる用途を実現することができる。
一実施形態において、作業装置５４は、制御装置２０に連結されてその制御を受けることで、自動動作を実行することができる。
例えば、作業装置５４が把持エンドエフェクタ、溶接ヒータ、マーキング工具、研磨工具、組立エンドエフェクタ、塗布工具及び／又はロック工具である場合、上記自動動作は、対応する把持動作（例えば、電子部品をピックアップしたり吸着したりする動作）、溶接動作（例えば、レーザー溶接ヘッドの加熱制御）、マーキング動作（例えば、焼き印、スプレー等の方式でマーキングを行う）、研磨動作（例えば、切削、研磨等を行う）、組立動作（例えば、指定された組立方式に基づいて複数のターゲットを継ぎ合わせ、重ね合わせる等を行う）、塗布動作（例えば、接着剤塗布、接着剤点付け等）及び／又はロック動作（例えば、ネジやナットでロックする）であってもよい。
光学測距装置２２は、例えば赤外線測距装置であり、光学的手段により光学測距装置２２とターゲット２６との間のターゲット距離を測定する。
一実施形態において、上記測定は、ターゲット２６を仮想の測距軸上に位置させ、三角測量法により測距軸に平行な方向に測定する。
一実施形態において、光学測距装置２２は、ロボットアーム２３の先端（又は先端近傍）に配置され、先端とターゲット２６との間の距離を測定することができる。
一実施形態において、光学測距装置２２の測距軸は、測定されたターゲット距離が対応するフランジ軸におけるロボットアーム２３の先端とその直下のターゲット２６との間の深さ値となるように、ロボットアーム２３のフランジ軸と平行又は重なることができる。
光路構造２４は、ロボットアーム２３の先端（又は先端近傍）に設けられ、入射光（ターゲット２６から出射又は反射された光）を受光し、入射光を可視光と測距光とに分離し、それぞれ画像撮像装置２１と光学測距装置２２とに導く。
具体的に言えば、光路構造２４は、ビームスプリッタ２４０（図７～図９に示すように、例えば光学プリズム）を含む。ビームスプリッタ２４０は、入射光を異なる波長の光線、例えば入射光を可視光と赤外線（測距光）に分離することができる（その原理は異なる波長の光線が異なる屈折率を有する）。分離後、上記可視光は、可視光路（反射鏡又はレンズを配置してもよく、直接入射してもよい）を介して画像撮像装置２１の写真レンズ２１１及び感光素子２１０に導かれ（図７参照）、上記測距光は、測距光路（反射鏡又はレンズを配置してもよく、直接入射してもよい）を介して光学測距装置２２の光受信器２２１に導かれることができる。このように、光路構造２４は、入射端でのフランジ軸、測距軸、撮影光軸（例えば、撮影視野の中心点やその他の基準点）の同軸配置を実現するとともに、画像撮像装置２１がフランジ軸（及び測距光軸）の外に配置されることを可能にする。
記憶装置２５は、磁気ディスク、ソリッドステートディスク、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又は複数の記憶媒体の任意の組み合わせであってもよく、データを例えば、有効撮影距離２５１及び変換関係２５２を記憶するために用いられる。
制御装置２０は、自動ロボットアームシステム２を、例えば校正モードと作業モードで制御することに用いられる。
図２は、本発明の一実施形態に係る自動ロボットアームシステムの部分構成図である。本実施形態において、制御装置２０は、制御コンピュータ３０と、ロボットアームコントローラ３１とを含んでもよい。
ロボットアームコントローラ３１は、ロボットアーム２３に接続され、受信したアーム制御コマンドに基づいてロボットアームの移動を制御する。
一実施形態において、ロボットアーム２３は、複数の自由度を提供するための複数の関節２３０～２３３（図８及び図９に示す）を含み、ロボットアーム２３は、各関節２３０～２３３がサーボモータにより回動角度を制御されることにより、複数の自由度で移動することができる。
アーム制御コマンドは、ロボットアーム２３の移動先（機械的空間座標）を指示することができ、ロボットアームコントローラ３１は、アーム制御コマンドを対応する姿勢座標（例えば、各関節２３０～２３３の回動角度）に変換し、アーム制御コマンドに対応する姿勢をとるように各関節２３０～２３３を回動制御することができる。
制御コンピュータ３０は例えば、産業用コンピュータ又はパーソナルコンピュータであり、（例えば、産業用ネットワーク又はその他のローカルエリアネットワークを介して）ロボットアームコントローラ３１と、画像撮像装置２１と、光学測距装置２２と、記憶装置２５とに接続され、これらの装置を制御する。例えば、制御コンピュータ３０は、上記アーム制御コマンドをロボットアームコントローラ３１に送信することで、ロボットアーム２３を制御することができる。
一実施形態において、制御コンピュータ３０は、（ネットワークに接続する）通信インターフェース、（ユーザと対話する）ヒューマンインターフェース、（電力を供給する）電源装置等の周辺装置３２にさらに接続されている。
図７は、本発明の一実施形態に係る自動ロボットアームシステムの概略配置図である。
図７に示すように、自動ロボットアームシステム２は、取付ベース５５を含む。取付ベース５５は、ロボットアーム２３の先端に連結され、ロボットアーム２３により立体空間内で移動可能である。
また、画像撮像装置２１、光学測距装置２２及び光路構造２４は、いずれも取付ベース５５に配置されている。
一実施形態において、取付ベース５５には、一つ又は複数の光源５０（例えば環状光源）が設けられてもよい。光源５０が作業エリア（特にターゲット５１及び治具５２）を照明することで、画像撮像装置２１は、より良い明るさのターゲット画像を取得し、環境の明るさの変化の影響を大幅に低減することができる。
一実施形態において、光路構造２４は、ビームスプリッタ２４０と反射鏡２４１とを含んでもよい。反射鏡２４１は、ビームスプリッタ２４０により分離された可視光を画像撮像装置２１の写真レンズ２１１及び感光素子２１０に反射するために用いられる。画像撮像装置２１の撮影光軸は、ビームスプリッタ２４０及び反射鏡２４１により、ロボットアーム２３のフランジ軸５３に重ね合わせられることができる。また、光学測距装置２２の測距光軸は、フランジ軸５３と平行又は重ね合わせ可能である。
一実施形態において、ビームスプリッタ２４０は、ロングパスダイクロイックミラー（ｌｏｎｇｐａｓｓ ｄｉｃｈｒｏｉｃ ｍｉｒｒｏｒ）であってもよく、可視光の反射率が８０％以上（例えば９７％）、赤外線の透過率が７５％以上（例えば９２％）であり、例えば、７３０ｎｍ以上（例えば７５０ｎｍ）の波長の光を透過し、３００ｎｍ～７３０ｎｍ（例えば４５０ｎｍ～４９０ｎｍ）の波長の光を反射する。
一実施形態において、光学測距装置２２は、光送信器２２０と、光受信器２２１と、これらの装置に接続される測距コントローラ（図示せず）とを含む。光送信器２２０と光受信器２２１との間の中点に直交する垂直線が測距光軸である（図７では、測距光軸はフランジ軸５３に重ね合わせられている）。
光送信器２２０は、ターゲット５１に向けて測距光（測距赤外線）を送信するために用いられ、測距光は、ターゲット５１に当たってビームスプリッタ２４０に反射され、ビームスプリッタ２４０を透過して光受信器２２１に到達する。測距コントローラ（例えば、マイクロコントローラやＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ））は、測距光の送受信時間差、光伝播速度、及び光送信器２２０と光受信器２２１との間の距離に基づいて三角測量法を行い、ターゲット距離（即ち、ターゲット５１の深さ値）を計算するように設定されている。
図３は、本発明の一実施形態に係る制御装置の構成図である。制御装置２０は、モジュール４０～４６を含んでもよい。モジュール４０～４６は、それぞれ、本発明の異なる機能を実行するように設定されている。
撮影制御モジュール４０は、撮影動作の制御、合焦動作の制御、画像データの取得、設定された画像処理の実行等を行うように、画像撮像装置２１を制御するために用いられる。
測距制御モジュール４１は、測定の実行、測定データ（ターゲット距離）の取得、測定校正の実行等を行うように、光学測距装置２２を制御するために用いられる。
アーム制御モジュール４２は、アーム制御コマンドをロボットアームコントローラ３１に送信することによりロボットアーム２３の姿勢を制御し、ロボットアーム２３の現在位置を取得するために用いられる。
校正制御モジュール４３は、校正モードを実行するために用いられる。
作業制御モジュール４４は、作業モードを実行するために用いられる。
変換処理モジュール４５は、視覚的空間から機械的空間への座標変換、及び機械的空間から視覚的空間への座標変換を計算するために用いられる。
画像分析モジュール４６は、ターゲット画像に対して画像分析及び処理を実行するために用いられる。
上記モジュール４０～４６は、互いに接続（電気的接続及びデータ接続であってもよい）されており、ハードウェアモジュール（例えば、電子回路モジュール、集積回路モジュール、ＳｏＣ等）、ソフトウェアモジュール（例えば、ファームウェア、オペレーティングシステム、又はアプリケーションプログラム）、又はソフトウェアモジュールとハードウェアモジュールとの組み合わせであってもよく、これらに限定されない。
また、上記モジュール４０～４６がソフトウェアモジュール（例えば、ファームウェア、オペレーティングシステム、又はアプリケーションプログラム）である場合、記憶装置２５は、非一時的なコンピュータ読み取り可能な記録媒体（図示せず）を含んでもよく、上記非一時的なコンピュータ読み取り可能な記録媒体には、コンピュータプログラム２５０が記憶されており、コンピュータプログラム２５０には、コンピュータ実行可能なプログラムコードが記録される。制御装置２０は、上記プログラムコードを実行すると、モジュール４０～４６に対応する機能を実施することができる。
一実施形態において、上記モジュール４０～４６は、制御コンピュータ３０に設けられてもよい。例えば、記憶装置２５は、コンピュータプログラム２５０が記憶された制御コンピュータ３０のストレージを含んでもよい。制御コンピュータ３０のプロセッサは、モジュール４０～４６に対応する機能を実施するために、コンピュータプログラム２５０を実行することができる。
図４は、本発明の一実施形態に係る協調方法のフローチャートである。本実施形態のロボットアームとコンピュータビジョンとの協調方法は、校正ステップＳ１０～Ｓ１２と、作業モードステップＳ１３～Ｓ１６とを含む。
ステップＳ１０において、制御コンピュータ３０は、校正制御モジュール４３により校正モードに入り、機械的空間と視覚的空間との間の協調と校正を実行する。
例えば、制御コンピュータ３０は、ユーザによる校正開始操作を受け付けたり、校正コマンドを受信したりすると、校正モードに入ることができる。
ステップＳ１１において、制御コンピュータ３０は、ロボットアーム２３を移動制御し、現在のターゲット距離を取得し、現在のターゲット距離に基づいてロボットアーム２３（の先端）が画像撮像装置２１の有効撮影範囲に入ったか否かを判断する。
有効撮影範囲に入ると、ロボットアーム２３を有効撮影範囲に順次に複数の校正姿勢をとるように制御し、各校正姿勢をとるときに少なくとも一つの校正画像を撮影して、それぞれ複数の校正姿勢に対応する複数の校正画像を取得する。
ステップＳ１２において、制御コンピュータ３０は、変換処理モジュール４５により、複数の校正姿勢及び複数の校正画像に基づいて、画像撮像装置２１の視覚的空間とロボットアーム２３の機械的空間との変換関係を計算する。
一実施形態において、制御コンピュータ３０は、各校正画像において校正ターゲットの視覚的空間座標を認識し、校正ターゲットが複数の校正画像の複数の視覚的空間座標の変化を計算し、複数の校正姿勢が対応する複数の機械的空間座標の変化を計算し、上記機械的空間座標の変化及び視覚的空間座標の変化に基づいて視覚的空間と機械的空間との間の変換関係を計算することができる。
一実施形態において、
として示される視覚的空間、
として示される機械的空間、及び
として示される変換関係の間の数学的関係は、以下の数１に表される。
一実施形態において、
として示される変換関係は、以下のように計算することにより取得することができる。
画像撮像装置２１は、校正ターゲットの特徴
（例えば、チェッカー）を複数回撮影して、複数の異なる校正姿勢における画像撮像装置２１と特徴との以下の関係式（数２）を取得すると同時に、複数の現在の校正姿勢の以下の表現式（数３）（
は、世界座標等の機械的空間座標）を取得する。特徴物は機械的空間座標で
として一定であるので、互いの関係式を以下の数４で表すことができる。
ステップＳ１３において、制御コンピュータ３０は、作業制御モジュール４４により作業モードに入り、作業を実行する。
例えば、制御コンピュータ３０は、ユーザによる作業開始操作を受け付けたり、作業コマンドを受信したりすると、作業モードに入ることができる。
ステップＳ１４において、制御コンピュータ３０は、ロボットアーム２３を移動制御しし、現在のターゲット距離を取得し、現在のターゲット距離に基づいてロボットアーム２３（の先端）が画像撮像装置２１の有効撮影範囲に入ったか否かを判断する。
有効撮影範囲に入ると、制御コンピュータ３０は、作業ターゲットを撮影して作業画像を取得するように画像撮像装置２１を制御し、画像分析モジュール４６により作業関連画像の分析処理を実行し、作業画像中で加工する位置（視覚的空間座標）を決定する。次に、制御コンピュータ３０は、変換処理モジュール４５により変換関係を用いて、視覚的空間座標を機械的空間座標に変換する。また、制御コンピュータ３０は、ロボットアーム２３を機械的空間座標に移動制御する。
ステップＳ１５において、制御コンピュータ３０は、ターゲットに対して作業を実行するようにロボットアーム２３を制御する。
一実施形態において、制御コンピュータ３０は、作業装置５４をさらに制御して、機械的空間座標において例えば、把持動作、溶接動作、マーキング動作、研磨動作、組立動作、塗布動作、及び／又はロック動作等の自動動作を実行するようにロボットアームを制御することができる。
本発明は、ロボットアーム及びコンピュータビジョンに対して校正することにより、ロボットのハンドアイの協調性を高めることができる。
図５は、本発明の一実施形態に係る協調方法の部分フローチャートである。図４も併せて参照すると、本実施形態の協調方法のステップＳ１１は、図４に示す協調方法に比べてステップＳ２０～Ｓ２５をさらに含む。
ステップＳ２０において、制御コンピュータ３０は、画像撮像装置２１の有効撮影距離（図１に示すような有効撮影距離２５１）を取得し、有効撮影距離に基づいて有効撮影範囲を設定する。
上記有効撮影距離は、例えば、画像撮像装置２１の最大合焦距離又は最小合焦距離であってもよく、有効撮影範囲は、例えば、画像撮像装置２１の合焦範囲であってもよい。
一実施形態において、制御コンピュータ３０は、有効撮影距離が５０ｃｍであれば、０～５０ｃｍを有効撮影範囲として設定してもよいし、２５～５０ｃｍを有効撮影範囲として設定してもよいし、２５～７５ｃｍを有効撮影範囲として設定してもよいが、これらに限定されない。
また、画像撮像装置２１及び撮影ターゲットが上記有効撮影距離又は有効撮影範囲に入る場合、画像撮像装置２１は、撮影ターゲットに正確に焦点を合わせることができ、鮮明なターゲット画像を撮像することができる。画像撮像装置２１及び撮影ターゲットが有効撮影範囲内にない場合、画像撮像装置２１は、正確に焦点を合わせず、ぼやけたターゲット画像を生成してしまう。
ステップＳ２１において、制御コンピュータ３０は、ターゲット距離に基づいて有効撮影範囲内に入ったと判断するまで、ターゲット距離を継続的に測定し、ロボットアーム２３を移動制御する。
ステップＳ２２において、制御コンピュータ３０は、現在のターゲット距離を継続的に測定し、有効撮影範囲内で異なる焦点測定姿勢をとるようにロボットアーム２３を移動制御し、各焦点測定姿勢の焦点測定画像を撮影する。
一実施形態において、上記複数の焦点測定姿勢は、異なるターゲット距離でとるものである。つまり、制御コンピュータ３０は、有効撮影範囲内でロボットアーム２３の高さ（ターゲットから遠いところからターゲットに近いところまで）を継続的に変換して、異なる高さの焦点測定画像を得る。
ステップＳ２３において、制御コンピュータ３０は、画像分析モジュール４６により複数の焦点測定画像及び対応する複数のターゲット距離に対して合焦分析を実行して、基準姿勢及び基準距離を決定する。
一実施形態では、上記合焦分析は、複数の焦点測定画像のうち一つ又は複数の焦点の合った焦点測定画像（即ち、鮮明な画像）を選択すること、これらの焦点測定画像の焦点測定姿勢を撮影することに基づいて基準姿勢（例えばこれらの焦点測定姿勢の中心又は重心）を決定すること、これらの焦点測定画像ターゲット距離を撮影することに基づいて基準距離（例えば平均値）を決定することを含む。
一実施形態において、上記合焦分析は、複数の画像のエッジ特徴、勾配の大きさ等を分析することにより、最も鮮明な焦点測定画像を決定し、最も鮮明な焦点測定画像を取得できる焦点測定姿勢及びターゲット距離を取得して基準姿勢及び基準距離とすることができる。
ステップＳ２４において、制御コンピュータ３０は、基準姿勢及び基準距離に基づいて校正姿勢となるようにロボットアーム２３を移動制御し、この校正姿勢で対応する校正画像を撮影する。
一実施形態において、各校正姿勢のターゲット距離は、基準距離に等しいか又は近い距離であり、基準姿勢に基づいて変化する。例えば、ロボットアーム２３の先端を同じ高さ平面上で回動又は変位させる。
ステップＳ２５において、制御コンピュータ３０は、校正制御モジュール４３により予め設定された収集停止条件が満たされるか否かを判断することで、収集された校正データが十分であるか否かを判断する。例えば、１０個、５０個又は１００個等予め設定された数を満たすかを判断し、これらに限定されない。
収集停止条件が満たされた場合には、修正データの収集を終了する。そうでない場合には、ステップＳ２４を再度実行して、異なる校正姿勢で撮影された校正画像を得る。
このように、本発明では、ロボットアームの回動及び変位を連続的に変化させて異なる校正姿勢をとり、十分な校正データを収集するまで各校正姿勢の校正画像を撮影することができる。
一実施形態において、収集された複数の校正姿勢のうちの少なくとも２つの校正姿勢が位置する平面は治具５２と平行である。
一実施形態において、収集された複数の校正姿勢のうちの少なくとも２つの校正姿勢は異なるターゲット距離、即ち異なる高さにある。
本発明では、撮影光軸とフランジ軸とが重ね合わせるので、計算された変換関係はより正確になることができる。
図６は、本発明の一実施形態に係る協調方法の部分フローチャートである。図４も併せて参照すると、本実施形態の協調方法のステップＳ１４は、図４に示す協調方法に比べてステップＳ３０～Ｓ３３をさらに含む。
ステップＳ３０において、制御コンピュータ３０は、ロボットアーム２３を（例えば、作業ターゲットに向けて継続的に接近するように）移動制御し、ターゲット距離を継続的に取得し、ターゲット距離に基づいてロボットアーム２３が有効撮影範囲に入ったか否か（例えば、ターゲット距離が有効撮影距離２５１未満であるか否か）を判定する。
ステップＳ３１において、制御コンピュータ３０は、ロボットアーム２３（画像撮像装置２１を含む）が有効撮影範囲に入ると、作業ターゲットを撮影して作業画像を取得する。
ステップＳ３２において、制御コンピュータ３０は、画像分析モジュール４６により作業画像に対して画像分析を実行する。
一実施形態において、上記画像分析は、作業画像において作業ターゲットを認識し、作業ターゲットの視覚的空間における位置に基づいて作業分析を実行することにより、作業を実行する必要がある視覚的空間座標を決定することを含んでもよい。
一実施形態において、上記作業分析は、（例えば、素子欠陥を検出する）欠陥検出処理、（例えば、素子の面積又は長さを測定する）測定処理、（例えば、素子を認識及び分類する）分類スクリーニング処理、及び（例えば、素子の把持点、組立点、溶接点等を決定する）素子位置決め処理であってもよい。
ステップＳ３３において、制御コンピュータ３０は、変換関係２５２に基づいて、作業を実行する視覚的空間座標を、作業を実行する機械的空間座標に変換する。
一実施形態において、制御コンピュータ３０は、さらに作業装置５４とフランジ軸との位置差に基づいて機械的空間座標を補正し、補正された機械的空間座標を得ることができる。また、制御コンピュータ３０は、補正された機械的空間座標に基づいてアーム制御コマンドを生成し、アーム制御コマンドをロボットアームコントローラ３１に送信して、作業を実行する機械的空間座標に作業装置５４を移動させるように、ロボットアームを制御することができる。
このように、本発明は、コンピュータビジョンにより加工作業を自動に実行することができる。
図８～図１１を参照する。図８は、本発明の一実施形態に係る校正モードの第１の概略図である。図９は、本発明の一実施形態に係る校正モードの第２の概略図である。図１０は、図８で撮影した第１の校正画像の概略図である。図１１は、図９で撮影した第２の校正画像の概略図である。
本実施形態において、光路構造は、ビームスプリッタ２４０のみを含む。ビームスプリッタ２４０により分離された可視光は、画像撮像装置２１に直接入射し、画像撮像装置２１の写真レンズの向きは、フランジ軸に垂直である。
また、作業装置５４は、入射光の入射を妨げることのないように、取付ベース５５の底部に配置され、フランジ軸の外に位置している。
さらに、上記配置方法では、作業装置５４とフランジ軸との距離が一定であるため、制御装置２０は、フランジ軸により作業装置５４の現在の空間位置を迅速かつ正確に計算することができる。
ロボットアーム２３は、先端が有効撮影距離ｈ１内に移動した後、関節２３０～２３３を調節することにより図８に示すような第１の校正姿勢Ｐ１をとり、画像撮像装置２１により図１０に示すような第１の校正画像を撮影する。
次に、ロボットアーム２３は、関節２３２、２３３を調節することにより、図９に示すような異なる第２の校正姿勢Ｐ２をとり、画像撮像装置２１により図１１に示すような第２の校正画像を撮影する。
図１０に示すように、第１の校正姿勢Ｐ１では、第１の校正画像のターゲット６０の特徴（ここが中心点）が視覚的空間に位置する位置６００である。
図１１に示すように、第２の校正姿勢Ｐ２に変換した後、第２の校正画像のターゲット６０の特徴が視覚的空間の位置６０１に移動する。
次に、第１の校正姿勢Ｐ１と第２の校正姿勢Ｐ２との間の機械的空間座標の変化量を計算し、位置６００から位置６０１までの視覚的空間の変化量Ｖ１を計算する。この２群の変化量を関連付けると、視覚的空間と機械的空間との間の変換関係を取得し、校正が完了する。
以上、本発明の好ましい実施形態を説明したが、本発明は上記実施形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で上記各実施の形態に多様な変更又は改良を加えることができ、上記変更又は改良を加えた形態も本発明の技術的範囲に含まれる。
１ ロボットアームシステム
１０ ロボットアーム
１１ エンドエフェクタ
１２ カメラ
１３ ターゲット
１４０ フランジ軸
１４１ 撮影光軸
１５ ターゲット画像
１６ 範囲
１７ 回動後の範囲
１８ 軸心
２ 自動ロボットアームシステム
２０ 制御装置
２１ 画像撮像装置
２１０ 感光素子
２１１ 写真レンズ
２２ 光学測距装置
２２０ 光送信器
２２１ 光受信器
２３ ロボットアーム
２３０～２３３ 関節
２４ 光路構造
２４０ ビームスプリッタ
２４１ 反射鏡
２５ 記憶装置
２５０ コンピュータプログラム
２５１ 有効撮影距離
２５２ 変換関係
２６ ターゲット
３０ 制御コンピュータ
３１ ロボットアームコントローラ
３２ 周辺装置
４０ 撮影制御モジュール
４１ 測距制御モジュール
４２ アーム制御モジュール
４３ 校正制御モジュール
４４ 作業制御モジュール
４５ 変換処理モジュール
４６ 画像分析モジュール
５０ 光源
５１ ターゲット
５２ 治具
５３ フランジ軸
５４ 作業装置
５５ 取付ベース
６０ 画像
６００、６０１ 位置
α１ 回動角度
ｄ１ オフセット量
ｈ１ ターゲット距離
Ｐ１、Ｐ２ 姿勢
Ｖ１ 変化量
１０ ロボットアーム
１１ エンドエフェクタ
１２ カメラ
１３ ターゲット
１４０ フランジ軸
１４１ 撮影光軸
１５ ターゲット画像
１６ 範囲
１７ 回動後の範囲
１８ 軸心
２ 自動ロボットアームシステム
２０ 制御装置
２１ 画像撮像装置
２１０ 感光素子
２１１ 写真レンズ
２２ 光学測距装置
２２０ 光送信器
２２１ 光受信器
２３ ロボットアーム
２３０～２３３ 関節
２４ 光路構造
２４０ ビームスプリッタ
２４１ 反射鏡
２５ 記憶装置
２５０ コンピュータプログラム
２５１ 有効撮影距離
２５２ 変換関係
２６ ターゲット
３０ 制御コンピュータ
３１ ロボットアームコントローラ
３２ 周辺装置
４０ 撮影制御モジュール
４１ 測距制御モジュール
４２ アーム制御モジュール
４３ 校正制御モジュール
４４ 作業制御モジュール
４５ 変換処理モジュール
４６ 画像分析モジュール
５０ 光源
５１ ターゲット
５２ 治具
５３ フランジ軸
５４ 作業装置
５５ 取付ベース
６０ 画像
６００、６０１ 位置
α１ 回動角度
ｄ１ オフセット量
ｈ１ ターゲット距離
Ｐ１、Ｐ２ 姿勢
Ｖ１ 変化量
Claims (11)
- 校正モードにおいて、光学測距装置により測定されたターゲット距離に基づいて、画像撮像装置の有効撮影範囲内において複数の校正姿勢となるようにロボットアームを移動制御し、前記画像撮像装置により前記複数の校正姿勢で複数の校正画像をそれぞれ撮影し、ビームスプリッタにより前記ロボットアームのフランジ軸の外に配置された前記画像撮像装置に可視光を導くとともに、前記光学測距装置に測距光を導くステップであって、前記光学測距装置の測距軸は、前記フランジ軸と平行又は重なるステップａと、
前記複数の校正姿勢及び前記複数の校正画像に基づいて、前記画像撮像装置の視覚的空間と前記ロボットアームの機械的空間との間の変換関係を計算するステップｂと、
作業モードにおいて、前記画像撮像装置により作業画像を撮影し、前記作業画像及び前記変換関係に基づいて、作業を実行する機械的空間座標を決定するステップｃと、
前記ロボットアームを前記機械的空間座標に移動制御するステップｄと、を含む、
ロボットアームとコンピュータビジョンとの間の協調方法。 - 前記ステップａは、
前記画像撮像装置の有効撮影距離を取得し、前記有効撮影距離に基づいて前記有効撮影範囲を設定するステップａ１と、
前記有効撮影範囲内においてそれぞれ異なる前記ターゲット距離の複数の焦点測定姿勢となるように前記ロボットアームを制御し、前記複数の焦点測定姿勢でそれぞれ複数の焦点測定画像を撮影するステップａ２と、
前記複数の焦点測定画像及び対応する前記複数のターゲット距離に対して合焦分析を実行して、基準姿勢及び基準距離を決定するステップａ３と、を含む、
請求項１に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 前記合焦分析は、
前記複数の焦点測定画像のうち少なくとも一つの焦点の合った前記焦点測定画像を選択するステップｅ１と、
撮影された鮮明な前記焦点測定画像の前記焦点測定姿勢及び前記ターゲット距離に基づいて、前記基準姿勢及び前記基準距離を決定するステップｅ２と、を含む、
請求項２に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 前記ステップａは、
基準姿勢及び基準距離に基づいて、異なる校正姿勢となるように前記ロボットアームを連続的に移動制御し、収集停止条件が満たされるまで前記複数の校正画像をそれぞれ撮影するステップａ４を含む、
請求項１に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 前記ステップｂは、
各前記校正画像において校正ターゲットの視覚的空間座標を認識するステップｂ１と、
前記複数の校正画像において前記校正ターゲットの前記複数の視覚的空間座標の変化を計算するステップｂ２と、
前記複数の機械的空間座標の変化を計算するステップｂ３と、
前記複数の機械的空間座標の変化及び前記複数の視覚的空間座標の変化に基づいて、視覚的空間と機械的空間との間の前記変換関係を計算するステップｂ４と、を含む、
請求項１に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 前記ステップｃは、
前記ロボットアームが前記有効撮影範囲に入る場合に前記作業画像を撮影するステップｃ１と、
前記作業画像において作業ターゲットを認識し、前記作業ターゲットの位置に基づいて作業分析を実行することにより、作業を実行するための視覚的空間座標を決定するステップｃ２と、
前記変換関係に基づいて、作業を行う前記視覚的空間座標を、作業を行う前記機械的空間座標に変換するステップｃ３と、を含む、
請求項１に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 前記作業分析は、欠陥検出処理、測定処理、分類スクリーニング処理、及び素子位置決め処理のうち少なくとも一つを含む、
請求項６に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 前記機械的空間座標で自動動作を実行するように前記ロボットアームを制御するステップｆをさらに含む、
請求項１に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 前記自動動作は、把持動作、溶接動作、マーキング動作、研磨動作、組立動作、塗布動作、及びロック動作のうち少なくとも一つを含む、
請求項８に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 前記ビームスプリッタは、可視光の反射率が８０％以上、赤外線の透過率が７５％以上である、
請求項１に記載のロボットアームとコンピュータビジョンとの間の協調方法。 - 立体空間を移動するロボットアームと、
前記ロボットアームのフランジ軸の外に配置され、画像を撮影するための画像撮像装置と、
前記ロボットアームに配置され、ターゲット距離を測定するために用いられ、測距軸が前記フランジ軸と平行又は重なる光学測距装置と、
可視光を前記画像撮像装置に導くとともに、測距光を前記光学測距装置に導くビームスプリッタを含む光路構造と、
前記ロボットアームと、前記画像撮像装置と、前記光学測距装置とに接続された制御装置と、を含み、
前記制御装置は、校正モードにおいて、前記ターゲット距離に基づいて前記画像撮像装置の有効撮影距離内において複数の校正姿勢となるように前記ロボットアームを移動制御し、前記複数の校正姿勢で複数の校正画像をそれぞれ撮影するように前記画像撮像装置を制御し、前記複数の校正姿勢及び前記複数の校正画像に基づいて、前記画像撮像装置の視覚的空間と前記ロボットアームの機械的空間との間の変換関係を計算するように設定され、
前記制御装置は、作業モードにおいて、前記画像撮像装置を制御して作業画像を撮影し、前記作業画像及び前記変換関係に基づいて作業を実行する機械的空間座標を決定し、前記ロボットアームを前記機械的空間座標に移動制御するように設定されている、
自動ロボットアームシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111162843.8A CN115890638A (zh) | 2021-09-30 | 2021-09-30 | 自动化机械手臂系统 |
| CN202111162843.8 | 2021-09-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023051664A true JP2023051664A (ja) | 2023-04-11 |
| JP7263501B2 JP7263501B2 (ja) | 2023-04-24 |
Family
ID=85718335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021209592A Active JP7263501B2 (ja) | 2021-09-30 | 2021-12-23 | 自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11958200B2 (ja) |
| JP (1) | JP7263501B2 (ja) |
| CN (1) | CN115890638A (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0631666A (ja) * | 1992-07-15 | 1994-02-08 | Fujitsu Ltd | 知能ロボット |
| US6320641B1 (en) * | 1997-04-01 | 2001-11-20 | Agris-Schoen Vision Systems, Inc. | High-precision-resolution image acquisition apparatus and method |
| JP2015182144A (ja) * | 2014-03-20 | 2015-10-22 | キヤノン株式会社 | ロボットシステムおよびロボットシステムの校正方法 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS566550B2 (ja) * | 1973-01-20 | 1981-02-12 | ||
| US5361217A (en) * | 1992-05-07 | 1994-11-01 | Fuji Photo Optical Co., Ltd. | Position measuring/plotting apparatus |
| JP4837116B2 (ja) | 2010-03-05 | 2011-12-14 | ファナック株式会社 | 視覚センサを備えたロボットシステム |
| US9393694B2 (en) * | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
| US8553937B2 (en) * | 2011-10-20 | 2013-10-08 | Honeywell International Inc. | Controller for an image stabilizing orthogonal transfer charge-coupled device |
| TWI452409B (zh) * | 2012-12-14 | 2014-09-11 | Delta Electronics Inc | 光源模組、光激發裝置及應用其之投影機 |
| JP6108860B2 (ja) * | 2013-02-14 | 2017-04-05 | キヤノン株式会社 | ロボットシステム及びロボットシステムの制御方法 |
| US9424650B2 (en) * | 2013-06-12 | 2016-08-23 | Disney Enterprises, Inc. | Sensor fusion for depth estimation |
| KR20150057011A (ko) * | 2013-11-18 | 2015-05-28 | 삼성전자주식회사 | 광원일체형 카메라 |
| IN2014DE02323A (ja) * | 2013-11-27 | 2015-06-26 | Bae Systems Information & Electronic Systems Integration Inc | |
| KR20170035831A (ko) * | 2014-03-14 | 2017-03-31 | 시냅티브 메디컬 (바베이도스) 아이엔씨. | 인텔리전트 포지셔닝 시스템과 그것의 방법들 |
| US10466044B2 (en) * | 2015-12-17 | 2019-11-05 | Bae Systems Information And Electronic Systems Integration Inc. | Sensor imager and laser alignment system |
| US11927965B2 (en) * | 2016-02-29 | 2024-03-12 | AI Incorporated | Obstacle recognition method for autonomous robots |
| WO2019095045A1 (en) * | 2017-11-20 | 2019-05-23 | Kindred Systems Inc. | Systems, devices, articles, and methods for calibration of rangefinders and robots |
| US11254019B2 (en) * | 2019-03-05 | 2022-02-22 | The Boeing Company | Automatic calibration for a robot optical sensor |
| US11396057B2 (en) * | 2019-07-02 | 2022-07-26 | Servo-Robot Inc. | Twin laser camera assembly |
| TWI699264B (zh) | 2019-07-05 | 2020-07-21 | 上銀科技股份有限公司 | 視覺導引機器手臂校正方法 |
| CN112404632B (zh) * | 2019-08-22 | 2022-09-02 | 台达电子工业股份有限公司 | 焊锡装置及其系统控制器 |
| CN110599541B (zh) * | 2019-08-28 | 2022-03-11 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| TWI701123B (zh) | 2019-12-18 | 2020-08-11 | 財團法人工業技術研究院 | 機器人工件座標系自動校正系統與方法 |
| EP3961280A1 (en) * | 2020-08-27 | 2022-03-02 | Leica Instruments (Singapore) Pte. Ltd. | An autofocus system, an optical system, a method for an autofocus system and a computer program |
| CN114310868B (zh) | 2020-09-29 | 2023-08-01 | 台达电子工业股份有限公司 | 机器手臂的坐标系校正设备及校正方法 |
| TWI724977B (zh) | 2020-09-29 | 2021-04-11 | 台達電子工業股份有限公司 | 機器手臂的座標系校正設備及校正方法 |
| US11328409B2 (en) * | 2020-09-30 | 2022-05-10 | Mitutoyo Corporation | System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface |
| EP4351401A1 (en) * | 2021-06-07 | 2024-04-17 | Alcon Inc. | Optical axis calibration of robotic camera system |
| US20230228882A1 (en) * | 2022-01-18 | 2023-07-20 | Torrey Pines Logic, Inc. | Laser rangefinder with integrated imaging system |
-
2021
- 2021-09-30 CN CN202111162843.8A patent/CN115890638A/zh active Pending
- 2021-12-23 JP JP2021209592A patent/JP7263501B2/ja active Active
- 2021-12-28 US US17/563,976 patent/US11958200B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0631666A (ja) * | 1992-07-15 | 1994-02-08 | Fujitsu Ltd | 知能ロボット |
| US6320641B1 (en) * | 1997-04-01 | 2001-11-20 | Agris-Schoen Vision Systems, Inc. | High-precision-resolution image acquisition apparatus and method |
| JP2015182144A (ja) * | 2014-03-20 | 2015-10-22 | キヤノン株式会社 | ロボットシステムおよびロボットシステムの校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115890638A (zh) | 2023-04-04 |
| JP7263501B2 (ja) | 2023-04-24 |
| US20230097932A1 (en) | 2023-03-30 |
| US11958200B2 (en) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10805546B2 (en) | Image processing system, image processing device, and image processing program | |
| US9604363B2 (en) | Object pickup device and method for picking up object | |
| JP5911934B2 (ja) | 輪郭線計測装置およびロボットシステム | |
| JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN108700408B (zh) | 三维形状数据及纹理信息生成系统、方法及拍摄控制方法 | |
| CN105547153B (zh) | 基于双目视觉的插件元件针脚视觉定位方法及装置 | |
| TW201618913A (zh) | 機器人及機器人系統 | |
| JP2009269110A (ja) | 組立装置 | |
| CN111278608B (zh) | 用于3d视觉机器人系统的校准物品 | |
| JP6565175B2 (ja) | ロボットおよびロボットシステム | |
| JP7191309B2 (ja) | カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 | |
| CN112230345A (zh) | 光纤自动耦合对准设备和方法 | |
| JP2020047049A (ja) | 画像処理装置及び画像処理方法 | |
| US11328409B2 (en) | System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface | |
| US20230179732A1 (en) | Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium | |
| WO2022067163A1 (en) | Machine vision system and method with on-axis aimer and distance measurement assembly | |
| CN111780715A (zh) | 一种视觉测距方法 | |
| JP2018194542A (ja) | 画像処理システム、画像処理装置および画像処理プログラム | |
| JP7263501B2 (ja) | 自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法 | |
| KR20130061567A (ko) | 무정지 검사를 위한 로봇 시스템 및 그 방법 | |
| JP5740648B2 (ja) | 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム | |
| TWI776694B (zh) | 自動化機械手臂系統與機械手臂與其電腦視覺之間的協調方法 | |
| TW201447289A (zh) | 光電透鏡檢測裝置及檢測方法 | |
| US20170328706A1 (en) | Measuring apparatus, robot apparatus, robot system, measuring method, control method, and article manufacturing method | |
| JP5418490B2 (ja) | 位置決め制御装置およびこれを備えた位置決め装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230412 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7263501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |