JP2005515910A - シングルカメラ３ｄビジョンガイドロボティクスの方法および装置 - Google Patents

シングルカメラ３ｄビジョンガイドロボティクスの方法および装置 Download PDF

Info

Publication number
JP2005515910A
JP2005515910A JP2003563782A JP2003563782A JP2005515910A JP 2005515910 A JP2005515910 A JP 2005515910A JP 2003563782 A JP2003563782 A JP 2003563782A JP 2003563782 A JP2003563782 A JP 2003563782A JP 2005515910 A JP2005515910 A JP 2005515910A
Authority
JP
Japan
Prior art keywords
camera
robot
space
tool
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003563782A
Other languages
English (en)
Other versions
JP2005515910A5 (ja
Inventor
ハビビ、ババク
ペスカル、シモーナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Braintech Canada Inc
Original Assignee
Braintech Canada Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=31189178&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2005515910(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from CA002369845A external-priority patent/CA2369845A1/en
Application filed by Braintech Canada Inc filed Critical Braintech Canada Inc
Publication of JP2005515910A publication Critical patent/JP2005515910A/ja
Publication of JP2005515910A5 publication Critical patent/JP2005515910A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39393—Camera detects projected image, compare with reference image, position end effector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00—Metal working
    • Y10T29/53—Means to assemble or disassemble
    • Y10T29/53004—Means to assemble or disassemble with means to regulate operation by use of templet, tape, card or other replaceable information supply
    • Y10T29/53009—Means to assemble or disassemble with means to regulate operation by use of templet, tape, card or other replaceable information supply with comparator
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00—Metal working
    • Y10T29/53—Means to assemble or disassemble
    • Y10T29/53039—Means to assemble or disassemble with control means energized in response to activator stimulated by condition sensor
    • Y10T29/53061—Responsive to work or work-related machine element
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00—Metal working
    • Y10T29/53—Means to assemble or disassemble
    • Y10T29/53087—Means to assemble or disassemble with signal, scale, illuminator, or optical viewer

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

ツールとロボットに取り付けた一つのカメラを用いて対象物の３次元配置およびその取り扱いを行う方法が開示されている。該方法において、少なくとも６個の、対象物の通常の形状特徴である、目標となる形状特徴が対象物上で選択される。

Description

本本発明は、ビジョンガイドロボティクス( 視覚認識ロボット制御）の分野、特にシングルカメラ三次元（３Ｄ）ビジョンガイドロボティクスの方法と装置に関連したものである。
ロボットは製造工程において、多くの用途で幅広く使用されている。様々な種類のセンサがロボットを誘導するために使われているが、それらの作業において、なかでもマシンビジョンが益々多く使われる傾向にある。通常、そのようなマシンビションは、対象物がＸ，Ｙ平面上に位置していればよい２次元の用途において、単一カメラを用いて、使用されている。例として、ラルーサ(LaRussa) の特許文献１を参照されたい。しかしながら、多くのロボットの用途は、ロボットに対象物を３次元で位置を認識させ、且つ作業を行わせる必要がある。過去において、このような用途は２個もしくはそれ以上のカメラの使用を必要としてきた。例として、バーク(Birk)らの特許文献２およびビーマン(Bieman)らの特許文献３を参照されたい。ハードウェアのコストを削減するためには、単一のカメラの使用が望ましい。以前のシングルカメラシステムは、特化された複数のセンサを含むレーザー三角測量法を使用してきたが、該センサは幾何学的位置関係を保持するために厳密にパッケージ化されていなければならず、ツール間の精巧なキャリブレーション法を必要とし、工場内の環境下で作動されるときに損傷を受けやすく、また測定ミスなどの要因となることがあった。
目標対象物の移動空間内で、単一もしくは複数のカメラを用いて位置認識を行う場合、その支援には、対象物上の目標点が用いられてきた。ピンクニー(Pinkney) らの特許文献４およびプライアー(Pryor) の特許文献５〜８を参照されたい。通常、これらの方法は、対象物の以前の位置に対する新たな位置を計算することを含む。そのような位置の計算は開始時点における対象物の３次元上の位置情報を必要とするものである。しかし、これらの方法は産業用用途として要求される精度や反復性の条件を満たすには不向きである。
米国特許第４，４３７，１１４号 米国特許第４，１４６，９２４号 米国特許第５，９５９，４２５号 米国特許第４，２１９，８４７号 米国特許第５，６９６，６７３号 米国特許第５，９５６，４１７号 米国特許第６，０４４，１８３号 米国特許第６，３０１，７６３号
それ故に、対象物の３次元上の位置を一般的なビデオカメラ装置を用いて計算する方法において、ロボットのためのビジョンガイダンス並びに対象物の３次元位置情報を必要とする他のアプリケーションに必要なレベルの精度及び反復性を提供することが可能な方法に対するニーズが存在するのである。
ロボットエンドエフェクターに取り付けられた１台のカメラおよびツールを用いたロボットにより、対象物を３次元で取り扱う方法を以下に開示する。この方法では、対象物の形状特徴もしくは目印が、対象物の３次元位置を計算するために使用される。そのプロセ
スは以下の３つの主な工程で行なわれる。
ａ）カメラのキャリブレーション。
ｂ）対象物上の形状特徴の選択。
ｃ）対象物の対象物の3 次元上の姿勢を認識し、その情報を用いて、ロボットを対象物へ誘導し、任意の作業（すなわちハンドリングや切断など）を行なわせる。
本発明の一態様によれば、本発明は、ロボットによって、ロボットに取り付けられたツールおよび単一のカメラを用いて、対象物を取り扱う方法を提供する。該方法は、以下のことを含む。
ｉ）カメラのキャリブレーションを以下の検出により行う。
ａ）カメラ固有のパラメータ
ｂ）ロボットのツールに関するカメラの位置（“ハンド−アイ（ロボットハンドとカメラアイ）”間のキャリブレーション）
ｃ）対象物が教示される場所に対して厳正な空間上でのカメラの位置（“トレーニングスペース”）
ｉｉ）対象物形状特徴の教示を以下によって行う。
ａ）対象物を“トレーニングスペース”に置き、キャリブレーションポジションにあるロボットによって対象物の画像を捕捉する。前記キャリブレーションポジションでは“カメラからトレーニングスペース”への変換が計算される。
ｂ）前記画像から少なくとも６個の可視の形状特徴を選択する。
ｃ）“トレーニングスペース”での各々の形状特徴の３次元位置を計算する。
ｄ）“トレーニングスペース”と整合されているが、対象物に関連している“オブジェクトスペース”を定義し、前記形状特徴の３次元座標を“オブジェクトスペース”に置換する。
ｅ）“オブジェクトスペース”内の形状特徴の３次元位置と前記画像内の形状特徴の位置を用いて“オブジェクトスペースからカメラ”への変換を計算する。
ｆ）所期の作業軌道を教示するために使用される“オブジェクトスペース”内の“オブジェクトフレーム”を定義する。
ｇ）“オブジェクトフレームからカメラ”および“カメラからツール”からの変換を用いて、“ツールフレーム”におけるオブジェクトフレームの位置および方向を計算する。
ｈ）“オブジェクトフレーム”をロボットに送信する。
ｉ）ロボットを用いて“オブジェクトフレーム”に関して所期の作業軌道を教示する。
ｉｉｉ）対象物の検出および配置を以下により実行する。
ａ）ロボットを対象物が収容されている容器容器上の所定位置に配置し、対象物の画像を捕捉する。
ｂ）その視野内において選択されるべき形状特徴の数が不十分な場合には、少なくとも６個の形状特徴が見つかるまでロボットを移動させる。
ｃ）前記画像からの形状特徴の位置およびそれらに相応する教示（トレーニング）工程で計算された“オブジェクトスペース”における位置を用いて、“オブジェクトスペース”と“カメラスペース”との間の変換として対象物の所在位置を計算する。
ｄ）前記変換を用いて、カメラが対象物に対して直交して見えるようにカメラを配置するためのロボットの動きを計算する。
ｅ）ロボットを工程ｄ）で計算した位置へ移動する。
ｆ）工程ｃ）と同様に“オブジェクトスペースからカメラスペース”への変換を求
める。
ｇ）その求められた変換と“カメラからツール”への変換を用いて、教示工程で記憶されたオブジェクトフレームを計算する。
ｈ）計算された“オブジェクトフレーム”をロボットに送信する。
ｉ）“ツール”の位置を用いて、“ロボットスペース”において、そのフレームを定義付け、“ロボットスペース”内の対象物に対して所期の作業軌道を実行する。
本発明の更なる態様によれば、ツールと（ロボットに）取り付けられた単一のカメラを用いたロボットにより、対象物を３次元的に取り扱う方法が提供される。該方法は以下のことを含む。
ｉ）カメラキャリブレーションを以下の検出により行う。
ａ）カメラ固有のパラメータ
ｂ）ロボットツールに関するカメラの位置（“ハンド−アイ”間のキャリブレーション）
ｉｉ）対象物形状特徴の教示を以下によって行なう。
ａ）対象物をカメラ視野内に置き、その画像を捕捉する。
ｂ）撮影した画像から少なくとも６個の可視の形状特徴を選択する。
ｃ）対象物と関係するスペース（“オブジェクトスペース”）内の選択された形状特徴の現実座標における３次元位置を計算する。
ｄ）このスペース内の形状特徴の３次元位置と画像上の位置とを用いて、“オブジェクトスペースからカメラ”の変換を計算する。
ｅ）作業軌道を教示するために使われる“オブジェクトスペース”内の“オブジェクトフレーム”を定義付ける。
ｆ）“オブジェクトフレームからカメラ”および“カメラからツール”の変換を用いて、“ツールフレーム”内の“オブジェクトフレーム”の位置および方向を計算する。
ｇ）その計算された“オブジェクトフレーム”をロボットに送信する。
ｈ）“オブジェクトフレーム”内での所期の作業軌道を教示する。
ｉｉｉ）対象物の検出および配置を以下によって実行する。
ａ）ロボットを対象物が収容されている容器の上の所定の位置に配置する。
ｂ）その視野内において選択されるべき形状特徴の数が不十分な場合には、少なくとも６個の形状特徴がその視野内に位置するまでロボットを移動させる。
ｃ）前記画像からの形状特徴の位置およびそれらに相応する教示工程で計算された“オブジェクトスペース”における位置を用いて、“オブジェクトスペース”と“カメラスペース”と間の変換として対象物の位置を計算する。
ｄ）その変換を用いて、カメラが対象物に対して直交して見えるような位置にカメラを動かすためのロボットの動きを計算する。
ｅ）工程ｄ）と同様に“オブジェクトスペースからカメラスペース”への変換を求める。
ｆ）求められた変換および“カメラからツール”への変換を用いて、教示工程で記憶されたオブジェクトフレームを計算する。
ｇ）その計算された“オブジェクトフレーム”をロボットに送信する。
ｈ）“ツール”の位置を用いて、“ロボットスペース”におけるそのフレームを定義付け、“ロボットスペース”内の対象物に対する所期の作業軌道を実施する。
以下の記載には、本発明をより完璧に理解してもらうための詳細な説明が記されている。しかしながら、本発明はこれらの事項を有さなくても実施されることがある。他の例に
おいては、本発明を不必要に不明瞭にすることを避けるため、周知の要素を詳細に示したり、説明したりしていない。従って、明細書および図面は、意味に制限を加えるのではなく、例示的なものであると見なされるべきである。
図１は、作業アーム１２、ベース２２、およびカメラ１６を備えた取り付けツール１４を有するロボット１０を示している。ツール１４はパーツまたは目標対象物１８を扱うように設計されている。カメラ１６は、好ましくは市場汎用品のアナログもしくはデジタルビデオカメラである。カメラ１６およびロボット１０は、双方向のデータ通信を行うために、コンピュータコントロールステーション２４に電気的に接続されている。
この方法は、以下に述べられる主たる３つの工程で行なわれる。
ａ）カメラキャリブレーション。
ｂ）対象物上の形状特徴の教示。
ｃ）対象物の３次元上の位置を検出し、この情報を用いて、任意の作業（すなわちハンドリング、切断など）を行なうために、ロボットを対象物に接近するように誘導する。
以下の説明において、下記の用語は、図２に示されているように、以下のような意味を有する。
変換(transformation)：２つの空間の間における三次元回転(rotation)および並進(translation) 。
ツール１４：ロボットがハンドリングを行うためのツールであって、作業端部いわゆるエンド・エフェクターを有するツール。
カメラスペース２６：カメラ１６上の点に関して定義され、よってカメラ１６に対して厳正に定義されるフレーム。
ツールスペース２８：ツール１４上の点に関して定義され、エンドエフェクターの方向に沿って配向され、よってツール１４に対して厳正に定義されるフレーム。
ロボットベーススペース３０：ロボットアームの物理的基準に関して定義され、よってロボットベース３０に対して厳正に定義されるフレーム。
トレーニングスペース３２：キャリブレーションプレート４０上の点に関して定義されるとともに、その主軸に整合されているフレーム。
オブジェクトスペース３６：対象物１８に関して定義され、よって対象物１８に対して厳正に定義されるフレーム。
オブジェクトフレーム３４：対象物１８上の点に関して定義され、よって対象物１８に対して厳正に定義されるフレーム。
カメラキャリブレーション固有パラメータ：焦点距離、イメージセンター、現実のピクセルサイズ、レンズの放射方向の歪み（ラジアルディストーション）。
カメラキャリブレーションの外的パラメータ：カメラスペース２６関する外部スペースの回転および並進。
キャリブレーション
キャリブレーションのプロセスは、ｉ）カメラ固有のパラメータを検出することと、ｉｉ）ロボットのツールに対するカメラの配置（“ハンド−アイ（ロボットハンドとカメラアイとの間）”のキャリブレーション）とを含む。“トレーニングスペース”におけるカメラの位置も同様に判定される。前記“トレーニングスペース”は、対象物が教示される空間に対して厳正である。基本的なキャリブレーションアルゴリズムの概説および変数の
説明は以下の刊行物に記されている。
“An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision（３Ｄ画像装置のための効率的で精度の高いカメラキャリブレーション技術）”、ロジャー ワイ．ツァイ（Roger Y.Tsai)、Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986 年，第３６４〜３７４頁。
“A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision
Metrology Using Off-the-Shelf TV Cameras and Lenses（市場汎用ＴＶカメラとレンズを用いた、高精度で何でも活用できる３Ｄ画像装置のためのカメラキャリブレーション技術）”, ロジャー ワイ．ツァイ(Roger Y. Tsai), IEEE Journal of Robotics and Automation, Vol.RA-3,No.4, August 1987年，第３２３〜３４４頁。
“Tsai's Camera Calibration Method Revisited（ツァイのカメラキャリブレーション法再訪）”、http://wwww.ai.mit.edu/people/bkph/papers/tsaiexplain.pdf
ツァイのカメラモデルは投射図法のピンホールモデルに基づいている。３次元座標における、ある点（ポイント）の位置が与えられている場合、そのモデルは２次元のピクセル座標におけるその点の画像の位置を推測する。ツァイのモデルは１１個のパラメータであって、５つの内部パラメータ（固有(intrinsic) または内側(interior)パラメータとも称される）、すなわち、
ｉ）ｆ−ピンホールカメラの有効焦点距離、
ｉｉ）ｋａｐｐａｌ−放射状レンズ歪み一次係数、
ｉｉｉ）およびｉｖ）Ｃｘ，Ｃｙ−放射状レンズ歪みの中心の座標と、カメラのセンサー面でのカメラ座標フレームのＺ軸上の貫通点の座標、
ｖ）ｓｘ−フレームグラバーの水平方向スキャンライン再サンプリングに起因する不確実性を示すパラメータと、
６つの外部パラメータ（また外的(extrinsic) または外側(exterior)パラメータとも称される）すなわち、
ｉ）Ｒｘ，Ｒｙ，Ｒｚ−世界座標フレームとカメラ座標フレームと間の変換のための回転角度、
ｉｉ）Ｔｘ，Ｔｙ，Ｔｚ−世界座標フレームとカメラ座標フレームと間の変換のための並進成分とを有する。
内部パラメータはカメラがどのように画像を形成するかを表し、一方、外部パラメータは世界座標フレーム内でのカメラの姿勢（すなわち位置と方向性）を示す。このモデルのキャリブレーションデータは、形状特徴点（例えば、ｍｍ）の３次元（ｘ，ｙ，ｚ）世界座標とそれに相応する画像内での形状特徴点の２次元座標（Ｘｆ，Ｙｆ）（通常、ピクセル単位）から構成される。二つの形式のキャリブレーション、すなわち、
共面(Coplanar)、つまりキャリブレーションポイントが３次元において単一平面にある場合と、
非共面(Non-coplanar)、つまりキャリブレーションポイントが３次元全体にある場合とが可能である。
図２および図５に示されているように、キャリブレーションにおける第一工程は、ロボットアーム１２上のカメラ１６を、鏡によるアプローチを用いて、テンプレート４０に対して直交するように配置し、キャリブレーションに使用されるテンプレート４０に位置調整されたロボットの“トレーニングスペース”を定義付ける。キャリブレーションプレート４０は、床上または他の平面上に置かれる。キャリブレーションプレート４０は、点または四角の格子模様などの一連の固定された検知可能な形状特徴が記されている平らな一枚の紙、プラスティックまたはその他の媒体である。カメラ１６は、キャリブレーション
テンプレート４０の面に直交するように、すなわち、カメラの撮像平面がテンプレート４０に対して平行になるように配置される。直交性を確保するための鏡を使ったアプローチは、平らな鏡をテンプレート４０の格子模様の上に配置することと、格子の中央においてカメラレンズを鏡の上にセンタリングさせることとを含む。
次に、カメラの内部パラメータと“カメラからトレーニングスペース”への変換が、トレーニングスペースをもとに計算される。次に、“カメラからツール”への変換が、“カメラからトレーニングスペース”への変換を用いるとともに、“トレーニングスペース”における“ツール”の位置についてロボットに問い合わせを行なって、計算される。“カメラからトレーニングスペース”への変換をマニュアルで計算するために、オペレータはまず、前記ツールによって、既知の座標を有する前記格子上の３つの識別可能な点に触れる。次に、オペレータは、正しく計測された少なくとも２つの高さ、好ましくは４つの高さからの格子模様の画像を格納する。
これに代わって、キャリブレーションは、カメラの内部パラメータとハンド−アイキャリブレーションの双方を計算することで自動的に行われることも可能である。この技術は、カメラに示された平面パターンを複数の方向（少なくとも２方向）から観測させることを必要とする。パターンはレーザープリンターで印刷され得、平らな面（板など）に接着されている。各々の配置でのツールの位置はロボットから直接取得される。オペレータは、キャリブレーションパターンをロボットおよびカメラの前に配置し、手順を開始する。この自動キャリブレーションは１０分以下で完了する。キャリブレーションは教示および操作の部分から離れた場所で実行されることもできる。キャリブレーションパターンを実際の作業スペース外の固定位置に取り付けて、自動キャリブレーションを規則正しい時間間隔で行ってもよい。
自動キャリブレーションを実施するためには以下の工程が実行される。
ａ）キャリブレーションパターンがロボットに据え付けられたカメラ１６の視野内に配置される。
ｂ）ロボットがあらかじめ定められた複数の位置に移動される。その際、各々の位置でキャリブレーションパターンが前記視野内に位置するようにされる。（ロジャー ワイ. ツァイ(Roger Y.Tsai)及びライマー ケイ．レンツ(Reimer K. Lentz) ，“A New Technique for Fully Autonomous and Efficient 3D Robotics Hand/Eye Calibration （完全自動且つ効率的な３Ｄロボティクス ハンド／アイ キャリブレーションのための新技術）”, IEEE Transactions on Robotics and Automation, Vol.5, No.3,1989年6 月、p. 345
at p.350 を参照されたい）
ｃ）各々の位置において下記の作業が行われる。
−得られた画像からキャリブレーションポイントを抽出するために該画像が処理される。
−ツールの位置をロボットに問い合わせる。
ｄ）各々の位置でのキャリブレーションポイントの情報を用いて、カメラの内部パラメータを校正し、パターンからカメラへの外的な変換を計算する（チェンヨウ チャン(Zhengyou Zhang), “A Flexible New Technique for Camera Calibration （カメラキャリ
ブレーションのためのフレキシブルな新技術）”、http://research.microsoft.com/scripts/pubs/view.asp?TR_ID=MSR-TR-98-71を参照されたい）
ｅ）各々の位置での外的変換と相応するツールの位置を用い、カメラからツール間の変換が計算される。（ツァイおよびレンツの上記参照文献第３５０頁参照）
教示
対象物を教示するプロセスを以下に記す。
ａ）少なくとも６個の形状特徴のセットを対象物の画像から選択し、画像内でのそれらの形状特徴の位置を測定する。形状特徴とは、（画像から抽出された）縁、穴、角、ブロブまたは単純に画像のある領域などであり、それらはパターンマッチに使われる。好ましくは、独特な形状特徴が“アンカー形状特徴”として選択される。他の選択された形状特徴は、アンカー形状特徴に対して、小さく、また唯一ではない形状特徴であってよい。
ｂ）現実座標が選択された形状特徴に対して計算される。対象物は、ユーザースペースに位置し、それにより、対象物の底面から形状特徴までの高さを用いて、トレーニングスペース内の対象物形状特徴の３次元位置が、画像内での位置情報とキャリブレーション時に計算されたトレーニングスペースからカメラへの変換とにより計算され得る。これら全ての座標は、対象物に関係するスペース内で再構成され（第１の形状特徴が起点）、“トレーニングスペース”に整合される。
ｃ）またオブジェクトフレームが対象物に対して、ユーザーによって選択された位置で、厳正に定義付けられる。オブジェクトフレームを定義付けるためには３つの同一直線上にない点が必要である。
ｄ）オブジェクトフレーム（ツール座標内で計算された）はロボットに送られ、それがロボットのワーキングスペースとしてみなされる。このフレーム位置を検出するために、オブジェクトスペースからカメラへの、次いでカメラスペースからツールスペースへの変換が使用される。
ｅ）ツールスペースに関して、オペレータは、ロボットを動かしたり、または、対象物に対しての所望の作業軌道を創り出すためのオフラインのロボットプログラミングソフトウェアを用いることによって、ロボットの所期の作業軌道を教示することができる。後者の選択肢は、教示プロセスにおける工程ｄ）を排除することができる。
図３、図４および図６に示されているように、対象物の形状特徴の教示における第一工程は、“トレーニングスペース”内に対象物を置き、キャリブレーションポジション（“カメラからトレーニングスペース”への変換が計算される位置）において、ロボットで対象物の画像を捕捉することである。図４はオペレータのコンピュータスクリーンに対象物の画像５０が表示されている様子を示している。次に、少なくとも６個の形状特徴５４が選択される。好ましくは、少なくとも１個のアンカー形状特徴５２が画像内から選ばれ、少なくとも５個の目視できうる形状特徴５４が選定され、アンカー形状特徴に関連付けて位置付けられるのが望ましい。各々の形状特徴５４の３次元上の位置は対象物のベース平面（配置されている面）からその形状特徴までの高さと“カメラからトレーニングスペース”への変換を用いて“トレーニングスペース”内で計算される。その後、“オブジェクトスペース”が、“トレーニングスペース”に整合されているが、対象物に関連付けられて定義付けられ、形状特徴の３次元座標がそのスペース内に転置される。“オブジェクトスペースからカメラ”への変換は、このスペース内の形状特徴の３次元位置と画像内の位置を用いて計算される。画像内の位置は前述のツァイの方法を用いた工程からカメラキャリブレーションを用いての外部要因的キャリブレーションの計算によって導き出される。次に、“オブジェクトスペース”内の“オブジェクトフレーム”が所期の作業軌道の教示に使われるために定義付けられる。この“ツールフレーム”内におけるオブジェクトフレームの位置と方向は“オブジェクトフレームからカメラ”および“カメラからツール”への変換を用いて計算される。“オブジェクトフレーム”はロボットに送られ、そして所期作業軌道がこのスペース内で教示される。
以下の方法は、選択された形状特徴５４の３次元位置を自動的に計算するためにも使用され得る。それについて、対象となるパーツの事前知識は不要である。次にあげるアルゴリズムは以下の文献、すなわち、Guo-Quing Wei,. “Active Self-Calibration of Robotic Eyes and Hand-Eye Relationship with Model Identification ”、IEEE Transactions on Robotics and Automation, Vol. 14, No. 1, 1999年２月、p.158. に述べられてい
るアプローチを用いて開発されたものである。カメラはロボットグリッパー上に厳正に据え付けられている。導き出された方法は、ロボット動作パラメータ、得られたカメラからツール間の変換、画像座標計測およびカメラの内部パラメータに基づいて形状特徴の現実座標を計算するものである。ロボットツールは、ベースポジションＰ０から一連のポジションＰｊ．への一連の純粋な並進を経験するものとする。
画像内でのポイントｐｉにおける運動方程式は次のようになる。
Figure 2005515910
 上記式中、ｊは、計測がおこなわれる位置の指数（インデックス）を示し、
Ｒｃｇはカメラからツールへの変換の回転マトリックスの要素であり、
ｔｇ０ｊは現在の位置からベースポジションへの並進を示し、
ｕ０，ｖ０はカメラセンターポイントであり、
ｕｉｊ，ｖｉｊは位置ｊで得られた画像におけるｉ番目の形状特徴の非歪曲画像座標である。これらの値を計算するために、既に計測されたカメラの内部パラメータを使用してもよい。
この一次方程式で特有の解を得るためには、少なくとも２つの位置が必要であるが、画像上でのノイズや他に起こるかもしれないトラブル要因に備え、少なくとも３つの位置姿勢が用いられる。
Ｘ０，Ｙ０，Ｚ０はカメラスペースにおける全ての形状特徴のために計算されるが、その値はそれらに関連するあらゆるスペースすなわちトレーニングスペース、ツ−ルスペースまたロボットベーススペースにでさえも置換されるものとする。座標が表されるスペースは次のような意味を持つ、すなわちこのスペースはカメラへの現在の変換のみに使用され、その後オブジェクトフレームポイントをツールスペースに置き換えるために使われるのである。
ロボットの移動位置はベース（台座）を中心に円状に配置され均等な分布を確保する。
形状特徴の自動配置の工程は以下の通りである。
ａ）対象物がカメラ１６の前に置かれる。
ｂ）３次元パーツ配置に使用され得る形状特徴５４が選択される。
ｃ）以下によって自動教示手順が開始される。
ｉ）ロボットをベース２２を中心に一連の位置に動かす。
ｉｉ）各々の位置において台座に対するツールポジションを記憶させる。
ｉｉｉ）各々の位置において画像を得て、可視の形状特徴５４を検出して、それらの形状特徴の非歪曲な画像位置を計算する。
ｄ）各々の形状特徴について、所与の形状特徴が可視であった画像の数と同数の一次方程式を解く。
ｅ）計算された位置は、アプリケーションに適したスペース（空間）に変換される。
これに代わって、これら形状特徴の位置は、パーツの完全なＣＡＤモデルを使用することでも実行が可能である。
１．対象物の検出および配置
対象物の検出および配置を実行するために、以下のような工程が実行される。
ａ）ツール１４が対象物１８を含む容器の上部において所定の位置に配置される。
ｂ）対象物１８の画像が撮影される。
ｃ）教示されている形状特徴５４が探索される。アンカー形状特徴が選択されている場合には、最初の探索はアンカー形状特徴５２を対象として行なわれる。アンカー形状特徴５２の位置および方向を用いて、残りの形状特徴５４がそれらの相対位置により検出され得る。このアプローチは、比較的小さな検出対象領域において、似かよった形状特徴を、探索される形状特徴として選択することを可能にする。別の方法では、各々の形状特徴のパターンが画像全体の中から探索される。
ｄ）検出された形状特徴（少なくとも６個）の（画像５０内かつオブジェクトスペース内での）位置は、外部要因的キャリブレーションアルゴリズムを用いて、オブジェクトスペースとカメラスペースとの間の変換を計算するために使用される（前述のツァイの文献参照）。検出された位置は、教示時に使用された直交位置から対象物を見るために、カメラを再配向させるために用いられる。この最終工程は、対象物が大きな回転を有する場合に必要である。これは、そのような場合、形状特徴は歪められて、検出された位置が完全に正確ではなくなる可能性があるためである。
ｅ）上記工程ｃ）およびｄ）が繰り返される。
ｆ）前のスペースの変換を、“カメラからツール”変換と共に用いて、ツールスペース内におけるオブジェクトフレームの位置を検出する。
ｇ）オブジェクトフレームはロボットに送信され、ハンドリング等の作業を行う空間として使われる。
図７を参照すると、対象物の検出および配置を行うための好ましい工程が示されている。まず、ロボットが、対象物を保持する容器もしくはコンテナの上部の所定の位置に配置される。対象物がカメラ視野内に無い場合、ロボットは、画像上でアンカー形状特徴が検出されるまで移動される。次に、アンカー形状特徴の位置および方向を用いて、残りの形状特徴の位置を計算する。画像上においてすべての可視の形状特徴が検出される。画像からの形状特徴の位置およびそれに相応した“オブジェクトスペース”内での位置とともに、カメラキャリブレーションを用いて、“オブジェクトスペース”から“カメラスペース”への変換を計算する。カメラの外部要因的キャリブレーションが上記で参照されているツァイの論文に述べられているように用いられる。
次に、前述された変換を用いて、カメラが対象物に対して直交して「見る」ように、すなわち、教示時と同じ位置に、カメラを配置するロボットの動きを計算する。このようにして、教示された形状特徴と可能な限り同じ形状特徴が現れる。これにより、認識および配置の精度はより高まるのである。次に“オブジェクトスペースからカメラスペーズ”間の変換が以前の工程（形状特徴の位置を用いた）と同様な方法で見出される。教示時に記
憶されたオブジェクトフレームは、その見出された変換と“カメラからツール”への変換とを使って計算される。次に、その置換された“オブジェクトフレーム”がロボットに送られる。“ツール”の位置が“ロボットスペース”内でのフレームを定義付けるために使われる。教示されたロボット軌道はこの空間内で実行される。
このように、ロボットアームに据え付けられた一つのカメラを用いて、ロボットの教示および３次元上においてロボットによって対象物を取り扱う方法について開示した。この方法においては、対象物の上にある目標点が用いられている。目標は対象物の通常の形状的な特徴である。この方法に準じれば、対象物のＣＡＤ設計図を使用する必要はない。また対象物は固定される必要もなく、ロボットの作業スペース内であればどこに置かれていてもよい。この方法は、ひとつの教示された対象物について述べられてきたが、このプロセスを同様な方法で用いて、最初に対象物を認識し、次にその３次元空間での位置を検出してもよい。また、該方法は、対象物のある一つの面上において選択された一連の可視の形状特徴に関して述べられてきたが、該方法は作業状況で現れるあらゆる側面について拡張され得る。
上記の方法においては、キャリブレーション工程は、内部およびハンドアイキャリブレーションのみによって実行され得る（つまり、前述の工程ｉ）ｃ）は要さない）。そのような場合、教示工程ｉｉ）ｃにおいて、形状特徴の３次元配置は対象物のＣＡＤモデルを使って行われることも可能である。同様に、工程ｉｉ）ｃ）において、形状特徴の３次元配置は、いかなるモデルやパーツの計測も要さずに、自動的に計算されることが可能である。
さらに、教示工程ｉｉ）ｉ）またはｈ）は、所期のロボット軌道点の位置をロボットに送ることによって排除することができる。そのような位置は、対象物の現在の位置および方向を用いて計算されている。ロボット軌道点は、オフラインのロボットプログラミングソフトウェアアプリケーションからも得ることが可能である。また、対象物上のひとつもしくはそれ以上の形状特徴が把持ポイントとして用いられ、ロボット座標上でのそれらのポイントの位置がロボットに送信されて、ロボット教示ペンダントを用いたマニュアルでの把持点の教示の必要性が排除されるのである。これに代わって、オブジェクトフレームポイントまたは注目中の他の点（例：ロボット軌道点など）の座標は、ツールからロボットベース間の変換によって変換されることができ、代わりとして、全ての座標はロボットベース座標フレーム内のロボットに送られる。
さらに、キャリブレーションおよび教示工程ｉ）およびｉｉ）は、グオ−キン ウェイ(Guo-Qing Wei)、クラウス アルブタール(Klaus Arbter)およびゲルト ヒルツィンガー(Gerd Hirzinger)による“Active self-calibration method of robotic eye and hand-eye relationship with model identification ”に述べられているモデル認識によるロボティックアイとハンド−アイの関係のセルフキャリブレーション法を用いて組み合わせることができる。この方法の結果から、カメラの内部パラメータ、ハンドアイキャリブレーションおよびカメラスペース内での選択された形状特徴の位置を得ることができる。残りの軌道教示とランタイムは依然として同様であり、この好ましいアプローチ内にある。
本発明によれば、工程ｉｉｉ−ｃにおける対象物位置の決定は、以下のアルゴリズムのいずれを用いても行うことができる。
ａ）前述した論文に記載されている方法から派生する、非線形の最適化法を用いた３次元姿勢の推定：
・Zhengyou Zhangによる“A Flexible New Technique for Camera Calibration （カメラキャリブレーションのためのフレキシブルな新技術）”
・Roger Y. Tsai による“An Efficient and Accurate Camera Calibration Techn
ique for 3D Machine Vision（３Ｄ画像装置のための効率的で精度の高いカメラキャリブレーション技術）”；
ｂ）Yucai Liu, Thomas S. Huang, Oliver D. Faugerasによる“Determination of Camera Location from 2D to 3D Line and Point Correspondances(２次元から３次元の線・点一致を判断するカメラロケーション) ”に述べられている線の一致による３次元位置判断；
ｃ）Chien_Ping Lu, Gregory D. Hager, Eric Mjolsness による“Fast and Globally Convergent Pose Estimation from Video Images( 迅速に世界的レベルで収束しつつあるビデオ画像からの位置判断) ”に述べられている“直交的反復(orthogonal iteration)”を用いた位置判断；
ｄ）Thomas Huang, Alfred Bruckenstein, Robert Holt, Arun Netravaliによる“Ununiquness of 3D Pose Under Weak Perspective:A Geometric Proof(悪条件の視野における３次元位置判断の特徴：幾何学的論証) ”で試行された、悪条件視野での近似的対象物位置判断；
ｅ）Chen, Armstrong, Raftopoulosによる“An investigation on the accuracy of three-dimensional space reconstruction using Direct Linear Transformation technique ( 直接一次的置換法を用いた３次元空間再構築の精度に基づく精査) ”に述べられているＤＬＴ（直接一次的置換法）を用いたでのおおよその対象物位置判断。
ロボッティクス（ロボット工学）における使用に加えて、上記方法は対象物の３次元位置判断の知識が要求される様々な産業及び非産業分野に適用されることができる。
当業者には明らかであるように、前述の開示を鑑みて、本発明の実施においては、本発明の精神および範囲から逸脱することなく、多くの別例および変更がなされ得る。よって、本発明の範囲は、以下の特許請求の範囲によって定義される内容によって解釈されるべきものとする。
ビジョンガイドロボットの斜視図。 対象物の位置を計算するための基準の関連フレームの概略図。 対象物に対する所期の作業軌道の計算を示す概略図。 対象物上で基準の形状特徴を選択するためのオペレータ用のコンピュータスクリーンを示す図。 ロボットアームに取り付けられたカメラのキャリブレーションを示すフローチャート。 対象物の形状特徴およびハンドリング軌道を教示する方法を示すフローチャート。 対象物の配置およびハンドリングの方法を示すフローチャート。

Claims (17)

  1. ロボットにより、該ロボットに取り付けられたツールおよび単一のカメラを用いて、対象物を取り扱う方法であって、該方法は、
    ｉ）カメラのキャリブレーションを行なう工程であって、
    ａ）カメラ固有のパラメータと、
    ｂ）ロボットツールに対するカメラの位置（“ハンド−アイ”キャリブレーション）と、
    ｃ）対象物が教示される場所に厳密な空間（“トレーニングスペース”）上でのカメラの位置とを検出することによって行われる工程と、
    ｉｉ）対象物の形状特徴を教示する工程であって、
    ａ）対象物を“トレーニングスペース”に置き、“カメラからトレーニングスペース”への変換が計算されたキャリブレーションポジションにおいて対象物の画像をロボットによって捕捉することと、
    ｂ）捕捉した画像から少なくとも６個の可視の形状特徴を選択することと、
    ｃ）“トレーニングスペース”での各々の形状特徴の３次元位置を計算することと、
    ｄ）“トレーニングスペース”に整合されているが対象物に関連している“オブジェクトスペース”を定義し、形状特徴の３次元座標を“オブジェクトスペース”に置換することと、
    ｅ）“オブジェクトスペース”内の形状特徴の３次元位置と前記画像内の形状特徴の位置を用いて“オブジェクトスペースからカメラ”への変換を計算することと、
    ｆ）所期のロボット作業軌道を教示するために使用される“オブジェクトスペース”内の“オブジェクトフレーム”を定義することと、
    ｇ）“オブジェクトフレームからカメラ”および“カメラからツール”の変換を用いて、“ツールフレーム”におけるオブジェクトフレームの位置および方向を計算することと、
    ｈ）“オブジェクトフレーム”をロボットに送信することと、
    ｉ）ロボットを用いて、“オブジェクトフレーム”に関して所期の作業軌道を教示することとによって行なわれる工程と、
    ｉｉｉ）対象物の検出および配置を実行する工程であって、
    ａ）ロボットを対象物が収容されている容器容器上の所定位置に配置し、対象物の画像を捕捉することと、
    ｂ）その視野内において選択されるべき形状特徴の数が不十分な場合には、少なくとも６個の形状特徴が見つかるまでロボットを移動させることと、
    ｃ）画像上の形状特徴の位置およびそれらに相応する教示工程で計算された“オブジェクトスペース”における位置を用いて“オブジェクトスペース”と“カメラスペース”間の変換として対象物の位置を計算することと、
    ｄ）その変換を用いて、カメラが対象物に対して直交して見えるようにカメラを配置するためのロボットの動きを計算することと、
    ｅ）ロボットを工程ｄ）で計算した位置へ移動することと、
    ｆ）工程ｃ）と同様に“オブジェクトスペースからカメラスペース”への変換を求めることと、
    ｇ）その求められた変換をと“カメラからツール”への変換とを用いて、教示工程で記憶されたオブジェクトフレームを計算することと、
    ｈ）その計算された“オブジェクトフレーム”をロボットに送信することと、
    ｉ）“ツール”の位置を用いて、“ロボットスペース”においてそのフレームを定義付け、“ロボットスペース”内の対象物に対して所期の作業軌道を実行することとによって行なわれる工程と、
    を含む方法。
  2. ロボットにより、該ロボットに取り付けられたツールと単一のカメラを用いて対象物を取り扱う方法であって、該方法は、
    ｉ）カメラのキャリブレーションを行なう工程であって、
    ａ）カメラ固有のパラメータと、
    ｂ）ロボットツールに対するカメラの位置（“ハンド−アイ”キャリブレーション）とを検出することによって行なわれる工程と、
    ｉｉ）対象物の形状特徴を教示する工程であって、
    ａ）対象物をカメラの視野内におき、該対象物の画像を捕捉することと、
    ｂ）捕捉した画像から少なくとも６個の可視の形状特徴を選択することと、
    ｃ）対象物と関係するスペース（“オブジェクトスペース”）内の選択された形状特徴の現実座標における３次元位置を計算することと、
    ｄ）このスペースの形状特徴の３次元位置と画像上の位置とを用いて、“オブジェクトスペースからカメラ”の変換を計算することと、
    ｅ）ハンドリング軌道を教示するために使われる“オブジェクトスペース”内の“オブジェクトフレーム”を定義付けることと、
    ｆ）“オブジェクトフレームからカメラ”および“カメラからツール”の変換を用いて、“ツールフレーム”内の“オブジェクトフレーム”の位置と方向を計算することと、
    ｇ）その計算された“オブジェクトフレーム”をロボットに送信することと、
    ｈ）“オブジェクトフレーム”内での所期の作業軌道を教示することとによって行なわれる工程と、
    ｉｉｉ）対象物の検出および配置を行なう工程であって、
    ａ）ロボットを対象物が入っている容器容器上の所定位置に配置することと、
    ｂ）前記視野内において選択されるべき形状特徴の数が不十分な場合には、少なくとも６個の形状特徴が見つかるまでロボットを移動させることと、
    ｃ）前記画像からの形状特徴の位置およびそれらに相応する教示工程で計算された“オブジェクトスペース”における位置を用いて、“オブジェクトスペース”と“カメラスペース”間の変換として対象物の位置を計算することと、
    ｄ）その変換を用い、カメラが対象物に対して直交して見えるようにカメラを配置するためのロボットの動きを計算することと、
    ｅ）工程ｄ）と同様に“オブジェクトスペースからカメラスペース”への変換を求めることと、
    ｆ）その求められた変換および“カメラからツール”への変換を用いて、教示工程で記憶されたオブジェクトフレームを計算することと、
    ｇ）その計算された“オブジェクトフレーム”をロボットに送信することと、
    ｈ）“ツール”の位置を用いて“ロボットスペース”におけるそのフレームを定義付け、“ロボットスペース”内の対象物に対する所期の作業軌道を実行することとによって行なわれる工程と、
    を含む方法。
  3. 請求項１に記載の方法において、前記６個の可視の形状特徴が、少なくとも１つのアンカー形状特徴と少なくとも５個の他の可視の形状特徴から構成され、前記アンカー形状特徴の位置と方向が、それら残り一連の選択された形状特徴の位置を計算するために用いられる方法。
  4. 請求項３に記載の方法において、アンカー形状特徴の位置と方向が、残りの選択された形状特徴の位置を推測するために最初に使用され、その後、それらの残りの形状特徴の実際の位置が探索されて決定される方法。
  5. 請求項２に記載の方法において、前記６個の可視の形状特徴が、少なくともひとつのアンカー形状特徴と少なくとも５個の他の形状特徴とから構成され、そのアンカー形状特徴の位置と方向とが、それら残り一連の選択された形状特徴の位置を計算するために用いられる方法。
  6. 請求項５に記載の方法において、アンカー形状特徴の位置と方向が、残りの選択された形状特徴の位置を推測するために最初に使用され、その後、それらの残りの形状特徴の実際の位置が探索されて決定される方法。
  7. 請求項２に記載の方法において、工程ｉｉ）のｃ）において、かかる形状特徴の３次元位置が対象物のＣＡＤモデルを用いて提供される方法。
  8. 請求項２に記載方法において、工程ｉｉ）のｃ）において、かかる形状特徴の３次元位置が自動的に計算される方法。
  9. 請求項１に記載の方法において、工程ｉｉ）のｈ）およびｉ）が、ユーザーに所望の作業軌道点を相互作用的に選択させることと、対象物の現在の位置と方向とを用いて計算される選択された点の座標をロボットに送信することとによって行なわれる方法。
  10. 請求項２に記載の方法において、工程ｉｉ）のｇ）およびｈ）が、ユーザーに所望の作業軌道点を相互作用的に選択させることと、対象物の現在の位置と方向とを用いて計算される選択された点の座標をロボットに送信することととによって行なわれる方法。
  11. 請求項１に記載の方法において、工程のｉｉ）のｉ）において、所期の作業軌道点がオフラインのロボットプログラミングソフトウェアアプリケーションから得られる方法。
  12. 請求項２に記載の方法において、工程ｉｉ）のｈ）において、所期作業軌道点がオフラインのロボットプログラミングソフトウェアアプリケーションから得られる方法。
  13. 請求項１に記載の方法において、“オブジェクトフレーム”ポイント、作業軌道点、またはその他対象となる点の座標が、ツールからロボットベースへの変換を用いて置換され、全ての座標がロボットベース座標フレーム内のロボットへ送信される方法。
  14. 請求項２に記載の方法において、“オブジェクトフレーム”ポイント、作業軌道点、またはその他対象となる点の座標が、ツールからロボットベースへの変換を用いて置換され、全ての座標がロボットベース座標フレーム内のロボットへ送信される方法。
  15. 請求項２に記載の方法において、工程ｉ）のａ）およびｂ）、並びに工程ｉｉ）のｃ）が、モデル認識によるロボティックアイおよびハンド−アイの関係のセルフキャリブレーション法を用いることによって排除される方法。
  16. 請求項１に記載の方法において、工程ｉｉｉ ｄ）における対象物位置の決定がアルゴリズムを用いることによって行われ、そのアルゴリズムが、
    ｉ）以下の論文に詳述されている方法から派生する、非線形の最大効率法を用いた３次元姿勢の推定であって、前記論文が、
    ・Zhengyou Zhangによる“A Flexible New Technique for Camera Calibration （カメラキャリブレーションのためのフレキシブルな新技術）”および
    ・Roger Y. Tsai による“An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision（３Ｄ画像装置のための効率的で精度の高いカメラキャリブレーション技術）”である、３次元姿勢の推定と、
    ｉｉ）Yucai Liu, Thomas S. Huang, Oliver D. Faugerasによる“Determination of Camera Location from 2D to 3D Line and Point Correspondances(２次元から３次元の線・点一致を判断するカメラロケーション）”に述べられている、選択された形状特徴がエッジ（縁）である場合における線の一致による３次元姿勢の推定と、
    ｉｉｉ）Chien_Ping Lu, Gregory D. Hager, Eric Mjolsness による“Fast and Globally Convergent Pose Estimation from Video Images( 迅速に世界的レベルで収束しつつあるビデオ画像からの位置方向判断) ”に述べられている“直交的反復(orthogonal iteration)”を用いた姿勢の推定と、
    ｉｖ）Thomas Huang, Alfred Bruckenstein, Robert Holt, Arun Netravaliによる“Ununiquness of 3D Pose Under Weak Perspective:A Geometric Proof(悪条件の視野における３次元位置方向判断の特徴：幾何学的) ”で試行された、悪条件視野での近似的対象物位置判断と、
    ｖ）Chen, Armstrong, Raftopoulosによる“An investigation on the accuracy of three-dimensional space reconstruction using Direct Linear Transformation technique （直接一次的置換法を用いた３次元空間再構築の精度に基づく精査）”に述べられているＤＬＴ（直接一次的置換法）を用いた近似的対象物位置判断とのうちのいずれかである、方法。
  17. 請求項２に記載の方法において、工程ｉｉｉ ｄ）における対象物位置の決定がアルゴリズムを用いることによって行われ、そのアルゴリズムが、
    ｉ）以下の論文に詳述されている方法から派生する、非線形の最大効率法を用いた３次元姿勢の推定であって、前記論文が、
    ・Zhengyou Zhangによる“A Flexible New Technique for Camera Calibration （カメラキャリブレーションのためのフレキシブルな新技術）”および
    ・Roger Y. Tsai による“An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision（３Ｄ画像装置のための効率的で精度の高いカメラキャリブレーション技術）”である、３次元姿勢の推定と、
    ｉｉ）Yucai Liu, Thomas S. Huang, Oliver D. Faugerasによる“Determination of Camera Location from 2D to 3D Line and Point Correspondances （２次元から３次元の線・点一致を判断するカメラロケーション）”に述べられている、選択された形状特徴がエッジ（縁）の場合における線の一致による３次元姿勢の推定と、
    ｉｉｉ）Chien_Ping Lu, Gregory D. Hager, Eric Mjolsness による“Fast and Globally Convergent Pose Estimation from Video Images( 迅速に世界的レベルで収束しつつあるビデオ画像からの位置方向判断) ”に述べられている“直交的反復(orthogonal iteration)”を用いた姿勢の推定と、
    ｉｖ）Thomas Huang, Alfred Bruckenstein, Robert Holt, Arun Netravaliによる“Ununiquness of 3D Pose Under Weak Perspective:A Geometric Proof(悪条件の視野における３次元位置方向判断の特徴：幾何学的) ”で試行された、悪条件視野での近似的対象物位置判断と、
    ｖ）Chen, Armstrong, Raftopoulosによる“An investigation on the accuracy of three-dimensional space reconstruction using Direct Linear Transformation technique （直接一次的置換法を用いた３次元空間再構築の精度に基づく精査）”に述べられているＤＬＴ（直接一次的置換法）を用いた近似的対象物位置判断とのうちのいずれかである、方法。
JP2003563782A 2002-01-31 2003-01-31 シングルカメラ３ｄビジョンガイドロボティクスの方法および装置 Pending JP2005515910A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CA002369845A CA2369845A1 (en) 2002-01-31 2002-01-31 Method and apparatus for single camera 3d vision guided robotics
US10/153,680 US6816755B2 (en) 2002-01-31 2002-05-24 Method and apparatus for single camera 3D vision guided robotics
PCT/CA2003/000139 WO2003064116A2 (en) 2002-01-31 2003-01-31 Method and apparatus for single camera 3d vision guided robotics

Publications (2)

Publication Number Publication Date
JP2005515910A true JP2005515910A (ja) 2005-06-02
JP2005515910A5 JP2005515910A5 (ja) 2006-03-16

Family

ID=31189178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003563782A Pending JP2005515910A (ja) 2002-01-31 2003-01-31 シングルカメラ３ｄビジョンガイドロボティクスの方法および装置

Country Status (5)

Country Link
US (1) US8095237B2 (ja)
EP (1) EP1472052A2 (ja)
JP (1) JP2005515910A (ja)
AU (1) AU2003239171A1 (ja)
WO (1) WO2003064116A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279677A (ja) * 2008-05-20 2009-12-03 Fanuc Ltd 計測装置を用いてロボットの位置教示を行うロボット制御装置
JP2012517053A (ja) * 2009-02-03 2012-07-26 ファナック ロボティクス アメリカ コーポレイション ロボットツールの制御方法
CN103459102A (zh) * 2011-03-24 2013-12-18 佳能株式会社 机器人控制装置、机器人控制方法、程序和记录介质
JP2015118101A (ja) * 2015-02-02 2015-06-25 キヤノン株式会社 情報処理装置および方法、プログラム
US11872702B2 (en) * 2018-09-13 2024-01-16 The Charles Stark Draper Laboratory, Inc. Robot interaction with human co-workers

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005515910A (ja) 2002-01-31 2005-06-02 ブレインテック カナダ インコーポレイテッド シングルカメラ３ｄビジョンガイドロボティクスの方法および装置
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
JP4167954B2 (ja) 2003-09-02 2008-10-22 ファナック株式会社 ロボット及びロボット移動方法
DE10345743A1 (de) 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
WO2005039836A2 (de) * 2003-10-20 2005-05-06 Isra Vision Systems Ag Verfahren zur einrichtung einer bewegung eines handhabungsgeräts und bildverarbeitung
JP3905073B2 (ja) * 2003-10-31 2007-04-18 ファナック株式会社 アーク溶接ロボット
JP3733364B2 (ja) * 2003-11-18 2006-01-11 ファナック株式会社 教示位置修正方法
FI123306B (fi) * 2004-01-30 2013-02-15 Wisematic Oy Robottityökalujärjestelmä, sekä sen ohjausmenetelmä, tietokoneohjelma ja ohjelmistotuote
US7336814B2 (en) * 2004-07-14 2008-02-26 Braintech Canada, Inc. Method and apparatus for machine-vision
JP2006289531A (ja) * 2005-04-07 2006-10-26 Seiko Epson Corp ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム
KR20080009745A (ko) * 2005-07-15 2008-01-29 가부시키가이샤 야스카와덴키 웨이퍼 위치 교시 방법 및 교시 치구 장치
WO2007032681A1 (en) * 2005-09-13 2007-03-22 Gudmunn Slettemoen Opto-mechanical position finder
WO2007035943A2 (en) * 2005-09-23 2007-03-29 Braintech Canada, Inc. System and method of visual tracking
DE102005045854B3 (de) * 2005-09-26 2007-04-12 Siemens Ag Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen
WO2007149183A2 (en) * 2006-05-25 2007-12-27 Braintech Canada, Inc. System and method of robotically engaging an object
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
WO2008036354A1 (en) 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
GB2444738A (en) * 2006-12-12 2008-06-18 Prosurgics Ltd Registration of the location of a workpiece within the frame of reference of a device
WO2008076942A1 (en) * 2006-12-15 2008-06-26 Braintech Canada, Inc. System and method of identifying objects
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
DE102007030378A1 (de) * 2007-06-29 2009-01-02 Spatial View Gmbh Dresden System zur Bestimmung der Lage eines Kamerasystems
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
WO2009045390A1 (en) * 2007-10-01 2009-04-09 Kaufman Engineered System Vision aided case/bulk palletizer system
JP5448326B2 (ja) * 2007-10-29 2014-03-19 キヤノン株式会社 把持装置および把持装置制御方法
DE102007060653A1 (de) * 2007-12-15 2009-06-18 Abb Ag Positionsermittlung eines Objektes
EP2075096A1 (de) * 2007-12-27 2009-07-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置
JP5039950B2 (ja) * 2008-03-21 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクト移動制御システム、オブジェクト移動制御方法、サーバ及びコンピュータプログラム
US9333654B2 (en) * 2008-03-31 2016-05-10 Abb Research Ltd. Robot parts assembly on a workpiece moving on an assembly line
DE102008002642A1 (de) * 2008-06-25 2010-02-25 Kuka Roboter Gmbh Roboter und Verfahren zum Befestigen eines Werkzeugs an einen Roboter
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
JP2011000703A (ja) 2009-05-19 2011-01-06 Canon Inc カメラ付きマニピュレータ
US8310539B2 (en) * 2009-05-29 2012-11-13 Mori Seiki Co., Ltd Calibration method and calibration device
DE102009041734B4 (de) * 2009-09-16 2023-11-02 Kuka Roboter Gmbh Vermessung eines Manipulators
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
JP5665333B2 (ja) * 2010-03-10 2015-02-04 キヤノン株式会社 情報処理装置および情報処理装置の制御方法
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
JP5505138B2 (ja) * 2010-07-05 2014-05-28 株式会社安川電機 ロボット装置およびロボット装置による把持方法
KR101813922B1 (ko) * 2010-07-12 2018-01-02 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR101677634B1 (ko) * 2010-07-12 2016-11-18 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
DE202010008191U1 (de) * 2010-07-30 2010-11-04 Walter Maschinenbau Gmbh Vorrichtung zum Einlernen einer Greifeinrichtung
EP2453325A1 (en) * 2010-11-16 2012-05-16 Universal Robots ApS Method and means for controlling a robot
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US9124873B2 (en) 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
JP2012206219A (ja) * 2011-03-30 2012-10-25 Seiko Epson Corp ロボット制御装置及びロボットシステム
US20120290130A1 (en) * 2011-05-10 2012-11-15 Agile Planet, Inc. Method to Model and Program a Robotic Workcell
WO2012159123A2 (en) 2011-05-19 2012-11-22 Alec Rivers Automatically guided tools
KR101951414B1 (ko) * 2011-06-22 2019-02-22 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
JP6259757B2 (ja) 2011-06-27 2018-01-10 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ コンピュータ支援手術の搭載器具追跡システム
EP2729850A4 (en) * 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
EP2796249B1 (en) 2011-09-28 2015-12-30 Universal Robots A/S Programming of robots
DE102011084353B4 (de) * 2011-10-12 2015-05-07 Trumpf Laser- Und Systemtechnik Gmbh Verfahren und Computerprogramm zum Einrichten eines Greifroboters, sowie Greifroboter
US8755925B2 (en) 2011-11-18 2014-06-17 Nike, Inc. Automated identification and assembly of shoe parts
US10552551B2 (en) 2011-11-18 2020-02-04 Nike, Inc. Generation of tool paths for shore assembly
US8958901B2 (en) 2011-11-18 2015-02-17 Nike, Inc. Automated manufacturing of shoe parts
US9451810B2 (en) * 2011-11-18 2016-09-27 Nike, Inc. Automated identification of shoe parts
US8849620B2 (en) 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
JP2013184257A (ja) 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
EP2852868B1 (en) 2012-04-26 2021-12-01 Shaper Tools, Inc. Systems and methods for performing a task on a material, or locating the position of a device relative to the surface of the material
WO2013173091A1 (en) 2012-05-03 2013-11-21 Serview, Inc. Machine vision camera mount with rotational adjustment
US8996174B2 (en) 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP5469216B2 (ja) * 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
JP6195333B2 (ja) * 2012-08-08 2017-09-13 キヤノン株式会社 ロボット装置
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
WO2014083386A2 (en) * 2012-11-29 2014-06-05 Csir A method of calibrating a camera and a system therefor
EP3459468B1 (en) 2013-03-13 2020-07-15 Stryker Corporation Method and system for arranging objects in an operating room
JP5768827B2 (ja) * 2013-03-14 2015-08-26 株式会社安川電機 ロボットシステムおよびワークの搬送方法
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US20140327746A1 (en) * 2013-05-06 2014-11-06 Iphoton Solutions, Llc Volume reconstruction of an object using a 3d sensor and robotic coordinates
ES2522921B2 (es) 2013-05-17 2015-07-30 Loxin 2002, S.L. Cabezal y procedimiento de mecanizado automático con visión
KR101459479B1 (ko) * 2013-07-01 2014-11-07 현대자동차 주식회사 올인원 지그리스 프로젝션 로딩 시스템 및 이를 이용한 차체 부품 조립 방법
US9245916B2 (en) 2013-07-09 2016-01-26 Rememdia LC Optical positioning sensor
CN104298244B (zh) * 2013-07-17 2016-12-28 刘永 一种工业机器人三维实时高精度定位装置的定位方法
DE102013017895B4 (de) * 2013-10-29 2018-06-28 Rwth Aachen Verfahren zur kontinuierlichen Ermittlung der 3D-Positionen und Trajektorie der Bewegung eines dynamischen Fertigungsgegenstandes
JP5815761B2 (ja) * 2014-01-23 2015-11-17 ファナック株式会社 視覚センサのデータ作成システム及び検出シミュレーションシステム
US9452531B2 (en) 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
CN106061688B (zh) 2014-03-04 2020-03-17 优傲机器人公司 用于工业机器人的安全系统
JP6364836B2 (ja) * 2014-03-14 2018-08-01 セイコーエプソン株式会社 ロボット、ロボットシステム、及び制御装置
DE102014004919B4 (de) * 2014-04-07 2022-05-12 Abb Schweiz Ag Verfahren und Mittel zum Handhaben eines Objekts
US9579799B2 (en) * 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
JP5778311B1 (ja) * 2014-05-08 2015-09-16 東芝機械株式会社 ピッキング装置およびピッキング方法
JP6357949B2 (ja) * 2014-07-29 2018-07-18 セイコーエプソン株式会社 制御システム、ロボットシステム、及び制御方法
CN112518790A (zh) 2014-09-26 2021-03-19 泰瑞达公司 手爪和自动测试设备
US9193073B1 (en) * 2014-10-15 2015-11-24 Quanta Storage Inc. Robot calibration apparatus for calibrating a robot arm
CN105522576A (zh) * 2014-10-27 2016-04-27 广明光电股份有限公司 机器手臂自动再校正的方法
DE102014223167A1 (de) * 2014-11-13 2016-05-19 Kuka Roboter Gmbh Bestimmen von objektbezogenen Greifräumen mittels eines Roboters
US9561587B2 (en) 2014-12-16 2017-02-07 Amazon Technologies, Inc. Robotic grasping of items in inventory system
US9857786B2 (en) * 2015-03-31 2018-01-02 Recognition Robotics, Inc. System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame
US9851196B2 (en) 2015-04-17 2017-12-26 Rememdia LC Sensor
WO2016183390A1 (en) 2015-05-13 2016-11-17 Taktia Llc Systems, methods and apparatus for guided tools
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
KR102603939B1 (ko) 2015-07-08 2023-11-20 유니버셜 로보츠 에이/에스 제3자 기여를 가진 산업용 로봇의 최종 사용자 프로그래밍 확장 방법
US20170032529A1 (en) * 2015-07-27 2017-02-02 Csir Method of calibrating a helmet and a system therefor
DE102015216659A1 (de) * 2015-09-01 2017-03-02 Siemens Aktiengesellschaft Vorrichtung zur Anbindung an einen Roboter
WO2017059194A1 (en) * 2015-10-02 2017-04-06 Verselus, Llc System and method for autonomously teaching working points in a robotic disk test apparatus
US11054802B2 (en) * 2015-10-21 2021-07-06 Mitsubishi Electric Research Laboratories, Inc. System and method for performing operations of numerical control machines
WO2017075285A1 (en) * 2015-10-30 2017-05-04 Seurat Technologies, Inc. Chamber systems for additive manufacturing
WO2017087986A1 (en) * 2015-11-20 2017-05-26 The Regents On The University Of California Non-anthropomorphic bipedal robotic system
US9757859B1 (en) * 2016-01-21 2017-09-12 X Development Llc Tooltip stabilization
US9744665B1 (en) 2016-01-27 2017-08-29 X Development Llc Optimization of observer robot locations
US10059003B1 (en) 2016-01-28 2018-08-28 X Development Llc Multi-resolution localization system
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10452071B1 (en) * 2016-02-29 2019-10-22 AI Incorporated Obstacle recognition method for autonomous robots
TWI805545B (zh) 2016-04-12 2023-06-21 丹麥商環球機器人公司 用於藉由示範來程式化機器人之方法和電腦程式產品
US9987747B2 (en) * 2016-05-24 2018-06-05 Semes Co., Ltd. Stocker for receiving cassettes and method of teaching a stocker robot disposed therein
JP6500852B2 (ja) * 2016-07-11 2019-04-17 株式会社安川電機 ロボットシステム、ロボットの制御方法、ロボットコントローラ
JP6553552B2 (ja) * 2016-07-25 2019-07-31 ファナック株式会社 カメラを使って計測動作を自動化する機能を備えた数値制御装置
AU2017313211B2 (en) 2016-08-19 2023-01-12 Shaper Tools, Inc. Systems, methods and apparatus for sharing tool fabrication and design data
US9805306B1 (en) 2016-11-23 2017-10-31 Accenture Global Solutions Limited Cognitive robotics analyzer
WO2018173178A1 (ja) * 2017-03-23 2018-09-27 株式会社Ｆｕｊｉ ロボットシステム
JP2018167334A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 教示装置および教示方法
TWI658345B (zh) * 2017-04-05 2019-05-01 Southern Taiwan University Of Science And Technology 基於影像校正之模組化機具控制裝置
US10919152B1 (en) 2017-05-30 2021-02-16 Nimble Robotics, Inc. Teleoperating of robots with tasks by mapping to human operator pose
US20180348730A1 (en) * 2017-06-01 2018-12-06 X Development Llc Automatic Generation of Toolpaths
US10235192B2 (en) 2017-06-23 2019-03-19 Accenture Global Solutions Limited Self-learning robotic process automation
CA3075274A1 (en) * 2017-09-20 2019-03-28 Magna International Inc. System and method for adaptive bin picking for manufacturing
JP2019058993A (ja) * 2017-09-27 2019-04-18 セイコーエプソン株式会社 ロボットシステム
US11358290B2 (en) * 2017-10-19 2022-06-14 Canon Kabushiki Kaisha Control apparatus, robot system, method for operating control apparatus, and storage medium
CN108247635B (zh) * 2018-01-15 2021-03-26 北京化工大学 一种深度视觉的机器人抓取物体的方法
JP6888580B2 (ja) * 2018-04-05 2021-06-16 オムロン株式会社 情報処理装置、情報処理方法、及びプログラム
CN108549322B (zh) * 2018-04-11 2019-07-02 广州启帆工业机器人有限公司 一种针对机器人圆弧轨迹运动的位姿同步方法和装置
US11287507B2 (en) 2018-04-30 2022-03-29 The Boeing Company System and method for testing a structure using laser ultrasound
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
US11407111B2 (en) 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
EP3587044B1 (de) * 2018-06-28 2021-05-19 Sick Ag Verfahren zum greifen von objekten in einem suchbereich und positioniersystem
CN109238135B (zh) * 2018-07-30 2020-08-18 珠海市运泰利自动化设备有限公司 一种基于视觉精准定位来料到测试箱的方法
CN111070199A (zh) * 2018-10-18 2020-04-28 杭州海康威视数字技术股份有限公司 一种手眼标定评估方法及机器人
WO2020082176A1 (en) * 2018-10-23 2020-04-30 Waste Robotics Inc. Robotic spearing device for performing item capture and sorting, spearing end effector and method for performing same
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
JP6904327B2 (ja) * 2018-11-30 2021-07-14 オムロン株式会社 制御装置、制御方法、及び制御プログラム
US20200202178A1 (en) * 2018-12-19 2020-06-25 Abb Schweiz Ag Automatic visual data generation for object training and evaluation
RU2713570C1 (ru) * 2018-12-20 2020-02-05 Анатолий Александрович Перепелица Способ формирования изображения дополненной реальности и робототехническая система для его осуществления
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
EP3920821A4 (en) * 2019-02-06 2023-01-11 Covidien LP HAND-EYE COORDINATION SYSTEMS FOR SURGICAL ROBOTIC SYSTEM
DE102019106458A1 (de) * 2019-03-13 2020-09-17 ese-robotics GmbH Verfahren zur Ansteuerung eines Industrieroboters
WO2020192882A1 (en) * 2019-03-25 2020-10-01 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
US11584013B2 (en) * 2020-03-31 2023-02-21 Wipro Limited System, device and method for determining error in robotic manipulator-to-camera calibration
CN112066876B (zh) * 2020-08-27 2021-07-02 武汉大学 一种利用手机快速测量物体尺寸方法
US20220219328A1 (en) * 2021-01-08 2022-07-14 General Electric Company Method and device for creation of three dimensional tool frame
CA3212211A1 (en) 2021-03-31 2022-10-06 David Paul Noonan Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
DE102021203779B4 (de) 2021-04-16 2023-12-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes
US11911915B2 (en) * 2021-06-09 2024-02-27 Intrinsic Innovation Llc Determining robotic calibration processes
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3986007A (en) 1975-08-20 1976-10-12 The Bendix Corporation Method and apparatus for calibrating mechanical-visual part manipulating system
US4011437A (en) 1975-09-12 1977-03-08 Cincinnati Milacron, Inc. Method and apparatus for compensating for unprogrammed changes in relative position between a machine and workpiece
US4146924A (en) * 1975-09-22 1979-03-27 Board Of Regents For Education Of The State Of Rhode Island System for visually determining position in space and/or orientation in space and apparatus employing same
CA1121888A (en) 1977-04-30 1982-04-13 Junichi Ikeda Industrial robot
CA1103803A (en) 1978-03-01 1981-06-23 National Research Council Of Canada Method and apparatus of determining the center of area or centroid of a geometrical area of unspecified shape lying in a larger x-y scan field
JPS5923467B2 (ja) 1979-04-16 1984-06-02 株式会社日立製作所 位置検出方法
US4373804A (en) 1979-04-30 1983-02-15 Diffracto Ltd. Method and apparatus for electro-optically determining the dimension, location and attitude of objects
US4305130A (en) * 1979-05-29 1981-12-08 University Of Rhode Island Apparatus and method to enable a robot with vision to acquire, orient and transport workpieces
US4294544A (en) 1979-08-03 1981-10-13 Altschuler Bruce R Topographic comparator
US4402053A (en) 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
US6317953B1 (en) * 1981-05-11 2001-11-20 Lmi-Diffracto Vision target based assembly
US4654949A (en) * 1982-02-16 1987-04-07 Diffracto Ltd. Method for automatically handling, assembling and working on objects
US5506682A (en) * 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
US4613942A (en) * 1982-02-19 1986-09-23 Chen Richard M Orientation and control system for robots
US4437114A (en) * 1982-06-07 1984-03-13 Farrand Optical Co., Inc. Robotic vision system
EP0114505B1 (en) 1982-12-28 1987-05-13 Diffracto Ltd. Apparatus and method for robot calibration
US4523809A (en) 1983-08-04 1985-06-18 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for generating a structured light beam array
EP0151417A1 (en) * 1984-01-19 1985-08-14 Hitachi, Ltd. Method for correcting systems of coordinates in a robot having visual sensor device and apparatus therefor
US4578561A (en) 1984-08-16 1986-03-25 General Electric Company Method of enhancing weld pool boundary definition
US5267143A (en) * 1984-10-12 1993-11-30 Sensor Adaptive Machines, Incorporated Vision assisted fixture construction
US4687325A (en) 1985-03-28 1987-08-18 General Electric Company Three-dimensional range camera
US4879664A (en) 1985-05-23 1989-11-07 Kabushiki Kaisha Toshiba Three-dimensional position sensor and three-dimensional position setting system
US4871252A (en) * 1986-10-30 1989-10-03 The Regents Of The University Of California Method and apparatus for object positioning
US4791482A (en) 1987-02-06 1988-12-13 Westinghouse Electric Corp. Object locating system
JPS63288683A (ja) 1987-05-21 1988-11-25 株式会社東芝 組立てロボット
US4942539A (en) * 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
JP2710850B2 (ja) * 1989-03-27 1998-02-10 キヤノン株式会社 ワーク把持装置、ワーク及びその収納ケース
US4985846A (en) 1989-05-11 1991-01-15 Fallon Patrick J Acoustical/optical bin picking system
JP2509357B2 (ja) 1990-01-19 1996-06-19 トキコ株式会社 ワ―ク位置検知装置
JP2899075B2 (ja) 1990-06-29 1999-06-02 三菱電機株式会社 同期駆動装置および同期駆動方法
JP2686351B2 (ja) * 1990-07-19 1997-12-08 ファナック株式会社 視覚センサのキャリブレーション方法
US5208763A (en) 1990-09-14 1993-05-04 New York University Method and apparatus for determining position and orientation of mechanical objects
US5083073A (en) 1990-09-20 1992-01-21 Mazada Motor Manufacturing U.S.A. Corp. Method and apparatus for calibrating a vision guided robot
US5325468A (en) 1990-10-31 1994-06-28 Sanyo Electric Co., Ltd. Operation planning system for robot
US5212738A (en) 1991-04-12 1993-05-18 Martin Marietta Magnesia Specialties Inc. Scanning laser measurement system
GB2261069B (en) 1991-10-30 1995-11-01 Nippon Denso Co High speed picking system for stacked parts
JP2767340B2 (ja) 1991-12-26 1998-06-18 ファナック株式会社 物体の３次元位置・姿勢計測方式
IT1258006B (it) 1992-01-13 1996-02-20 Gd Spa Sistema e metodo per il prelievo automatico di oggetti
US5715166A (en) 1992-03-02 1998-02-03 General Motors Corporation Apparatus for the registration of three-dimensional shapes
US5300869A (en) * 1992-07-30 1994-04-05 Iowa State University Research Foundation, Inc. Nonholonomic camera space manipulation
US5745523A (en) 1992-10-27 1998-04-28 Ericsson Inc. Multi-mode signal processing
US5499306A (en) 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
FR2706345B1 (fr) 1993-06-11 1995-09-22 Bertin & Cie Procédé et dispositif de repérage dans l'espace d'un objet mobile tel qu'un capteur ou un outil porté par un robot.
US5625576A (en) * 1993-10-01 1997-04-29 Massachusetts Institute Of Technology Force reflecting haptic interface
US5568593A (en) 1994-01-13 1996-10-22 Ethicon, Inc. Robotic control system for a needle sorting and feeding apparatus
JP3394322B2 (ja) 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
US5454775A (en) 1994-09-13 1995-10-03 Applied Robotics, Inc. Automated exchangeable parts feeding system
US6560349B1 (en) * 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
US6115480A (en) 1995-03-31 2000-09-05 Canon Kabushiki Kaisha Method and apparatus for processing visual information
DE19515949C2 (de) 1995-05-02 1999-02-04 Continental Ag Verfahren und Vorrichtung zur flächenhaften Vermessung und Erfassung des Profilabriebs eines Fahrzeugreifens
US5633676A (en) * 1995-08-22 1997-05-27 E. L. Harley Inc. Apparatus and method for mounting printing plates and proofing
PT763406E (pt) 1995-09-15 2000-08-31 Enis Ersu Processo para a determinacao da posicao de um corpo no espaco
JP3413694B2 (ja) 1995-10-17 2003-06-03 ソニー株式会社 ロボット制御方法およびロボット
US5802201A (en) 1996-02-09 1998-09-01 The Trustees Of Columbia University In The City Of New York Robot system with vision apparatus and transparent grippers
US5809006A (en) 1996-05-31 1998-09-15 Cagent Technologies, Inc. Optical disk with copy protection, and apparatus and method for recording and reproducing same
US6081370A (en) * 1996-06-03 2000-06-27 Leica Mikroskopie Systeme Ag Determining the position of a moving object
US6004016A (en) 1996-08-06 1999-12-21 Trw Inc. Motion planning and control for systems with multiple mobile objects
US6141863A (en) * 1996-10-24 2000-11-07 Fanuc Ltd. Force-controlled robot system with visual sensor for performing fitting operation
US6064759A (en) 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6463358B1 (en) 1996-11-26 2002-10-08 Fanuc Ltd. Robot control device having operation route simulation function
US5974169A (en) 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
US5978521A (en) 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
ES2160292T3 (es) 1997-10-22 2001-11-01 Isra Vision Systems Ag Procedimiento para la determinacion optica de la posicion de un objeto tridimensional.
FR2770317B1 (fr) * 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
US6278890B1 (en) * 1998-11-09 2001-08-21 Medacoustics, Inc. Non-invasive turbulent blood flow imaging system
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US6516092B1 (en) 1998-05-29 2003-02-04 Cognex Corporation Robust sub-model shape-finder
JP4387476B2 (ja) 1998-07-13 2009-12-16 株式会社明電舎 ビンピッキング位置データ較正装置
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6628819B1 (en) 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
US5959425A (en) * 1998-10-15 1999-09-28 Fanuc Robotics North America, Inc. Vision guided automatic robotic path teaching method
DE19855478B4 (de) 1998-12-01 2006-01-12 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur optischen Erfassung einer Kontrastlinie
WO2000045229A1 (en) 1999-01-29 2000-08-03 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
JP4794708B2 (ja) 1999-02-04 2011-10-19 オリンパス株式会社 ３次元位置姿勢センシング装置
CN1162681C (zh) 1999-03-19 2004-08-18 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
US6341246B1 (en) 1999-03-26 2002-01-22 Kuka Development Laboratories, Inc. Object oriented motion system
JP3377465B2 (ja) 1999-04-08 2003-02-17 ファナック株式会社 画像処理装置
JP3421608B2 (ja) 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
JP3300682B2 (ja) 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
US6961628B2 (en) 1999-04-16 2005-11-01 Siemens Energy & Automation, Inc. Method and apparatus for tuning compensation parameters
KR100314748B1 (ko) 1999-05-03 2001-11-23 양재신 실시간 3차원 그래픽 표시기능을 갖는 수치제어시스템 및 방법
US6415051B1 (en) 1999-06-24 2002-07-02 Geometrix, Inc. Generating 3-D models using a manually operated structured light source
US6490369B1 (en) 1999-07-06 2002-12-03 Fanuc Robotics North America Method of viewing and identifying a part for a robot manipulator
CA2277855A1 (fr) 1999-07-14 2001-01-14 Solvision Methode et systeme de mesure de la hauteur des billes de soudure d'un circuit imprime
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
EP1248940A1 (en) * 1999-11-12 2002-10-16 Go Sensors, L.L.C. Methods and apparatus for measuring orientation and distance
US20010055069A1 (en) * 2000-03-10 2001-12-27 Hudson Edison T. One camera system for component to substrate registration
US6748104B1 (en) 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US6754560B2 (en) * 2000-03-31 2004-06-22 Sony Corporation Robot device, robot device action control method, external force detecting device and external force detecting method
US7084868B2 (en) * 2000-04-26 2006-08-01 University Of Louisville Research Foundation, Inc. System and method for 3-D digital reconstruction of an oral cavity from a sequence of 2-D images
JP4265088B2 (ja) 2000-07-10 2009-05-20 株式会社豊田中央研究所 ロボット装置及びその制御方法
JP2002025958A (ja) 2000-07-13 2002-01-25 Canon Inc 半導体基板の精密研磨方法および装置
DE10133624A1 (de) 2000-07-13 2002-01-24 Rolf Kleck Vorrichtung und Anordnung zur Ermittlung von korrigierten Bewegungsdaten für einen vorgegebenen Bewegungsablauf einer bewegbaren Einrichtung sowie bewegbare Einrichtung und System aus bewegbaren Einrichtungen
US6392744B1 (en) 2000-12-11 2002-05-21 Analog Technologies, Corp. Range measurement system
US6804416B1 (en) 2001-03-16 2004-10-12 Cognex Corporation Method and system for aligning geometric object models with images
US6792140B2 (en) * 2001-04-26 2004-09-14 Mitsubish Electric Research Laboratories, Inc. Image-based 3D digitizer
US7362969B2 (en) * 2001-05-29 2008-04-22 Lucent Technologies Inc. Camera model and calibration procedure for omnidirectional paraboloidal catadioptric cameras
BE1014222A3 (fr) 2001-06-13 2003-06-03 Ct Rech Metallurgiques Asbl Procede de caracterisation en ligne d'une surface en mouvement et dispositif pour sa mise en oeuvre.
US6507773B2 (en) * 2001-06-14 2003-01-14 Sharper Image Corporation Multi-functional robot with remote and video system
US7061628B2 (en) 2001-06-27 2006-06-13 Southwest Research Institute Non-contact apparatus and method for measuring surface profile
US6466843B1 (en) 2001-10-16 2002-10-15 General Electric Company Method and apparatus for lifting objects
US6580971B2 (en) 2001-11-13 2003-06-17 Thierica, Inc. Multipoint inspection system
JP2005515910A (ja) 2002-01-31 2005-06-02 ブレインテック カナダ インコーポレイテッド シングルカメラ３ｄビジョンガイドロボティクスの方法および装置
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
EP1345099B1 (de) 2002-03-04 2011-11-02 VMT Vision Machine Technic Bildverarbeitungssysteme GmbH Verfahren zur Bestimmung der Lage eines Objektes und eines Werkstücks im Raum zur automatischen Montage des Werkstücks am Objekt
US6917702B2 (en) * 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
WO2003090981A1 (fr) 2002-04-26 2003-11-06 Honda Giken Kogyo Kabushiki Kaisha Systeme permettant d'estimer l'attitude d'un robot mobile monte sur des jambes
DE10236040A1 (de) 2002-08-06 2004-02-19 Manz Automation Ag Greifvorrichtung
US7009717B2 (en) 2002-08-14 2006-03-07 Metris N.V. Optical probe for scanning the features of an object and methods therefor
JP3702257B2 (ja) 2002-08-23 2005-10-05 ファナック株式会社 ロボットハンドリング装置
JP4004899B2 (ja) 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
US7277599B2 (en) 2002-09-23 2007-10-02 Regents Of The University Of Minnesota System and method for three-dimensional video imaging using a single camera
US6871115B2 (en) 2002-10-11 2005-03-22 Taiwan Semiconductor Manufacturing Co., Ltd Method and apparatus for monitoring the operation of a wafer handling robot
JP3859571B2 (ja) 2002-10-17 2006-12-20 ファナック株式会社 ３次元視覚センサ
JP3711105B2 (ja) 2002-12-20 2005-10-26 ファナック株式会社 ３次元計測装置
SE525108C2 (sv) 2002-12-30 2004-11-30 Abb Research Ltd Metod och system för programmering av en industrirobot, datorprogramprodukt, datorläsbart medium samt användning
DE10319253B4 (de) 2003-04-28 2005-05-19 Tropf, Hermann Dreidimensional lagegerechtes Zuführen mit Roboter
JP3834297B2 (ja) 2003-05-12 2006-10-18 ファナック株式会社 画像処理装置
EP1484716A1 (en) 2003-06-06 2004-12-08 Sony France S.A. An architecture for self-developing devices
US6836702B1 (en) 2003-06-11 2004-12-28 Abb Ab Method for fine tuning of a robot program
US20050097021A1 (en) 2003-11-03 2005-05-05 Martin Behr Object analysis apparatus
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
JP2005291824A (ja) 2004-03-31 2005-10-20 Yokohama National Univ 飛翔体の飛翔挙動測定装置および飛翔体の飛翔挙動測定方法
JP2005313280A (ja) 2004-04-28 2005-11-10 Fanuc Ltd 数値制御装置
DE102004026814A1 (de) 2004-06-02 2005-12-29 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Verbessern der Positioniergenauigkeit eines Handhabungsgeräts
US7336814B2 (en) 2004-07-14 2008-02-26 Braintech Canada, Inc. Method and apparatus for machine-vision
US7069090B2 (en) 2004-08-02 2006-06-27 E.G.O. North America, Inc. Systems and methods for providing variable output feedback to a user of a household appliance
US7233389B2 (en) 2004-12-03 2007-06-19 Omnitek Partners, Llc System and method for the measurement of the velocity and acceleration of objects
WO2007035943A2 (en) 2005-09-23 2007-03-29 Braintech Canada, Inc. System and method of visual tracking

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279677A (ja) * 2008-05-20 2009-12-03 Fanuc Ltd 計測装置を用いてロボットの位置教示を行うロボット制御装置
JP2012517053A (ja) * 2009-02-03 2012-07-26 ファナック ロボティクス アメリカ コーポレイション ロボットツールの制御方法
CN103459102A (zh) * 2011-03-24 2013-12-18 佳能株式会社 机器人控制装置、机器人控制方法、程序和记录介质
US8977395B2 (en) 2011-03-24 2015-03-10 Canon Kabushiki Kaisha Robot control apparatus, robot control method, program, and recording medium
JP2015118101A (ja) * 2015-02-02 2015-06-25 キヤノン株式会社 情報処理装置および方法、プログラム
US11872702B2 (en) * 2018-09-13 2024-01-16 The Charles Stark Draper Laboratory, Inc. Robot interaction with human co-workers

Also Published As

Publication number Publication date
AU2003239171A1 (en) 2003-09-02
US20040172164A1 (en) 2004-09-02
EP1472052A2 (en) 2004-11-03
US8095237B2 (en) 2012-01-10
WO2003064116A2 (en) 2003-08-07
WO2003064116A3 (en) 2004-02-05

Similar Documents

Publication Publication Date Title
JP2005515910A (ja) シングルカメラ３ｄビジョンガイドロボティクスの方法および装置
US6816755B2 (en) Method and apparatus for single camera 3D vision guided robotics
JP7292829B2 (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP6021533B2 (ja) 情報処理システム、装置、方法及びプログラム
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP6000579B2 (ja) 情報処理装置、情報処理方法
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP5854815B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US7280687B2 (en) Device for detecting position/orientation of object
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
CN111127568B (zh) 一种基于空间点位信息的相机位姿标定方法
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
EP3577629B1 (en) Calibration article for a 3d vision robotic system
JP6855491B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
McIvor Calibration of a laser stripe profiler
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
KR20110095700A (ko) 작업대상물 픽업을 위한 산업용 로봇 제어방법
US20220168902A1 (en) Method And Control Arrangement For Determining A Relation Between A Robot Coordinate System And A Movable Apparatus Coordinate System
Heikkilä et al. Calibration procedures for object locating sensors in flexible robotized machining
JP2021079507A (ja) マーカおよびロボットシステム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080430

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080509

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090120