JP2018169403A - 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 - Google Patents

案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 Download PDF

Info

Publication number
JP2018169403A
JP2018169403A JP2018097467A JP2018097467A JP2018169403A JP 2018169403 A JP2018169403 A JP 2018169403A JP 2018097467 A JP2018097467 A JP 2018097467A JP 2018097467 A JP2018097467 A JP 2018097467A JP 2018169403 A JP2018169403 A JP 2018169403A
Authority
JP
Japan
Prior art keywords
location
workpiece
image
feature
coordinate space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018097467A
Other languages
English (en)
Inventor
シヴァラム,グルプラサド
Shivaram Guruprasad
シー.,ジュニア マリオン,シリル
C Marrion Cyril Jr
シー.,ジュニア マリオン,シリル
リュウ,リフェン
Lifeng Liu
リ,トト
Tuotuo Li
Original Assignee
コグネックス・コーポレイション
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201562201723P priority Critical
Priority to US62/201,723 priority
Priority to US15/223,436 priority
Priority to US15/223,436 priority patent/US10290118B2/en
Application filed by コグネックス・コーポレイション, Cognex Corp filed Critical コグネックス・コーポレイション
Publication of JP2018169403A publication Critical patent/JP2018169403A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/0012Context preserving transformation, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/247Arrangements of television cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39039Two cameras detect same reference on workpiece to define its position in space
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Abstract

【課題】校正時間中に校正ターゲットの代わりに実行時ワークピース上の特徴を用いて2つのロケーションにおける座標空間を結合するシステムと方法を提供する。【解決手段】両ロケーションで同じワークピース124の特徴が撮像及び特定される。実行時ワークピースの撮像された特徴は各ロケーションで異なる(CAD又は測定されたワークピース表現が利用可能)。モーションステージを含む第1ロケーションはハンドアイ校正を用いてモーションステージに校正されており、第2ロケーションは実行時部品を両ロケーション間で往復移動することによって同じモーションステージにハンドアイ校正される。品質は、実行時ワークピースをそれぞれ異なる姿勢で多数回動かし、各ロケーションでそのような特徴を抽出及び蓄積し、次いで蓄積された特徴を用いて2つの座標空間を結合することによって改善できる。【選択図】図1

Description

関連出願
本出願は2015年6月8日に出願された同時係属米国特許仮出願第62/201723号「案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法」の利益を主張するものであり、その教示内容は参照により本明細書に組み込まれる。
記述分野
本発明はマシンビジョンシステム、より具体的には製造環境及び案内された組立環境でワークピース及びその他のオブジェクトの組立を案内するために使用されるビジョンシステムに関する。
マシンビジョンシステム(本明細書中では「ビジョンシステム」とも呼ぶ)では、1台以上のカメラを使用して撮像されたシーン内のオブジェクト又は表面でビジョンシステムプロセスを実行する。これらのプロセスは、検査、コードの解読、アライメント及びその他の多様な自動化タスクを含むことができる。より具体的には、ビジョンシステムは撮像されたシーンを通過する扁平なオブジェクトを検査するために使用できる。シーンは通常1台以上のビジョンシステムカメラで撮像され、ビジョンシステムカメラは関連するビジョンシステムプロセスを作動して結果を生み出す内部又は外部ビジョンシステムプロセッサを含むことができる。1台以上のカメラを校正して、ビジョンタスクを十分な精度と信頼性をもって実行できるようにする。校正プレートを使用してカメラを校正して共通(グローバル)座標空間(座標「系」とも呼ぶ)を確定し、そこにおいて全てのカメラのピクセル位置が座標空間内の関連ポイントにマッピングされ、そうすることによっていずれかのカメラで撮像された特徴の位置を座標空間で特定することが可能になる。オブジェクトの組立を案内するためのモーションステージを用いる応用において、校正プロセスはモーションステージ(「運動座標空間」とも呼ぶ)と共通座標空間との間に関係を作ることを含むことができる。そのような校正は公知の「ハンドアイ」校正技術を用いて達成できる。
ビジョンシステムカメラの特筆すべきタスクは、自動化された組立メカニズムによってオブジェクト(「ワークピース」とも呼ぶ)の組立の案内及び検証を補助することであり、組立メカニズムは可動プラットフォーム(モーションステージ)を含んでおり、一方のワークピースを組立位置及びマニピュレータ(例えば「ピックアンドプレース」動作を実行するロボットハンド若しくはアーム又はその他のタイプのモーションデバイス/モーションステージ)に精確に支持し、他方のワークピースを「アセンブリモーション」で上下に重なるアライメント位置に動かしワークピースに組み立てられる。具体的なピックアンドプレース動作は、一方のワークピースを他方のワークピースとアライメントさせることを含む。例えば、タッチスクリーンをマニピュレータで操作してピックアンドプレース動作でモーションステージに載っている携帯電話の凹部の上方に動かして中に入れることができる。この場合、各々のタッチスクリーンはピックロケーションから取り出されて待機している携帯電話本体のプレースロケーション(ときどき「ステーション」と呼ぶ)に置かれる。タッチスクリーンと携帯電話本体との適切で精確なアライメントが極めて望ましい。
幾つかの例示的なシステムは最初に、システムの実行時動作中に各々のワークピースが他方のワークピースと正しくアライメントするようにトレーニングされる。トレーニング時にワークピースはそれぞれのロケーション/ステーションに置かれ、組み立てると、組み立てられたワークピースは所望の相互位置関係を持つ。トレーニングに続く実行時に、何らかの配置又は寸法のばらつきを考慮するために、ビジョンシステムを用いて関連するモーションステージの位置を制御して一方又は両方のワークピースをそれぞれのロケーションに再配置して、それから組み立てる。ステージを調節することによってワークピースはトレーニング時にあったのと同じ相互の(期待された)位置関係に置かれる。他の例示的なシステム、例えば実行時に組み立てられた部品のジオメトリを使用できるシステム、例えば第1の矩形オブジェクトが第2の矩形オブジェクト上にセンタリングされているシステムではトレーニングを省略できる。
ワークピースのあるシーンの撮像に続いて、最終的に所望された組立をもたらすステージの運動パラメータを計算するプロセスの一環として、各々のワークピースに付属している特徴が抽出されて共通座標空間にマッピングされる。共通座標空間へのマッピングは、校正プロセスの結果行われる。多くの組立システムで校正プロセスは、部品を移動する反復可能なマニピュレータを用いて両ロケーション間に特別の校正ターゲットを移動すること、及び両ロケーションで校正ターゲットを撮像することを含む。この技術は幾つかの短所がある。例えば、部品を移動するピックアンドプレースグリッパは、ワークピースの形状、重量又はその他の特徴が校正ターゲットと相違するために校正ターゲットを移動できないことがある。即ち、校正ターゲットはグリッパのパラメータと適合しない。そのようなシステムでは、共通座標空間へのパラメータのマッピングはユーザ入力により手動で指定しなければならないが、その結果としてしばしば準最適な校正が生じる。加えて、校正時と実行時にピックアンドプレースマニピュレータが通る運動経路は、部品と校正ターゲットの特徴、例えば厚さ又はその他の特徴が相違するために異なることがある。このことはマニピュレータが取る実行時運動ステップをトレーニング時運動ステップに対して変えることを要求するので、校正エラーを招くことがある。より一般的には、校正時間中に追加のセットアップステップなどのために別個の校正ターゲットを使用するのはユーザにとって不便である。
同様に不利には、校正のための先行技術は何らかの機械的及び/又は反復的な試行錯誤原理に依拠しているが、これらは限界があり及び/又は不便で実行するのに時間がかかる。例えば一技術では、機械的システムは第1ロケーションにおける座標空間と第2ロケーションにおける座標空間との関係が知られ確定されように構成できる。この技術はフレキシビリティを制限し、時間の経過に伴って生じ得る動き又は位置の変化を考慮しない。他の技術では、2つのロケーションの関係の初期推定が行なわれ、組み立てられた部品の品質を用いて反復的に精緻化される。この技術は時間がかかり、所望された精度を達成するために多数反復に依拠する。
本発明は、校正ターゲットをマニピュレータ(及び関連グリッパ)でピックロケーションとプレースロケーションの間に移動することによって生じる問題に関係した先行技術の短所を、校正時間中に実行時ワークピース上の特徴を用いて2つのロケーションにおける座標空間を結合する校正のためのシステム及び方法を提供することによって克服する。このシステム及び方法は少なくとも3通りのシナリオ/技術を含む。1つは、両ロケーションで同じ特徴を撮像及び特定できる。1つは、実行時ワークピースの撮像された特徴は各ロケーションで異なる(CAD又は測定されたワークピース表現が利用可能)。そして1つは、モーションステージを含む第1ロケーションはハンドアイ校正を用いてモーションステージに校正されており、第2ロケーションは実行時部品を両ロケーション間で往復移動することによって同じモーションステージにハンドアイ校正される。例として、最初の2つの技術の品質は、実行時ワークピースをそれぞれ異なる姿勢で多数回動かし、各ロケーションでそのような特徴を抽出及び蓄積し、次いで蓄積された特徴を用いて2つの座標空間を結合することによって改善できる。より一般的に、このシステム及び方法は2つのロケーションを独立に校正して、組立中に移動するように構成及び配置/適合されたマニピュレータでワークピースを移動し、校正プレートの特徴の代わりにそのワークピースの特徴を用いることによって2つのロケーションに対する座標空間を結合する。
例示的な実施形態において、第1ロケーションにある第1ワークピースがマニピュレータによって第2ロケーションに移動される環境においてビジョンシステムを校正するためのシステム及び方法が提供される。第1ワークピース上で、第1ロケーションと第2ロケーションの座標空間を結合することに依拠する操作が行われる。少なくとも1台のビジョンシステムカメラが、第1ロケーションに置かれたときに第1ワークピースを撮像し、第2ロケーションに置かれたときに第1ワークピースを撮像するように配置される。少なくとも1台のビジョンシステムカメラが第1ロケーションを基準に校正されて、第1座標空間を定義する第1の校正データを導き、及び少なくとも1台のビジョンシステムカメラ(同じカメラでも可能)が第2ロケーションを基準に校正されて、第2座標空間を定義する第2の校正データを導く。少なくとも第1ワークピースの特徴は、第1ロケーションで第1ワークピースの第1の画像から特定される。第1の画像中に特定された特徴に基づいて、第1ワークピースが第1座標空間を基準に第1ロケーションに対して相対的に位置決めされる。第1ワークピースはマニピュレータによって少なくとも1回掴まれて第2ロケーションにおける所定のマニピュレータ位置に動かされ、この第2ロケーションで第1ワークピースの第2の画像が取得される。第2の画像中に特定された特徴に基づいて、第1ワークピースが第2座標空間を基準に第2ロケーションに対して相対的に位置決めされる。これにより第1座標空間と第2座標空間が結合される。例として、第1の画像中に特定された特徴が第2の画像中に特定された特徴と同じである場合に、このシステム及び方法は、(a)第1の画像中に特定された特徴の位置を第1の校正データを基準にしてマッピングすること、(b)第2の画像中に特定された特徴の位置を第2の校正データを基準にしてマッピングすること、及び(c)第2ロケーションでマッピングされた特徴を第1ロケーションでマッピングされた特徴にマッピングする変換を計算することを含む。代替として、第1の画像中に特定された特徴の一部が第2の画像中に特定された特徴と異なる場合に、このシステム及び方法は、(a)第1の画像中に特定された特徴の位置を第1の校正データを基準にしてマッピングすること、(b)第1ワークピースの特徴位置の保存された仕様に対して相対的な変換を計算すること、(c)第2の画像中に特定された特徴の位置を第2の校正データを基準にしてマッピングすること、(d)ワークピースが第1ロケーションに置かれたときにステップ(b)で計算された変換を用いて第1座標空間における第2の画像から特定された特徴の位置を導くこと、及び(e)第2ロケーションでマッピングされた特徴を第1ロケーションで対応する変換された特徴にマッピングする変換を計算することを含む。第1ワークピースの仕様は、第1ワークピースのCADモデル又は第1ワークピースの測定モデル(例えばCMM生成測定)に基づくことができる。例として、このシステム及び方法は、(a)第1ワークピースを第1ロケーションか又は第2ロケーションでモーションレンダリングデバイスによって反復的に複数の異なる姿勢に動かすこと、(b)第1ロケーションと第2ロケーションでそれぞれ各姿勢での特徴を特定すること、及び(c)特定された特徴情報を蓄積して精度を高めることを含み、第1ワークピースは同じワークピースであるか又は複数の個々に区別できるワークピースの1つである。種々の実施形態において、このシステム及び方法は、第1ロケーションで画像座標系から校正座標系へのマッピングを提供することを含み、マッピングが合一である。実施形態において、第2ロケーションは第2ワークピースを有しており、そこに入ると第1ワークピースは第2ワークピースと所望されたアライメントで係合し、及び/又は第2ワークピースは、第1ワークピースを更に加工するための部品、コンテナ又はフレームであることができる。加えて、種々の実態形態において、操作は他方のオブジェクトを基準にしたアライメント操作、第1ワークピースへの印刷操作、及び第1ワークピースへの塗布操作の少なくとも1つであり、この操作は少なくとも一部は第1ロケーションと第2ロケーションから離れた位置で行なわれてよい。
別の例示的な実施形態において、第1ロケーションにある第1ワークピースがマニピュレータによって第2ロケーションに移動され、第1ワークピースで行われる操作が第1ロケーションと第2ロケーションの座標空間を結合することに依拠する環境においてビジョンシステムを校正するためのシステム及び方法が提供され、少なくとも1つのロケーションはハンドアイ校正を受ける。少なくとも1台のビジョンシステムカメラは、第1ロケーションで第1ワークピースを撮像し、及び第2ロケーションを撮像するように配置されている。少なくとも1台のビジョンシステムカメラは第1ロケーションを基準にしてハンドアイ校正されて第1の校正データを導き、第1ワークピースが第1ロケーションに置かれる。例として、第1ワークピースはマニピュレータによって第1ロケーションから第2ロケーションに動かされ、画像が取得されてそこから第1ワークピース上の特徴の位置が特定される。次に第1ワークピースは第2ロケーションから第1ロケーションに動かされ、第1ロケーションでモーションレンダリングデバイスを動かすことにより第1ワークピースの姿勢が新しい既知の姿勢に変更される。モーションレンダリングデバイスはいずれかのロケーションに置くことができ、モーションレンダリングデバイスによる姿勢変更はマニピュレータにより第2ロケーションから第1ロケーションに動かす前又は後で起こることができる。
上記のステップは、特徴位置及びハンドアイ校正に関連するその他のデータが蓄積及び保存されるまで反復され、次いで蓄積されたデータを用いて少なくとも1台のビジョンシステムカメラが第2ロケーションを基準にしてハンドアイ校正される。これは第1座標空間と第2座標空間をハンドアイ校正から得られたモーションレンダリングデバイスに対して相対的な共通座標空間によって結合する。例として、第2ロケーションはモーションレンダリングデバイス上に第2ワークピースを有しており、そこに入ると第1ワークピースは第2ワークピースと所望されたアライメントで係合する。第2ワークピースは、第1ワークピースを更に加工するための部品、コンテナ又はフレームであることができ、操作は、他方のオブジェクトを基準にしたアライメント操作、第1ワークピースへの印刷操作、及び第1ワークピースへの塗布操作の少なくとも1つであってよい。
以下に本発明を図面を参照して説明する。
模範的なピックアンドプレース組立環境を基準にして配置されたマルチカメラビジョンシステムの図であり、ワークピースをプレースロケーションに移送するために取り出すピックロケーションに置かれたピックアンドプレースマニピュレータを示しており、1つのロケーションがワークピース組立システムと組み合わせて用いられる例示的なモーションステージと、校正、トレーニング及び実行時動作のための関連するツール及びプロセスを有するビジョンプロセッサを含んでいる。
模範的なピックアンドプレース組立装置を基準にして配置された2カメラビジョンシステムの図であり、一方のワークピースは他方のワークピースとアライメントされており、プレースロケーションにありピックアップされた第1ワークピースを第2ワークピース上に置くピックアンドプレースマニピュレータを示している。
カメラシステムが1つのロケーションを基準にして校正され、各ロケーションでマニピュレータによって掴まれた実行時ワークピースの撮像に基づいて第1ロケーションにおける第1座標空間を第2ロケーションにおける第2座標空間に結合するための方法の一般化された概観を示すフローチャートである。
各ロケーションにおける特徴が同じである場合に、各ロケーションにおける実行時ワークピース画像の特徴を用いて第1ロケーションにおける座標空間を第2ロケーションにおける座標空間に結合するための、図3に一般化して示した方法のより詳細なフローチャートである。
それぞれの視野での可視性の相違のために少なくとも各ロケーションにおける特徴の一部が異なる場合に、各ロケーションにおける実行時ワークピース画像の特徴を用いて第1ロケーションにおける座標空間を第2ロケーションにおける座標空間に結合するための、図3に一般化して示した方法のより詳細なフローチャートである。
第1ロケーションと第2ロケーションで別個のハンドアイ校正を行うことによって第1ロケーションにおける座標空間を第2ロケーションにおける座標空間に結合するための方法のフローチャートである。
特徴が多数の未知の姿勢から抽出されて、蓄積された特徴を使用して各ロケーションにおける座標空間を結合する、図4及び図5の方法に関係する追加プロセのフローチャートである。
図1は、模範的なピックアンドプレース(マニピュレータ)メカニズム120を有する組立システム100を図解する。この組立システム100は、1実施形態に従い、実行時動作において第2ロケーションにある第2ワークピースに組み付けるためにマニピュレータによって操作される(ロケーション/ステーション間で移動される)オブジェクト(第1ワークピース)を用いて校正するためのシステム及び方法を使用できる。これらのロケーションは、特に移動されるべき実行時ワークピース124が最初に置かれるピックロケーション122と、この第1ワークピース124が組み付けられる第2ワークピース112が置かれているプレースロケーション110を含んでいる。マニピュレータは、第1ワークピース124と選択的に係合するために(例えば)吸引カップ125を備えたグリッパを含むことができる。マニピュレータ120は第1ワークピース124を選択的にピックアップして(矢印130)、第2ワークピース112上のアライメントロケーション126に移動する(矢印132)。この例では、マニピュレータ120を反復可能な経路に沿って案内するためのレール128が設けられている。このレールは随意であり、ピックロケーションとプレースロケーションの間でマニピュレータ120の反復可能な運動を可能にする任意の方策が明確に想定されている。例示により、マニピュレータは軸Xm、Ym及びZmによって特徴付けられる座標空間134を定義し、ここにおいてマニピュレータ120は少なくとも軸Ymに沿って動き、ピック/プレース方向で軸Zmに沿って動く。軸Zmを中心とした回転θzmも示されているが、これはマニピュレータによって実行されてもされなくともよい。マニピュレータによって実行される運動は任意であり、ビジョンシステムは一般的に例示により示された運動と独立に動作する。
ピックロケーション122及び/又はプレースロケーション110は各々、ピック/プレース動作の前にそれぞれのワークピース124及び112が置かれるプラットフォームを定義する。ワークピース124、112は任意の容認可能な技術、例えばワークピース源からのコンベア、ロボットマニピュレータ、ユーザによる手動配置などによってロケーション/プラットフォーム(それぞれ122、110)に載置できる。別の実施形態では、ワークピース124はマニピュレータによって第1ロケーション110に保持されることができ、ロケーション/プラットフォーム122には載置されない。模範的なシステムにおいて、ロケーション/プラットフォーム122、110のいずれか一方が所望された精度を有する1度以上の自由度で動くモーションステージを含むことができる。そのようなステージ運動は反復可能なピックアンドプレース動作の前又は後にワークピース間のアライメントを取るために設けられている。即ち、一方のワークピースはモーションステージによってプレアライメントされ、次いでワークピースが定義された経路を移動する際にピック/プレース動作が所定のアライメントを維持する。代替として、ピック/プレース動作がワークピースを動かした後、組立/プレース動作の直前にワークピースの最終的なアライメントが起こることができる。各々のプラットフォーム(いずれか一方はモーションステージを含むことができる)はそれ自身の座標空間を定義するが、これはそれぞれのロケーションの校正済みローカル座標空間と見なすことができる。即ち、ピックプラットフォーム122は第1座標空間Xs1、Ys1、Zs1(直交軸135)を定義し、プレースプラットフォーム110は第2座標空間Xs2、Ys2、Zs2(直交軸137)を定義する。いずれか一方のプラットフォームはモーションステージを含んでいる場合は、その運動は図示された座標軸の1軸以上に沿って起こることができ、及び随意に少なくとも1回転自由度で(即ち図示されたθzs1又はθzs2に沿って)起こることができる。
この模範的なシステム環境/構成100において、少なくとも1台のカメラ142、140がそれぞれ各ロケーション(122、110)を撮像する。代替として、単一のカメラ又は多数のカメラは単一の視野(FOV)で両ロケーションを撮像できる。一般的に、及び本明細書中に記載されているように、ワークピースが所定のロケーションに置かれたときにワークピースの同じ又は異なる特徴が各ロケーションで1台以上のカメラに見えることが想定されている。カメラ140、142はビジョンプロセス(ビジョンプロセッサ)160と相互接続されている。一方又は両方のロケーション122、110は随意に追加のカメラ144(仮想線で示す)を含むことができる。ビジョンプロセス(ビジョンプロセッサ)160は関連ロケーションでステージ運動コントローラ170とも作動的に相互接続されており、これはプロセッサ160にステージ及び関連ワークピースの物理的位置の決定に使用するための運動情報(例えばエンコーダ又はステッパ距離/パルス情報)172を提供する。モーションステージは随意にロケーション122又は110に配置できるので、コントローラ170及び関連運動情報172は両ロケーションに対して同様に図示されている。ハンドアイ校正(以下に記述)の間、ステージを動かして運動情報を記録し、取得された画像と相関させる。
カメラ140、142、144はそれぞれビジョンシステムプロセッサ及び関連ビジョンシステムプロセス160と作動的に接続されており、これはカスタムビジョンプロセッサ回路として全体若しくは一部が1台以上のカメラハウジング内に組み込まれ、又は相互接続されたコンピューティングデバイス180内で提供されることができる。コンピューティングデバイス180は、PC、ラップトップ、タブレット、スマートフォン又は同種のものを含むがこれに限らず、適当なグラフィカルユーザインタフェース(GUI−例えばディスプレイ及び/又はタッチスクリーン182、キーボード184及び/又はマウス186)を有しており、セットアップ(校正)、トレーニング及び/又は実行時動作を助ける。2台以上のカメラを使用する組立システムにおいて、各々のカメラは取得した画像又は当該画像から抽出された情報を中央プロセッサに送るように適合されていることに留意されたい。次いで中央プロセッサは、組立中に様々なカメラから得られた情報を統合する。ビジョンプロセス(ビジョンプロセッサ)160は様々なビジョンツール162、例えばエッジファインダ、ブロブ解析器、サーチツール、キャリパツールなどを含む、多様なビジョンシステムプロセス(又はエレメント/モジュール)を実行する。例として、ビジョンプロセス(プロセッサ)160は、2個のワークピースからの画像データのアライメントを以下に記述するやり方で実行するアライメントプロセス(プロセッサ)164を含んでいる。校正プロセス(プロセッサ)166は、以下に記述するカメラ校正及びハンドアイ校正の実行を容易にする。例として、トレーニングプロセス(プロセッサ)168は、ワークピースを再配置して第2ワークピースを第1ワークピースに対して精確に組み立てるように、本明細書で想定されている様々なトレーニング手順を実行する。ビジョンプロセッサ160は複数の相互接続されたカメラプロセッサ(又はその他のデバイス)又は単一のカメラアセンブリ内の中央プロセッサ(又はリモートコンピューティングデバイス)として設定できることに留意されたい。
本明細書中に様々な実施形態で示されている物理的ワークピース組立装置は、プラットフォーム/モーションステージの様々な領域を撮像する任意の数のカメラを含むことにも留意されたい。各ロケーション(及び/又は全体的な組立環境)を撮像するのに使用するカメラの数は、代替的な構成において極めて可変である。同様に、全体システム内でマニピュレータがタスクを実行するロケーションの数も極めて可変である。
加えて、図示された組立環境は、第1ワークピースが(例えば)反復可能なマニピュレータによって第1ロケーションから他方のロケーションに移動され、そこで第1ワークピース上で操作が行なわれる多様な配置構成の一例であることは明らかであろう。この操作は、第2ワークピースとの所望されたアライメントで係合することを含み、又は適当なメカニズムを用いて直接第1ワークピース上で実行できる。例えば、第2ワークピースは、第1ワークピースが組み付けられる部品、第1ワークピースが収容されるコンテナ/ボックス、及び/又は第1ワークピースが例えばキッティング装置の一部として配置されるフレームであることができる。そのような配置に加えて、操作は第1ワークピースに印刷すること又は転写を塗布すること、レーザ、カッタ、ツールヘッド又はその他のデバイス及び/又はその他ワークピースを変容する何らかのプロセスに暴露することも含んでよい。操作及び第2ワークピースに対する詳しい定義を以下に記載する。一般的に、主としてシステム及び方法は、第1ロケーションと第2ロケーションを撮像するカメラの座標空間を結合できるようにして操作が望ましいやり方で起こることを可能にすることが想定されている。
例示的なシステム及び方法の詳細を更に記述する前に、読者が本明細書中に紹介されたコンセプトを理解するのを助ける次の定義を参照する。

「校正済み座標空間」
(定義)カメラ校正、ハンドアイ校正又はその他の校正プロセス中に使用する校正ターゲットによって定義された座標空間。

「共通座標空間」
(定義)実行時にシステム中のカメラによって取得された特徴がこの空間にマッピングされる。共通座標空間はロケーション間で共有される。

「画像座標空間」
(定義)取得された画像の座標空間又は変換された画像の座標空間。

「運動座標空間」
(定義)モーションレンダリングデバイス(例えばモーションステージ)と関連する固有の座標空間。

「ワークピース座標空間」
(定義)ワークピースと関連する座標空間。この座標空間の可能なソースはワークピースのCAD仕様又はCMM表現である。

「CalibratedFromImage変換」
(定義)画像座標空間から校正済み座標空間にポイントをマッピングする変換。

「カメラ校正」
(定義)画像座標空間と校正済み座標空間との間の変換を確定するプロセス。

「ハンドアイ校正」
(定義)画像座標空間、校正済み座標空間及び運動座標空間の間の変換を確定する当業者に公知のプロセス。

「全ての」カメラ
(定義)本明細書で組立タスクにおいてシステムによって使用される全てのカメラをいう。別途シーンを撮像してよいビジョンシステムカメラ(又はその他のプロセス)によって使用される一部のカメラは組立タスクから除外できることが明確に想定されている。主として1台以上の(少なくとも1台の)カメラ(同じカメラであってよい)が組立時に各ロケーションを撮像し、共通座標系空間に校正されることが想定されている。

「操作」
(定義)第1ロケーション、第2ロケーション又は少なくとも部分的に第1ロケーションと第2ロケーションから離れた位置にある第1ワークピースで/に対して実行されるプロセスをいう。操作は(例えば)第2ワークピースを基準にした組立操作、第1ワークピースをボックス又はフレーム内に配置すること(即ちキッティング)、又は適当なメカニズムを用いた第1ワークピースに対する変容、例えば印刷、転写塗布、接着剤塗布などであり得る。

「第1ワークピース」
(定義)マニピュレータシステム(例えば組立システム)の実際の実行時動作において使用される部品又はその他のオブジェクトをいう−「実行時ワークピース」とも呼ぶ。第1ワークピースは、製造又はその他の実行時プロセス、後校正及びトレーニングの一部ではないシステムセットアップ/トレーニングのために使用される校正ターゲット/プレート又はその他のオブジェクトを明確に除く。

「第2ワークピース」
(定義)第1ロケーションか又は第2ロケーションで、(例えば)モーションレンダリングデバイス(モーションステージ)を用いて達成できるアライメントに基づいて第1ワークピースが組み付けられる、第2ロケーションに置かれたワークピースをいう。第2ワークピースは、第1ワークピースが入れられるコンテナ(ボックス)又はフレームということもできる。
図2を簡単に参照すると、マニピュレータ120はそのグリッパ150に第1ワークピース124を持ってレール180に沿って第1ロケーション122から第2ロケーション110に移動したことが示されている。マニピュレータ120は、第1ワークピース126をアライメントされた受取りロケーション126内で第2ワークピース112上に精確に配置すること(矢印250)が図示されている。このアライメントは、共通座標空間に基づいてモーションステージを動かすことによりカメラ140、142及び関連ビジョンシステムカメラプロセス(プロセッサ)160によって確定される。この共通座標空間は、次の段落で記述するように、校正中に2つのロケーション122、110の各々の校正済み座標空間を結合することによって確定される。
校正ターゲットのような剛性体について若干の校正原理を一般的に理解するために、運動は1対の姿勢、即ち運動直前の初期姿勢と運動直後の最終姿勢によって特徴付けることができる。本明細書において「姿勢」は、ある特定の瞬間において基礎となる何らかの座標空間における体の位置と向きを記述するための一連の数値として定義される−体の仮想的特徴付けである。例えば2次元では姿勢は3つの数、即ちXにおける並進、Yにおける並進及び回転R(又はθ)によって特徴付けることができる。校正ターゲットの脈絡における姿勢は、校正ターゲットがカメラに対してどのように現れるかを表す。通常、標準的ないわゆる「ハンドアイ校正」において、校正ターゲットはモーションレンダリングデバイスによりカメラに対して幾つかの異なる姿勢に動かされ、各々のカメラはそのような各姿勢で校正ターゲットの画像を取得する。そのようなハンドアイ校正の目標は、カメラの姿勢、校正ターゲットの姿勢及びモーションレンダリングデバイスの姿勢を、「校正済み座標空間」と呼ぶことができる単一の座標空間において決定することである。通常、「運動」は物理的運動を与えることができる物理的装置、例えばロボットアーム又はモーションステージ又はガントリーによって提供される。ターゲットは1台以上の定置カメラに対して動くことができるか、又は、例えばカメラが運動を与える物理的装置に組み付けられている場合はカメラが定置ターゲットに対して動くことができることに留意されたい。そのようなモーションレンダリングデバイスのコントローラは数値(即ち姿勢)を使用して装置に何らかの所望された運動を与えるよう命令し、それらの値は、本明細書で「運動座標空間」と呼ぶ当該装置に対する固有の座標空間において解釈される。ここで図3を参照すると、マニピュレータによってロケーション間を動かされる実行時ワークピースを用いて、2つの離散したロケーション(例えばピックロケーションとプレースロケーション)の座標空間を結合するための全体的な校正プロセス300が記述されている。とりわけ実行時ワークピースの使用は、校正ターゲットの使用に伴う短所を回避して、ユーザが実行時動作においてマニピュレータに期待されているハンドリングと同じ構造を簡便に使用できるようにする。プロセス300はステップ310で開始し、1台以上のカメラを配置して第1ロケーションと第2ロケーションの画像を撮像/取得する。カメラは各ロケーションで実行時ワークピースの特徴を視る。それらの特徴は全部又は一部であってよく、各ロケーションでの同じ特徴又は各ロケーションでの異なる特徴であってよい。ステップ320で、第1ロケーション又は第2ロケーションで特徴を視るカメラは、それぞれの校正済み座標空間に対して校正される。これは、ステージによって校正ターゲットを動かして、そのような運動に基づきステージによって提供される運動情報との関連で座標空間を確定することによるハンドアイ校正を含むことができる。代替として、これは特別の校正ターゲット、例えば格子縞模様の校正プレートの画像を使用し、そうしてロケーションにおける全てのカメラをそれぞれの座標空間に結合することにより達成できる校正プロセスを含むことができる。ステップ330で、第1ロケーションにあるワークピースを視る1台以上のカメラによって実行時ワークピースの画像が取得され、第1ロケーションで実行時ワークピース上の特徴の位置が特定/抽出される。次にステップ340で特定/抽出された特徴を使用してワークピースを、通常第1ロケーションと関係している第1の校正済み座標空間に対して関連付ける−。特徴はワークピース上で識別できる任意の視覚的要素、特に単独で又は組み合わせてワークピースの向きと位置を一義的に定義する視覚的要素であってよい。従ってエッジとコーナが識別された特徴として使用される場合は、そのようなエッジとコーナは全体的ワークピース上の何らかの位置に対して一義であることができる(例えばワークピースの側面の切欠き)。特徴抽出は当該技術に従い様々なビジョンシステムツール(例えばエッジ検出器、ブロブ解析器など)162(図1)の使用を伴うことができる。
ステップ350で、実行時ワークピースはマニピュレータによって(例えば図1では実行時ワークピース124に吸引カップ125を適用することによって)掴まれ、ワークピースは第2ロケーションに動かされる。この運動は少なくとも1回起こる(以下に図7を参照して説明するように異なる姿勢を用いて多数回起こることもできる)。次にステップ360で、第2ロケーションにある(ワークピース特徴を視ている)カメラがワークピースの1以上の画像を(当該ワークピースの画像座標空間内で)取得する。第1ロケーションで視られたのと同じか又は異なる特徴を第2ロケーションで使用して、第2ロケーションにあるワークピース上の位置を見出す。特徴が同じ場合は、2つの座標空間は直接結合できる。特徴が異なる場合は、ワークピースの仕様、例えばCAD図面又は測定された描画/表現(即ち座標測定機CMMを用いてワークピースを測定して寸法を保存する)により、各ロケーションにおける特徴をビジョンシステム校正プロセスによって対応させることが可能となる。対応させられた特徴により次に各々の座標空間を結合することが可能になる。ステップ320でロケーションの1つがハンドアイ校正される場合は、計算された共通座標空間はモーションステージの運動座標空間と同じであり得ることに留意されたい。
図4と図5は、それぞれ図3の一般化されたプロセスに従い第1ロケーションと第2ロケーションで座標空間を結合するために、2種類の方法/プロセス400及び500をより詳細に記述している。図4では、プロセス400は2つのロケーションを撮像するために1台以上のカメラを配置するステップ410を含んでおり、そのうち1台はモーションステージを含むことができる。上述したように、モーションステージを有するロケーションを視ているカメラで随意のハンドアイ校正を実行して校正済み座標空間を確定することができる。より一般的にステップ420とステップ430で、第1ロケーションと第2ロケーションを撮像するカメラは適当な校正ターゲットを用いて校正できる。ステップ440で、カメラは第1ロケーションにあるワークピースの1以上の画像を取得し、それらの画像を使用してワークピース上の特徴featuresImage1の位置を適当なビジョンシステムツールによって特定する(ステップ450)。これらの特徴は第1ロケーションの校正済み座標空間にマッピングできる(featuresCalibrated1=Calibrated1FromImage1*featuresImage1)。実行時ワークピースは次にマニピュレータによって掴まれて第2ロケーションに動かされる。ここでカメラは実行時オブジェクトの画像を取得する(ステップ460)。この技術では第2ロケーションでカメラにはfeaturesImage1と同じ特徴featuresImage2が見えている。従ってステップ470で、第2ロケーションのカメラは、実行時ワークピース上の同じ特徴の位置を特定し、プロセス400は第2ロケーションの校正データに基づいてロケーションをマッピングする(featuresCalibrated2=Calibrated2FromImage2*featuresImage2)。次にステップ480で、プロセス400はfeaturesCalibrated2をfeaturesCalibrated1(ステップ450から)にマッピングする変換Calibrated1FromCalibrated2,を計算する。この変換を用いて2つのロケーションの座標空間を次の関係に従って結合する。
featuresCalibrated1=Calibrated1FromCalibrated2*featuresCalibrated2
ステージを含むロケーションが随意にハンドアイ校正されている場合は、変換Calibrated1FromCalibrated2はハンドアイ校正結果と組み合わせて使用して実行時の部品の組立を案内できる。
図5では、プロセス500は2つのロケーションを撮像するために1台以上のカメラを配置するステップ510を含んでおり、そのうち1台はモーションステージを含むことができる。上述したように、モーションステージを有するロケーションを視ているカメラで随意のハンドアイ校正を実行して校正済み座標空間を確定することができる。ステップ520とステップ530で、第1ロケーションと第2ロケーションは適当な校正ターゲットを用いて校正できる。ステップ540で、カメラは第1ロケーションにあるワークピースの1以上の画像を取得し、それらの画像を使用してワークピース上の特徴featuresImage1の位置を適当なビジョンシステムツールによって特定する。ステップ550で、これらの特徴は第1ロケーションの校正済み座標空間にマッピングできる(featuresCalibrated1)。ステップ560で、プロセス500は第1ロケーションの第1の校正済み座標空間におけるワークピース特徴featuresCalibrated1(ステップ550から)を、保存されているワークピース座標空間にマッピングする変換WorkpieceFromCalibrated1を次の関係に従って:計算する。
featuresWorkpiece=WorkpieceFromCalibrated1*featuresCalibrated1
ワークピース座標空間は、特徴パラメータの描画を含むワークピースのコンピュータ支援設計(CAD)モデルに基づいて確定される。代替として、実行時ワークピース座標空間の仕様はワークピースの物理的測定によって、例えば座標測定機(CMM)を用いて通常の技術に従い確定できる。パラメータは、マッピングプロセスによって使用するために保存される。
実行時ワークピースは、次にマニピュレータによって掴まれて第2ロケーションに動かされる。ここでカメラは実行時オブジェクトの画像を取得する(ステップ570)。この技術では、第2ロケーションで視られた1以上の特徴は、第1ロケーションで視られた/撮像された特徴と異なることがあろう。その結果として、障害、カメラの視野(FOV)などのために同じ特徴が両ロケーションのカメラに見えないことがある。ステップ580で、第2ロケーションのカメラは、実行時ワークピース上で見える特徴featVisIn2Image2の位置を特定して、それらの位置が第2ロケーションの校正データに基づいてマッピングされる(featVisIn2Calibrated2=Calibrated2FromImage2*featVisIn2Image2)。ワークピース座標空間で対応するポイントが見出される(featVisIn2Workpiece.)。ステップ590で、プロセス500はステップ560からの逆変換WorkpieceFromCalibrated1を用いて、第2ロケーションで見える特徴が第1ロケーションにあった場合には、第1の校正済み空間における当該特徴の位置を計算する。
featVisIn2Calibrated1=Calibrated1FromWorkpiece*featVisIn2Workpiece.
ステップ592で、第1ロケーションから計算された特徴位置と、第2ロケーションで検出された対応する特徴位置を使用して、各ロケーションにおける座標空間を次の関係に従って結合する。
featVisIn2Calibrated1=Calibrated1FromCalibrated2*featVisIn2Calibrated2
ステージを含むロケーションがハンドアイ校正されている場合は、変換Calibrated1FromCalibrated2はハンドアイ校正結果と組み合わせて使用して実行時の部品の組立を案内できる。
様々な実施形態において、画像座標空間から第1ロケーションの校正座標空間へのマッピングは合一であり得ることが明確に想定されている。この技術は、図3〜図5で述べたように、第2ロケーションが校正されて、第1ロケーションの画像特徴が第2ロケーションの校正座標空間にマッピングされる構成に適応する。
図6は、2つの離散したロケーション座標空間を結合するために想定されている別の技術に従う方法/プロセス600の詳細を示しており、第1ロケーションのカメラと第2ロケーションのカメラはいずれも校正されない。この構成では各ロケーションは別個にハンドアイ校正することができ、両ロケーションはモーションステージに対して相対的に同じ共通座標空間に結合できることが想定されている。ステップ610で、各ロケーションを撮像するためにカメラを配置する。モーションステージを含むロケーション(即ち第1ロケーション)は、ステップ620でハンドアイ校正される。次に実行時ワークピースはステップ630でステージ−を含む第1ロケーションに置かれる。次にステップ640で実行時ワークピースは掴まれて第2ロケーションに動かされ、そこでカメラにより1以上の画像が取得される。ステップ650でワークピース上の特徴の位置が特定される。随意に、ワークピースのCAD又はCMM仕様が利用可能ならば、そのような特徴はワークピース座標空間のCAD又はCMM描画と対応させることができる。特徴から導かれた姿勢はリストXl1に保存される。ステップ660でワークピースは再び掴まれて第1ステージ/ロケーションに戻される。ステップ640、650及び660は反復される。なぜなら、十分なデータが把捉されてリストXl1に保存されるまで、ステージが動かされて反復ごとに新しい姿勢が確定されるからである(ステップ680)。次いでプロセス600は(ステップ670の決定を経て)ステップ690に進み、ステップ650(リストXl1)から蓄積されたデータを使用して第2ロケーションのカメラをハンドアイ校正する。こうして両ロケーションでカメラ校正された座標空間は、共通座標空間によってモーションステージに対して結合される。
方法/プロセス400及び500(図4のステップ450と470及び図5のステップ550と580)は、実行時ワークピースからの特徴抽出を反復的に行うことによって強化できる。この強化されたプロセス700の概観が図7に記述されている。ステップ710で、第1ロケーションにある実行時ワークピースの1以上の画像が取得されて特徴が抽出/特定される。次にステップ720でワークピースはマニピュレータによって掴まれ動かされて特徴が抽出/特定される(上述したように同じ又は異なる特徴)。マニピュレータはワークピースを第1ロケーションに反復的に戻してその都度姿勢を大まかに変更するか(ステップ730)、又は大まかに異なる姿勢を有するワークピースの多数のインスタンスを移動する。即ち、それぞれ運動サイクルによりロケーション間を移動される同じワークピース又は一連の異なるワークピースで、特徴の抽出及び蓄積を多数回反復することにより校正の精度及び堅牢性を強化できる。十分な特徴データが得られるまで、ステップ710及び720で反復ごとに第1ロケーションと第2ロケーションで画像から特徴が抽出される。この閾値は、所定の数又は他の測定基準に基づいてよい。プロセス700は次に(ステップ740の決定を経て)ステップ750に進み、そこで多数の姿勢から蓄積された特徴データを使用して、一般的に上述したように各ロケーションの座標空間を結合する。
実行時ワークピースを使用する組立プロセスにおいて2つの離散したロケーションの座標空間を結合するための上述した技術が、校正ターゲットの使用に付随する短所を回避することは明らかであろう。これらの技術は、各ロケーションを基準にカメラを配置するやり方にフレキシビリティを与える。これらの技術はまた特徴抽出など様々なステップを反復することにより精度の強化/精緻化を可能にする。これらの技術は、上述した公知の機械的構成又は反復的な試行錯誤方式に依拠する先行技術の短所も回避する。
以上、本発明の例示的な実施形態を詳細に説明した。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するのに適する限り、別の記載された実施形態の特徴と組み合わされてよい。更に、上に本発明の装置と方法の多数の別個の実施形態を記したが、ここに記載されたものは本発明の原理の応用を例示したものに過ぎない。例えば本明細書中で使用される「プロセス」及び/又は「プロセッサ」という言葉は広く解釈して、電子ハードウェア及び/又はソフトウェアをベースとする多様な機能及びコンポーネントント(代替として機能的「モジュール」又は「エレメント」と呼ぶことがある)を含むものとする。更に、図示されたプロセス又はプロセッサは他のプロセス及び/又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び/又はサブプロセッサは、本明細書に記載された実施形態に従って多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び/又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組合せを用いて実施できることが明確に想定されている。加えて、本明細書で使用される様々な方向及び/又は向きを表わす用語、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」およびこれに類するものは、相対的な表現法として用いられているに過ぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。例として、1つのロケーションはロケーションステージを含んでいるが、例えば第1のモーションステージは1軸に沿ってワークピースを動かし、第2のステージは他の直交軸(又は第1のステージによって提供されない回転)に沿ってワークピースを動かす場合には多数のロケーションがステージを含み得ることが想定されている。従ってこの記述は例示としてのみ受け取られるべきであり、本発明の範囲を別途制限することを意味するものではない。
特許請求の範囲

Claims (20)

  1. 第1ロケーションにある第1ワークピースがマニピュレータによって第2ロケーションに移動され、第1ワークピースで行われる操作が第1ロケーションと第2ロケーションの座標空間を結合することに依拠する環境においてビジョンシステムを校正するための方法であって、
    少なくとも1台のビジョンシステムカメラを、第1ロケーションに置かれたときに第1ワークピースを撮像し、及び第2ロケーションに置かれたときに第1ワークピースを撮像するように配置するステップと、
    少なくとも1台のビジョンシステムカメラを第1ロケーションを基準に校正して第1座標空間を定義する第1の校正データを導き、及び少なくとも1台のビジョンシステムカメラを第2ロケーションを基準に校正して第2座標空間を定義する第2の校正データを導くステップと、
    第1ロケーションで少なくとも第1ワークピースの特徴を第1ワークピースの第1の画像から特定するステップと、
    第1の画像中に特定された特徴に基づいて第1座標空間を基準に第1ロケーションに対して相対的に第1ワークピースを位置決めするステップと、
    マニピュレータを使って第1ワークピースを少なくとも1回掴んで第2ロケーションにおける所定のマニピュレータ位置に動かすステップと、
    第2ロケーションで第1ワークピースの第2の画像を取得するステップと、
    第2の画像中に特定された特徴に基づいて第2座標空間を基準に第2ロケーションに対して相対的に第1ワークピースを位置決めし、第1座標空間と第2座標空間を結合するステップと、を含む方法。
  2. 第1の画像中に特定された特徴は第2の画像中に特定された特徴と同じであり、更に(a)第1の画像中に特定された特徴の位置を第1の校正データを基準にしてマッピングすること、(b)第2の画像中に特定された特徴の位置を第2の校正データを基準にしてマッピングすること、及び(c)第2ロケーションでマッピングされた特徴を第1ロケーションでマッピングされた特徴にマッピングする変換を計算することを含む、請求項1に記載の方法。
  3. 第1の画像中に特定された特徴の一部は第2の画像中に特定された特徴と異なり、更に(a)第1の画像中に特定された特徴の位置を第1の校正データを基準にしてマッピングすること、(b)第1ワークピースの特徴位置の保存された仕様に対して相対的な変換を計算すること、(c)第2の画像中に特定された特徴の位置を第2の校正データを基準にしてマッピングすること、(d)ワークピースが第1ロケーションに置かれたときにステップ(b)で計算された変換を用いて第1座標空間における第2の画像から特定された特徴の位置を導くこと、及び(e)第2ロケーションでマッピングされた特徴を第1ロケーションで対応する変換された特徴にマッピングする変換を計算することを含む、請求項1に記載の方法。
  4. 前記仕様は、第1ワークピースのCADモデルに基づいている、請求項3に記載の方法。
  5. 前記仕様は、第1ワークピースの測定モデルに基づいている、請求項3に記載の方法。
  6. 更に、(a)第1ワークピースを第1ロケーションか又は第2ロケーションでモーションレンダリングデバイスによって反復的に複数の異なる姿勢に動かすこと、(b)第1ロケーションと第2ロケーションでそれぞれ各姿勢での特徴を特定すること、及び(c)特定された特徴情報を蓄積して精度を高めることを含み、第1ワークピースは同じワークピースであるか又は複数の個々に区別できるワークピースの1つである、請求項1に記載の方法。
  7. 更に、第1ロケーションで画像座標系から校正座標系へのマッピングを提供することを含み、マッピングが合一である、請求項1に記載の方法。
  8. 第2ロケーションは第2ワークピースを有しており、そこに入ると第1ワークピースは第2ワークピースと所望されたアライメントで係合する、請求項1に記載の方法。
  9. 第2ワークピースは、第1ワークピースを更に加工するための部品、コンテナ又はフレームである、請求項8に記載の方法。
  10. 前記操作は、他方のオブジェクトを基準にしたアライメント操作、第1ワークピースへの印刷操作、及び第1ワークピースへの塗布操作の少なくとも1つである、請求項1に記載の方法。
  11. 前記操作は、少なくとも一部は第1ロケーションと第2ロケーションから離れた位置で行なわれる、請求項10に記載の方法。
  12. 第1ロケーションにある第1ワークピースがマニピュレータによって第2ロケーションに移動され、第1ワークピースで行われる操作が第1ロケーションと第2ロケーションの座標空間を結合することに依拠する環境においてビジョンシステムを校正するための方法であって、
    (a)少なくとも1台のビジョンシステムカメラを、第1ロケーションで第1ワークピースを撮像し、及び第2ロケーションを撮像するように配置するステップと、
    (b)少なくとも1台のビジョンシステムカメラを第1ロケーションを基準にしてハンドアイ校正して第1の校正データを導くステップと、
    (c)第1ワークピースを第1ロケーションに置くステップと、
    (d)第1ワークピースを第1ロケーションから第2ロケーションへ動かすステップと、
    (e)画像を取得して第1ワークピース上の特徴の位置を特定するステップと、
    (f)第1ワークピースを第2ロケーションから第1ロケーションに動かし、第1ロケーションでモーションレンダリングデバイスを動かすことにより第1ワークピースの姿勢を新しい既知の姿勢に変更するステップと、
    (g)特徴位置及びハンドアイ校正に関連するその他のデータが蓄積されるまでステップ(d−f)を反復するステップと、
    (h)蓄積されたデータを用いて少なくとも1台のビジョンシステムカメラを第2ロケーションを基準にしてハンドアイ校正し、第1座標空間と第2座標空間をハンドアイ校正から得られたモーションレンダリングデバイスに対して相対的な共通座標空間によって結合するステップと、を含む方法。
  13. 第2ロケーションはモーションレンダリングデバイス上に第2ワークピースを有しており、そこに入ると第1ワークピースは第2ワークピースと所望されたアライメントで係合する、請求項12に記載の方法。
  14. 第2ワークピースは、第1ワークピースを更に加工するための部品、コンテナ又はフレームである、請求項13に記載の方法。
  15. 前記操作は、他方のオブジェクトを基準にしたアライメント操作、第1ワークピースへの印刷操作、及び第1ワークピースへの塗布操作の少なくとも1つである、請求項12に記載の方法。
  16. 第1ロケーションにある第1ワークピースがマニピュレータによって第2ロケーションに移動され、第1ワークピースで行われる操作が第1ロケーションと第2ロケーションの座標空間を結合することに依拠する環境においてビジョンシステムを校正するためのシステムであって、
    第1ロケーションに置かれたときに第1ワークピースを撮像し、及び第2ロケーションに置かれたときに第1ワークピースを撮像するように配置された少なくとも1台のビジョンシステムカメラと、
    少なくとも1台のビジョンシステムカメラを第1ロケーションを基準に校正して第1の校正データを導き、及び少なくとも1台のビジョンシステムカメラを第2ロケーションを基準に校正して第2の校正データを導く校正プロセスと、
    少なくとも第1ロケーションで第1ワークピースの特徴を第1ワークピースの第1の画像から特定し、第1の画像中に特定された特徴に基づいて第1ワークピースを第1座標空間を基準にして第1ロケーションに対して相対的に位置決めし、及び第2ロケーションで第2の画像中に特定された特徴に基づいて第1ワークピースを第2座標空間を基準にして第2ロケーションに対して相対的に位置決めする特徴抽出プロセスと、
    第1座標空間と第2座標空間を結合する校正プロセスと、を含むシステム。
  17. 第2ロケーションは第2ワークピースを有しており、そこに入ると第1ワークピースは第2ワークピースと所望されたアライメントで係合する、請求項16に記載のシステム。
  18. 第1の画像中に特定された特徴の一部は第2の画像中に特定された特徴と異なり、更に校正プロセスは、(a)第1の画像中に特定された特徴の位置を第1の校正データを基準にしてマッピングし、(b)第1ワークピースの特徴位置の保存された仕様に対して相対的な変換を計算し、(c)第2の画像中に特定された特徴の位置を第2の校正データを基準にしてマッピングし、(d)ワークピースが第1ロケーションに置かれたときにステップ(b)で計算された変換を用いて第1座標空間における第2の画像から特定された特徴の位置を導き、及び(e)第2ロケーションでマッピングされた特徴を第1ロケーションで対応する変換された特徴にマッピングする変換を計算するように構成及び配置されている、請求項16に記載のシステム。
  19. 前記仕様は、第1ワークピースのCADモデルか又は第1ワークピースの測定モデルに基づいている、請求項18に記載のシステム。
  20. 第2ロケーションは第2ワークピースを有しており、そこに入ると第1ワークピースは第2ワークピースと所望されたアライメントで係合する、請求項16に記載のシステム。
JP2018097467A 2015-08-06 2018-05-21 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 Pending JP2018169403A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US201562201723P true 2015-08-06 2015-08-06
US62/201,723 2015-08-06
US15/223,436 2016-07-29
US15/223,436 US10290118B2 (en) 2015-08-06 2016-07-29 System and method for tying together machine vision coordinate spaces in a guided assembly environment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016152273A Division JP6685199B2 (ja) 2015-08-06 2016-08-02 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法

Publications (1)

Publication Number Publication Date
JP2018169403A true JP2018169403A (ja) 2018-11-01

Family

ID=57853991

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016152273A Active JP6685199B2 (ja) 2015-08-06 2016-08-02 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP2018097467A Pending JP2018169403A (ja) 2015-08-06 2018-05-21 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016152273A Active JP6685199B2 (ja) 2015-08-06 2016-08-02 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法

Country Status (6)

Country Link
US (2) US10290118B2 (ja)
JP (2) JP6685199B2 (ja)
KR (2) KR20170017786A (ja)
CN (2) CN111452040A (ja)
DE (1) DE102016114337B4 (ja)
TW (2) TWI708215B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018094648A (ja) * 2016-12-09 2018-06-21 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
CN107543497B (zh) * 2017-03-23 2019-10-01 四川精视科技有限公司 一种非重叠视域双目视觉测量站坐标关联方法
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
US10551179B2 (en) 2018-04-30 2020-02-04 Path Robotics, Inc. Reflection refuting laser scanner
CN110539299A (zh) * 2018-05-29 2019-12-06 北京京东尚科信息技术有限公司 机器手作业方法、控制器以及机器手系统
CN109079777A (zh) * 2018-08-01 2018-12-25 北京科技大学 一种机械臂手眼协调作业系统
DE102019107417A1 (de) 2019-03-22 2020-09-24 Günther Battenberg Verfahren zur Durchführung von zumindest einem Tätigkeitsprozess mittels eines Roboters
CN110335310A (zh) * 2019-07-09 2019-10-15 中国大恒(集团)有限公司北京图像视觉技术分公司 一种非共同视野下的标定方法
CN111791226A (zh) * 2019-12-31 2020-10-20 深圳市豪恩声学股份有限公司 通过机器人实现组装的方法、装置及机器人
CN111331604A (zh) * 2020-03-23 2020-06-26 北京邮电大学 一种基于机器视觉的阀门旋拧柔顺作业方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380696A (en) * 1980-11-12 1983-04-19 Unimation, Inc. Method and apparatus for manipulator welding apparatus with vision correction for workpiece sensing
US4568816A (en) * 1983-04-19 1986-02-04 Unimation, Inc. Method and apparatus for manipulator welding apparatus with improved weld path definition
US4655596A (en) * 1983-10-28 1987-04-07 Levi Strauss & Co. Workpiece centering apparatus and method
DE3578241D1 (de) 1985-06-19 1990-07-19 Ibm Verfahren zum identifizieren dreidimensionaler objekte mittels zweidimensionaler bilder.
US4841460A (en) 1987-09-08 1989-06-20 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US4845639A (en) 1987-12-11 1989-07-04 Robotic Vision Systems, Inc. Robotic sealant calibration
US4959898A (en) 1990-05-22 1990-10-02 Emhart Industries, Inc. Surface mount machine with lead coplanarity verifier
US5547537A (en) 1992-05-20 1996-08-20 Kulicke & Soffa, Investments, Inc. Ceramic carrier transport for die attach equipment
US6419680B1 (en) 1993-06-10 2002-07-16 Sherwood Services Ag CT and MRI visible index markers for stereotactic localization
JPH08201021A (ja) 1995-01-23 1996-08-09 Mazda Motor Corp キャリブレーション方法
US6078846A (en) 1996-02-06 2000-06-20 Perceptron, Inc. Calibration and compensation of robot-based gauging system
US6858826B2 (en) 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US5960125A (en) 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5933523A (en) 1997-03-18 1999-08-03 Cognex Corporation Machine vision method and apparatus for determining the position of generally rectangular devices using boundary extracting features
NL1007068C2 (nl) * 1997-09-18 1999-03-22 Nl Laser Res Laserbewerkingsapparaat.
JP2001284899A (ja) 2000-04-03 2001-10-12 Yamagata Casio Co Ltd 部品搭載座標補正方法
US6950548B1 (en) 2000-05-17 2005-09-27 Cognex Corporation Creating geometric model descriptions for use in machine vision inspection systems
US6493574B1 (en) 2000-09-28 2002-12-10 Koninklijke Philips Electronics, N.V. Calibration phantom and recognition algorithm for automatic coordinate transformation in diagnostic imaging
US6819789B1 (en) 2000-11-08 2004-11-16 Orbotech Ltd. Scaling and registration calibration especially in printed circuit board fabrication
US6466841B2 (en) * 2001-02-14 2002-10-15 Xerox Corporation Apparatus and method for determining a reference position for an industrial robot
CH696103A5 (de) * 2003-06-06 2006-12-15 Esec Trading Sa Halbleiter-Montageeinrichtung.
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US6901673B1 (en) 2004-05-20 2005-06-07 The Boeing Company Tie-in device for the correlation of coordinate systems
EP1612843A1 (de) * 2004-07-02 2006-01-04 Unaxis International Trading Ltd Verfahren und Einrichtung fuer die Montage von Halbleiterchips
US20060241432A1 (en) 2005-02-15 2006-10-26 Vanderbilt University Method and apparatus for calibration, tracking and volume construction data for use in image-guided procedures
US8482732B2 (en) * 2007-10-01 2013-07-09 Maskless Lithography, Inc. Alignment system for various materials and material flows
CH698334B1 (de) 2007-10-09 2011-07-29 Esec Ag Verfahren für die Entnahme und Montage von auf einem Wafertisch bereitgestellten Halbleiterchips auf einem Substrat.
WO2009047214A2 (en) 2007-10-09 2009-04-16 Oerlikon Assembly Equipment Ag, Steinhausen Method for picking up semiconductor chips from a wafer table and mounting the removed semiconductor chips on a substrate
CN101149836B (zh) 2007-11-05 2010-05-19 中山大学 一种三维重构的双摄像机标定方法
US8264697B2 (en) 2007-11-27 2012-09-11 Intelligrated Headquarters, Llc Object detection device
BRPI0909796A2 (pt) 2008-03-21 2015-10-06 Brett Alan Bordyn sistema externo para aumento de precisão robótica
US8106349B2 (en) * 2008-07-16 2012-01-31 Delta Design, Inc. Vision alignment with multiple cameras and common coordinate at contactor for IC device testing handlers
US20110157373A1 (en) 2009-12-24 2011-06-30 Cognex Corporation System and method for runtime determination of camera miscalibration
US8368762B1 (en) 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US9021344B2 (en) 2010-08-31 2015-04-28 New River Kinematics, Inc. Off-line graphical user interface system and method for three-dimensional measurement
JP5744587B2 (ja) 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
EP2729850A4 (en) 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
JP5924134B2 (ja) * 2012-05-30 2016-05-25 セイコーエプソン株式会社 侵入検出装置,ロボットシステム,侵入検出方法および侵入検出プログラム
CN102922521B (zh) 2012-08-07 2015-09-09 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
US10664994B2 (en) 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
US10032273B2 (en) 2013-03-15 2018-07-24 Cognex Corporation Machine vision system calibration using inaccurate calibration targets
US9958854B2 (en) 2013-06-10 2018-05-01 The Boeing Company Systems and methods for robotic measurement of parts
US9305231B2 (en) 2013-08-01 2016-04-05 Cognex Corporation Associating a code with an object
US9211643B1 (en) 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
CN104268876B (zh) 2014-09-26 2017-05-03 大连理工大学 基于分块的摄像机标定方法
CN104625268A (zh) 2015-01-16 2015-05-20 哈尔滨飞机工业集团有限责任公司 一种线切割薄板装夹装置
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
CN104819690B (zh) 2015-04-21 2017-05-31 上海瑞伯德智能系统股份有限公司 一种表面贴装元件的双相机机器视觉定位方法
JP6540472B2 (ja) * 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6514156B2 (ja) * 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置

Also Published As

Publication number Publication date
TW201706091A (zh) 2017-02-16
JP2017037642A (ja) 2017-02-16
KR20170017786A (ko) 2017-02-15
CN111452040A (zh) 2020-07-28
TW201923706A (zh) 2019-06-16
US20200065995A1 (en) 2020-02-27
TWI708215B (zh) 2020-10-21
US10290118B2 (en) 2019-05-14
TWI708216B (zh) 2020-10-21
JP6685199B2 (ja) 2020-04-22
US20170132807A1 (en) 2017-05-11
CN106426161A (zh) 2017-02-22
DE102016114337B4 (de) 2019-08-14
KR20180120647A (ko) 2018-11-06
CN106426161B (zh) 2020-04-07
DE102016114337A1 (de) 2017-02-09

Similar Documents

Publication Publication Date Title
US20190084160A1 (en) System and method for robust calibration between a machine vision system and a robot
Heng et al. Camodocal: Automatic intrinsic and extrinsic calibration of a rig with multiple generic cameras and odometry
US9927222B2 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
CA2825834C (en) Automated frame of reference calibration for augmented reality
JP5977544B2 (ja) 情報処理装置、情報処理方法
CN103020952B (zh) 信息处理设备和信息处理方法
JP2015135331A (ja) 実用型3dビジョンシステム装置およびその方法
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
JP6021533B2 (ja) 情報処理システム、装置、方法及びプログラム
KR102093165B1 (ko) 동시적인 운동성 및 핸드-아이 교정
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
JP5393318B2 (ja) 位置姿勢計測方法及び装置
JP5854815B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5567908B2 (ja) 3次元計測装置、その計測方法及びプログラム
US8861785B2 (en) Information processing device, information processing method and program
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP5746477B2 (ja) モデル生成装置、3次元計測装置、それらの制御方法及びプログラム
US20180066934A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
US20160039094A1 (en) Robot System And Method For Calibration
EP2636493B1 (en) Information processing apparatus and information processing method
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
US8520067B2 (en) Method for calibrating a measuring system
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP5767464B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5297403B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200727

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210209