JP2019045177A - 計測方法、プログラム、計測装置、システムおよび、物品の製造方法 - Google Patents

計測方法、プログラム、計測装置、システムおよび、物品の製造方法 Download PDF

Info

Publication number
JP2019045177A
JP2019045177A JP2017165323A JP2017165323A JP2019045177A JP 2019045177 A JP2019045177 A JP 2019045177A JP 2017165323 A JP2017165323 A JP 2017165323A JP 2017165323 A JP2017165323 A JP 2017165323A JP 2019045177 A JP2019045177 A JP 2019045177A
Authority
JP
Japan
Prior art keywords
processing
processing target
calculation
image
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017165323A
Other languages
English (en)
Inventor
強 北村
Tsutomu Kitamura
強 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017165323A priority Critical patent/JP2019045177A/ja
Priority to US16/101,926 priority patent/US20190061152A1/en
Priority to CN201810977352.0A priority patent/CN109425297A/zh
Publication of JP2019045177A publication Critical patent/JP2019045177A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39543Recognize object and plan hand shapes in grasping movements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40499Reinforcement learning algorithm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

【課題】計測精度の点で有利な計測装置を提供する。【解決手段】物体Wを撮像して得た画像を用いて物体の位置および姿勢を計測する計測方法であって、画像を用いて第1処理対象を処理する第1演算工程と、第1演算工程における処理の結果を用いて第1処理対象に紐づく画像中の第2処理対象を処理する第2演算工程と、第2演算工程における処理の結果を用いて位置および姿勢を決定する決定工程と、を含み、第1処理対象には、複数の第2処理対象が紐づき、決定工程では、複数の第2処理対象のそれぞれについて得られた処理の結果に基づいて決定を行う。【選択図】図6

Description

計測方法、プログラム、計測装置、システムおよび、物品の製造方法に関する。
物体を把持する把持部を有するロボットが、これまで人間が行っていた複雑なタスク(工業製品の組立等)を行うようになりつつある。把持部は、物体の配置(例えば、位置および姿勢)を計測する計測装置による計測結果に基づいて制御される。
ロボットが扱う物体のサイズまたは材質は多岐に亘る。また、物体を構成する複数の構成要素のそれぞれに加工精度の分布があることも一般的である。さらに、把持部による把持の前後において、物体の位置および姿勢が定まっていない場合や、計測装置が用いる画像に物体全体が収まらない場合もありうる。
物体の画像を処理することで大まかに配置を求め、求めた配置に基づいて、さらに画像を処理して精緻に配置を求める2段階の計測手法により、物体の配置を高精度に求める計測装置がある。例えば、特許文献1では取得した画像に対して事前学習した分類木を用いた投票を行うことで個体の検出およびおおまかな位置姿勢を算出することを行っている。特許文献2ではワークの三次元形状モデルと取得した画像とがフィットするように位置姿勢を補正することでワークの高精度な位置姿勢を算出している。前者の算出を行い、その結果に対し後者の演算を行うことで物体の配置を高精度に求める装置が存在する。
特開2011−22991号公報 特開2011−27623号公報 特開2015−199155号公報
2段階の画像処理を行う計測装置において、大まかに配置を求める際に処理する画像中の物体の部分と、精緻に配置を求める際に用いる物体の部分との組み合わせが重要となる。例えば、前者の大部分が画像中に写っていて概略の配置を算出出来たとする。しかし、後者の部分が前者の部分と離れており、後者の部分が画像中に写っていないと精緻な配置の推定は出来ない。
上記特許文献3も含む既存の画像処理装置は、分割領域画像と処理手段は一対一で対応している。したがって、計測装置において、上記特許文献1の画像処理装置を用いても、大まかな処理をする部分と精緻な処理をする部分との組み合わせを柔軟に設定することができない。上述のような状況を考えた場合、一つの大まかに配置を求める際に用いる部分に対し、一つの精緻に配置を求める際に用いる物体の部分しか登録出来ないことは不都合を引き起こす。
本発明は、例えば、計測精度の点で有利な計測装置を提供することを目的とする。
上記課題を解決するために、本発明は、物体を撮像して得た画像を用いて物体の位置および姿勢を計測する計測方法であって、画像を用いて第1処理対象を処理する第1演算工程と、第1演算工程における処理の結果を用いて第1処理対象に紐づく画像中の第2処理対象を処理する第2演算工程と、第2演算工程における処理の結果を用いて位置および姿勢を決定する決定工程と、を含み、第1処理対象には、複数の第2処理対象が紐づけられており、決定工程では、複数の第2処理対象のそれぞれについて得られた処理の結果に基づいて決定を行う、ことを特徴とする。
本発明によれば、例えば、計測精度の点で有利な計測装置を提供することができる。
第1実施形態に係る計測方法を用いる計測装置の全体構成例を模式的に示す図及び処理部の主要な構成を示すブロック図である。 被検物である物体の一例を示す図である。 第1実施形態に係る計測方法を示すフローチャートである。 画像格納部に格納される画像を説明する図である。 第1処理対象の一例を示す図である。 第1処理対象と、第2処理対象との関係の一例である。 位置姿勢の決定の詳細を示すフローチャートである。 第1処理対象の一例を示す図である。 第1処理対象と、第2処理対象との関係の一例である。 第3実施形態に係る計測方法を用いる計測装置の全体構成例を模式的に示す図及び処理部の主要な構成を示すブロック図である。 表示部による情報の表示方法の第1の例である。 表示部による情報の表示方法の第2の例である。 表示部による情報の表示方法の第3の例である。 表示部による情報の表示方法の第4の例である。 表示部による情報の表示方法の第5の例である。 計測装置が備え付けられた把持装置を含む制御システムを示す図である。
以下、本発明を実施するための形態について図面などを参照して説明する。
(第1実施形態)
(計測装置)
図1は、第1実施形態に係る計測方法を用いる計測装置100の全体構成例を模式的に示す図及び処理部120の主要な構成を示すブロック図である。計測装置100は、画像取得部110と、処理部120とを含む。
画像取得部110は、被検物である物体Wの画像を撮像する。画像取得部110により撮像された画像は、処理部120内部に備える画像格納部121に送られる。画像取得部110は、例えば、投影部(不図示)と撮像部(不図示)とを含む。投影部は、物体Wにパターン光を投影する。なお、投影部は、物体Wの一部にパターン光を投影しても良く、パターン光でなく一様な光を物体Wに投影しても良い。パターン光を投影する場合、投影部は、パターン生成部(不図示)と、投影光学系(不図示)と、を含む。
パターン生成部は、投影光学系が投影するパターン光を生成する。パターン光としては、例えば、明線で形成された明部と、暗線で形成された暗部とが交互に配置された周期的なラインパターン(ストライプパターン)を用いうる。撮像部は、光が投影された物体を撮像する。
撮像部は、光が投影された視野範囲111内の物体Wを撮像する。撮像部は、撮像光学系(不図示)と、撮像素子(不図示)とを含む。撮像部は、物体から反射された光を、撮像光学系を介して撮像素子で受光することにより画像を取得する。撮像素子は、CMOSやCCDなどの光センサを用いうる。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよい。
処理部120は、コンピュータおよび電気回路によって、本実施形態における計測装置100の主要なアルゴリズムの処理を実現する。処理部120は、撮像部により撮像された画像から、物体Wの正確な位置及び姿勢を求める処理を行う。処理部120は、画像格納部121と、演算部122と、記憶部123を含む。
画像格納部121は、画像取得部110により撮像された物体Wの画像を格納する。記憶部123は、後述する演算に関する設定情報を記憶する。記憶部123内には、本実施形態に係る計測方法をコンピュータに実行させるプログラムが記憶されうる。演算部122は、画像格納部121に格納された画像に対し、記憶部123に記憶された設定情報を用いて物体Wの位置及び姿勢を求める。
本実施形態において、演算部122は、物体Wの位置及び姿勢を求めるために、第1演算および第2演算からなる2種類の演算により画像を処理する。本実施形態では、第1演算は、物体Wの概略の位置及び姿勢の推定を行う。第2演算は、第1演算の結果(処理結果)を用いて、物体Wの具体的な位置及び姿勢を求める。その他、第1演算および第2演算で演算時間を異ならせる2種類の演算を行ってもよい。
第1演算は、例えば、後述する学習情報と、撮像部が取得した画像から求められる三次元情報との照合により推定される。第2演算は、物体Wあるいは物体Wの構成要素のモデル情報と撮像部が取得した画像から求められる三次元情報との照合により実行される。モデル情報の詳細については後述する。第2演算で照合を行う際の物体Wの初期位置は、第1演算の概略の位置及び姿勢結果を用いる。
図2は、被検物である物体Wの一例を示す図である。物体Wは、ハウジング部201と、複数の構成要素202〜205と、を有する。ハウジング部201は、樹脂をモールド成形することで作製されている。複数の構成要素202〜205は、ハウジング部201の表面に形成される。構成要素202は、星印で示され、構成要素203は、丸印で示され、構成要素204は、四角印で示され、構成要素205は、三角印で示される。本実施形態の計測方法は、複数の構成要素202〜205を用いて物体Wの計測を行う。詳細は後述する。
本実施形態において、複数の構成要素202〜205のそれぞれにおいて許容される製造精度が異なる。例えば、物体Wを他の物体と接続するときに、接続箇所となる構成要素を構成要素203および204とすると、構成要素203および204の製造精度は、構成要素202および205よりも高くなる。
本実施形態に係る計測方法では、画像取得部110が取得した画像中の物体Wを構成する第1部分(第1処理対象)に基づいて、物体Wの概略の位置及び姿勢の推定を行う。そして、推定の結果および第1処理対象に紐づいた複数の第2処理対象に基づいて画像における物体とモデル情報と照合する。複数の第2処理対象のそれぞれについて得られた照合の結果の比較を行い、物体Wの具体的な位置及び姿勢を決定する。なお、モデル情報との照合の際は、第2処理対象に含まれる輪郭の情報やハウジング部201の距離情報などを用いる。ここで、第1、2処理対象は共に、物体Wの一部(相対的に特徴的な部分)と解釈しても良いし、物体Wを撮影した画像の中の一部分(画像の一部に相当)と解釈しても良い。
(計測方法)
図3は、第1実施形態に係る計測方法を示すフローチャートである。各フローは、主に処理部120内の各部により実行される。ステップS301とステップS302〜S304とは、順不同である。すなわち、ステップS305の位置姿勢の算出の前までに実行していればよい。
まず、ステップS301において、記憶部123は、学習情報及びモデル情報を記憶する。学習情報は、事前に物体Wを複数の方向(撮像角度)から撮影した複数の画像を処理することで得られる情報である。モデル情報は、例えば、予め作成された物体WのCADモデルを用いて作成される。
(第1演算で用いる学習情報)
図4は、画像格納部121に格納される画像を説明する図である。格納される画像において、物体Wは、様々な写り方をしていることが想定される。本実施形態において、物体Wは、撮像部の視野範囲111に対して、倍程度の大きさであるとし、また物体Wの位置及び姿勢は不定性が高いものとする。
図4の(A)〜(C)は、視野範囲111と物体Wの相対関係の一例である。実際には、視野範囲と物体Wの大きさの相対関係は、物体Wの大きさ、計測装置100の仕様、あるいは、その撮像高さによっても変わる。また、物体Wの姿勢の不定性も図4に示すような例だけではなく、接地面と垂直方向の不定性を有することも往々にあることである。よって、物体Wのどの部分が、画像に映っているかは非常に多くのパターンが想定される。
本図で示すように、本実施形態における物体Wは、視野範囲より大きい為、その全体が視野範囲に収まることはない。画像格納部121に格納される画像には全体は写らず、最大でも物体Wの半分が写る程度である。したがって、第1演算では、物体Wの全体ではなく、画像に写っている部分に近しい部分から得られた学習情報を用いることが望ましい。
図3に戻り、ステップS302において、ユーザは、第1演算を行う第1処理対象を選択(決定)する。図5は、第1処理対象(推定対象)の一例を示す図である。本実施形態では、第1部分51および第1部分51とは異なる第2部分52を第1処理対象とする。選択した部分は、記憶部123に記憶される。選択する部分のいずれかは、物体Wの計測において、視野内に大部分が写っていることが期待されるものと想定される。
ステップS303において、ユーザは、第2処理対象を選択する。第2処理対象は、第1処理対象が含む構成要素を含んでいてもよいし、含んでいなくてもよい。本実施形態では、第2処理対象は、当該第2処理対象と紐づく第1処理対象に含まれる構成要素からなる。第2演算では、第1演算よりも高精度の計測を行うことが求められる。前述の通り第2演算は、物体Wのモデル情報と画像取得部110が取得した画像から求められる輪郭情報や三次元情報との照合により実行される。しかし、物体Wを構成する構成要素の製造精度が低い場合は、モデル情報との乖離が大きくなり第2演算の精度は劣化する。
よって、第2演算は物体Wのうち製造精度の高い構成要素について行うことが好ましい。本実施形態では、前述の通り、構成要素203および204の製造精度がその他の構成要素よりも高い。したがって、第2演算は、構成要素203または204に対し行うことが望ましい。ただし、構成要素203および204が画像に含まれない場合もありうるため、第2演算に用いる対象として、他の構成要素を選択しておく。選択された構成要素は、記憶部123に記憶される。
ステップS302で記憶された第1処理対象と、ステップS303で記憶された第2処理対象との関係の一例は、図6で示される。第1演算に用いられる第1処理対象と第2演算に用いられる第2処理対象を1セットとして、4セットの演算セットが記憶部123に記憶される。すなわち、第1部分51を用いて第1演算を行い、構成要素202または203を含む第2処理対象を用いて第2演算を行う2つのセットがある。また、第2部分52を用いて第1演算を行い、構成要素202または204を含む第2処理対象を用いて第2演算を行う2つのセットがある。各セットは、ステップS304において、設定情報として記憶される。ステップS304の後、ステップS305にて、位置姿勢の算出が行われる。
(位置姿勢の算出)
図7は、図3に示すステップS305の詳細を示すフローチャートである。まず、ステップS701において、使用者は記録部123から計測に用いる演算セットを選定する。ここでの選定は実計測時に想定される画像における物体Wの見えかたを基に、決定される。本実施例では図6に示す4セットの演算セットが選定されたとする。ステップS702において、画像取得部110は、物体Wの画像を取得し、画像格納部121に格納する。
演算部122は、ステップS701で取得した設定情報に基づいて、ステップS703において、第1演算を行い、続いてステップS704で第2演算を行う。なお、ステップS703とステップS704との間において、ステップS701で選定した演算セットのうち、どれをステップS704で用いるかを決定する工程を含んでもよい。すなわち、ステップS703の第1演算の結果に基づいてステップS704の第2演算に用いる部位を選択し、選択した部位を用いてステップS704の第2演算を行ってもよい。例えば、ステップS703の第1演算の結果から、第2部分52よりも第1部分51を用いた場合の方が位置および姿勢の推定精度が高いと判断した場合、第1部分51に紐づく第2処理対象の構成要素202および203を用いて第2演算を行う。
ステップS705において、演算部122は、第2演算により算出された、モデル情報と画像の合致性を表す、それぞれのスコア(照合の結果)などに基づいて物体Wの位置及び姿勢を決定する。本実施形態における設定によると構成要素202または203を用いて第2演算を行うため、照合の結果が2つになる。演算部122は、2つのうち、合致性の高い方を位置及び姿勢を決定するために用いる。
本実施形態の計測装置100によれば、第1演算を行う部分と第2演算を行う部分との組み合わせを柔軟に設定できる。したがって、計測装置100は、例えば、撮像された物体Wの部分によらず、計測可否及び計測精度の点で有利となる。また、演算時間や工数の観点でも有利となりうる。
(第2実施形態)
第1実施形態においては、第1演算で用いうる複数の部分間で、構成要素の重なりがないものとしていた。しかしながら、第1演算で用いうる複数の部分間において、共通の構成要素が含まれる場合もありうる。
例えば、図2に示す物体Wに対して、図8のように第1処理対象を、第1部分81、第2部分82および第3部分83の3種類で指定する場合を考える。図8に示すように、第1部分81は、構成要素202および203を含み、第2部分82は、第1部分81と共通の構成要素203および構成要素204、205を含む。第3部分83も同様に共通の構成要素を含む。
本実施形態では、第1処理対象のそれぞれが共通の第2処理対象を含むことを特徴とする。なお、装置構成および計測フローは、第1実施形態と同様である。
図9は、第1処理対象と第2処理対象との関係の一例を示す図である。第1演算に用いられる第1処理対象と第2演算に用いられる第2処理対象を1セットとして、6セットの演算セットが記憶部123に記憶される。すなわち、まず、第1部分81を用いて第1演算を行い、構成要素202または203を含む第2処理対象を用いて第2演算を行う2つのセットがある。また、第2部分82を用いて第1演算を行い、構成要素203または204を含む第2処理対象を用いて第2演算を行う2つのセットがある。さらに、第3部分83を用いて第1演算を行い、構成要素202または204を含む第2処理対象を用いて第2演算を行う2つのセットがある。本実施形態によっても、第1実施形態と同様の効果が得られる。
(第3実施形態)
第3実施形態に係る計測方法は、設定情報を記憶する方法に関して特徴を有する。本実施形態は、記憶部123に設定情報を記憶させる際に、例えば、第1処理対象と第2処理対象とを異なるタイミングで段階的に指定することを特徴とする。
図10は、第3実施形態に係る計測方法を用いる計測装置300の全体構成例を模式的に示す図及び処理部120の主要な構成を示すブロック図である。第1実施形態と同様の構成は同符号で示し、説明は省略する。本実施形態に係る計測装置300は、表示部301および入力部302を含む。
表示部301は、処理部120と接続される。入力部302は、表示部301と接続される。表示部301は、例えば、記憶部123に設定情報を記憶させるにあたり、必要な情報を表示する。ユーザは、入力部302により、その表示情報に対して指示を行う。表示部301は、入力部302からの出力に基づいて記憶部123へ設定情報を記憶させる。
図11は、表示部301による情報の表示方法の第1の例である。この例では、図9に示す設定情報を示す。図11に示すように指定する第1処理対象をチェックボックスにチェックを入力することで選択する。そして、第1処理対象に紐づく第2処理対象をチェックボックスにチェックを入力することで選択する。
表示部301の上段をみると、図9で示したように第1部分81を用いて第1演算を行い、構成要素202または203を含む第2処理対象を用いて第2演算を行う2つのセットは、図11の対応するチェックボックスにチェックを入れることで選択されている。表示部301の下段には、チェックの組み合わせに応じて、両演算で用いる部位の組み合わせが表示される。これにより、使用者は、所望の設定が出来ているかを確認出来る。
図12は、表示部301による情報の表示方法の第2の例である。図12に示すように、第1処理対象をプルダウンで指定して、そこで選択した部分に対して、第2処理対象を一覧で示し、チェックボックスで選択しても良い。図12の表示部301では、第1処理対象の選択結果を表示する領域と、第2処理対象の選択結果を表示する領域と、その組み合わせを表示する領域を同一画面上に表示しているため、表示スペースが削減される。
図13は、表示部301による情報の表示方法の第3の例である。図13に示すように、あるウィンドウで一つの演算セットを登録しておく。別のウィンドウで登録しておいた演算セットの組み合わせを設定することで、両演算を行う組み合わせの登録を行う。
図13の左に示すウィンドウは、演算セットを登録するためのウィンドウであり、プルダウンで推定対象を一つ選択後、照合対象のチェックボックスにチェックを入れ、登録ボタンを押下することで演算セットが登録される。登録された演算セットは図13の右に示すウィンドウに一覧で表示される。一覧で演算セットを一つ選択することで、それがどのようなセットであるかが演算セット情報の欄に示される。
また、一覧のチェックボックスにチェックを入れたセットは、演算組合わせの欄に、全ての組合わせが表示される。チェックを入れたセットは、実際に演算で用いられる演算セットであると設定され、これにより演算を行う組み合わせ(設定情報)が記憶される。
図13の表示部301を用いる場合、設定情報の決定の前に、予め第1演算に用いる部分と第2演算に用いる構成要素との組み合わせを設定しておけば、設定情報の決定の際は、第1演算に用いる部分を選択するのみで設定操作が完了する。すなわち、一度演算セットを登録しておけば、同一の被検物を異なる状況で計測の際に、演算セットの設定を再度行うことなく、指定することができる。
図14は、表示部301による情報の表示方法の第4の例である。図14で示す表示部301は、選択しうる第1処理対象と第2処理対象とをマトリックスで表示している。この表示方法によれば、一回の操作で設定情報の組み合わせを決定することができる。
図15は、表示部301による情報の表示方法の第5の例である。図15で示す表示部301は、選択しうる第1処理対象と第2処理対象とを2列に表示している。選択された設定情報の組み合わせは、実線で表示され、選択されていない組み合わせは点線で示される。この表示方法によれば、一画面で設定情報の組み合わせを決定することができる。
また、例えば、表示部301には、第1処理対象および第2処理対象が、物体Wのどの部分を示すかをCADデータで表示してもよいし、設定した条件により何回の演算が実行されるのかなどの付加情報を示してもよい。これらにより、使用者が設定する際の、利便性が向上する。
また、上記の画面が表示されるより前に、第1処理対象に紐づく第2処理対象をある程度選別しておき、第1処理対象が選択された際に前記の選別した第2処理対象を表示し、その中から登録を行ってもよい。図9の例でいえば、第1演算を第1部分81を用いて行った場合、構成要素204を含む第2処理対象を用いて第2演算を行うことは無いので、予め対象外構成要素として設定しておく。この場合、例えば、図12で示す表示部301において、第1部分81を選択した場合、構成要素202および203を含む第2処理対象のみが表示される。または、構成要素204を含む第2処理対象のチェックボックスが選択不可となる。これにより、明らかに不要な組み合わせが表示されることが無くなるので、誤ってそれらの組み合わせが設定されることを回避出来る。
なお、表示部101に示された情報に対する入力は、コマンドの電文などによりそれらを指定してもよい。
(物品製造方法に係る実施形態)
上述の計測装置は、ある支持部材に支持された状態で使用されうる。本実施形態では、一例として、図16のようにロボットアーム180(把持装置)に備え付けられて使用される制御システムについて説明する。計測装置100は、支持台Tに置かれた物体Wにパターン光を投影して撮像し、画像を取得する。そして、計測装置100の制御部(不図示)が、又は、計測装置100の制御部(不図示)から出力された画像データを取得したアーム制御部181が、物体の位置および姿勢を求め、求められた位置および姿勢の情報をアーム制御部181が取得する。アーム制御部181は、その位置および姿勢の情報(計測結果)に基づいて、ロボットアーム180に駆動指令を送ってロボットアーム180を制御する。ロボットアーム180は先端のロボットハンドなど(把持部)で物体Wを保持して、並進や回転などの移動をさせる。さらに、ロボットアーム180によって物体Wを他の部品に組み付ける(組立する)ことにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された物体Wを加工(処理)することにより、物品を製造することができる。アーム制御部181は、CPUなどの演算装置やメモリなどの記憶装置を有する。なお、ロボットを制御する制御部をアーム制御部181の外部に設けても良い。また、計測装置100により計測された計測データや得られた画像をディスプレイなどの表示部101に表示してもよい。
なお、本実施形態では、位置姿勢推定に用いられる複数の演算手法として精緻さの異なる演算としたが、これは計算速度の異なる演算であっても良い。また、第2演算において、異なる構成要素(例えば、構成要素203および204)を1組として選択してもよい。
(その他の実施形態)
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。
100 計測装置
110 画像取得部
120 処理部
121 画像格納部
122 演算部
123 記憶部

Claims (13)

  1. 物体を撮像して得た画像を用いて前記物体の位置および姿勢を計測する計測方法であって、
    前記画像を用いて第1処理対象を処理する第1演算工程と、
    前記第1演算工程における前記処理の結果を用いて前記第1処理対象に紐づく前記画像中の第2処理対象を処理する第2演算工程と、
    前記第2演算工程における前記処理の結果を用いて前記位置および姿勢を決定する決定工程と、を含み、
    前記第1処理対象には、複数の前記第2処理対象が紐づけられており、
    前記決定工程では、前記複数の前記第2処理対象のそれぞれについて得られた前記処理の結果に基づいて前記決定を行う、
    ことを特徴とする計測方法。
  2. 複数の前記第1処理対象のそれぞれが共通の前記第2処理対象を含むことを特徴とする請求項1に記載の計測方法。
  3. 前記第1演算工程は、前記第1処理対象に基づいて前記位置および姿勢を推定する工程であることを特徴とする請求項1または2に記載の計測方法。
  4. 前記推定の前に、前記物体を複数の撮像角度で撮像した複数の画像を得て、
    前記推定の際、前記複数の画像のうち、前記第1処理対象の少なくとも一部を含む画像から得られた情報を用いる、
    ことを特徴とする請求項3に記載の計測方法
  5. 前記第2演算工程は、前記推定の結果を用いて、前記物体のモデルと前記画像における前記物体とを照合する工程であることを特徴とする請求項3または4に記載の計測方法。
  6. 前記第1演算工程の前に、前記第1処理対象および前記第2処理対象を決定することを特徴とする請求項1乃至5のいずれか1項に記載の計測方法。
  7. 前記第1処理対象を決定した後に、前記第2処理対象を決定することを特徴とする請求項6に記載の計測方法。
  8. 前記第1演算工程の前に、前記第1処理対象と前記第2処理対象との組み合わせを設定し、
    前記第1処理対象を選択することで前記決定を行う、
    ことを特徴とする請求項6に記載の計測方法。
  9. 請求項1乃至8のいずれか1項に記載の計測方法をコンピュータに実行させるためのプログラム。
  10. 物体を撮像して得た画像を処理する処理部を有し、前記処理部が求めた情報に基づいて前記物体の位置および姿勢を計測する計測装置であって、
    前記処理部は、
    前記画像を用いて第1処理対象を処理し、
    前記第1処理対象についての処理結果を用いて前記第1処理対象に紐づく前記画像中の第2処理対象を処理し、
    前記第2処理対象についての処理結果を用いて前記位置および姿勢を決定し、
    前記第1処理対象には、複数の前記第2処理対象が紐づき、
    前記算出では、前記複数の前記第2処理対象のそれぞれについて得られた前記処理結果に基づいて前記決定をする、
    ことを特徴とする計測装置。
  11. 前記第1処理対象の選択結果を表示する領域と、
    前記第2処理対象の選択結果を表示する領域と、
    前記第1処理対象と前記第2処理対象との組み合わせを表示する領域と、
    を同一画面に有する表示部を有する、
    ことを特徴とする請求項10に記載の計測装置。
  12. 請求項10または11に記載の計測装置と、
    前記被検物を保持して移動させるロボットと、を有し、
    前記計測装置から出力された前記情報に基づいて、前記ロボットが前記被検物を保持する、ことを特徴とするシステム。
  13. 請求項10または11に記載の計測装置を用いて物体を計測する工程と、
    該計測結果に基づいて前記物体を処理することにより物品を製造する工程と、を有することを特徴とする物品の製造方法。
JP2017165323A 2017-08-30 2017-08-30 計測方法、プログラム、計測装置、システムおよび、物品の製造方法 Pending JP2019045177A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017165323A JP2019045177A (ja) 2017-08-30 2017-08-30 計測方法、プログラム、計測装置、システムおよび、物品の製造方法
US16/101,926 US20190061152A1 (en) 2017-08-30 2018-08-13 Measuring method, program, measuring apparatus and method of manufacturing article
CN201810977352.0A CN109425297A (zh) 2017-08-30 2018-08-27 测量方法、程序、测量装置和制造物品的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017165323A JP2019045177A (ja) 2017-08-30 2017-08-30 計測方法、プログラム、計測装置、システムおよび、物品の製造方法

Publications (1)

Publication Number Publication Date
JP2019045177A true JP2019045177A (ja) 2019-03-22

Family

ID=65436894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017165323A Pending JP2019045177A (ja) 2017-08-30 2017-08-30 計測方法、プログラム、計測装置、システムおよび、物品の製造方法

Country Status (3)

Country Link
US (1) US20190061152A1 (ja)
JP (1) JP2019045177A (ja)
CN (1) CN109425297A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277105B2 (ja) * 1995-09-08 2002-04-22 株式会社アイネス 部分立体モデルの作成方法及び装置
JP2000099738A (ja) * 1998-09-28 2000-04-07 Sony Corp 情報記録装置および方法、計測装置および方法、画像処理装置および方法、画像処理システム、並びに提供媒体
JP2004509346A (ja) * 2000-09-22 2004-03-25 ベルス・メステヒニーク・ゲーエムベーハー 座標測定装置によって測定対象物の幾何学的形状を測定する方法。
US7583852B2 (en) * 2004-10-26 2009-09-01 Mitutoyo Corporation Method of filtering an image for high precision machine vision metrology
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20100259537A1 (en) * 2007-10-12 2010-10-14 Mvtec Software Gmbh Computer vision cad models
CN101976341B (zh) * 2010-08-27 2013-08-07 中国科学院自动化研究所 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法

Also Published As

Publication number Publication date
US20190061152A1 (en) 2019-02-28
CN109425297A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
US9672630B2 (en) Contour line measurement apparatus and robot system
JP6396516B2 (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
JP6892286B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN106945035B (zh) 机器人控制设备及其控制方法和机器人系统
US20160104274A1 (en) Image-stitching for dimensioning
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
CN105426901B (zh) 用于对摄像头视野中的已知物体进行分类的方法
KR20200091298A (ko) 핸드 아이 캘리브레이션 방법 및 시스템
US11654571B2 (en) Three-dimensional data generation device and robot control system
CN103302666A (zh) 信息处理设备和信息处理方法
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
US11446822B2 (en) Simulation device that simulates operation of robot
US11590657B2 (en) Image processing device, control method thereof, and program storage medium
JP6758903B2 (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP2020075327A (ja) 制御システム
US20220215582A1 (en) Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device
CN113840695B (zh) 标定检验组件、机器人系统、检验方法和标定方法
KR20180017074A (ko) 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택
JP2012071394A (ja) シミュレーションシステムおよびそのためのシミュレーションプログラム
JP2020013548A (ja) 画像処理装置、画像処理方法、システム、物品の製造方法
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JP6425405B2 (ja) 情報処理装置、方法、プログラム
US20210042576A1 (en) Image processing system
US10967517B2 (en) Information processing apparatus, method, and storage medium for presenting information for calibration