JP2016070762A - 対象物の三次元位置を検出する検出方法および検出装置 - Google Patents

対象物の三次元位置を検出する検出方法および検出装置 Download PDF

Info

Publication number
JP2016070762A
JP2016070762A JP2014199428A JP2014199428A JP2016070762A JP 2016070762 A JP2016070762 A JP 2016070762A JP 2014199428 A JP2014199428 A JP 2014199428A JP 2014199428 A JP2014199428 A JP 2014199428A JP 2016070762 A JP2016070762 A JP 2016070762A
Authority
JP
Japan
Prior art keywords
image
information
robot
line
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014199428A
Other languages
English (en)
Inventor
渡邉 淳
Atsushi Watanabe
淳 渡邉
祐輝 高橋
Yuki Takahashi
祐輝 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2014199428A priority Critical patent/JP2016070762A/ja
Priority to CN201510472438.4A priority patent/CN105459134A/zh
Priority to DE102015115943.0A priority patent/DE102015115943A1/de
Priority to US14/865,138 priority patent/US20160093053A1/en
Publication of JP2016070762A publication Critical patent/JP2016070762A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37555Camera detects orientation, position workpiece, points of workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40565Detect features of object, not position or orientation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40622Detect orientation of workpiece during movement of end effector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/30End effector
    • Y10S901/44End effector inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】複数のカメラおよびレンズを用いずに、費用を抑えつつ信頼性を向上させる三次元位置検出方法及び装置を提供する。【解決手段】対象物Wの三次元位置を検出する検出装置20は、ロボット10が移動している際に撮像された二つの画像を順次記憶する画像記憶部21と、各画像が撮像されたときのロボットの位置姿勢情報を記憶する位置姿勢情報記憶部22と、各画像から対象物を検出して対象物の位置情報を記憶する位置情報記憶部23と、各画像に対応するロボットの位置姿勢情報と対象物の位置情報とを用いてロボット座標系における対象物の視線情報をそれぞれ算出する視線情報算出部24と、視線情報の交点から対象物の三次元位置を検出する三次元位置検出部25とを含む。【選択図】図1

Description

本発明は、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、対象物の三次元位置を検出する検出方法および検出装置に関する。
ロボットを用いてワークの搬送またはワークの加工などの作業を正確に行うためには、ワークが載置されている位置を正確に認識することが必要とされる。このため、近年では、カメラ等を用いてワークの位置、特にワークの三次元位置を視覚的に認識することが行われている。
特許文献1、特許文献2および特許文献3においては、複数のカメラによりワークなどの三次元位置を求めることが開示されている。さらに、特許文献4および特許文献5は、複数のレンズを備えたカメラを用いてワークなどの三次元位置を求めることが開示されている。
特許第3859371号明細書 特開2012−192473号公報 特開2004−90183号公報 特開2014−34075号公報 特開2009−241247号公報
しかしながら、前述した従来技術においては、複数のカメラまたは複数のレンズを使用しているので、構造が複雑になると共に、コスト高になるという問題がある。
また、ステレオカメラにおいては、ステレオペアを対応付けするのに費用が最も必要とされる。そして、ステレオペアの対応付けの質が低い場合には、ステレオカメラの信頼性も低下する。
本発明はこのような事情に鑑みてなされたものであり、複数のカメラまたは複数のレンズを使用することなしに、コストを抑えつつ信頼性を向上させられる、対象物の三次元位置を検出する検出方法およびそのような方法を実施する検出装置を提供することを目的とする。
前述した目的を達成するために1番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、対象物の三次元位置を検出する検出方法において、前記ロボットが移動している際に前記撮像部が第一画像および第二画像を撮像し、前記第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、前記第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、前記第一画像から対象物を検出して撮像部座標系における前記対象物の第一位置情報を記憶し、前記第二画像から前記対象物を検出して前記撮像部座標系における前記対象物の第二位置情報を記憶し、前記ロボットの前記第一位置姿勢情報と前記対象物の前記第一位置情報とを用いてロボット座標系における前記対象物の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記対象物の前記第二位置情報とを用いて前記ロボット座標系における前記対象物の第二視線情報を算出し、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する検出方法が提供される。
2番目の発明によれば、1番目の発明において、前記第一画像内で検出した一つまたは複数の特徴点を含む前記第二画像内の一つまたは複数の特徴点を検出し、前記第一画像における前記一つまたは複数の複数の特徴点と前記第二画像における前記一つまたは複数の複数の特徴点との間のそれぞれの距離を算出し、該距離が最短である特徴点を前記対象物として決定する。
3番目の発明によれば、1番目または2番目の発明において、前記対象物にスポット光が投光される。
4番目の発明によれば、1番目または2番目の発明において、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、前記少なくとも三つの特徴点のそれぞれを前記対象物として前記第一視線情報および前記第二視線情報をそれぞれ算出し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含むワークの三次元位置姿勢を検出するようにした。
5番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、対象物の三次元位置を検出する検出装置において、前記ロボットが移動している際に前記撮像部により撮像された第一画像および第二画像を記憶する画像記憶部と、前記第一画像が撮像されたときの前記ロボットの第一位置姿勢情報および前記第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する位置姿勢情報記憶部と、前記第一画像から対象物を検出して撮像部座標系における前記対象物の第一位置情報を記憶すると共に、前記第二画像から前記対象物を検出して前記撮像部座標系における前記対象物の第二位置情報を記憶する位置情報記憶部と、前記ロボットの前記第一位置姿勢情報と前記対象物の前記第一位置情報とを用いてロボット座標系における前記対象物の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記対象物の前記第二位置情報とを用いて前記ロボット座標系における前記対象物の第二視線情報を算出する視線情報算出部と、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部とを具備する検出装置が提供される。
6番目の発明によれば、5番目の発明において、さらに、前記第一画像内に位置する一つまたは複数の特徴点を前記第二画像内に検出する特徴点検出部と、前記第一画像における前記一つまたは複数の特徴点と前記第二画像における前記一つまたは複数の複数の特徴点との間のそれぞれの距離を算出する距離算出部と、該距離が最短である特徴点を前記対象物として決定する対象物決定部とを具備する。
7番目の発明によれば、5番目または6番目の発明において、さらに、前記対象物にスポット光を投光する投光器を含む。
8番目の発明によれば、5番目または6番目の発明において、さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部を具備し、前記視線情報算出部は、前記少なくとも三つの特徴点のそれぞれを前記対象物として前記第一視線情報および前記第二視線情報をそれぞれ算出し、前記三次元位置検出部は、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含むワークの三次元位置姿勢を検出するようにした。
1番目および5番目の発明においては、ロボットを移動させながら撮像した二つの画像を使用しているので、複数の撮像部または複数のレンズを使用する必要がない。従って、システム全体の構成を単純にしつつコストを抑えることができる。
さらに、第一画像および第二画像は共通の対象物、例えば穴やコーナ部分などによって互いに対応付けられている。従って、第一画像および第二画像はステレオペアとして確実に対応付けされる。また、対象物に基づいて対応付けを行うので、ロボットが高速で移動するときにおいても、画像の対応付けを連続して順次行うことができる。つまり、ロボットの移動操作の後で、画像の対応付けを行う必要はない。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる。
2番目および6番目の発明においては、最小距離の特徴点を対象物として採用しているので、ロボットが高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求められる。
3番目および7番目の発明においては、鮮明な画像を取得できるので、画像処理を良好に行うことができる。
4番目および8番目の発明においては、ワークが有する三つの特徴点の三次元位置を通じて、ワークの三次元位置姿勢を検出できる。
添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。
本発明に基づく検出装置を含むシステムの略図である。 図1に示される検出装置の動作を示すフローチャートである。 ロボットおよびロボットの移動に対応した画像を示す図である。 ロボットおよび対応する画像を示す第一の図である。 ロボットおよび対応する画像を示す第二の図である。 ロボットおよび対応する画像を示す第三の図である。 ロボットおよび対応する画像を示す第四の図である。
以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図1は本発明に基づく検出装置を含むシステムの略図である。図1に示されるように、システム1は、ロボット10と、このロボット10を制御する制御装置20とを主に含んでいる。図1に示されるロボット10は垂直多関節ロボットであるが、他の形態のロボットであってもよい。さらに、ロボット10の先端にはカメラ30が支持されている。このカメラ30の位置姿勢はロボット10に応じて定まる。カメラ30の代わりに他の形態の撮像部を使用しても良い。
さらに、図1には、対象物Wにスポット光を投光する投光器35が示されている。投光器35を用いることによって、カメラ30は鮮明な画像を取得できる。従って、後述する画像処理部31は、撮像した画像の画像処理を良好に行うことができる。投光器35の位置姿勢が制御装置20によって制御されるようにしてもよい。また、投光器35はロボット10に取付けられていてもよい。
制御装置20はデジタルコンピュータであり、ロボット10を制御すると共に対象物Wの三次元位置を検出する検出装置としての役目も果たす。図1に示されるように、制御装置20は、ロボット10が移動している際にカメラ30により撮像された第一画像および第二画像を記憶する画像記憶部21を含んでいる。
さらに、制御装置20は、第一画像が撮像されたときのロボット10の第一位置姿勢情報および第二画像が撮像されたときのロボット10の第二位置姿勢情報を記憶する位置姿勢情報記憶部22と、第一画像から対象物Wを検出して撮像部座標系における対象物Wの第一位置情報を記憶すると共に、第二画像から対象物Wを検出して撮像部座標系における対象物Wの第二位置情報を記憶する位置情報記憶部23とを含んでいる。また、制御装置20は、第一画像および第二画像などを処理して対象物および/または特徴点を検出する画像処理部31を含んでいる。
さらに、制御装置20は、ロボット10の第一位置姿勢情報と対象物Wの第一位置情報とを用いてロボット座標系における対象物Wの第一視線情報を算出すると共に、ロボット10の第二位置姿勢情報と対象物Wの第二位置情報とを用いてロボット座標系における対象物Wの第二視線情報を算出する視線情報算出部24と、第一視線情報および第二視線情報の交点から対象物Wの三次元位置を検出する三次元位置検出部25とを含んでいる。
なお、視線情報算出部24は少なくとも三つの特徴点のそれぞれを対象物として第一視線情報および第二視線情報をそれぞれ算出することもできる。また、三次元位置検出部25は、算出された第一視線情報および第二視線情報のそれぞれの交点から少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、少なくとも三つの特徴点を含むワークの三次元位置姿勢を検出することもできる。
さらに、制御装置20は、ロボット10が移動することによってカメラ30が移動する移動方向を決定する移動方向決定部26と、第一画像内に位置する一つまたは複数の特徴点を第二画像内に検出する特徴点検出部27と、第一画像における一つまたは複数の特徴点と第二画像における一つまたは複数の複数の特徴点との間のそれぞれの距離を算出する距離算出部28と、前述した距離が最短である特徴点を対象物として決定する対象物決定部29とを含んでいる
ところで、図2は図1に示される検出装置の動作を示すフローチャートであり、図3はロボットおよびロボットの移動に対応した画像を示す図である。以下、図2および図3を参照しつつ、本発明に基づく検出装置の動作を説明する。ロボット10は所定のプログラムに従って移動しており、カメラ30は周期的に連続して対象物Wを撮像する。対象物Wは、例えばワークの開口部の中心、ワークのコーナ部分などである。
そして、図2のステップS11においては、ロボット10が移動している途中で、カメラ30が対象物Wについての第一画像V1を撮像する。図3の右方には第一画像V1が示されている。撮像された第一画像V1は画像記憶部21に記憶される。次いで、ステップS12においては、第一画像V1が撮像されたときのロボット10の第一位置姿勢情報PR1が位置姿勢情報記憶部22に記憶される。
次いで、ステップS13においては、第一画像V1内に対象物Wが存在しているか否かが判定される。図3においては、撮像部座標系における第一画像V1の左方部分に対象物Wが示されている。このような場合には、ステップS14に進んで、第一画像V1における対象物Wの第一位置情報PW1を位置情報記憶部23に記憶する。なお、第一画像V1に対象物Wが存在していない場合にはステップS11に戻る。
次いで、ステップS15においては、カメラ30が対象物Wについての第二画像V2を撮像する。図3の左方には第二画像V2が示されている。第一画像V1の撮像後もロボット10は移動し続けているので、第二画像V2は第一画像V1とは異なる。そして、撮像された第二画像V2は画像記憶部21に記憶される。次いで、ステップS16においては、第二画像V2が撮像されたときのロボット10の第二位置姿勢情報PR2が位置姿勢情報記憶部22に記憶される。前述したようにロボット10は移動しているので、第二位置姿勢情報PR2は第一位置姿勢情報PR1とは異なる。
図3においては、撮像部座標系における第二画像V2の右方部分に対象物Wが示されている。第二画像V2における対象物Wの第二位置情報PW2を位置情報記憶部23に記憶する(ステップS17)。図3から分かるように、第二画像V2における対象物Wの位置は、第一画像V1における対象物Wの位置に対して右方に移動している。言い換えれば、この場合には、カメラ30が移動していても、対象物Wはカメラ30の視野内にある。
次いで、ステップS18において、視線情報算出部24は、ロボット10の第一位置姿勢情報PR1および対象物Wの第一位置情報PW1に基づいて第一視線情報L1を算出する。同様に、視線情報算出部24は、ロボット10の第二位置姿勢情報PR2および対象物Wの第二位置情報PW2に基づいて第二視線情報L2を算出する。図3から分かるように、第一および第二視線情報L1、L2はカメラ30から対象物Wまでそれぞれ延びる視線である。これら第一および第二視線情報L1、L2は図3の第一画像V1および第二画像V2に十字で示されている。
次いで、ステップS19においては、三次元位置検出部25が第一および第二視線情報L1、L2の交点または近似交点から対象物Wの三次元位置を検出する。このように本発明では、ロボット10を移動させながら撮像した二つの画像V1、V2を使用しているので、従来技術のように複数のカメラまたは複数のレンズを使用することなしに、対象物Wの三次元位置を検出することができる。従って、本発明では、システム1全体の構成を単純にしつつコストを抑えることが可能である。
さらに、本発明において、第一画像V1および第二画像V2は共通の対象物W、例えば開口部の中心やコーナ部分などによって互いに対応付けられている。従って、共通の対象物Wに基づいて第一画像V1および第二画像V2をステレオペアとして確実に対応付けできる。このような対応付けは、画像記憶部21が行うようにしてもよい。
また、本発明では、対象物Wに基づいて対応付けを行うので、ロボット10が高速で移動するときにおいても、画像の対応付けを連続して順次行うことができる。つまり、ロボット10の移動操作の後で、画像の対応付けを行う必要はない。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる。
図4Aから図4Dはロボットおよび対応する画像を示す図である。これら図面には、連続して移動しているロボット10と、図4Aから図4Dのそれぞれにおけるロボット10の位置姿勢において順次撮像された画像とが示されている。さらに、これら図面の右方には、撮像された画像が部分的に拡大されて示されている。
そして、図4Aに示される位置姿勢のロボット10のカメラ30により撮像された画像が前述した第一画像V1であり、図4Dに示される位置姿勢のロボット10のカメラ30により撮像された画像が前述した第二画像V2であるものとする。さらに、図4Bおよび図4Cには、図4Aの状態から図4Dの状態までロボット10が移動する途中の状態が順次示されている。また、図4Bに示される画像を画像V1’、図4Cに示される画像を画像V1’’とする。
図4Aから図4Dには、複数の特徴点Wが予め定められた位置で配置されている。そして、撮像された画像V1、V1’、V1’’、V2は、これら複数の特徴点Wのうちの幾つかをそれぞれ含んでいる。
ここで、図4Aの第一画像V1に含まれる幾つかの特徴点Wのうちの一つの特徴点を対象物Waとする。図4Aから図4Dに示されるように、ロボット10がカメラ30を左方に移動させると、画像の撮像位置も、これに応じて左方に移動する。従って、図4Bに示される対象物Waは、図4Aにおける対象物Waに対応した位置Wa’から離間している。同様に、図4Cに示される対象物Waは、図4Bにおける対象物Waに対応した位置Wa’’から離間している。同様に、図4Dに示される対象物Waは、図4Cにおける対象物Waに対応した位置Wa’’‘から離間している。
このように第一画像V1と第二画像V2との間において一つまたは複数の画像V1’、V1’’が撮像されている場合には、連続する二つの画像において、画像V1‘での対象物位置Wa’’と画像内V1’’のそれzれの特徴点との距離が計算され、その内の距離の最短であるものが対象物Waと決定される。例えば図4Bに示される距離D1、図4Cに示される距離D2、および図4Dに示される距離D3が対象物Waを決定する最短距離である。この算出処理は、距離算出部28が行っても良い。
第一画像V1と第二画像V2の間において、連続した他の画像V1’,V1’’・・・を用いて一つの対象物Waを追跡しているので、複数の画像の間での対応付けを容易且つ確実に行うことができる。
対象物決定部29は、位置W0との距離が最小となる特徴点W3を対象物として決定してもよい。このような場合には、ロボット10が高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求めることができる。
図5Aおよび図5Bを参照して、位置W0と第二画像V2における特徴点W1〜W3のそれぞれとの間の距離を算出することを説明した。前述したように位置W0は前回撮影時の特徴点W1に対応した位置である。
この点に関し、前回撮影時の特徴点W2に対応した位置W0’を定め、距離算出部28が、位置W0’と第二画像V2における特徴点W1〜W3のそれぞれとの間の距離を算出してもよい。他の特徴点W3等についても同様である。つまり、距離算出部28は、前回撮像時の第一画像V1における複数の特徴点と第二画像V2における複数の特徴点との間のそれぞれの距離を算出してもよい。
そして、対象物決定部29は、最短である距離を有する特徴点またはこれらの距離のうち最短距離を有する特徴点を対象物として決定する。このように画像内の全ての特徴点についての距離を考慮することにより、さらに最適な対象物を決定できるのが分かるであろう。
ところで、複数の特徴点を有するワークにおいて、少なくとも三つの特徴点の三次元位置を用いて、該ワークの三次元位置姿勢が定まるワークが存在する。そのようなワークの三次元位置姿勢を求める場合には、はじめに特徴点検出部27が、第一画像V1内に位置する少なくとも三つの特徴点を第二画像V2内に検出する。
そして、視線情報算出部24が少なくとも三つの特徴点のそれぞれを対象物として第一視線情報および前記第二視線情報をそれぞれ算出する。さらに、三次元位置検出部25は、算出された第一視線情報および第二視線情報のそれぞれの交点から少なくとも三つの特徴点のそれぞれの三次元位置を検出する。これにより、三次元位置検出部25はワークの三次元位置姿勢を検出することができる。
典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
1 システム
10 ロボット
20 制御装置(検出装置)
21 画像記憶部
22 位置姿勢情報記憶部
23 位置情報記憶部
24 視線情報算出部
25 三次元位置検出部
26 移動方向決定部
27 特徴点検出部
28 距離算出部
29 対象物決定部
30 カメラ(撮像部)
31 画像処理部
35 投光器

Claims (8)

  1. ロボット(10)と、該ロボットの先端付近に支持された撮像部(30)と、を含むシステム(1)において、対象物の三次元位置を検出する検出方法において、
    前記ロボットが移動している際に前記撮像部が第一画像および第二画像を撮像し、
    前記第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、
    前記第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、
    前記第一画像から対象物を検出して撮像部座標系における前記対象物の第一位置情報を記憶し、
    前記第二画像から前記対象物を検出して前記撮像部座標系における前記対象物の第二位置情報を記憶し、
    前記ロボットの前記第一位置姿勢情報と前記対象物の前記第一位置情報とを用いてロボット座標系における前記対象物の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記対象物の前記第二位置情報とを用いて前記ロボット座標系における前記対象物の第二視線情報を算出し、
    前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する検出方法。
  2. 前記第一画像内で検出した一つまたは複数の特徴点を含む前記第二画像内の一つまたは複数の特徴点を検出し、
    前記第一画像における前記一つまたは複数の複数の特徴点と前記第二画像における前記一つまたは複数の複数の特徴点との間のそれぞれの距離を算出し、
    該距離が最短である特徴点を前記対象物として決定する、請求項1に記載の検出方法。
  3. 前記対象物にスポット光が投光される請求項1または2に記載の検出方法。
  4. 前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、
    前記少なくとも三つの特徴点のそれぞれを前記対象物として前記第一視線情報および前記第二視線情報をそれぞれ算出し、
    算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含むワークの三次元位置姿勢を検出するようにした、請求項1または2に記載の検出方法。
  5. ロボット(10)と、該ロボットの先端付近に支持された撮像部(30)と、を含むシステム(1)において、対象物の三次元位置を検出する検出装置(20)において、
    前記ロボットが移動している際に前記撮像部により撮像された第一画像および第二画像を記憶する画像記憶部(21)と、
    前記第一画像が撮像されたときの前記ロボットの第一位置姿勢情報および前記第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する位置姿勢情報記憶部(22)と、
    前記第一画像から対象物を検出して撮像部座標系における前記対象物の第一位置情報を記憶すると共に、前記第二画像から前記対象物を検出して前記撮像部座標系における前記対象物の第二位置情報を記憶する位置情報記憶部(23)と、
    前記ロボットの前記第一位置姿勢情報と前記対象物の前記第一位置情報とを用いてロボット座標系における前記対象物の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記対象物の前記第二位置情報とを用いて前記ロボット座標系における前記対象物の第二視線情報を算出する視線情報算出部(24)と、
    前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部(25)とを具備する検出装置。
  6. さらに、前記第一画像内に位置する一つまたは複数の特徴点を前記第二画像内に検出する特徴点検出部(27)と、
    前記第一画像における前記一つまたは複数の特徴点と前記第二画像における前記一つまたは複数の複数の特徴点との間のそれぞれの距離を算出する距離算出部(28)と、
    該距離が最短である特徴点を前記対象物として決定する対象物決定部(29)とを具備する、請求項5に記載の検出装置。
  7. さらに、前記対象物にスポット光を投光する投光器(35)を含む請求項5または6に記載の検出装置。
  8. さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部(27)を具備し、
    前記視線情報算出部は、前記少なくとも三つの特徴点のそれぞれを前記対象物として前記第一視線情報および前記第二視線情報をそれぞれ算出し、
    前記三次元位置検出部は、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含むワークの三次元位置姿勢を検出するようにした、請求項5または6に記載の検出装置。
JP2014199428A 2014-09-29 2014-09-29 対象物の三次元位置を検出する検出方法および検出装置 Pending JP2016070762A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014199428A JP2016070762A (ja) 2014-09-29 2014-09-29 対象物の三次元位置を検出する検出方法および検出装置
CN201510472438.4A CN105459134A (zh) 2014-09-29 2015-08-04 检测对象物的三维位置的检测方法及检测装置
DE102015115943.0A DE102015115943A1 (de) 2014-09-29 2015-09-22 Erkennungsverfahren und Erkennungsvorrichtung zum Erkennen der dreidimensionalen Position eines Objekts
US14/865,138 US20160093053A1 (en) 2014-09-29 2015-09-25 Detection method and detection apparatus for detecting three-dimensional position of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014199428A JP2016070762A (ja) 2014-09-29 2014-09-29 対象物の三次元位置を検出する検出方法および検出装置

Publications (1)

Publication Number Publication Date
JP2016070762A true JP2016070762A (ja) 2016-05-09

Family

ID=55485956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014199428A Pending JP2016070762A (ja) 2014-09-29 2014-09-29 対象物の三次元位置を検出する検出方法および検出装置

Country Status (4)

Country Link
US (1) US20160093053A1 (ja)
JP (1) JP2016070762A (ja)
CN (1) CN105459134A (ja)
DE (1) DE102015115943A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051728A (ja) * 2016-09-30 2018-04-05 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
WO2020105218A1 (ja) * 2018-11-19 2020-05-28 Dmg森精機株式会社 測定方法
JP2020126461A (ja) * 2019-02-05 2020-08-20 ファナック株式会社 機械制御装置
JP2020126460A (ja) * 2019-02-05 2020-08-20 ファナック株式会社 機械制御装置
WO2021149429A1 (ja) 2020-01-23 2021-07-29 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP2021115693A (ja) * 2020-01-23 2021-08-10 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
CN114083545A (zh) * 2022-01-24 2022-02-25 之江实验室 一种基于视觉感知的运动物体机器人抓取方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108044627B (zh) * 2017-12-29 2020-07-31 深圳市越疆科技有限公司 抓取位置的检测方法、装置及机械臂
JP7163115B2 (ja) * 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
US10954081B1 (en) * 2019-10-25 2021-03-23 Dexterity, Inc. Coordinating multiple robots to meet workflow and avoid conflict

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005201824A (ja) * 2004-01-16 2005-07-28 Fanuc Ltd 計測装置
JP2005257288A (ja) * 2004-03-09 2005-09-22 Matsushita Electric Ind Co Ltd 三次元計測カメラ装置
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4032603B2 (ja) * 2000-03-31 2008-01-16 コニカミノルタセンシング株式会社 3次元計測装置
JP3556589B2 (ja) * 2000-09-20 2004-08-18 ファナック株式会社 位置姿勢認識装置
JP4004899B2 (ja) 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
JP4926826B2 (ja) * 2007-05-25 2012-05-09 キヤノン株式会社 情報処理方法および情報処理装置
JP2009241247A (ja) 2008-03-10 2009-10-22 Kyokko Denki Kk ステレオ画像型検出移動装置
JP5699697B2 (ja) * 2011-03-07 2015-04-15 セイコーエプソン株式会社 ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP5544320B2 (ja) 2011-03-15 2014-07-09 西部電機株式会社 立体視ロボットピッキング装置
JP5715735B2 (ja) * 2012-06-29 2015-05-13 富士フイルム株式会社 3次元測定方法、装置、及びシステム、並びに画像処理装置
JP6195333B2 (ja) 2012-08-08 2017-09-13 キヤノン株式会社 ロボット装置
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005201824A (ja) * 2004-01-16 2005-07-28 Fanuc Ltd 計測装置
JP2005257288A (ja) * 2004-03-09 2005-09-22 Matsushita Electric Ind Co Ltd 三次元計測カメラ装置
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051728A (ja) * 2016-09-30 2018-04-05 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
WO2020105218A1 (ja) * 2018-11-19 2020-05-28 Dmg森精機株式会社 測定方法
JP2020082231A (ja) * 2018-11-19 2020-06-04 Dmg森精機株式会社 測定方法
JP2020126461A (ja) * 2019-02-05 2020-08-20 ファナック株式会社 機械制御装置
JP2020126460A (ja) * 2019-02-05 2020-08-20 ファナック株式会社 機械制御装置
WO2021149429A1 (ja) 2020-01-23 2021-07-29 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP2021115693A (ja) * 2020-01-23 2021-08-10 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP7454132B2 (ja) 2020-01-23 2024-03-22 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
US12097627B2 (en) 2020-01-23 2024-09-24 Omron Corporation Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system
CN114083545A (zh) * 2022-01-24 2022-02-25 之江实验室 一种基于视觉感知的运动物体机器人抓取方法及装置
CN114083545B (zh) * 2022-01-24 2022-07-01 之江实验室 一种基于视觉感知的运动物体机器人抓取方法及装置

Also Published As

Publication number Publication date
US20160093053A1 (en) 2016-03-31
DE102015115943A1 (de) 2016-03-31
CN105459134A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
JP2016070762A (ja) 対象物の三次元位置を検出する検出方法および検出装置
JP2018051728A (ja) 対象物の三次元位置を検出する検出方法および検出装置
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
WO2013061952A1 (ja) 円柱状物体の直径測定装置及び測定方法、測定プログラム
US10249058B2 (en) Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method
US20180231983A1 (en) Mobile unit control device and mobile unit
JP2014170368A (ja) 画像処理装置、方法及びプログラム並びに移動体
JP5703788B2 (ja) 撮像装置、画像処理装置、画像処理プログラム
JP4853444B2 (ja) 移動物体検出装置
JP2017090711A5 (ja)
JP2020075327A (ja) 制御システム
US11070719B2 (en) Image capture assist device and image capture assist method
JP2009177666A (ja) 追尾装置及び追尾方法
JP2017147689A (ja) 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
JP2018106611A5 (ja)
US20180354138A1 (en) System, method, and program for adjusting altitude of omnidirectional camera robot
JP2017184136A5 (ja)
US20230281857A1 (en) Detection device and detection method
JP6602089B2 (ja) 画像処理装置及びその制御方法
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle
JP2015230515A (ja) 被写体追尾装置およびカメラ
JP6528445B2 (ja) 自律移動体及び自律移動体の制御システム
JP2017092753A5 (ja)
JP6468755B2 (ja) 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160621