CN107886494A - 检测方法和检测装置 - Google Patents

检测方法和检测装置 Download PDF

Info

Publication number
CN107886494A
CN107886494A CN201710908219.5A CN201710908219A CN107886494A CN 107886494 A CN107886494 A CN 107886494A CN 201710908219 A CN201710908219 A CN 201710908219A CN 107886494 A CN107886494 A CN 107886494A
Authority
CN
China
Prior art keywords
image
characteristic point
information
robot
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710908219.5A
Other languages
English (en)
Inventor
渡边淳
高桥祐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN107886494A publication Critical patent/CN107886494A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49302—Part, workpiece, code, tool identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种检测方法和检测装置。检测对象物(W)的三维位置的检测装置包括：特征点检测部，其在将机器人移动时依次拍摄到的多个图像中的连续或至少间隔一个地连续的两个图像作为第一图像和第二图像的情况下，检测包括第一图像内检测出的一个特征点的所述第二图像内的多个特征点；距离计算部，其计算第一图像的一个特征点与第二图像的多个特征点之间的距离；以及特征点确定部，其确定该距离最短的特征点。重复进行将多个图像中的连续或至少间隔一个地连续的接下来的两个图像作为第一图像和第二图像并确定距离最短的特征点的处理，由此追踪对象物的特征点。

Description

检测方法和检测装置
技术领域
本发明涉及一种用于在包括机器人和支承于该机器人的前端附近的摄像部的系统中检测对象物的三维位置的检测方法以及实施这样的检测方法的检测装置。
背景技术
为了使用机器人来准确地进行工件的输送或工件的加工等作业，需要准确地识别工件被载置的位置。因此，近年来进行着以下处理：使用摄像机等来以视觉方式识别工件的位置尤其是工件的三维位置。
在日本专利第3859371号公报、日本特开2012-192473号公报以及日本特开2004-90183号公报中公开了利用多个摄像机来求出工件等的三维位置。并且，日本特开2014-34075号公报和日本特开2009-241247号公报公开了使用具备多个镜头的摄像机来求出工件等的三维位置。
发明内容
然而，在前述的以往技术中，使用多个摄像机或多个镜头，因此存在结构变得复杂并且成本变高这样的问题。
另外，在立体摄像机中，将立体图像对(stereo pair)进行对应的处理成本最高。而且，在立体图像对的对应的质量低的情况下，立体摄像机的可靠性也下降。
本发明是鉴于这样的情况而完成的，其目的是提供一种不使用多个摄像机或多个镜头、能够抑制成本并且提高可靠性的、用于检测对象物的三维位置的检测方法以及实施这样的检测方法的检测装置。
为了实现前述的目的，根据第一发明，提供一种检测方法，用于在包括机器人和支承于该机器人的前端附近的摄像部的系统中检测包括一个或多个特征点的对象物的三维位置，在该检测方法中，在所述机器人移动时所述摄像部依次拍摄所述对象物的多个图像，在将所述多个图像中的连续或至少间隔一个地连续的两个图像设定为第一图像和第二图像的情况下，检测包括所述第一图像内检测出的一个特征点的所述第二图像内的多个特征点，计算所述第一图像中的所述一个特征点与所述第二图像中的所述多个特征点中的各个特征点之间的距离，确定该距离最短的特征点，重复进行将所述多个图像中的连续或至少间隔一个地连续的接下来的两个图像设定为第一图像和第二图像并确定所述距离最短的特征点的处理，由此追踪所述对象物的所述一个特征点。
根据附图所示的本发明的典型的实施方式的详细说明，本发明的这些目的、特征和优点以及其它目的、特征和优点会变得更加明确。
附图说明
图1是包括基于本发明的检测装置的系统的示意图。
图2是表示图1所示的检测装置的动作的流程图。
图3是表示图1所示的检测装置的动作的另一流程图。
图4是表示机器人和多个图像的图。
图5是表示第一图像和第二图像的图。
图6A是表示机器人和多个图像的另一图。
图6B是表示机器人和多个图像的又一图。
具体实施方式
下面，参照附图来说明本发明的实施方式。在下面的附图中，对同样的构件标注相同的参照标记。为了容易理解，这些附图适当变更了比例尺。
图1是包括基于本发明的检测装置的系统的示意图。如图1所示，系统1主要包括机器人10和对该机器人10进行控制的控制装置20。控制装置20还起到作为对对象物的三维位置进行检测的检测装置的作用。图1所示的机器人10为垂直多关节机器人，但也可以是其它方式的机器人。并且，在机器人10的前端或其附近支承有摄像机30。该摄像机30的位置姿势根据机器人10来决定。也可以使用其它方式的摄像部来代替摄像机30。
并且，图1中示出向对象物W、例如工件投射光点的投光器35。通过使用投光器35，摄像机30能够获取以鲜明的光点作为特征点的图像。因而，后述的图像处理部31能够良好地进行拍摄到的图像的图像处理。可以利用控制装置20来控制投光器35的位置姿势。另外，投光器35也可以安装于机器人10。
控制装置20是数字计算机，对机器人10进行控制，并且还起到作为对对象物W的三维位置进行检测的检测装置的作用。如图1所示，控制装置20包括图像存储部21，该图像存储部21用于存储机器人10移动时利用摄像机30依次拍摄到的对象物W的多个图像。
并且，控制装置20包括姿势信息存储部22，该姿势信息存储部22用于在将多个图像中的前阶段的连续的两个图像设为第一图像和第二图像的情况下存储拍摄到第一图像时的机器人的第一位置姿势信息，并且在将多个图像中的后阶段的两个图像设为第一图像和第二图像的情况下存储拍摄到第二图像时的所述机器人的第二位置姿势信息。并且，控制装置20包括位置信息存储部23，该位置信息存储部23存储多个图像中的连续的两个图像中的第一图像中检测出的一个特征点在摄像部坐标系中的第一位置信息，并且存储最后的两个图像中的第二图像中检测出的所述一个特征点在摄像部坐标系中的第二位置信息。另外，控制装置20包括图像处理部31，该图像处理部31对第一图像和第二图像等进行处理来检测特征点。
并且，控制装置20包括：视线信息计算部24，其使用机器人的第一位置姿势信息和一个特征点的第一位置信息来计算机器人坐标系中的一个特征点的第一视线信息，并且使用机器人的第二位置姿势信息和第二图像的所述一个特征点的第二位置信息来计算所述机器人坐标系中的所述特征点的第二视线信息；以及三维位置检测部25，其根据第一视线信息和第二视线信息的交点来检测对象物的三维位置。
此外，视线信息计算部24也能够分别计算至少三个特征点的第一视线信息和第二视线信息。另外，三维位置检测部25也能够根据计算出的第一视线信息与第二视线信息的各个交点来检测至少三个特征点各自的三维位置，由此检测包括至少三个特征点的工件的三维位置姿势。
并且，控制装置20包括：移动方向确定部26，其确定摄像机30通过机器人10的移动而移动的移动方向；特征点检测部27，其在将机器人移动时利用摄像部依次拍摄到的多个图像中的连续的两个图像设为第一图像和第二图像的情况下，检测第一图像内检测出的一个特征点以及包括第一图像内检测出的一个特征点的第二图像内的多个特征点；距离计算部28，其计算第一图像中的一个特征点与第二图像中的多个特征点中的各个特征点之间的距离；以及特征点确定部29，其确定该距离最短的特征点。
另外，图2和图3是表示图1所示的检测装置的动作的流程图，图4是表示机器人和多个图像的图。下面，参照图2至图4来说明基于本发明的检测装置的动作。此外，配置在规定位置的对象物W包括多个特征点、例如工件的开口部的中心、工件的角部分等。
而且，在步骤S11中，如图4所示，机器人10开始移动。然后，在步骤S12中，机器人10所具备的摄像机30拍摄关于对象物W的图像Ga。图像Ga被存储到图像存储部21中，并被设定为第一图像G1。
此外，参照图4可知，设为机器人10所具备的摄像机30对对象物W依次拍摄多个图像Ga～Gn(n为自然数)。在图4中，这些图像Ga～Gn与机器人的移动位置对应地表示在摄像机30内。
接着，在步骤S13中，特征点检测部27从第一图像G1检测一个特征点。在从第一图像G1检测出多个特征点的情况下，可以将任意的特征点、例如位于图像的中心的特征点设定为前述的一个特征点
在此，图5是表示第一图像和第二图像的图。在图5所示的第一图像G1中示出用黑圆点表示的多个特征点K1～K3。在图5中，将第一图像G1的位于比较靠中心的特征点K1设定为前述的一个特征点。
接着，在步骤S14中，继续移动的机器人10所具备的摄像机30拍摄关于对象物W的图像Gb。图像Gb被存储到图像存储部21中，并被设定为第二图像G2。换言之，将连续的两个图像Ga、Gb设定为第一图像G1和第二图像G2。
接着，在步骤S15中，特征点检测部27从第二图像G2检测多个特征点。特征点检测部27检测的第二图像G2的多个特征点需要包括前述的第一图像G1的一个特征点。
在图5的第二图像G2中示出与第一图像G1的特征点K1、K2对应的特征点K1’、K2’、以及第一图像G1中不包括的其它特征点K3’、K4’。并且，在第二图像G2中，在与第一图像G1的特征点K1对应的位置示出了特征点K1。
接着，在步骤S16中，距离计算部28计算第一图像G1中的一个特征点的位置与第二图像G2中的多个特征点中的各个特征点的位置之间的距离。也就是说，距离计算部28计算图5所示的特征点K1与特征点K1’～K3’中的各个特征点之间的距离。
接着，在步骤S17中，特征点确定部29确定距离最小的特征点。在图5中，可知特征点K1与特征点K1’之间的距离最小。因而，特征点确定部29将特征点K1’确定为距离最小的特征点。在这样的情况下，即使在机器人10高速地移动的情况下也能够容易地进行图像的对应并且求出对象物的三维位置。
之后，在步骤S18中，判定是否对期望的个数的图像实施了前述的处理。在该情况下，尚未对期望的图像实施前述的处理，因此将G2的特征点K1’作为第一图像的一个特征点K1来存储并返回到步骤S14。或者，也可以将第二图像作为第一图像来进行置换，并且将特征点K1’作为特征点K1来存储，并返回到步骤S14。期望的个数优选为2以上。在下面，将图4所示的多个图像中的连续的接下来的图像Gc设定为第二图像G2，重复进行前述的处理。
设为重复进行这样的处理直到期望的个数的图像全部被处理。由此，通过多个图像Ga～Gn来追踪特征点K。由于已知特征点K在对象物W中的位置，因此能够追踪对象物W。此外，在未图示的实施方式中，也可以在当机器人10移动时拍摄到期望的个数的图像之后进行前述的处理。
另外，在图4中，从多个图像Ga～Gn中的开头的一对图像起依次设定为第一图像G1和第二图像G2。然而，也可以以与图4所示不同的方式来设定第一图像G1和第二图像G2。
在此，图6A是表示机器人和多个图像的另一图。在图6A中，在步骤S12～S17的第一次处理时，将图像Gc、Gd设定为第一图像G1和第二图像G2。换言之，无需一定使用图像Ga、Gb。同样地，无需一定使用最后的连续的图像Gn-1、Gn，例如也可以将Gn-3和Gn-2作为最后的连续的图像。
另外，在图6B中，在第一次处理时，将连续的两个图像Ga、Gb设定为第一图像G1和第二图像G2。并且，在第二次处理时，将两个图像Gb、图像Gd设定为第一图像G1和第二图像G2。也就是说，不使用图像Gc。像这样，也能够省略多个图像中的一部分，在该情况下可知，能够使用间隔一个地连续的两个图像，由此能够缩短处理时间。
在下面，设为如参照图4那样设定第一图像G1和第二图像G2，来继续进行说明。参照图3，在步骤S19中，将拍摄到多个图像中的开头的两个图像Ga、Gb中的第一图像G1也就是图像Ga时的机器人10的第一位置姿势信息PR1存储到位置姿势信息存储部22。
接着，在步骤S20中，将拍摄到多个图像中的最后的两个图像G(n-1)、Gn中的第二图像G2也就是图像Gn时的机器人10的第二位置姿势信息PR2存储到位置姿势信息存储部22。如前述的那样，机器人10进行移动，因此第二位置姿势信息PR2与第一位置姿势信息PR1互不相同。
接着，在步骤S21中，将多个图像中的开头的两个图像Ga、Gb中的第一图像G1也就是图像Ga中的前述的一个特征点K1的第一位置信息PW1存储到位置信息存储部23。然后，在步骤S22中，将多个图像中的最后的两个图像G(n-1)、Gn中的第二图像G2也就是图像Gn的、前述的距离最短的特征点K1’的第二位置信息PW2存储到位置信息存储部23。
接着，在步骤S23中，视线信息计算部24基于第一位置姿势信息PR1和第一位置信息PW1来计算第一视线信息L1。同样地，视线信息计算部24基于第二位置姿势信息PR2和第二位置信息PW2来计算第二视线信息L2。根据图4可知，第一和第二视线信息L1、L2分别为从摄像机30延伸到对象物W的视线。这些第一和第二视线信息L1、L2在图5的第一图像G1和第二图像G2中表示为十字。
接着，在步骤S24中，三维位置检测部25根据第一和第二视线信息L1、L2的交点或近似交点来检测对象物W的三维位置。像这样，在本发明中，使用一边使机器人10移动一边连续地拍摄到的多个图像来追踪特征点，因此不用像以往技术那样将使用多个摄像机或多个镜头检测出的两个特征点进行对应，就能够检测对象物W的三维位置。因而，在本发明中，能够使系统1整体的结构单纯并且能够抑制成本。
即，能够在机器人10移动的期间追踪一个特征点，将第一图像G1和第二图像G2的对象物的特征点作为立体图像对来可靠地进行对应。
在本发明中，基于特征点的追踪来进行对应，因此即使在机器人10高速地移动时，通过连续并依次地进行图像的对应，能够无需在机器人10移动结束后分别检测第一图像G1和第二图像G2中的对象物的特征点来进行对应。另外，立体图像对的对应容易且可靠，因此相比于以往技术而言能够使可靠性提高。
另外，在具有多个特征点的工件中，存在以下工件：使用至少三个特征点的三维位置来决定该工件的三维位置姿势。在求这样的工件的三维位置姿势的情况下，首先特征点检测部27在第二图像G2内检测位于第一图像G1内的至少三个特征点。之后，能够与前述同样地用连续拍摄的多个图像追踪并检测三个特征点。
然后，视线信息计算部24分别计算至少三个特征点的第一视线信息和所述第二视线信息。并且，三维位置检测部25根据计算出的第一视线信息和第二视线信息的各个交点来检测至少三个特征点各自的三维位置。由此，三维位置检测部25能够检测工件的三维位置姿势。
本公开的方式
为了实现前述的目的，根据第一公开，提供一种检测方法，用于在包括机器人和支承于该机器人的前端附近的摄像部的系统中检测包括一个或多个特征点的对象物的三维位置，在该检测方法中，在所述机器人移动时所述摄像部依次拍摄所述对象物的多个图像，在将所述多个图像中的连续或至少间隔一个地连续的两个图像设定为第一图像和第二图像的情况下，检测包括所述第一图像内检测出的一个特征点的所述第二图像内的多个特征点，计算所述第一图像中的所述一个特征点与所述第二图像中的所述多个特征点中的各个特征点之间的距离，确定该距离最短的特征点，重复进行将所述多个图像中的连续或至少间隔一个地连续的接下来的两个图像设定为第一图像和第二图像并确定所述距离最短的特征点的处理，由此追踪所述对象物的所述一个特征点。
根据第二公开，在第一公开中，存储所述机器人的第一位置姿势信息，该第一位置姿势信息为拍摄到检测出所述特征点的多个图像中的前阶段的两个图像中的第一图像时的所述机器人的位置姿势信息，存储所述机器人的第二位置姿势信息，该第二位置姿势信息为拍摄到所述多个图像中的后阶段的两个图像中的第二图像时的所述机器人的位置姿势信息，存储所述第一图像中检测出的所述一个特征点在摄像部坐标系中的第一位置信息，存储所述第二图像中检测出的所述特征点在所述摄像部坐标系中的第二位置信息，使用所述机器人的所述第一位置姿势信息和所述一个特征点的所述第一位置信息来计算机器人坐标系中的所述一个特征点的第一视线信息，并且使用所述机器人的所述第二位置姿势信息和所述特征点的所述第二位置信息来计算所述机器人坐标系中的所述特征点的第二视线信息，根据所述第一视线信息和所述第二视线信息的交点来检测所述对象物的三维位置。
根据第三公开，在第二公开中，向所述对象物投射光点来作为特征点，从而易于检测。
根据第四公开，在第二公开中，所述对象物包括至少三个特征点，在所述第二图像内检测位于所述第一图像内的至少三个特征点，分别计算所述至少三个特征点的所述第一视线信息和所述第二视线信息，根据计算出的所述第一视线信息和所述第二视线信息的各个交点来检测所述至少三个特征点各自的三维位置，由此检测包括所述至少三个特征点的对象物的三维位置姿势。
根据第五公开，提供一种检测装置，在包括机器人和支承于该机器人的前端附近的摄像部的系统中检测包括一个或多个特征点的对象物的三维位置，在该检测装置中具备：特征点检测部，其在将所述机器人移动时利用所述摄像部依次拍摄到的所述对象物的多个图像中的连续或至少间隔一个地连续的两个图像设定为第一图像和第二图像的情况下，检测包括所述第一图像内检测出的一个特征点的所述第二图像内的多个特征点；距离计算部，其计算所述第一图像中的所述一个特征点与所述第二图像中的所述多个特征点中的各个特征点之间的距离；以及特征点确定部，其确定该距离最短的特征点，重复进行将所述多个图像中的连续或至少间隔一个地连续的接下来的两个图像设定为第一图像和第二图像并确定所述距离最短的特征点的处理，由此追踪所述对象物的所述一个特征点。
根据第六公开，在第五公开中，该检测装置具备：图像存储部，其存储所述机器人移动时利用所述摄像部依次拍摄到的所述对象物的多个图像；姿势信息存储部，其存储所述机器人的第一位置姿势信息并且存储所述机器人的第二位置姿势信息，所述第一位置姿势信息为拍摄到检测出所述特征点的多个图像中的前阶段的两个图像中的第一图像时的所述机器人的位置姿势信息，所述第二位置姿势信息为拍摄到所述多个图像中的后阶段的两个图像中的第二图像时的所述机器人的位置姿势信息；位置信息存储部，其存储所述第一图像中检测出的所述一个特征点在摄像部坐标系中的第一位置信息，并且存储所述第二图像中检测出的特征点在所述摄像部坐标系中的第二位置信息；视线信息计算部，其使用所述机器人的所述第一位置姿势信息和所述一个特征点的所述第一位置信息来计算机器人坐标系中的所述一个特征点的第一视线信息，并且使用所述机器人的所述第二位置姿势信息和所述一个特征点的所述第二位置信息来计算所述机器人坐标系中的所述一个特征点的第二视线信息；以及三维位置检测部，其根据所述第一视线信息和所述第二视线信息的交点来检测所述对象物的三维位置。
根据第七公开，在第六公开中，所述检测装置包括投光器，该投光器向所述对象物投射光点。
根据第八公开，在第六公开中，所述对象物包括至少三个特征点，并且，所述检测装置具备：特征点检测部，其在所述第二图像内检测位于所述第一图像内的至少三个特征点；视线信息计算部，其分别计算所述至少三个特征点的所述第一视线信息和所述第二视线信息；以及三维位置检测部，其根据计算出的所述第一视线信息和所述第二视线信息的各个交点来检测所述至少三个特征点各自的三维位置，由此检测包括所述至少三个特征点的对象物的三维位置姿势。
公开的效果
在第一和第五公开中，使用一边使机器人移动一边拍摄到的两个图像来追踪对象物，因此无需使用多个摄像部或多个镜头。因而，能够使系统整体的结构单纯并且能够抑制成本。
并且，关于在第一图像和第二图像中要作为立体图像对来进行对应的所述一个特征点，设定为机器人以所述第一图像的所述一个特征点与所述第二图像的特征点之间的距离最小的周期进行移动和拍摄，由此通过基于第一公开的方法能够可靠地追踪所述一个特征点，因此无需在机器人的移动操作之后进行对应。由此，例如在收纳有大量同一形状的部件的容器中，能够追踪某一个部件的一个例如孔这样的特征点，在移动的前阶段的第一图像和后阶段的第二图像中作为立体图像对准确无误地进行对应。另外，立体图像对的对应容易且可靠，因此相比于以往技术而言能够使可靠性提高，并且能够大幅缩短处理负担大的立体图像对的对应所花费的时间，并且能够实现装置的成本削减。
在第二和第六公开中，采用最小距离的特征点，因此即使在机器人高速地移动的情况下，也能够容易地进行图像的对应，并且能够求出对象物的三维位置。
在第三和第七公开中，能够获取以鲜明的光点作为特征点的图像，因此能够良好地进行图像处理。
在第四和第八公开中，能够通过对象物所具有的三个特征点的三维位置来检测对象物的三维位置姿势。
使用典型的实施方式来说明了本公开，但本领域技术人员应当能够理解，能够不脱离本公开的范围地进行前述的变更和各种其它变更、省略、追加。

Claims (8)

1.一种检测方法，用于在包括机器人和支承于该机器人的前端附近的摄像部的系统中检测包括一个或多个特征点的对象物的三维位置，在该检测方法中，在所述机器人移动时所述摄像部依次拍摄所述对象物的多个图像，
在将所述多个图像中的连续或至少间隔一个地连续的两个图像设定为第一图像和第二图像的情况下，检测包括所述第一图像内检测出的一个特征点的所述第二图像内的多个特征点，
计算所述第一图像中的所述一个特征点与所述第二图像中的所述多个特征点中的各个特征点之间的距离，
确定该距离最短的特征点，
重复进行将所述多个图像中的连续或至少间隔一个地连续的接下来的两个图像设定为第一图像和第二图像并确定所述距离最短的特征点的处理，由此追踪所述对象物的所述一个特征点。
2.根据权利要求1所述的检测方法，其特征在于，
存储所述机器人的第一位置姿势信息，该第一位置姿势信息为拍摄到所述多个图像中的检测出特征点的前阶段的两个图像中的第一图像时的所述机器人的位置姿势信息，
存储所述机器人的第二位置姿势信息，该第二位置姿势信息为拍摄到所述多个图像中的检测出特征点的后阶段的两个图像中的第二图像时的所述机器人的位置姿势信息，
存储所述第一图像中检测出的所述一个特征点在摄像部坐标系中的第一位置信息，
存储所述第二图像中检测出的所述一个特征点在所述摄像部坐标系中的第二位置信息，
使用所述机器人的所述第一位置姿势信息和所述一个特征点的所述第一位置信息来计算机器人坐标系中的所述一个特征点的第一视线信息，并且使用所述机器人的所述第二位置姿势信息和所述一个特征点的所述第二位置信息来计算所述机器人坐标系中的所述特征点的第二视线信息，
根据所述第一视线信息和所述第二视线信息的交点来检测所述对象物的三维位置。
3.根据权利要求2所述的检测方法，其特征在于，
将投射到所述对象物的光点作为特征点。
4.根据权利要求2所述的检测方法，其特征在于，
所述对象物包括至少三个特征点，
在所述第二图像内检测位于所述第一图像内的至少三个特征点，
分别计算所述至少三个特征点的所述第一视线信息和所述第二视线信息，
根据计算出的所述第一视线信息和所述第二视线信息的各个交点来检测所述至少三个特征点各自的三维位置，由此检测包括所述至少三个特征点的对象物的三维位置姿势。
5.一种检测装置，在包括机器人和支承于该机器人的前端附近的摄像部的系统中检测包括一个或多个特征点的对象物的三维位置，在该检测装置中具备：
特征点检测部，其在将所述机器人移动时利用所述摄像部依次拍摄到的所述对象物的多个图像中的连续或至少间隔一个地连续的两个图像设定为第一图像和第二图像的情况下，检测包括所述第一图像内检测出的一个特征点的所述第二图像内的多个特征点；
距离计算部，其计算所述第一图像中的所述一个特征点与所述第二图像中的所述多个特征点中的各个特征点之间的距离；以及
特征点确定部，其确定该距离最短的特征点，
所述检测装置重复进行将所述多个图像中的连续或至少间隔一个地连续的接下来的两个图像设定为第一图像和第二图像并确定所述距离最短的特征点的处理，由此追踪所述对象物的所述一个特征点。
6.根据权利要求5所述的检测装置，其特征在于，
该检测装置具备：
图像存储部，其存储所述机器人移动时利用所述摄像部依次拍摄到的所述对象物的多个图像；
姿势信息存储部，其存储所述机器人的第一位置姿势信息并且存储所述机器人的第二位置姿势信息，所述第一位置姿势信息为拍摄到所述多个图像中的检测出特征点的前阶段的两个图像中的第一图像时的所述机器人的位置姿势信息，所述第二位置姿势信息为拍摄到所述多个图像中的检测出特征点的后阶段的两个图像中的第二图像时的所述机器人的位置姿势信息；
位置信息存储部，其存储所述第一图像中检测出的所述一个特征点在摄像部坐标系中的第一位置信息，并且存储所述第二图像中检测出的所述一个特征点在所述摄像部坐标系中的第二位置信息；
视线信息计算部，其使用所述机器人的所述第一位置姿势信息和所述一个特征点的所述第一位置信息来计算机器人坐标系中的所述一个特征点的第一视线信息，并且使用所述机器人的所述第二位置姿势信息和所述一个特征点的所述第二位置信息来计算所述机器人坐标系中的所述一个特征点的第二视线信息；以及
三维位置检测部，其根据所述第一视线信息和所述第二视线信息的交点来检测所述对象物的三维位置。
7.根据权利要求6所述的检测装置，其特征在于，
所述检测装置包括投光器，以该投光器投射到所述对象物的光点作为特征点。
8.根据权利要求6所述的检测装置，其特征在于，
所述对象物包括至少三个特征点，
并且，所述检测装置具备：
特征点检测部，其在所述第二图像内检测位于所述第一图像内的至少三个特征点；
视线信息计算部，其分别计算所述至少三个特征点的所述第一视线信息和所述第二视线信息；以及
三维位置检测部，其根据计算出的所述第一视线信息和所述第二视线信息的各个交点来检测所述至少三个特征点各自的三维位置，
由此，所述检测装置检测包括所述至少三个特征点的对象物的三维位置姿势。
CN201710908219.5A 2016-09-30 2017-09-29 检测方法和检测装置 Pending CN107886494A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016194105A JP2018051728A (ja) 2016-09-30 2016-09-30 対象物の三次元位置を検出する検出方法および検出装置
JP2016-194105 2016-09-30

Publications (1)

Publication Number Publication Date
CN107886494A true CN107886494A (zh) 2018-04-06

Family

ID=61623725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710908219.5A Pending CN107886494A (zh) 2016-09-30 2017-09-29 检测方法和检测装置

Country Status (4)

Country Link
US (1) US20180095549A1 (zh)
JP (1) JP2018051728A (zh)
CN (1) CN107886494A (zh)
DE (1) DE102017122010A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109986541A (zh) * 2019-05-06 2019-07-09 深圳市恒晟智能技术有限公司 机械手

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9879976B2 (en) * 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10957068B2 (en) 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
CN108839018B (zh) * 2018-06-25 2021-08-24 盐城工学院 一种机器人控制操作方法及装置
CN111325712B (zh) * 2020-01-20 2024-01-23 北京百度网讯科技有限公司 用于检测图像有效性的方法及装置
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05126521A (ja) * 1991-11-08 1993-05-21 Toshiba Corp 遠隔操作マニピユレータ用位置測定装置
JPH07270137A (ja) * 1994-02-10 1995-10-20 Fanuc Ltd スポット光走査型３次元視覚センサ
JP3859371B2 (ja) 1998-09-25 2006-12-20 松下電工株式会社 ピッキング装置
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
JP4032603B2 (ja) * 2000-03-31 2008-01-16 コニカミノルタセンシング株式会社 ３次元計測装置
JP4672175B2 (ja) * 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP3556589B2 (ja) * 2000-09-20 2004-08-18 ファナック株式会社 位置姿勢認識装置
JP4004899B2 (ja) 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
JP4926826B2 (ja) * 2007-05-25 2012-05-09 キヤノン株式会社 情報処理方法および情報処理装置
JP2009241247A (ja) 2008-03-10 2009-10-22 Kyokko Denki Kk ステレオ画像型検出移動装置
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置
KR101033349B1 (ko) * 2009-03-24 2011-05-09 아주대학교산학협력단 안전모 착용 비전 감시 시스템 및 방법
JP5428639B2 (ja) * 2009-08-19 2014-02-26 株式会社デンソーウェーブ ロボットの制御装置及びロボットのティーチング方法
JP5544320B2 (ja) 2011-03-15 2014-07-09 西部電機株式会社 立体視ロボットピッキング装置
US8897543B1 (en) * 2012-05-18 2014-11-25 Google Inc. Bundle adjustment based on image capture intervals
CN103473757B (zh) * 2012-06-08 2016-05-25 株式会社理光 在视差图中的对象跟踪方法和系统
CN104395692B (zh) * 2012-06-29 2016-08-24 富士胶片株式会社 三维测定方法、装置、系统以及图像处理装置
JP6195333B2 (ja) 2012-08-08 2017-09-13 キヤノン株式会社 ロボット装置
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
JP6317618B2 (ja) * 2014-05-01 2018-04-25 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
US9602811B2 (en) * 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
JP2016070762A (ja) * 2014-09-29 2016-05-09 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
US10360469B2 (en) * 2015-01-15 2019-07-23 Samsung Electronics Co., Ltd. Registration method and apparatus for 3D image data
JP6635690B2 (ja) * 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109986541A (zh) * 2019-05-06 2019-07-09 深圳市恒晟智能技术有限公司 机械手

Also Published As

Publication number Publication date
US20180095549A1 (en) 2018-04-05
DE102017122010A1 (de) 2018-04-05
JP2018051728A (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
CN107886494A (zh) 检测方法和检测装置
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
CN110411476B (zh) 视觉惯性里程计标定适配及评价方法和系统
CN105812746B (zh) 一种目标检测方法及系统
CN110163889A (zh) 目标跟踪方法、目标跟踪装置、目标跟踪设备
US10782096B2 (en) Skeet and bird tracker
US9171379B2 (en) Hybrid precision tracking
KR101950359B1 (ko) 하이브리드 모션캡쳐 시스템의 위치 추정 방법
CN105459134A (zh) 检测对象物的三维位置的检测方法及检测装置
US20160180532A1 (en) System for identifying a position of impact of a weapon shot on a target
CN107122770A (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
JP2010256253A (ja) 三次元計測用画像撮影装置及びその方法
CN110245641A (zh) 一种目标追踪拍摄方法、装置、电子设备
CN113012224A (zh) 定位初始化方法和相关装置、设备、存储介质
WO2020014864A1 (zh) 位姿确定方法、设备、计算机可读存储介质
CN110580716A (zh) 一种深度信息采集方法、装置以及介质
JP2559939B2 (ja) ３次元情報入力装置
JP2020179441A (ja) 制御システム、情報処理装置および制御方法
CN109785357A (zh) 一种适用于战场环境的机器人智能化全景光电侦察的方法
CN110651274A (zh) 可移动平台的控制方法、装置和可移动平台
KR101775153B1 (ko) 표적 훈련 시스템 및 이를 이용한 표적 훈련 분석 방법
TWI502162B (zh) 雙影像導引追瞄之射擊系統與方法
JP6154759B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム
US9824455B1 (en) Detecting foreground regions in video frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180406