CN105459134A - 检测对象物的三维位置的检测方法及检测装置 - Google Patents

检测对象物的三维位置的检测方法及检测装置 Download PDF

Info

Publication number
CN105459134A
CN105459134A CN201510472438.4A CN201510472438A CN105459134A CN 105459134 A CN105459134 A CN 105459134A CN 201510472438 A CN201510472438 A CN 201510472438A CN 105459134 A CN105459134 A CN 105459134A
Authority
CN
China
Prior art keywords
mentioned
image
robot
information
sight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510472438.4A
Other languages
English (en)
Inventor
渡边淳
高桥佑辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN105459134A publication Critical patent/CN105459134A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40565—Detect features of object, not position or orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40622—Detect orientation of workpiece during movement of end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/44—End effector inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供检测对象物的三维位置的检测装置，其包含：图像存储部，依次存储当机器人移动时拍摄的两个图像；位置姿态信息存储部，存储拍摄各图像时的机器人的位置姿态信息；位置信息存储部，从各图像检测出对象物并存储对象物的位置信息；视线信息计算部，使用与各图像对应的机器人的位置姿态信息和对象物的位置信息分别计算出机器人坐标系中的对象物的视线信息；以及三维位置检测部，根据视线信息的交点检测对象物的三维位置。

Description

检测对象物的三维位置的检测方法及检测装置
技术领域
本发明涉及一种检测方法及检测装置，其在包含机器人以及被支撑在该机器人前端附近的摄像部的系统中检测对象物的三维位置。
背景技术
为了使用机器人准确地进行工件搬送或工件加工等作业，需要准确地识别载置工件的位置。因此，近年来使用摄像机等来视觉地识别工件位置、特别是工件的三维位置。
在日本专利第3859371号说明书、日本特开2012－192473号公报及日本特开2004－90183号公报中，公开了利用多个摄像机获取工件等的三维位置的方案。另外，日本特开2014－34075号公报及日本特开2009－241247号公报，公开了利用具备多个镜头的摄像机获取工件等的三维位置的方案。
但是在上述的现有技术中使用了多个摄像机或多个镜头，从而导致构造复杂且成本变高等问题。
并且，在立体摄像机中，为了使立体像对对应起来需要极高费用。并且，当立体像对的对应质量低时，立体摄像机的可靠性也会降低。
发明内容
本发明是针对这种情况而做出的，目的是提供一种检测对象物的三维位置的检测方法及实施该方法的检测装置，其避免使用多个摄像机或多个镜头而能够抑制成本且提高可靠性。
为了达成上述目的，根据第一方案，提供一种检测方法，其在包含机器人以及支撑在该机器人前端附近的摄像部的系统中检测对象物的三维位置，上述检测方法的特征在于，在上述机器人移动时上述摄像部拍摄第一图像以及第二图像，存储拍摄上述第一图像时的上述机器人的第一位置姿态信息，存储拍摄上述第二图像时的上述机器人的第二位置姿态信息，从上述第一图像检测出对象物并存储摄像部坐标系中的上述对象物的第一位置信息，从上述第二图像检测出上述对象物并存储上述摄像部坐标系中的上述对象物的第二位置信息，使用上述机器人的上述第一位置姿态信息和上述对象物的上述第一位置信息，计算出机器人坐标系中的上述对象物的第一视线信息，并且使用上述机器人的上述第二位置姿态信息和上述对象物的上述第二位置信息，计算出上述机器人坐标系中的上述对象物的第二视线信息，根据上述第一视线信息以及上述第二视线信息的交点检测上述对象物的三维位置。
根据第二方案，在第一方案的检测方法中，其特征在于，检测包含上述第一图像内检测出的一个或多个特征点的上述第二图像内的一个或多个特征点，计算出上述第一图像中的上述一个或多个特征点与上述第二图像中的上述一个或多个特征点之间的各个距离，将该距离最短的特征点确定为上述对象物。
根据第三方案，在第一方案或第二方案的检测方法中，其特征在于，向上述对象物投射点光源光线。
根据第四方案，在第一方案或第二方案的检测方法中，其特征在于，在上述第二图像内检测位于上述第一图像内的至少三个特征点，将上述至少三个特征点分别作为上述对象物，分别计算出上述第一视线信息以及上述第二视线信息，根据计算出的上述第一视线信息以及上述第二视线信息的各个交点检测上述至少三个特征点各自的三维位置，由此检测包含上述至少三个特征点的工件的三维位置姿态。
根据第五方案，提供一种检测装置，其在包含机器人以及支撑在该机器人前端附近的摄像部的系统中检测对象物的三维位置，其特征在于，具备：图像存储部，其存储当上述机器人移动时由上述摄像部拍摄的第一图像以及第二图像；位置姿态信息存储部，其存储拍摄上述第一图像时的上述机器人的第一位置姿态信息以及拍摄上述第二图像时的上述机器人的第二位置姿态信息；位置信息存储部，其从上述第一图像检测出对象物并存储摄像部坐标系中的上述对象物的第一位置信息，并且从上述第二图像检测出上述对象物并存储上述摄像部坐标系中的上述对象物的第二位置信息；视线信息计算部，其使用上述机器人的上述第一位置姿态信息和上述对象物的上述第一位置信息，计算出机器人坐标系中的上述对象物的第一视线信息，并且使用上述机器人的上述第二位置姿态信息和上述对象物的上述第二位置信息，计算出上述机器人坐标系中的上述对象物的第二视线信息；以及三维位置检测部，其根据上述第一视线信息以及上述第二视线信息的交点检测上述对象物的三维位置。
根据第六方案，在第五方案的检测装置中，其特征在于，还具备：特征点检测部，其在上述第二图像内检测位于上述第一图像内的一个或多个特征点；距离计算部，其计算出上述第一图像中的上述一个或多个特征点与上述第二图像中的上述一个或多个特征点之间的各个距离；以及对象物确定部，其将该距离最短的特征点确定为上述对象物。
根据第七方案，在第五方案或第六方案的检测装置中，其特征在于，还包含向上述对象物投射点光源光线的投光器。
根据第八方案，在第五方案或第六方案的检测装置中，其特征在于，还具备在上述第二图像内检测位于上述第一图像内的至少三个特征点的特征点检测部，上述视线信息计算部将上述至少三个特征点分别作为上述对象物，分别计算出上述第一视线信息以及上述第二视线信息，上述三维位置检测部根据计算出的上述第一视线信息以及上述第二视线信息的各个交点检测上述至少三个特征点各自的三维位置，由此检测包含上述至少三个特征点的工件的三维位置姿态。
根据附图所示的本发明的典型实施方式的详细说明，可以进一步了解本发明的这些目的、特征及优点和其它目的、特征及优点。
附图说明
图1是包含本发明的检测装置的系统的简图。
图2是表示图1所示的检测装置的动作的流程图。
图3是表示机器人及与机器人的移动对应的图像的图。
图4A是表示机器人及对应图像的第一图。
图4B是表示机器人及对应图像的第二图。
图4C是表示机器人及对应图像的第三图。
图4D是表示机器人及对应图像的第四图。
具体实施方式
以下参照附图对本发明的实施方式进行说明。在以下的附图中对相同的部件标记相同的参考符号。为了容易理解，这些附图适当地变更比例尺。
图1是包含本发明的检测装置的系统的简图。如图1所示，系统1主要包含机器人10以及控制该机器人10的控制装置20。图1所示的机器人10是垂直多关节机器人，但是也可以是其它形态的机器人。另外，在机器人10的前端支撑有摄像机30。该摄像机30的位置姿态根据机器人10来决定。也可以取代摄像机30而使用其它形态的摄像部。
另外，图1示出向对象物W投射点光源光线的投光器35。通过使用投光器35，摄像机30能够取得清晰的图像。因此，后述的图像处理部31能够良好地进行所拍摄的图像的图像处理。投光器35的位置姿态也可以由控制装置20控制。并且，投光器35也可以安装于机器人10。
控制装置20是数字计算机，用作控制机器人10并且检测对象物W的三维位置的检测装置。如图1所示，控制装置20包含图像存储部21，其存储当机器人10移动时由摄像机30拍摄的第一图像及第二图像。
另外，控制装置20包含：位置姿态信息存储部22，存储拍摄第一图像时的机器人10的第一位置姿态信息及拍摄第二图像时的机器人10的第二位置姿态信息；以及位置信息存储部23，从第一图像检测出对象物W并存储摄像部坐标系中的对象物W的第一位置信息，并且从第二图像检测出对象物W并存储摄像部坐标系中的对象物W的第二位置信息。另外，控制装置20包含图像处理部31，该图像处理部31对第一图像及第二图像等进行处理并检测对象物及/或特征点。
另外，控制装置20包含：视线信息计算部24，使用机器人10的第一位置姿态信息和对象物W的第一位置信息，计算机器人坐标系中的对象物W的第一视线信息，并且使用机器人10的第二位置姿态信息和对象物W的第二位置信息，计算机器人坐标系中的对象物W的第二视线信息；以及三维位置检测部25，根据第一视线信息及第二视线信息的交点检测对象物W的三维位置。
另外，视线信息计算部24还能够将至少三个特征点分别作为对象物，而分别计算第一视线信息及第二视线信息。并且，三维位置检测部25还能够根据计算出的第一视线信息及第二视线信息的各个交点检测至少三个特征点各自的三维位置，由此检测工件的包含至少三个特征点的三维位置姿态。
另外，控制装置20包含：移动方向确定部26，确定摄像机30随机器人10的移动而移动的移动方向；特征点检测部27，在第二图像内检测位于第一图像内的一个或多个特征点；距离计算部28，计算第一图像中的一个或多个特征点与第二图像中的一个或多个特征点之间的各个距离；以及对象物确定部29，将上述距离最短的特征点确定为对象物。
另外，图2是表示图1所示的检测装置的动作的流程图，图3是表示机器人及与机器人的移动对应的图像的图。以下参照图2及图3对本发明的检测装置的动作进行说明。机器人10按照规定的程序移动，摄像机30周期性地连续拍摄对象物W。对象物W例如是工件的开口部的中心、工件的角部等。
然后，在图2的步骤S11中，在机器人10移动的途中，摄像机30拍摄关于对象物W的第一图像V1。在图3中右侧示出了第一图像V1。拍摄的第一图像V1被存储在图像存储部21中。接下来，在步骤S12中，拍摄第一图像V1时的机器人10的第一位置姿态信息PR1被存储在位置姿态信息存储部22中。
接下来，在步骤S13中判定第一图像V1内是否存在对象物W。在图3中，在摄像部坐标系中的第一图像V1的左侧部分示出了对象物W。在这种情况下，进入步骤S14，将第一图像V1中的对象物W的第一位置信息PW1存储于位置信息存储部23。并且，在第一图像V1中不存在对象物W的情况下返回步骤S11。
接下来，在步骤S15中，摄像机30拍摄关于对象物W的第二图像V2。在图3中左侧示出了第二图像V2。由于在拍摄第一图像V1之后机器人10继续移动，因此第二图像V2与第一图像V1不同。并且，拍摄的第二图像V2被存储在图像存储部21中。接下来，在步骤S16中，拍摄第二图像V2时的机器人10的第二位置姿态信息PR2被存储在位置姿态信息存储部22中。由于如上所述机器人10正在移动，因此第二位置姿态信息PR2与第一位置姿态信息PR1不同。
在图3中，在摄像部坐标系中的第二图像V2的右侧部分示出了对象物W。将第二图像V2中的对象物W的第二位置信息PW2存储于位置信息存储部23(步骤S17)。由图3可知，第二图像V2中的对象物W的位置，相对于第一图像V1中的对象物W的位置向右侧移动。换言之，在这种情况下，即使摄像机30移动，对象物W也处在摄像机30的视野内。
接下来，在步骤S18中，视线信息计算部24基于机器人10的第一位置姿态信息PR1及对象物W的第一位置信息PW1计算第一视线信息L1。同样地，视线信息计算部24基于机器人10的第二位置姿态信息PR2及对象物W的第二位置信息PW2计算第二视线信息L2。由图3可知，第一及第二视线信息L1、L2是分别从摄像机30延伸至对象物W的视线。这些第一及第二视线信息L1、L2以十字表示在图3的第一图像V1及第二图像V2中。
接下来，在步骤S19中，三维位置检测部25根据第一及第二视线信息L1、L2的交点或近似交点检测对象物W的三维位置。这样在本发明中使用边使机器人10移动边拍摄的二个图像V1、V2，因此不必如现有技术那样使用多个摄像机或多个镜头，便能够检测对象物W的三维位置。因此，在本发明中能够简化系统1整体的结构并抑制成本。
并且在本发明中，第一图像V1及第二图像V2利用共通的对象物W、例如开口部的中心或角部等而彼此对应起来。因此，能够基于共通的对象物W使第一图像V1及第二图像V2作为立体像对确实地对应起来。这种对应也可以由图像存储部21来进行。
并且在本发明中基于对象物W进行对应，因此即使在机器人10高速移动时，也能够连续地依次进行图像的对应。即，在机器人10的移动操作后，不必进行图像的对应。并且，立体像对的对应容易且可靠，因此与现有技术相比能够提高可靠性。
图4A至图4D是表示机器人及对应图像的图。在这些图中示出了连续地移动的机器人10、以及在图4A至图4D各自中的机器人10的位置姿态下依次拍摄的图像。另外，在这些图中的右侧局部放大表示了拍摄的图像。
并且，由图4A所示的位置姿态的机器人10的摄像机30拍摄的图像是上述第一图像V1，由图4D所示的位置姿态的机器人10的摄像机30拍摄的图像是上述第二图像V2。另外，在图4B及图4C中依次表示了机器人10从图4A的状态移动至图4D的状态的途中的状态。并且，将图4B所示的图像作为图像V1’，将图4C所示的图像作为图像V1”。
在图4A至图4D中，多个特征点W配置在预先决定的位置上。并且，拍摄的图像V1、V1’、V1”、V2分别包含上述多个特征点W中的若干个。
这里，将图4A的第一图像V1所含的若干个特征点W中的一个特征点作为对象物Wa。如图4A至图4D所示，如果机器人10使摄像机30向左侧移动，则图像的拍摄位置也会相应地向左侧移动。因此，图4B所示的对象物Wa从与图4A中的对象物Wa对应的位置Wa’离开。同样地，图4C所示的对象物Wa从与图4B中的对象物Wa对应的位置Wa”离开。同样地，图4D所示的对象物Wa从与图4C中的对象物Wa对应的位置Wa”’离开。
这样在第一图像V1与第二图像V2之间拍摄了一个或多个图像V1’、V1”的情况下，在连续的二个图像中，计算图像V1’中的对象物位置Wa’与图像V1”内的各特征点的距离，将其中距离最短者确定为对象物Wa。例如图4B所示的距离D1、图4C所示的距离D2以及图4D所示的距离D3是确定对象物Wa的最短距离。该计算处理也可以由距离计算部28来进行。
在第一图像V1与第二图像V2之间，使用连续的其它图像V1’、V1”···追踪一个对象物Wa，因此能够容易且确实地进行多个图像之间的对应。
对象物确定部29也可以将与位置W0的距离最小的特征点W3确定为对象物。在这种情况下，即使在机器人10高速移动的情况下，也能够容易进行图像的对应，并求出对象物的三维位置。
参照图4A及图4B，对计算位置W0与第二图像V2中的特征点W1～W3各自之间的距离的情况进行说明。如上所述，位置W0是与前次拍摄时的特征点W1对应的位置。
关于该点，也可以确定与前次拍摄时的特征点W2对应的位置W0’，且距离计算部28计算出位置W0’与第二图像V2中的特征点W1～W3各自之间的距离。对于其它特征点W3等也是同样的。即，距离计算部28也可以计算出前次拍摄时的第一图像V1中的多个特征点与第二图像V2中的多个特征点之间的各个距离。
并且，对象物确定部29将具有最短距离的特征点或具有这些距离中的最短距离的特征点确定为对象物。通过这样考虑关于图像内全部特征点的距离，可知能够确定更加适当的对象物。
可是，在具有多个特征点的工件中存在使用至少三个特征点的三维位置来确定该工件的三维位置姿态的工件。在获取这种工件的三维位置姿态的情况下，首先特征点检测部27在第二图像V2内检测位于第一图像V1内的至少三个特征点。
并且，视线信息计算部24将至少三个特征点分别作为对象物，分别计算第一视线信息及上述第二视线信息。另外，三维位置检测部25根据计算出的第一视线信息及第二视线信息的各个交点检测至少三个特征点各自的三维位置。由此，三维位置检测部25能够检测工件的三维位置姿态。
发明的效果
在第一及第五方案中，使用了边使机器人移动边拍摄的二个图像，因此不必使用多个摄像部或多个镜头。因此，能够简化系统整体的结构并抑制成本。
另外，第一图像及第二图像利用共通的对象物、例如孔或角部等彼此对应起来。因此，第一图像及第二图像作为立体像对确实地对应起来。并且，因为基于对象物进行对应，所以即使在机器人高速移动时，也能够连续地依次进行图像的对应。即，在机器人的移动操作后，不必进行图像的对应。并且，立体像对的对应容易且确实，因此与现有技术相比能够提高可靠性。
在第二及第六方案中，作为对象物采用最小距离的特征点，因此即使在机器人高速移动的情况下，也容易进行图像的对应，并求出对象物的三维位置。
在第三及第七方案中，能够取得清晰的图像，因此能够良好地进行图像处理。
在第四及第八方案中，能够通过工件具有的三个特征点的三维位置，检测工件的三维位置姿态。
虽然使用典型的实施方式对本发明进行了说明，但是应当可以理解只要是本领域人员即可在不脱离本发明范围的前提下，进行上述变更以及各种其它变更、省略、追加。

Claims (8)

1.一种检测方法，其在包含机器人以及支撑在该机器人前端附近的摄像部的系统中检测对象物的三维位置，上述检测方法的特征在于，
在上述机器人移动时上述摄像部拍摄第一图像以及第二图像，
存储拍摄上述第一图像时的上述机器人的第一位置姿态信息，
存储拍摄上述第二图像时的上述机器人的第二位置姿态信息，
从上述第一图像检测出对象物并存储摄像部坐标系中的上述对象物的第一位置信息，
从上述第二图像检测出上述对象物并存储上述摄像部坐标系中的上述对象物的第二位置信息，
使用上述机器人的上述第一位置姿态信息和上述对象物的上述第一位置信息，计算出机器人坐标系中的上述对象物的第一视线信息，并且使用上述机器人的上述第二位置姿态信息和上述对象物的上述第二位置信息，计算出上述机器人坐标系中的上述对象物的第二视线信息，
根据上述第一视线信息以及上述第二视线信息的交点检测上述对象物的三维位置。
2.根据权利要求1所述的检测方法，其特征在于，
检测包含上述第一图像内检测出的一个或多个特征点的上述第二图像内的一个或多个特征点，
计算出上述第一图像中的上述一个或多个特征点与上述第二图像中的上述一个或多个特征点之间的各个距离，
将该距离最短的特征点确定为上述对象物。
3.根据权利要求1或2所述的检测方法，其特征在于，
向上述对象物投射点光源光线。
4.根据权利要求1或2所述的检测方法，其特征在于，
在上述第二图像内检测位于上述第一图像内的至少三个特征点，
将上述至少三个特征点分别作为上述对象物，分别计算出上述第一视线信息以及上述第二视线信息，
根据计算出的上述第一视线信息以及上述第二视线信息的各个交点检测上述至少三个特征点各自的三维位置，由此检测包含上述至少三个特征点的工件的三维位置姿态。
5.一种检测装置，其在包含机器人以及支撑在该机器人前端附近的摄像部的系统中检测对象物的三维位置，其特征在于，具备：
图像存储部，其存储当上述机器人移动时由上述摄像部拍摄的第一图像以及第二图像；
位置姿态信息存储部，其存储拍摄上述第一图像时的上述机器人的第一位置姿态信息以及拍摄上述第二图像时的上述机器人的第二位置姿态信息；
位置信息存储部，其从上述第一图像检测出对象物并存储摄像部坐标系中的上述对象物的第一位置信息，并且从上述第二图像检测出上述对象物并存储上述摄像部坐标系中的上述对象物的第二位置信息；
视线信息计算部，其使用上述机器人的上述第一位置姿态信息和上述对象物的上述第一位置信息，计算出机器人坐标系中的上述对象物的第一视线信息，并且使用上述机器人的上述第二位置姿态信息和上述对象物的上述第二位置信息，计算出上述机器人坐标系中的上述对象物的第二视线信息；以及
三维位置检测部，其根据上述第一视线信息以及上述第二视线信息的交点检测上述对象物的三维位置。
6.根据权利要求5所述的检测装置，其特征在于，还具备：
特征点检测部，其在上述第二图像内检测位于上述第一图像内的一个或多个特征点；
距离计算部，其计算出上述第一图像中的上述一个或多个特征点与上述第二图像中的上述一个或多个特征点之间的各个距离；以及
对象物确定部，其将该距离最短的特征点确定为上述对象物。
7.根据权利要求5或6所述的检测装置，其特征在于，还包含向上述对象物投射点光源光线的投光器。
8.根据权利要求5或6所述的检测装置，其特征在于，
还具备在上述第二图像内检测位于上述第一图像内的至少三个特征点的特征点检测部，
上述视线信息计算部将上述至少三个特征点分别作为上述对象物，分别计算出上述第一视线信息以及上述第二视线信息，
上述三维位置检测部根据计算出的上述第一视线信息以及上述第二视线信息的各个交点检测上述至少三个特征点各自的三维位置，由此检测包含上述至少三个特征点的工件的三维位置姿态。
CN201510472438.4A 2014-09-29 2015-08-04 检测对象物的三维位置的检测方法及检测装置 Pending CN105459134A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014199428A JP2016070762A (ja) 2014-09-29 2014-09-29 対象物の三次元位置を検出する検出方法および検出装置
JP2014-199428 2014-09-29

Publications (1)

Publication Number Publication Date
CN105459134A true CN105459134A (zh) 2016-04-06

Family

ID=55485956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510472438.4A Pending CN105459134A (zh) 2014-09-29 2015-08-04 检测对象物的三维位置的检测方法及检测装置

Country Status (4)

Country Link
US (1) US20160093053A1 (zh)
JP (1) JP2016070762A (zh)
CN (1) CN105459134A (zh)
DE (1) DE102015115943A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108044627A (zh) * 2017-12-29 2018-05-18 深圳市越疆科技有限公司 抓取位置的检测方法、装置及机械臂
CN111522299A (zh) * 2019-02-05 2020-08-11 发那科株式会社 机械控制装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051728A (ja) * 2016-09-30 2018-04-05 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
JP7163115B2 (ja) * 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
JP6757391B2 (ja) * 2018-11-19 2020-09-16 Dmg森精機株式会社 測定方法
JP6892461B2 (ja) * 2019-02-05 2021-06-23 ファナック株式会社 機械制御装置
US20230030852A1 (en) * 2020-01-23 2023-02-02 Omron Corporation Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system
JP7454132B2 (ja) 2020-01-23 2024-03-22 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
CN114083545B (zh) * 2022-01-24 2022-07-01 之江实验室 一种基于视觉感知的运动物体机器人抓取方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4032603B2 (ja) * 2000-03-31 2008-01-16 コニカミノルタセンシング株式会社 ３次元計測装置
JP3556589B2 (ja) * 2000-09-20 2004-08-18 ファナック株式会社 位置姿勢認識装置
JP4004899B2 (ja) 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
JP2005257288A (ja) * 2004-03-09 2005-09-22 Matsushita Electric Ind Co Ltd 三次元計測カメラ装置
JP4926826B2 (ja) * 2007-05-25 2012-05-09 キヤノン株式会社 情報処理方法および情報処理装置
JP2009241247A (ja) 2008-03-10 2009-10-22 Kyokko Denki Kk ステレオ画像型検出移動装置
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置
JP5699697B2 (ja) * 2011-03-07 2015-04-15 セイコーエプソン株式会社 ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP5544320B2 (ja) 2011-03-15 2014-07-09 西部電機株式会社 立体視ロボットピッキング装置
JP5715735B2 (ja) * 2012-06-29 2015-05-13 富士フイルム株式会社 ３次元測定方法、装置、及びシステム、並びに画像処理装置
JP6195333B2 (ja) 2012-08-08 2017-09-13 キヤノン株式会社 ロボット装置
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108044627A (zh) * 2017-12-29 2018-05-18 深圳市越疆科技有限公司 抓取位置的检测方法、装置及机械臂
CN108044627B (zh) * 2017-12-29 2020-07-31 深圳市越疆科技有限公司 抓取位置的检测方法、装置及机械臂
CN111522299A (zh) * 2019-02-05 2020-08-11 发那科株式会社 机械控制装置
CN111522299B (zh) * 2019-02-05 2023-10-27 发那科株式会社 机械控制装置

Also Published As

Publication number Publication date
US20160093053A1 (en) 2016-03-31
DE102015115943A1 (de) 2016-03-31
JP2016070762A (ja) 2016-05-09

Similar Documents

Publication Publication Date Title
CN105459134A (zh) 检测对象物的三维位置的检测方法及检测装置
US10275649B2 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN103154666B (zh) 距离测量装置以及环境地图生成装置
GB2593029A (en) Tracking vehicles in a warehouse environment
US20180095549A1 (en) Detection method and detection apparatus for detecting three-dimensional position of object
KR101532320B1 (ko) 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법
KR20150144730A (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
EP1729260A2 (en) Behaviour detection
EP2756482B1 (en) Resolving homography decomposition ambiguity based on orientation sensors
JPWO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
US20140294246A1 (en) Movement distance estimating device and movement distance estimating method
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
RU2015119032A (ru) Способ обработки данных о местоположении
GB2552058A (en) Method and device for processing image data and driver assistance system for a vehicle
US20160366342A1 (en) Method for tracking at least one object and method for replacing at least one object by a virtual object in a moving image signal recorded by a camera
CN101802738A (zh) 用来检测环境的系统
KR20140054710A (ko) 3차원 지도 생성 장치 및 3차원 지도 생성 방법
CN108027230A (zh) 信息处理设备、信息处理方法和程序
JP5086824B2 (ja) 追尾装置及び追尾方法
WO2014067684A1 (en) Method to enhance underwater localization
JP2014170368A (ja) 画像処理装置、方法及びプログラム並びに移動体
CN107735826B (zh) 信号机检测装置及信号机检测方法
CN110914867A (zh) 位姿确定方法、设备、计算机可读存储介质
CN105335934B (zh) 视差图计算方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160406

WD01 Invention patent application deemed withdrawn after publication