CN111195897A - 用于机械手臂系统的校正方法及装置 - Google Patents

用于机械手臂系统的校正方法及装置 Download PDF

Info

Publication number
CN111195897A
CN111195897A CN201811530966.0A CN201811530966A CN111195897A CN 111195897 A CN111195897 A CN 111195897A CN 201811530966 A CN201811530966 A CN 201811530966A CN 111195897 A CN111195897 A CN 111195897A
Authority
CN
China
Prior art keywords
dimensional
relative relationship
point cloud
plane
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811530966.0A
Other languages
English (en)
Other versions
CN111195897B (zh
Inventor
黄捷
郑宇群
郑宪君
高彩龄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN111195897A publication Critical patent/CN111195897A/zh
Application granted granted Critical
Publication of CN111195897B publication Critical patent/CN111195897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40594—Two range sensors for recognizing 3-D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提出一种用于机械手臂系统的校正方法，用于一计算装置中，包括：接收由一视觉装置捕获固定于一机械手臂一前端上的一校正对象的一图像，其中上述机械手臂的一基座具有一基座坐标系，且上述机械手臂的上述前端与上述基座具有一第一相对关系，上述机械手臂的上述前端与上述校正对象具有一第二相对关系；根据上述图像取得上述校正对象的一三维特征数据；以及根据上述三维特征数据、上述第一相对关系及上述第二相对关系计算取得上述视觉装置与上述机械手臂的上述基座之间的一第三相对关系，以校正上述机械手臂与上述视觉装置的误差。

Description

用于机械手臂系统的校正方法及装置
技术领域
本公开有关于校正方法及装置，特别是有关于一种用于机械手臂系统的校正方法及装置。
背景技术
随着工业生产技术的快速发展，工厂自动化利用机械手臂的视觉装置定位工件的位置和姿态，引导机械手臂自动精准地抓取工件，进行组装制造，以提高精密快速生产的效率。而影响机械手臂自动精确移动的主要关键在于引导的视觉装置，利用视觉装置校正机械手臂减少引导误差，成为机械手臂重要的课题。
使用视觉装置来测量工件姿态的显著缺点在于，视觉装置通常相对于视觉装置的坐标系测量工件姿态，而机械手臂相对于机械手臂的坐标系移动机械手臂前端的执行器。如在本文中所使用的，术语「姿态」说明性地指三维位置和三维旋转的组合。因此，必须将视觉装置计算的工件姿态转换成机械手臂的坐标系以使机械手臂利用视觉装置计算工件姿态。
然而，校正视觉装置的坐标系和机械手臂的坐标系之间的关系目前皆有校正时间过长且精确度不高的问题。有鉴于此，本发明提出一种用于机械手臂系统的校正方法及装置，以提升校正效率并改善机械手臂的定位精确度。
发明内容
以下公开的内容仅为示例性的，且不旨在以任何方式加以限制。除所述说明方面、实施方式和特征之外，通过参照附图和下述具体实施方式，其他方面、实施方式和特征也将显而易见。即，以下公开的内容被提供以介绍概念、重点、益处及本文所描述新颖且非显而易见的技术优势。所选择，非所有的，实施例将进一步详细描述如下。因此，以下公开的内容并不意旨在所要求保护主题的必要特征，也不意旨在决定所要求保护主题的范围中使用。
因此，本发明的主要目的即在于提供一种用于机械手臂系统的校正方法及装置，以改善上述缺点。
本公开提出一种用于机械手臂系统的校正方法，上述机械手臂系统包括一机械手臂、一校正对象、一视觉装置和一计算装置，上述校正方法包括：通过上述视觉装置捕获固定于上述机械手臂一前端上的上述校正对象的一图像，其中上述机械手臂的一基座具有一基座坐标系，且上述机械手臂的上述前端与上述基座具有一第一相对关系，上述机械手臂的上述前端与上述校正对象具有一第二相对关系；通过上述视觉装置计算装置接收上述图像，并根据上述图像取得上述校正对象的一三维特征数据；以及通过上述计算装置根据上述三维特征数据、上述第一相对关系及上述第二相对关系计算取得上述视觉装置与上述机械手臂的上述基座之间的一第三相对关系，以校正上述机械手臂与上述视觉装置的误差。
本公开提出一种机械手臂系统，包括：一校正对象；一机械手臂，其中上述校正对象固定于上述机械手臂的一前端上；一视觉装置，捕获上述校正对象的一图像；以及一计算装置，耦接于上述机械手臂及上述视觉装置；其中上述机械手臂的一基座具有一基座坐标系，且上述机械手臂的上述前端与上述基座具有一第一相对关系，上述机械手臂的上述前端与上述校正对象具有一第二相对关系；上述计算装置由上述视觉装置接收上述图像，并根据上述图像取得上述校正对象的一三维特征数据；以及上述计算装置根据上述三维特征数据、上述第一相对关系及上述第二相对关系计算取得上述视觉装置与上述机械手臂的上述基座之间的一第三相对关系，以校正上述机械手臂与上述视觉装置的误差。
本公开提出一种用于机械手臂系统的校正方法，用于一计算装置中，包括：接收由一视觉装置捕获固定于一机械手臂一前端上的一校正对象的一图像，其中上述机械手臂的一基座具有一基座坐标系，且上述机械手臂的上述前端与上述基座具有一第一相对关系，上述机械手臂的上述前端与上述校正对象具有一第二相对关系；根据上述图像取得上述校正对象的一三维特征数据；以及根据上述三维特征数据、上述第一相对关系及上述第二相对关系计算取得上述视觉装置与上述机械手臂的上述基座之间的一第三相对关系，以校正上述机械手臂与上述视觉装置的误差。
附图说明
附图被包括以提供本公开进一步理解且被合并并组成本公开的一部分。附图说明本公开的实施例且连同描述一起用以解释本公开的原理。其可理解附图不一定按比例描绘，一些组件可以超过在实际实施方式的大小来显示，以清楚地说明本公开的概念。
图1依据本发明的一实施例实现机械手臂系统的系统配置图。
图2显示根据本公开一实施例所述的用于机械手臂系统的校正方法的流程图。
图3显示根据本公开一实施例所述的用于机械手臂系统的校正方法的流程图。
图4A显示根据本公开一实施例的由点云基元所组成的图像示意图。
图4B显示根据本公开一实施例的图像中目标点的示意图。
图5A显示根据本公开一实施例的计算装置取得图像中所有目标点的示意图。
图5B显示根据本公开一实施例的计算装置将点云信息分组的示意图。
图5C显示根据本公开一实施例的平面的示意图。
图6A～6B显示根据本公开一实施例的计算装置校正机械手臂与视觉装置的误差的示意图。
图7显示用以实现本发明实施例的示例性操作环境。
具体实施方式
在下文中将参考附图对本公开的各方面进行更充分的描述。然而，本公开可以具体化成许多不同形式且不应解释为局限于贯穿本公开所呈现的任何特定结构或功能。相反地，提供这些方面将使得本公开周全且完整，并且本公开将给本领域技术人员充分地传达本公开的范围。基于本文所教导的内容，本领域的技术人员应意识到，无论是单独还是结合本公开的任何其它方面实现本文所公开的任何方面，本公开的范围旨在涵盖本文中所公开的任何方面。例如，可以使用本文所提出任意数量的装置或者执行方法来实现。另外，除了本文所提出本公开的多个方面之外，本公开的范围还旨在涵盖使用其它结构、功能或结构和功能来实现的装置或方法。应可理解，其可通过权利要求的一或多个组件具体化本文所公开的任何方面。
词语「示例性」在本文中用于表示「用作示例、实例或说明」。本公开的任何方面或本文描述为「示例性」的设计不一定被解释为优选于或优于本公开或设计的其他方面。此外，相同的数字在所有若干图标中指示相同的组件，且除非在描述中另有指定，冠词「一」和「上述」包含复数的参考。
可以理解，当组件被称为被「连接」或「耦接」至另一组件时，该组件可被直接地连接到或耦接至另一组件或者可存在中间组件。相反地，当该组件被称为被「直接连接」或「直接耦接」至到另一组件时，则不存在中间组件。用于描述组件之间的关系的其他词语应以类似方式被解释(例如，「在…之间」与「直接在…之间」、「相邻」与「直接相邻」等方式)。
说明性地，机械手臂前端是能够抓放工件的可控制机器，并且可包括例如机械夹具、真空吸引器、电磁触点等。—般地，如本文中所使用的，机械手臂基座和前端的组合被称为机械手臂。可由用于执行操作的机械手臂访问的三维区域被称为机械手臂的工作空间。
图1依据本发明的一实施例实现一机械手臂系统100的一系统配置图。在图1中，机械手臂系统100包括一机械手臂120、一视觉装置130和一计算装置140。机械手臂120具有一前端122、一末端124及多个关节126。末端124设置在一基座150之上。前端122能随用户的需求，装配功能性组件例如激光、点胶头、焊接、切割、夹取等组件。在此实施例中，一校正对象110固定于机械手臂120的前端122上，其中校正对象110是一三维对象，且不具有任何定位标记。关节126能提供机械手臂120旋转动作，并且作为机械手臂120力臂之间的连接。随着各种机械手臂的设计，可能有不同数量的关节与力臂，并不限制于本实施例中。基座150为一可旋转的底座或一固定的底座。
视觉装置130可捕捉机械手臂120工作空间的图像，其中每一图像数据包括2D像素数组及每一像素的深度值，上述深度值对应于由该像素成像的点至视觉装置130的距离。由于在2D像素数组中像素的垂直位置和水平位置本身对应于像素相对于视觉装置130所表示点的天顶角和方位角，因此每一图像可通过对应视觉装置130范围内对象的可视点的三维点云来表示。在一实施例中，视觉装置130可以是任何市售的可捕获深度图像的深度摄影机或设备。
计算装置140可以有线或无线方式连接至机械手臂120及视觉装置130，并且包含处理器及可以存储程序的一内存，用来控制机械手臂120的动作以及控制并接收视觉装置130所捕获的图像。计算装置140的类型范围从小型手持装置(例如，移动电话/便携计算机)到大型主机系统(例如大型计算机)。便携计算机的示例包括个人数字助理(PDA)、笔记本电脑等装置。
应可理解，图1所示的计算装置140是一机械手臂系统100架构的示例。图1所示的每个组件可经由任何类型的计算装置来实现，像是参考图7描述的计算装置700，如图7所示。
图2显示根据本公开一实施例所述的用于机械手臂系统100的校正方法200的流程图。此方法可执行于如图1所示的机械手臂系统100中。
在步骤S205中，视觉装置130捕获固定于机械手臂120一前端上的校正对象110的图像，其中机械手臂120的基座150具有基座坐标系，且机械手臂120的前端与基座150具有一第一相对关系，机械手臂120的前端与校正对象110具有一第二相对关系。在一实施例中，校正对象110是一三维对象，且不具有任何定位标记。
接着，在步骤S210中，计算装置140接收上述图像，并根据图像取得校正对象110的三维特征数据。在步骤S215中，计算装置140根据上述三维特征数据、上述第一相对关系及上述第二相对关系计算取得上述视觉装置130与上述机械手臂120的上述基座150之间的一第三相对关系，以校正机械手臂120与视觉装置130的误差。
图3显示根据本公开一实施例所述的用于机械手臂系统100的校正方法300的流程图。此方法可执行于如图1所示的计算装置140的处理器中。
在步骤S305中，计算装置140接收由一视觉装置130捕获固定于一机械手臂120一前端122上的一校正对象110的图像，其中机械手臂120的一基座150具有一基座坐标系，且机械手臂120的前端122与基座150具有一第一相对关系，机械手臂120的前端122与校正对象110具有一第二相对关系。接着，在步骤S310中，计算装置140根据上述图像取得校正对象110的三维特征数据。在步骤S315中，计算装置140根据三维特征数据、第一相对关系及第二相对关系计算取得视觉装置130与机械手臂120的基座150之间的一第三相对关系，以校正机械手臂120与视觉装置130的误差。
需注意的是，在图2、3的校正方法200及300中，机械手臂120前端122与校正对象110为固定的。换言之，机械手臂120前端122无须移动校正对象110来进行校正。此外，由于机械手臂120前端122与校正对象110为固定的，因此视觉装置130也无须由多个方位视角取得校正对象110的图像。下方将详细说明在步骤S210及S310中计算装置140如何根据图像取得校正对象110的三维特征数据。
首先，计算装置140根据图像取得图像中校正对象110的点云信息。接着，计算装置140比较每一点云基元的深度值与左右两侧点云基元的深度值。当一第一点云基元的一第一深度值大于左右两侧第二点云基元的第二深度值且第一深度值比第二深度值其中之一大于一第一阈值时，设定上述第一点云基元为一目标点。举例说明，图4A显示根据本公开一实施例的由点云基元所组成的图像示意图。点云基元402的深度值为40毫米(mm)，点云基元403的深度值为78毫米，及点云基元404的深度值为32毫米。以点云基元403为例，计算装置140比较点云基元403的深度值与左右两侧点云基元402及404的深度值。当点云基元403的深度值大于左右两侧点云基元402及404的深度值且点云基元403的深度值比点云基元402及404的深度值其中之一大于一第一阈值(例如，10毫米)时，设定点云基元403为一目标点。
在计算装置140比较完图像中所有点云基元的深度值与左右两侧点云基元的深度值后，计算装置140将取得图像中所有目标点。如图4B所示，灰色方格即为目标点。
在另一实施例中，计算装置140可无须比较每一点云基元的深度值与左右两侧点云基元的深度值。计算装置140可每隔一预定数量的点云基元再进行比较程序。举例来说，如图4A所示，假设预定数量为2。当计算装置140对点云基元403执行完比较程序后，无须对点云基元404及405进行比较程序，直接对点云基元406执行比较程序。须注意的是，当上述预定数量越多时，计算装置140捕获特征数据的速度会越快，但是特征数据的识别率会下降。因此，用户可依操作上的需求调整预定数量。
再者，计算装置140根据目标点将点云信息分为多个群组，其中每一群组是一平面信息。更详细地说明，计算装置140比较每一目标点的一目标深度值与周围点云基元的深度值。当一第一目标点的一第一目标深度值与周围点云基元中一第三点云基元的一第三深度值的差值绝对值小于一第二阈值时，判定第三点云基元与第一目标点属于同一群组。在一实施例中，上述第一阈值大于上述第二阈值。
图5A显示根据本公开一实施例的计算装置140取得图像中所有目标点的示意图。图5A中具有目标点510、520、521、530及540。以目标点510为例，计算装置140比较目标点510的目标深度值与周围点云基元5101、5102、5103、5104、5105的深度值。当目标点510的目标深度值与点云基元5101、5102、5103的深度值的差值绝对值小于第二阈值(例如，5毫米)时，判定点云基元5101、5102、5103与目标点510属于同一群组。
计算装置140接着判断点云基元5101、5102、5103的深度值与周围点云基元的深度值的差值绝对值是否小于第二阈值。当点云基元5101、5102、5103的深度值与周围点云基元的深度值的差值绝对值小于第二阈值时，计算装置140判定点云基元5101、5102、5103周围的点云基元与点云基元5101、5102、5103属于同一群组。依此类推，计算装置140将点云信息分为多个群组，分组结果如图5B所示，每一群组以虚线方框表示。
在分组的过程中，有些群组可能会发生结合。如图5B所示，目标点520及521在分组的过程中被计算装置140分为同一群组。此外，上述群组即为在三维空间中真实的平面信息。
计算装置140利用上述平面信息计算出边界特征数据，其中边界特征数据可被视为任二平面相交所产生的一边界。计算装置140判定边界的方法是测试任二平面是否存在相交的区域。如图5C所示为例，在图像中存在代表4个平面的4个群组，其中平面1和平面2中有重叠的区域(区域551、552)。计算装置140判断此重叠区域为一边界，并记录此边界由平面1及平面2所生成。因此，计算装置140建立边界特征数据，如表格一所示。
·相交平面各平面的面积及位置标准偏差
·相交平面各平面的法向量
·平面相交的角度
·平面相交的长度
·平面相交的起点三维位置及终点三维位置
表格一
在判定完边界后，计算装置140根据边界特征数据找出任三平面的交点。在真实空间中，一三维对象的角点至少要三个相交平面以上才能构成。因此，计算装置140根据上述平面信息及边界特征数据计算是否存在任三个相交平面所形成的区域。当计算装置140判定存在任三个相交平面所形成的区域时，计算装置140设定上述区域为角点区域。计算装置140根据上述角点区域定位出于真实空间中的角点位置，并根据角点位置建立平面特征数据，如表格二所示。
Figure BDA0001905632840000081
表格二
接着，计算装置140根据边界特征数据及平面特征数据取得校正对象110的三维特征数据。换言之，无论校正对象110是几面体，计算装置140皆可利用表格一及表格二中之边界特征数据及平面特征数据取得校正对象110的三维特征数据，如表格三所示。
Figure BDA0001905632840000082
表格三
在计算装置140取得三维特征数据后，计算装置140可根据三维特征数据、第一相对关系及第二相对关系计算取得视觉装置130与机械手臂120基座150之间的一第三相对关系。下方将详细说明在步骤S215及S315中计算装置140如何取得第三相对关系。
由三维特征数据、第一相对关系及第二相对关系及第三相对关系所组成的一三维空间方程式表示如下：
AZ＝BX
其中A表示三维特征数据，B表示第一相对关系，X表示第二相对关系及Z表示第三相对关系。在一实施例中，第三相对关系Z包含了位移关系及旋转关系，且第三相对关系Z可以用矩阵、球坐标系或其他形式来表示。
在本公开中，校正对象110的长宽高、机械手臂120的前端122与基座150之间的第一相对关系B及机械手臂120的前端122与校正对象110之间的第二相对关系X可视为是已知的参数。三维特征数据A可通过计算装置140根据图像取得。因此，视觉装置130与机械手臂120基座150之间的第三相对关系Z可由计算装置140利用一优化方程式计算取得，其中优化方程式表示如下。
Z＝min(αNd(∑Discorner)+βNa(∑Argnormal)+γNp(∑Planediff))其中α、β、γ为权重值，Nd为上述三维对象的顶点间的标准化距离、Na为上述三维对象的平面间的标准化角度、Np为上述三维对象的平面间的标准化平面强度，Discorner为上述三维对象的顶点间的一距离、Argnormal为上述三维对象的平面的法向量角度点化以及Planediff为上述三维对象的平面化程度。
最后，计算装置140根据第三相对关系Z校正机械手臂120与视觉装置130的误差。图6A～6B显示根据本公开一实施例的计算装置140校正机械手臂与视觉装置130的误差的示意图。如图6A所示，对象610为计算装置140根据图像取得校正对象110的三维特征数据A，而对象620为机械手臂120的基座150与校正对象110之间的相对关系(即第一相对关系B乘上第二相对关系X)。计算装置140利用优化运算取得第三相对关系Z而使得对象610及对象620迭合，以完成校正上述机械手臂120与上述视觉装置130的误差，如图6B所示。
如上所述，通过本公开的用于机械手臂系统100的校正方法及装置，无须知道视觉装置130所架设的位置，也无须移动机械手臂120，直接利用优化运算取得视觉装置130与机械手臂120的基座150之间的相对关系，以达到有效提升校正效率及精确度的目的。
对于本发明已描述的实施例，下文描述了可以实现本发明实施例的示例性操作环境。具体参考图7，图7显示用以实现本发明实施例的示例性操作环境，一般可被视为计算装置700。计算装置700仅为一合适计算环境的一个示例，并不意图暗示对本发明使用或功能范围的任何限制。计算装置700也不应被解释为具有与所示组件任一或组合相关任何的依赖性或要求。
本发明可在计算机程序码或机器可使用指令来执行本发明，指令可为程序模块的计算机可执行指令，其程序模块由计算机或其它机器，例如个人数字助理或其它便携设备执行。一般而言，程序模块包括例程、程序、对象、组件、数据结构等，程序模块指的是执行特定任务或实现特定抽象数据类型的程序代码。本发明可在各种系统配置中实现，包括便携设备、消费者电子产品、通用计算机、更专业的计算装置等。本发明还可在分布式计算环境中实现，处理由通信网络所链接的装置。
参考图7。计算装置700包括直接或间接耦接以下装置的总线710、内存712、一或多个处理器714、一或多个显示组件716、输入/输出(I/O)端口718、输入/输出(I/O)组件720以及说明性电源供应器722。总线710表示可为一或多个总线的组件(例如，地址总线、数据总线或其组合)。虽然图7的各个方块为简要起见以线示出，实际上，各个组件的分界并不是具体的，例如，可将显示设备的呈现组件视为I/O组件；处理器可具有内存。
计算装置700一般包括各种计算机可读取媒体。计算机可读取媒体可以是可被计算装置700存取的任何可用媒体，该媒体同时包括易失性和非易失性媒体、可移动和不可移动媒体。举例但不局限于，计算机可读取媒体可包括计算机储存媒体和通信媒体。计算机可读取媒体同时包括在用于储存像是计算机可读取指令、数据结构、程序模块或其它数据之类信息的任何方法或技术中实现的易失性和非易失性媒体、可移动和不可移动媒体。计算机储存媒体包括但不局限于RAM、ROM、EEPROM、闪存或其它内存技术、CD-ROM、数字多功能光盘(DVD)或其它光盘储存装置、磁盘、磁盘、磁盘储存装置或其它磁储存装置，或可用于储存所需的信息并且可被计算装置700存取的其它任何媒体。计算机储存媒体本身不包括信号。
通信媒体一般包含计算机可读取指令、数据结构、程序模块或其它采用诸如载波或其他传输机制之类的模块化数据信号形式的数据，并包括任何信息传递媒体。术语「模块化数据信号」指具有一或多个特征集合或以在信号中编码信息的一方式更改的信号。举例但不局限于，通信媒体包括像是有线网络或直接有线连接的有线媒体及无线媒体，像是声频、射频、红外线以及其它无线媒体。上述媒体的组合包括在计算机可读取媒体的范围内。
内存712包括以易失性和非易失性内存形式的计算机储存媒体。内存可为可移动、不移动或可以为这两种的组合。示例性硬件装置包括固态内存、硬盘驱动器、光盘驱动器等。计算装置700包括一或多个处理器，其读取来自像是内存712或I/O组件720各实体的数据。显示组件716向用户或其它装置显示数据指示。示例性显示组件包括显示设备、扬声器、打印组件、振动组件等。
I/O端口口718允许计算装置700逻辑连接到包括I/O组件720的其它装置，一些此种装置为内建装置。示例性组件包括麦克风、游戏杆、游戏板、碟形卫星信号接收器、扫描仪、打印机、无线装置等。I/O组件720可提供一自然用户接口，用于处理用户生成的姿势、声音或其它生理输入。在一些例子中，这些输入可被传送到一合适的网络组件以便进一步处理。NUI可实现语言识别、触摸与手写笔识别、面部识别、生物识别、在屏幕上以及邻近屏幕的姿势识别、空中手势、头部及眼部追踪以及与计算装置700所显示相关联的触摸识别的任意组合。计算装置700可装备有深度照相机，像是立体照相机系统、红外线照相机系统、RGB照相机系统和这些系统的组合，以检测与识别姿势。另外，计算装置700可以装备有检测运动的加速度计或陀螺仪。加速度计或陀螺仪的输出可被提供给计算装置700显示以呈现沉浸式增强现实或虚拟现实。
此外，计算装置700中的处理器714也可执行内存712中的程序及指令以呈现上述实施例所述的动作和步骤，或其它在说明书中内容的描述。
在此所公开程序的任何具体顺序或分层的步骤纯为一举例的方式。基于设计上的偏好，必须了解到程序上的任何具体顺序或分层的步骤可在此文件所公开的范围内被重新安排。伴随的方法权利要求以一示例顺序呈现出各种步骤的组件，也因此不应被此所展示的特定顺序或阶层所限制。
权利要求中用以修饰组件的「第一」、「第二」、「第三」等序数词的使用本身未暗示任何优先权、优先次序、各组件之间的先后次序、或方法所执行的步骤的次序，而仅用作标识来区分具有相同名称(具有不同序数词)的不同组件。
虽然本公开已以实施范例公开如上，然其并非用以限定本案，任何本领域技术人员，在不脱离本公开的精神和范围内，当可做些许更动与润饰，因此本案的保护范围当视后附的权利要求所界定者为准。
【符号说明】
100 机械手臂系统
110 校正对象
120 机械手臂
122 前端
124 末端
126 关节
130 视觉装置
140 计算装置
150 基座
200 方法
S205、S210、S215 步骤
300 方法
S305、S310、S315 步骤
401、402、403、404、405、406、407、408 点云基元
510、520、521、530、540 目标点
5101、5102、5103、5104、5105 点云基元
551、552 重叠区域
1、2、3、4 平面
610、620 对象
700 计算装置
710 总线
712 内存
714 处理器
716 显示组件
718 I/O端口
720 I/O组件
722 电源供应器

Claims (16)

1.一种用于机械手臂系统的校正方法，上述机械手臂系统包括一机械手臂、一校正对象、一视觉装置和一计算装置，上述校正方法包括：
通过上述视觉装置捕获固定于上述机械手臂一前端上的上述校正对象的一图像，其中上述机械手臂的一基座具有一基座坐标系，且上述机械手臂的上述前端与上述基座具有一第一相对关系，上述机械手臂的上述前端与上述校正对象具有一第二相对关系；
通过上述计算装置接收上述图像，并根据上述图像取得上述校正对象的一三维特征数据；以及
通过上述计算装置根据上述三维特征数据、上述第一相对关系及上述第二相对关系计算取得上述视觉装置与上述机械手臂的上述基座之间的一第三相对关系，以校正上述机械手臂与上述视觉装置的误差。
2.如权利要求1所述的用于机械手臂系统的校正方法，其中通过上述计算装置根据上述图像取得上述校正对象的上述三维特征数据还包括：
取得上述图像中上述校正对象的一点云信息；
比较每一点云基元的深度值与左右两侧点云基元的深度值；
当一第一点云基元的一第一深度值大于左右两侧一第二点云基元的一第二深度值且上述第一深度值比上述第二深度值其中之一大于一第一阈值时，设定上述第一点云基元为一目标点；
根据上述目标点将上述点云信息分为多个群组，其中每一群组是一平面信息；
根据上述平面信息取得一边界特征数据及一平面特征数据；以及
根据上述边界特征数据及上述平面特征数据取得上述校正对象的上述三维特征数据。
3.如权利要求2所述的用于机械手臂系统的校正方法，其中通过上述计算装置根据上述目标点将上述点云信息分为多个群组还包括：
比较每一目标点的一目标深度值与周围点云基元的深度值；以及
当一第一目标点的一第一目标深度值与上述周围点云基元中一第三点云基元的一第三深度值的差值绝对值小于一第二阈值时，判定上述第三点云基元与上述第一目标点属于同一群组。
4.如权利要求3所述的用于机械手臂系统的校正方法，其中上述第一阈值大于上述第二阈值。
5.如权利要求1所述的用于机械手臂系统的校正方法，其中上述三维特征信息至少包括：
每一平面的点位置、一面积及一位置标准偏差；
每一平面的一法向量；
任二平面相交的角度；
任二平面相交的长度；
任二平面相交的一起点三维位置及一终点三维位置；以及
任三平面相交的点三维位置。
6.如权利要求1所述的用于机械手臂系统的校正方法，其中以上述三维特征数据、上述第一相对关系、上述第二相对关系及上述第三相对关系所组成的一三维空间方程式表示如下：
AZ＝BX
其中A表示上述三维特征数据，B表示上述第一相对关系，X表示上述第二相对关系及Z表示上述第三相对关系。
7.如权利要求6所述的用于机械手臂系统的校正方法，其中上述计算装置还利用一优化方程式计算取得上述第三相对关系，上述优化方程式表示如下：
Z＝min(αNd(∑Discorner)+βNa(∑Argnormal)
+γNp(∑Planediff))
其中α、β、γ为权重值，Nd为上述三维对象的顶点间的标准化距离、Na为上述三维对象的平面间的标准化角度、Np为上述三维对象的平面间的标准化平面强度，Discorner为上述三维对象的顶点间的一距离、Argnormal为上述三维对象的平面的法向量角度点化以及Planediff为上述三维对象的平面化程度。
8.如权利要求1所述的用于机械手臂系统的校正方法，其中上述校正对象是一三维对象，且不具有任何定位标记。
9.一种机械手臂系统，包括：
一校正对象；
一机械手臂，其中上述校正对象固定于上述机械手臂的一前端上；
一视觉装置，捕获上述校正对象的一图像；以及
一计算装置，耦接于上述机械手臂及上述视觉装置；
其中上述机械手臂的一基座具有一基座坐标系，且上述机械手臂的上述前端与上述基座具有一第一相对关系，上述机械手臂的上述前端与上述校正对象具有一第二相对关系；上述计算装置由上述视觉装置接收上述图像，并根据上述图像取得上述校正对象的一三维特征数据；以及上述计算装置根据上述三维特征数据、上述第一相对关系及上述第二相对关系计算取得上述视觉装置与上述机械手臂的上述基座之间的一第三相对关系，以校正上述机械手臂与上述视觉装置的误差。
10.如权利要求9所述的机械手臂系统，其中上述计算装置根据上述图像取得上述校正对象的上述三维特征数据还包括：
取得上述图像中上述校正对象的一点云信息；
比较每一点云基元的深度值与左右两侧点云基元的深度值；
当一第一点云基元的一第一深度值大于左右两侧一第二点云基元的一第二深度值且上述第一深度值比上述第二深度值其中之一大于一第一阈值时，设定上述第一点云基元为一目标点；
根据上述目标点将上述点云信息分为多个群组，其中每一群组是一平面信息；
根据上述平面信息取得一边界特征数据及一平面特征数据；以及
根据上述边界特征数据及上述平面特征数据取得上述校正对象的上述三维特征数据。
11.如权利要求10所述的机械手臂系统，其中上述计算装置根据上述目标点将上述点云信息分为多个群组还包括：
比较每一目标点的一目标深度值与周围点云基元的深度值；以及
当第一目标点的一第一目标深度值与上述周围点云基元中一第三点云基元的一第三深度值的差值绝对值小于一第二阈值时，判定上述第三点云基元与上述第一目标点属于同一群组。
12.如权利要求11所述的机械手臂系统，其中上述第一阈值大于上述第二阈值。
13.如权利要求9所述的机械手臂系统，其中上述三维特征信息至少包括：
每一平面的点位置、一面积及一位置标准偏差；
每一平面的一法向量；
任二平面相交的角度；
任二平面相交的长度；
任二平面相交的一起点三维位置及一终点三维位置；以及
任三平面相交的点三维位置。
14.如权利要求9所述的机械手臂系统，其中以上述三维特征数据、上述第一相对关系、上述第二相对关系及上述第三相对关系所组成的一三维空间方程式表示如下：
AZ＝BX
其中A表示上述三维特征数据，B表示上述第一相对关系，X表示上述第二相对关系及Z表示上述第三相对关系。
15.如权利要求14所述的机械手臂系统，其中上述计算装置还利用一优化方程式计算取得上述第三相对关系，上述优化方程式表示如下：
Z＝min(αNd(∑Discorner)+βNa(∑Argnormal)
+γNp(∑Planediff))
其中α、β、γ为权重值，Nd为上述三维对象的顶点间的标准化距离、Na为上述三维对象的平面间的标准化角度、Np为上述三维对象的平面间的标准化平面强度，Discorner为上述三维对象的顶点间的一距离、Argnormal为上述三维对象的平面的法向量角度点化以及Planediff为上述三维对象的平面化程度。
16.如权利要求9所述的机械手臂系统，其中上述校正对象是一三维对象，且不具有任何定位标记。
CN201811530966.0A 2018-11-20 2018-12-14 用于机械手臂系统的校正方法及装置 Active CN111195897B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107141139 2018-11-20
TW107141139A TWI677413B (zh) 2018-11-20 2018-11-20 用於機械手臂系統之校正方法及裝置

Publications (2)

Publication Number Publication Date
CN111195897A true CN111195897A (zh) 2020-05-26
CN111195897B CN111195897B (zh) 2021-09-14

Family

ID=69188870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811530966.0A Active CN111195897B (zh) 2018-11-20 2018-12-14 用于机械手臂系统的校正方法及装置

Country Status (3)

Country Link
US (1) US11524406B2 (zh)
CN (1) CN111195897B (zh)
TW (1) TWI677413B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907673A (zh) * 2021-03-19 2021-06-04 深圳创维－Rgb电子有限公司 定位方法、装置、终端设备以及存储介质
CN114347011A (zh) * 2020-10-12 2022-04-15 丰田自动车株式会社 位置校正系统、位置校正方法及存储有位置校正程序的存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7040147B2 (ja) * 2018-03-09 2022-03-23 セイコーエプソン株式会社 制御装置、ロボット、ロボットシステム，及び、物体を認識する方法
CA3161301A1 (en) 2019-11-12 2021-05-20 Bright Machines, Inc. A software defined manufacturing/assembly system
CN111199579B (zh) * 2020-01-02 2023-01-24 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
US11548156B2 (en) * 2020-09-17 2023-01-10 Techman Robot Inc. Device and method for calibrating coordinate system of 3D camera and robotic arm
CN113103238A (zh) * 2021-04-26 2021-07-13 福建（泉州）哈工大工程技术研究院 一种基于数据优化的手眼标定方法
CN113635299B (zh) * 2021-07-23 2022-11-25 深圳市朗驰欣创科技股份有限公司 一种机械臂的校正方法、终端设备及存储介质
CN114974962B (zh) * 2022-06-07 2023-07-25 平高集团有限公司 一种开关柜操作装置及操作机器人

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434169A2 (en) * 2002-12-27 2004-06-30 Olympus Corporation Calibration apparatus, calibration method, program for calibration, and calibration jig
CN102452081A (zh) * 2010-10-21 2012-05-16 财团法人工业技术研究院 机械手臂系统参数的校正方法与校正装置
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN103706571A (zh) * 2013-12-27 2014-04-09 西安航天精密机电研究所 一种视觉定位分拣方法
CN103761747A (zh) * 2013-12-31 2014-04-30 西北农林科技大学 一种基于加权分布场的目标跟踪方法
EP2981397A1 (en) * 2013-04-05 2016-02-10 ABB Technology Ltd. A robot system and method for calibration
WO2016047807A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 校正システム、作業機械及び校正方法
JP2016059982A (ja) * 2014-09-16 2016-04-25 セイコーエプソン株式会社 画像処理装置、及びロボットシステム
CN105965495A (zh) * 2016-05-12 2016-09-28 英华达（上海）科技有限公司 一种机械臂定位方法及系统
CN106182001A (zh) * 2016-07-27 2016-12-07 武汉理工大学 一种基于机器人的工件坐标系自动标定装置
CN106846407A (zh) * 2016-11-25 2017-06-13 努比亚技术有限公司 一种实现图像校正的方法和装置
CN107689061A (zh) * 2017-07-11 2018-02-13 西北工业大学 用于室内移动机器人定位的规则图形码及定位方法
CN107756391A (zh) * 2016-08-19 2018-03-06 达观科技有限公司 机械手臂校正系统的校正方法
TW201815533A (zh) * 2016-10-21 2018-05-01 和碩聯合科技股份有限公司 機械手臂定位方法及應用其的系統
EP3329877A1 (de) * 2016-11-30 2018-06-06 Siemens Healthcare GmbH Berechnen eines kalibrierungsparameters eines roboterwerkzeugs
US20180186004A1 (en) * 2017-01-04 2018-07-05 Samsung Electronics Co., Ltd. Robot and electronic device for performing hand-eye calibration
CN108297096A (zh) * 2017-01-12 2018-07-20 发那科株式会社 校准装置、校准方法以及计算机能够读取的介质
JP2018144165A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925308A (en) 1988-08-09 1990-05-15 Robotic Vision System, Inc. Calibration of three-dimensional space
WO2005017450A1 (en) 2003-08-11 2005-02-24 Multi-Dimension Technology, Llc Calibration block and calibration system for 3d scanner
JP4298757B2 (ja) 2007-02-05 2009-07-22 ファナック株式会社 ロボット機構のキャリブレーション装置及び方法
JP5468726B2 (ja) 2007-05-23 2014-04-09 株式会社ミツトヨ 二次元格子校正装置、二次元格子校正プログラム、記録媒体
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US8553942B2 (en) * 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
FR2987685A1 (fr) * 2012-03-02 2013-09-06 Akeo Plus Procede de commande d'un robot pour le deplacement d'au moins un objet dispose sur un support dans un espace 3d
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434169A2 (en) * 2002-12-27 2004-06-30 Olympus Corporation Calibration apparatus, calibration method, program for calibration, and calibration jig
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN102452081A (zh) * 2010-10-21 2012-05-16 财团法人工业技术研究院 机械手臂系统参数的校正方法与校正装置
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
EP2981397A1 (en) * 2013-04-05 2016-02-10 ABB Technology Ltd. A robot system and method for calibration
CN103706571A (zh) * 2013-12-27 2014-04-09 西安航天精密机电研究所 一种视觉定位分拣方法
CN103761747A (zh) * 2013-12-31 2014-04-30 西北农林科技大学 一种基于加权分布场的目标跟踪方法
JP2016059982A (ja) * 2014-09-16 2016-04-25 セイコーエプソン株式会社 画像処理装置、及びロボットシステム
WO2016047807A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 校正システム、作業機械及び校正方法
CN105965495A (zh) * 2016-05-12 2016-09-28 英华达（上海）科技有限公司 一种机械臂定位方法及系统
CN106182001A (zh) * 2016-07-27 2016-12-07 武汉理工大学 一种基于机器人的工件坐标系自动标定装置
CN107756391A (zh) * 2016-08-19 2018-03-06 达观科技有限公司 机械手臂校正系统的校正方法
TW201815533A (zh) * 2016-10-21 2018-05-01 和碩聯合科技股份有限公司 機械手臂定位方法及應用其的系統
CN106846407A (zh) * 2016-11-25 2017-06-13 努比亚技术有限公司 一种实现图像校正的方法和装置
EP3329877A1 (de) * 2016-11-30 2018-06-06 Siemens Healthcare GmbH Berechnen eines kalibrierungsparameters eines roboterwerkzeugs
US20180186004A1 (en) * 2017-01-04 2018-07-05 Samsung Electronics Co., Ltd. Robot and electronic device for performing hand-eye calibration
CN108297096A (zh) * 2017-01-12 2018-07-20 发那科株式会社 校准装置、校准方法以及计算机能够读取的介质
JP2018144165A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN107689061A (zh) * 2017-07-11 2018-02-13 西北工业大学 用于室内移动机器人定位的规则图形码及定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SANG-MUN LEE; KYOUNG-DON LEE; SANG-HYUEK JUNG; TAE-SUNG NOH: "Kinematic calibration system of robot hands using vision cameras", 《UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE》 *
孙自飞: "服务机器人动态环境下定位及物体抓取技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114347011A (zh) * 2020-10-12 2022-04-15 丰田自动车株式会社 位置校正系统、位置校正方法及存储有位置校正程序的存储介质
CN112907673A (zh) * 2021-03-19 2021-06-04 深圳创维－Rgb电子有限公司 定位方法、装置、终端设备以及存储介质
CN112907673B (zh) * 2021-03-19 2021-10-22 深圳创维－Rgb电子有限公司 定位方法、装置、终端设备以及存储介质

Also Published As

Publication number Publication date
CN111195897B (zh) 2021-09-14
TWI677413B (zh) 2019-11-21
US11524406B2 (en) 2022-12-13
US20200156251A1 (en) 2020-05-21
TW202019642A (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
CN111195897B (zh) 用于机械手臂系统的校正方法及装置
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
KR102276259B1 (ko) 비전-기반 조작 시스템들의 교정 및 동작
US9495750B2 (en) Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object
WO2019114339A1 (zh) 机械臂运动的校正方法和装置
GB2581843A (en) Calibration system and method for robotic cells
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
WO2016079967A1 (en) Robot and robot system
JP3208953B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
US11062521B2 (en) Virtuality-reality overlapping method and system
CN110869978B (zh) 信息处理装置和信息处理方法
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JP2018084954A (ja) プログラム、姿勢導出方法、姿勢導出装置
US11341656B1 (en) Automatic vision sensor orientation
CN110853102B (zh) 一种新的机器人视觉标定及引导方法、装置及计算机设备
CN111213159A (zh) 一种图像处理方法、装置及系统
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
CN112767479A (zh) 位置信息检测方法、装置、系统及计算机可读存储介质
US20220331972A1 (en) Robot Image Display Method, Recording Medium, And Robot Image Display System
JP2014238687A (ja) 画像処理装置、ロボット制御システム、ロボット、画像処理方法及び画像処理プログラム
CN113407030A (zh) 视觉定位方法及相关装置、设备和存储介质
US20200167005A1 (en) Recognition device and recognition method
US20230011093A1 (en) Adjustment support system and adjustment support method
TWI806761B (zh) 標誌檢測裝置以及機器人示教系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant