CN110167722B - 执行手眼标定的机器人和电子设备 - Google Patents

执行手眼标定的机器人和电子设备 Download PDF

Info

Publication number
CN110167722B
CN110167722B CN201880005842.2A CN201880005842A CN110167722B CN 110167722 B CN110167722 B CN 110167722B CN 201880005842 A CN201880005842 A CN 201880005842A CN 110167722 B CN110167722 B CN 110167722B
Authority
CN
China
Prior art keywords
external object
robot
camera
coordinate system
end effector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880005842.2A
Other languages
English (en)
Other versions
CN110167722A (zh
Inventor
朴舜镛
卢庆植
安成桓
尹硕浚
李素姬
全暎泌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110167722A publication Critical patent/CN110167722A/zh
Application granted granted Critical
Publication of CN110167722B publication Critical patent/CN110167722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0004—Gripping heads and other end effectors with provision for adjusting the gripped object in the hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023—Cartesian coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

提供了一种用于执行手眼标定的机器人。机器人包括：机器臂，包括多个关节、多个臂部和末端效应器；通信接口；以及控制电路。控制电路在外部对象由末端效应器抓取之后控制机器臂将外部对象放置在工作台上，从外部对象的图像获取外部对象的中心点在相机的坐标系中的坐标，当外部对象被放置在工作台上时，基于末端效应器在机器人的基坐标系中的坐标和外部对象的中心点在相机的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数。

Description

执行手眼标定的机器人和电子设备
技术领域
本公开涉及一种执行机器人的手眼标定的技术。
背景技术
机器人系统可以包括用于抓取外部对象的机器臂和用于捕获外部对象的相机。对于机器人系统的操作，机器人系统可以执行手眼标定以计算被包括在机器臂中的末端效应器的坐标系与相机的坐标系之间的变换关系。为了执行手眼标定，特定点可能需要末端效应器的坐标系中的坐标和相机的坐标系中的坐标。
以上信息仅作为背景信息呈现，以帮助理解本公开。对于上述任何内容是否适于作为关于本发明的现有技术，未作出任何确定，也未作出任何断言。
发明内容
技术问题
对于手眼标定，多个点可能需要末端效应器的坐标系中的坐标和相机的坐标系中的坐标。在相关技术的机器人系统中，当机器人系统的用户操作机器人系统时，可以获取上述坐标。然而，为了通过机器人系统的用户的操作获取上述坐标，可能需要大量的人力和时间。
本公开的各方面用于解决至少上述问题和/或缺点，并且提供至少下述优点。因此，本公开的一方面用于提供一种能够减少用户参与手眼标定并且能够减少手眼标定所花费的时间的机器人、电子设备和方法。
技术方案
根据本公开的一方面，提供了一种用于执行手眼标定的机器人。机器人包括：机器臂，包括多个关节、通过多个关节中的至少一些关节而彼此可旋转地耦合的多个臂部、以及抓取外部对象的与多个关节中的一个连接的末端效应器；通信接口，以无线或有线方式与相机连接；以及控制电路，与机器臂和通信接口电连接。控制电路可以在由末端效应器抓取外部对象使得末端效应器的中心与外部对象的中心重合之后控制机器臂将外部对象放置在工作台上，可以从由相机捕获的外部对象的图像获取外部对象的中心点在相机的坐标系中的坐标，并且可以当外部对象被放置在工作台上时，基于末端效应器在机器人的基坐标系中的坐标和外部对象的中心点在相机的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数。
根据本公开的另一方面，提供了一种用于执行包括末端效应器的机器人的手眼标定的电子设备。该电子设备包括：至少一个通信接口，以无线或有线方式与相机设备和机器人连接；以及处理器，与至少一个通信接口电连接。处理器可以在由末端效应器抓取外部对象使得末端效应器的中心与外部对象的中心重合之后控制机器人将外部对象放置在工作台上，可以从由相机设备捕获的外部对象的图像获取外部对象的中心点在相机设备的坐标系中的坐标，并且可以当外部对象被放置在工作台上时，基于末端效应器在机器人的基坐标系中的坐标和外部对象的中心点在相机设备的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机设备的坐标系之间的关系的标定参数。
根据本公开的另一方面，提供了一种用于执行包括末端效应器的机器人的手眼标定的电子设备。该电子设备包括：相机，被放置以捕获工作台的图像；通信接口，以无线或有线方式与机器人连接；处理器，与相机和通信接口电连接。处理器可以在末端效应器抓取外部对象使得末端效应器的中心与外部对象的中心重合之后控制机器人将外部对象放置在工作台上，可以从由相机捕获的外部对象的图像获取外部对象的中心点在相机的坐标系中的坐标，并且可以当外部对象被放置在工作台上时，基于末端效应器在机器人的基坐标系中的坐标和外部对象的中心点在相机的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数。
技术效果
根据本公开中公开的各种实施例，可以自动获取被放置在工作台上的各种位置处的外部对象的坐标，从而减少用于手眼标定的人力并快速执行手眼标定。
可以提供通过本公开直接或间接理解的各种效果。
通过结合附图公开了本公开的各种实施例的以下详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
通过结合附图的以下描述，本公开的某些实施例的以上和其他方面、特征和优点将更加显而易见，其中：
图1示出了根据本公开的实施例的机器人系统操作的环境；
图2是示出根据本公开的实施例的机器人的配置的框图；
图3是示出根据本公开的实施例的电子设备的配置的框图；
图4示出了根据本公开的实施例的机器人系统的操作；
图5示出了根据本公开的实施例的机器人系统的操作；
图6示出了根据本公开的实施例的机器人系统的操作；
图7示出了根据本公开的实施例的机器人系统的操作；
图8示出了根据本公开的实施例的机器人系统的操作；
图9示出了根据本公开的实施例的机器人系统的操作；
图10示出了根据本公开的实施例的机器人系统的操作；
图11是示出根据本公开的实施例的用于执行手眼标定的方法的流程图；并且
图12是示出根据本公开的实施例的用于执行手眼标定的方法的流程图。
在整个附图中，应该注意，相同的附图标记用于描绘相同或类似的元件、特征和结构。
具体实施方式
提供了参考附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员来说显而易见的是，提供本公开的各种实施例的以下描述仅为了说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
应当理解，除非上下文另有明确规定，否则单数形式“一”和“该”包括复数指示物。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个表面的引用。
关于附图的描述，类似的元件可以由类似的附图标记而标记。在本公开中，表述“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”等可以包括相关所列项目中一个或多个的任何和所有组合。诸如“第一”、“第二”等术语可以用于指代各种元件而不管顺序和/或优先级，并且将相关元件与其他元件区分开，但是不限制元件。当元件(例如，第一元件)被称为与另一元件(例如，第二元件)“(可操作地或通信地)”/“(可操作地或通信地)耦合到”另一元件(例如，第二元件)或“连接到”另一元件(例如，第二元件)时，该元件可以直接与其他元件耦合/耦合到其他元件或连接到其他元件，或者可以存在中间元件(例如，第三元件)。
根据情况，本公开中使用的表述“被配置为”可以用作例如硬件或软件中的表述“适合于”、“具有能力”、“适应于”、“制造为”、“能够”或“设计为”。表述“被配置为……的设备”可以意味着该设备“能够”与另一设备或其他组件一起操作。例如，“配置为(或设置为)执行A、B和C的处理器”可以意味着用于执行对应操作的专用处理器(例如，嵌入式处理器)或通过运行存储在存储器设备中的一个或多个软件程序来执行对应操作的通用处理器(例如，中央处理单元(Central Processing Unit，CPU)或应用处理器)。
根据本公开的各种实施例的电子设备可以包括例如智能电话、平板个人计算机(Personal Computer，PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC，上网本计算机、工作站、服务器、个人数字助理(Personal Digital Assistant，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、动态图像专家组阶段1或阶段2(MotionPicture Experts Group phase 1or phase 2，MPEG-1或MPEG-2)音频层3(MP3)播放器、医疗设备、相机或可穿戴设备中的至少一个。根据各种实施例，可穿戴设备可以包括附件类型(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式设备(Head-Mounted-Device，HMD)、织物或服装-集成类型(例如，电子衣服)、附体类型(例如，皮肤垫或纹身)或生物可植入类型(例如，可植入电路)中的至少一种。根据各种实施例，电子设备可以包括例如电视(Television，TV)、数字多功能盘(Digital Versatile Disc，DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、便携式摄像机、电子相框等中的至少一个。
根据另一实施例，电子设备可以包括各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖监测设备、心跳测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(Magnetic Resonance Angiography，MRA)、磁共振成像(Magnetic Resonance Imaging，MRI)、计算机断层扫描(Computed Tomography，CT)、扫描仪和超声波设备)、导航设备、全球导航卫星系统(Global Navigation Satellite System，GNSS)、事件数据记录器(EventData Recorder，EDR)、飞行数据记录器(Flight Data Recorder，FDR)、车辆信息娱乐设备、船舶电子设备(例如，导航系统和陀螺仪)、航空电子设备、安全设备、车辆主机(headunit)、工业或家用机器人、无人机、自动柜员机(Automatic Teller's Machine，ATM)、商店的销售点(Points Of Sale，POS)或物联网(例如，灯泡、各种传感器、喷水设备、火警、恒温器、路灯、烤面包机、健身设备、热水器、加热器、锅炉等)中的至少一个。根据实施例，电子设备可以包括家具或建筑物/结构的部分、电子板、电子签名接收设备、投影仪或各种测量仪器(例如，水表、电表、煤气表或波长计等)中的至少一个。根据各种实施例，电子设备可以是柔性电子设备或者两个或更多个上述设备的组合。此外，根据本公开的实施例的电子设备可以不限于上述电子设备。在本公开中，术语“用户”可以指使用电子设备的人或可以指使用电子设备的设备(例如，人工智能电子设备)。
图1示出了根据本公开的实施例的机器人系统操作的环境。
参考图1，根据实施例，机器人系统可以包括机器人100、相机200和电子设备300。机器人系统可以是例如工业机器人或服务机器人的系统。机器人100可以以无线或有线方式与电子设备300和相机200连接，并且相机200可以以无线或有线方式与电子设备300连接。
根据实施例，机器人100可以包括多个关节111、多个臂部112和末端效应器113。臂部112可以通过关节111中的至少一些彼此可旋转地耦合。例如，第一臂部112a可以通过第一关节111a可旋转地耦合到第二臂部112b。第二臂部112b可以通过第二关节111b可旋转地耦合到第三臂部112c。第三臂部112c可以通过第三关节111c可旋转地耦合到末端效应器113。末端效应器113可以被配置为抓取外部对象。第一关节111a、第二关节111b和第三关节111c可以彼此独立地被驱动。
根据实施例，机器人100可以抓取外部对象。例如，机器人100可以将所抓取的外部对象移动到与机器人100的基坐标系B中的坐标(Bx，By，Bz)相对应的位置。又例如，机器人100可以抓取位于机器人100的基坐标系B中的坐标(Bx，By，Bz)处的外部对象。机器人100可以识别机器人100的基坐标系B与末端效应器113的坐标系H之间的关系。
根据实施例，相机200可以捕获图像。例如，相机200可以被放置以捕获工作台的图像，并且可以捕获工作台上的外部对象的图像。相机200可以将所获取的图像发送到机器人100或电子设备300。
根据实施例，电子设备300可以控制机器人100和相机200。例如，电子设备300可以控制机器人100的移动和相机200的捕获。根据实施例，机器人100和相机200可以彼此独立地操作。电子设备300或机器人100可以分析由相机200捕获的图像，以获取相机200的坐标系C中的坐标(Cx，Cy，Cz)。电子设备300或机器人100可以基于机器人100的基坐标系B中的坐标(Bx，By，Bz)和相机200的坐标系C中的坐标(Cx，Cy，Cz)来计算末端效应器113的坐标系H与相机200的坐标系C之间的关系，从而执行手眼标定。
图1示出了机器人100、相机200和电子设备300被单独实现，但不限于此。换句话说，机器人100、相机200和电子设备300中的至少一些可以整体实现。例如，相机200可以被包括在机器人100或电子设备300中，或者电子设备300可以被包括在机器人100中。
在下文中，将参考图2描述能够在不由电子设备300控制的情况下独立地操作的机器人100。
图2是示出根据本公开的实施例的机器人100的配置的框图。
参考图2，根据实施例，机器人100可以包括机器臂110、输入设备120、通信接口130和控制电路150。
机器臂110可以包括关节111、臂部112和末端效应器113。机器臂110可以抓取外部对象并且可以移动所抓取的外部对象。在以下描述中，将省略已经参考图1描述的关节111、臂部112和末端效应器113的冗余细节。
输入设备120可以从机器人100的用户接收输入。输入设备120可以是例如诸如至少一个键、键盘、鼠标或触摸板的各种设备中的一种。根据实施例，输入设备120可以从机器人100的用户接收用于开始手眼标定的指令。
通信接口130可以以无线或有线方式与相机200连接。例如，通信接口130可以是与相机200无线通信的无线通信电路。又例如，通信接口130可以是以有线方式与相机200连接的接口。
根据实施例，机器人100还可以包括相机140。如果机器人100包括相机140，则通信接口130可以是将相机140与控制电路150连接的接口，并且控制电路150可以从相机140获取图像。为了便于解释，将在假设机器人100与放置在外部的相机200连接的情况下进行以下描述。
控制电路150可以与机器臂110、输入设备120和通信接口130电连接。控制电路150可以控制机器臂110、输入设备120和通信接口130中的至少一些。
根据实施例，外部对象可以由用户固定到末端效应器113，使得外部对象的中心与末端效应器113的中心重合。
根据实施例，控制电路150可以通过使用末端效应器113来抓取外部对象。例如，在外部对象被放置在与指定坐标相对应的位置处的情况下，控制电路150可以将末端效应器113移动到指定坐标并且可以抓取外部对象。控制电路150可以通过使用末端效应器113来抓取外部对象，使得末端效应器113的中心与外部对象的中心重合。
根据实施例，在由末端效应器113抓取外部对象使得末端效应器113的中心与外部对象的中心重合之后，控制电路150可以控制机器臂110将外部对象放置在工作台上。例如，控制电路150可以控制机器臂110将外部对象放置在指定工作台上的指定位置处。控制电路150可以控制例如机器臂110将外部对象放置在与机器人100的基坐标系B中的坐标(Bx1，By1，Bz1)相对应的位置处。
根据实施例，控制电路150可以从由相机200捕获的外部对象的图像获取外部对象的中心点在相机200的坐标系中的坐标。控制电路150可以从相机200(或相机140)获取外部对象的图像。控制电路150可以例如通过分析所获取的图像来获取外部对象的中心点在相机200的坐标系C中的坐标(u1，v1)。
根据实施例，控制电路150可以获取被放置在工作台上的各种位置处的外部对象的坐标。在获取坐标(Bx1，By1，Bz1)和坐标(u1，v1)之后，控制电路150可以将外部对象放置在另一位置处。控制电路150可以获取例如与放置在另一位置处的外部对象相对应的坐标(Bx2，By2，Bz2)和坐标(u2，v2)。在获取坐标(Bx2，By2，Bz2)和坐标(u2，v2)之后，控制电路150可以将外部对象放置在又一位置处。控制电路150可以获取例如与放置在又一位置处的外部对象相对应的坐标(Bx3，By3，Bz3)和坐标(u3，v3)。控制电路150可以重复上述操作，直到获取目标数量(例如，四个)的坐标集合。
根据实施例，当外部对象被放置在工作台上时，控制电路150可以基于末端效应器113在机器人100的基坐标系B中的坐标和外部对象的中心点在相机200的坐标系C中的坐标来计算用于定义末端效应器113的坐标系H与相机200的坐标系C之间的关系的标定参数。例如，控制电路150可以基于机器人100的基坐标系B中的坐标(Bx1，By1，Bz1)、(Bx2，By2，Bz2)和(Bx3，By3，Bz3)以及相机200中的坐标系C中的坐标(u1，v1)、(u2，v2)和(u3，v3)来计算标定参数。标定参数可以包括例如用于定义末端效应器113的坐标系H与相机200的坐标系C之间的关系的平移向量和旋转矩阵。
根据实施例，控制电路150可以基于用于定义机器人100的基坐标系B与相机200的坐标系C之间的关系的第一参数和用于定义机器人100的基坐标系B与末端效应器113的坐标系H之间的第二参数来计算标定参数。例如，控制电路150可以基于坐标(Bx1，By1，Bz1)、(Bx2，By2，Bz2)和(Bx3，By3，Bz3)以及(u1，v1)、(u2，v2)和(u3，v3)来计算用于定义基坐标系B与相机200的坐标系C之间的坐标变换关系的第一平移向量和第一旋转矩阵。用于定义机器人100的基坐标系B与末端效应器113的坐标系H之间的坐标变换关系的第二平移向量和第二旋转矩阵可以预先存储在机器人100中并且可以基于机器人运动学(Robot Kinematics)而计算。控制电路150可以基于第一平移向量、第一旋转矩阵、第二平移向量和第二旋转矩阵来计算标定参数。
根据实施例，标定参数可以包括与投影变换相关联的单应矩阵(homographymatrix)。例如，在工作台的z坐标预先存储在机器人100中的情况下，控制电路150可以基于(Bx1，By1)、(Bx2，By2)、(Bx3，By3)、(u1，v1)、(u2，v2)和(u3，v3)来计算单应矩阵。
根据实施例，标定参数可以包括相机200的相机固有参数。控制电路150可以通过分析由相机200获取的图像来计算包括相机200的焦距和/或镜头畸变系数的、相机200的相机固有参数。
控制电路150可以通过应用由Zhengyou Zhang建议的用于相机标定的灵活的新技术来计算上述参数中的至少一些(参见IEEE Transactions on Pattern Analysis andMachine Intelligence(IEEE模式分析与机器智能汇刊)，22(11)：1330-1334，2000)。
在下文中，将参考图3描述能够控制机器人100的电子设备300。
图3是示出根据本公开的实施例的电子设备300的配置的框图。
参考图3，根据实施例，电子设备300可以包括输入设备310、通信接口320和处理器340。电子设备300可以是能够控制机器人100和相机200的各种类型的计算设备中的一种。
输入设备310可以从机器人100的用户接收输入。输入设备310可以是例如诸如至少一个键、键盘、鼠标或触摸板的各种设备中的一种。根据实施例，输入设备310可以从机器人100的用户接收用于开始手眼标定的指令。
通信接口320可以以无线或有线方式与相机200和机器人100连接。例如，通信接口320可以是与相机200和/或机器人100无线通信的无线通信电路。又例如，通信接口320可以是以有线方式与相机200和/或机器人100连接的接口。图3示出了电子设备300包括一个通信接口320，但不限于此。电子设备300可以包括与相机200连接的第一通信接口和与机器人100连接的第二通信接口。
根据实施例，电子设备300还可以包括相机330。如果电子设备300包括相机330，则通信接口320可以是将相机330与控制电路连接的接口，并且控制电路可以从相机330获取图像。
处理器340可以与输入设备310和通信接口320电连接。处理器340可以包括输入设备310和通信接口320中的至少一部分。处理器340可以通过通信接口320控制相机200和机器人100。处理器340可以执行与图2的控制电路150的操作类似的操作。处理器340可以控制相机200和机器人100，从而计算用于定义末端效应器113的坐标系H与相机200的坐标系C之间的关系的标定参数。
在下文中，将参考图4至图10描述根据实施例的机器人100和相机200的操作。参考图4至图10描述的操作可以被理解为由图2的机器人100或图3的电子设备300执行。为了便于解释，下面将图4至图10的操作描述为由图2的机器人100执行。
图4示出了根据本公开的实施例的机器人系统的操作。
参考图4，机器人100可以通过使用末端效应器113来抓取外部对象10。外部对象10可以由末端效应器113抓取，使得外部对象10的中心与末端效应器113的中心重合。外部对象10可以有具有被识别的中心的图案或形状。外部对象10可以具有例如如图4所示的格子图案。例如，外部对象10可以由机器人100的用户通过末端效应器113而抓取。
根据实施例，如果外部对象10被放置在工作台上的指定位置处，则机器人100可以控制机器臂抓取外部对象10，使得末端效应器113的中心与外部对象10的中心重合。例如，如果用户在将外部对象10放置在指定位置处之后控制机器人100开始手眼标定，则机器人100可以通过使用末端效应器113来抓取放置在指定位置处的外部对象10，使得末端效应器113的中心与外部对象10的中心重合。
图5示出了根据本公开的实施例的机器人系统的操作，并且图6示出了根据本公开的实施例的机器人系统的操作。
参考图5和图6，机器人100可以在通过末端效应器抓取外部对象10使得末端效应器的中心与外部对象10的中心重合之后，控制机器臂将外部对象10放置在工作台20上。例如，在外部对象10由末端效应器抓取之后，如果通过输入设备输入了机器人100的用户的指令，则机器人100可以将外部对象10放置在工作台20上。机器人100可以将外部对象10放置在工作台20上的与机器人100的基坐标系B中的坐标(Bx1，By1，Bz1)相对应的位置处。机器人100可以基于机器人100的运动学将坐标(Bx1，By1，Bz1)重新定义为末端效应器的坐标系H中的坐标。机器人100的基坐标系B中的x-y平面可以与工作台20彼此平行，并且可以将坐标系B的x-y平面与工作台20之间的距离通知给机器人100。
图7示出了根据本公开的实施例的机器人系统的操作。
参考图7，机器人100可以在外部对象10的图像210由相机200捕获之前控制机器臂移出相机200的视线。当相机200捕获图像210时，机器人100可以将机器臂移出相机200的视线，使得外部对象10不被机器臂隐藏。
相机200可以在机器臂移出相机200的视线之后捕获外部对象10的图像210。相机200可以被放置成面向工作台20。相机200可以存储所捕获的图像210。可以将由相机200捕获的图像210发送到机器人100。可以将由相机200捕获的图像210发送到图3的电子设备300。
图8示出了根据本公开的实施例的机器人系统的操作。
参考图8，机器人100可以通过使用外部对象的图案分析外部对象10的图像210来获取外部对象10的中心点在相机200的坐标系C中的坐标(u1，v1)。例如，机器人100可以分析由相机200捕获的外部对象10的图像210。机器人100可以通过分析图像210来识别外部对象10的格子图案。机器人100可以通过使用外部对象10的格子图案来获取外部对象10的中心点在相机200的坐标系C中的坐标(u1，v1)。尽管未在图8中示出，机器人100可以通过使用外部对象10的形状分析外部对象10的图像210来获取外部对象10的中心点在相机200的坐标系C中的坐标(u1，v1)。
图9示出了根据本公开的实施例的机器人系统的操作。
参考图9，机器人100可以在图像210被捕获之后抓取工作台20上的外部对象10。机器人100可以将末端效应器113移动到与机器人100的基坐标系B中的坐标(Bx1，By1，Bz1)相对应的位置，并且可以使用末端效应器113抓取外部对象10。机器人100可以在抓取外部对象10之后如图10所示将外部对象10移动到工作台20上的另一位置。
图10示出了根据本公开的实施例的机器人系统的操作。
参考图10，机器人100可以重复图4至图9中所示的操作。例如，机器人100可以抓取放置在与坐标(Bx1，By1，Bz1)相对应的位置处的外部对象10，然后可以将外部对象10移动到另一位置，例如，与坐标(Bx2，By2，Bz2)相对应的位置。机器人100可以在将外部对象10移动到与坐标(Bx2，By2，Bz2)相对应的位置之后，将机器臂移出相机200的视线以防止外部对象10被机器臂隐藏。相机200可以在机器臂移出相机200的视线之后捕获外部对象10的图像220。机器人100可以通过分析图像220来获取外部对象10的中心点在相机200的坐标系C中的坐标(u2，v2)。机器人100可以在图像220被捕获之后将末端效应器113移动到与坐标(Bx2，By2，Bz2)相对应的位置，并且可以通过使用末端效应器113来抓取外部对象10。机器人100可以在抓取外部对象10之后将外部对象10移动到工作台20上的又一位置(例如，坐标(Bx3，By3，Bz3))。
机器人100可以获取例如至少四个坐标集合。机器人100可以基于获取的至少四个坐标集合来计算标定参数。随着坐标集合的数量增加，手眼标定的精度可以提高。
图11是示出根据本公开的实施例的用于执行手眼标定的方法的流程图。
在假设图2的机器人100或图3的电子设备300执行图11的过程的情况下进行以下描述。另外，可以理解，图11的操作由图2的机器人100的控制电路150或图3的电子设备300的处理器340执行。为了便于解释，将在假设图11的操作由图2的机器人100执行的情况下进行以下描述。
参考图11，在操作1110中，机器人可以控制机器臂将外部对象放置在工作台上。例如，机器人可以控制机器臂将外部对象放置在工作台上的第一位置处。
在操作1120中，机器人可以控制机器臂移出相机的视线。例如，机器人可以在相机捕获外部对象的图像之前将机器臂移出相机的视线以防止相机的视线被机器臂阻断。
在操作1130中，机器人可以获取由相机捕获的外部对象的图像。例如，如果相机捕获放置在第一位置处的外部对象的图像，则机器人可以从相机接收放置在第一位置处的外部对象的图像。
在操作1140中，机器人可以从图像获取外部对象的中心点在相机的坐标系中的坐标。例如，机器人可以通过分析被包括在所获取的图像中的外部对象的图案或形状来获取外部对象的中心点的坐标。
在操作1150中，机器人可以确定是否获取了指定数量的坐标集合。例如，机器人可以确定是否获取了指定数量的坐标集合，具体的说，至少四个坐标集合。机器人可以重复操作1110至操作1140，直到获取指定数量的坐标集合。机器人可以将外部对象放置在第二位置、第三位置和第四位置处，并且可以通过重复操作获取第二位置的坐标、第三位置的坐标和第四位置的坐标。
如果获取了指定数量的坐标集合，则在操作1160中，机器人可以基于末端效应器的坐标和外部对象的中心点的坐标来计算标定参数。例如，当放置外部对象时，机器人可以基于末端效应器的坐标系中的坐标和通过分析图像获取的外部对象的中心点的坐标来计算标定参数，该标定参数包括表示末端效应器的坐标系与相机的坐标系之间的关系的平移向量和旋转矩阵。
图12是示出根据本公开的实施例的用于执行手眼标定的方法的流程图。
在假设图2的机器人100或图3的电子设备300执行图12的过程的情况下进行以下描述。另外，可以理解，图12的操作由图2的机器人100的控制电路150或图3的电子设备300的处理器340执行。为了便于解释，将在假设图12的操作由图2的机器人100执行的情况下进行以下描述。
参考图12，在操作1210中，机器人可以通过使用相机来获取图像。例如，机器人可以通过使用相机来连续获取工作台的多个图像。
在操作1220中，机器人可以确定相机的位置是否被改变。例如，机器人可以将由相机获取的至少两个图像相互比较。在第一图像在像素亮度上与第二图像完全不同的情况下，机器人可以确定相机的位置被改变。
如果不确定相机的位置被改变，则在操作1230中，机器人可以抓取外部对象。例如，机器人可以基于存储在机器人中的坐标来抓取外部对象。机器人可以在抓取外部对象之后移动外部对象。
在操作1240中，机器人可以确定对外部对象的抓取是否成功。例如，机器人可以比较在抓取外部对象之前获取的图像和在抓取外部对象之后获取的图像。如果在抓取外部对象之前获取的图像与在抓取外部对象之后获取的图像在外部对象的区域中的像素的亮度方面不同，则机器人可以确定对外部对象的抓取成功。如果对外部对象的抓取成功，则机器人可以再次执行操作1210。
如果相机的位置被改变或者如果对外部对象的抓取失败，则在操作1250中，机器人可以输出相机的位置改变的通知。例如，如果相机的位置被改变或者对外部对象的抓取失败，则机器人可以确定相机的位置被改变，并且可以向用户输出相机的位置改变的通知。机器人可以输出例如声音通知，并且可以向被包括在机器人(或电子设备)中的显示器或与机器人连接的显示器输出消息。机器人可以在输出通知之后再次执行参考图11描述的手眼标定。
根据实施例，用于执行手眼标定的机器人可以包括：机器臂，包括多个关节、通过多个关节中的至少一些关节而彼此可旋转地耦合的多个臂部、以及抓取外部对象的与多个关节中的一个连接的末端效应器；通信接口，以无线或有线方式与相机连接；控制电路，与机器臂和通信接口电连接。控制电路可以包括在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后控制机器臂将外部对象放置在工作台上，可以从由相机捕获的外部对象的图像获取外部对象的中心点在相机的坐标系中的坐标，并且可以当外部对象被放置在工作台上时，基于末端效应器在机器人的基坐标系中的坐标和外部对象的中心点在相机的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数。
根据实施例，机器人还可以包括相机，并且通信接口可以是将相机与控制电路连接的接口。
根据实施例，通信接口可以以无线方式与相机通信。
根据实施例，如果外部对象被放置在工作台上的指定位置处，则控制电路可以控制机器臂抓取外部对象，使得末端效应器的中心与外部对象的中心重合。
根据实施例，机器人还可以包括与控制电路电连接的输入设备以从机器人的用户接收输入。在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，如果通过输入设备输入机器人的用户的指令，则控制电路可以控制机器臂将外部对象放置在工作台上。
根据实施例，在外部对象的图像由相机捕获之前，控制电路可以控制机器臂移出相机的视线。
根据实施例，控制电路可以通过使用外部对象的图案分析外部对象的图像来获取外部对象的中心点在相机的坐标系中的坐标。
根据实施例，控制电路可以在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，控制机器臂将外部对象放置在工作台上的第一位置处，可以当外部对象被放置在第一位置处时，获取末端效应器在机器人的基坐标系中的第一坐标，可以从由相机捕获的外部对象的第一图像获取外部对象的中心点在相机的坐标系统中的第一坐标，可以控制机器臂抓取放置在第一位置处的外部对象并将外部对象放置在工作台上与第一位置不同的第二位置处，可以当外部对象被放置在第二位置处时，获取末端效应器在机器人的基坐标系中的第二坐标，可以从由相机捕获的外部对象的第二图像获取外部对象的中心点在相机的坐标系中的第二坐标，并且可以基于末端效应器的第一坐标、外部对象的中心点的第一坐标、末端效应器的第二坐标和外部对象的中心点的第二坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数。
根据实施例，控制电路可以基于用于定义机器人的基坐标系与相机的坐标系之间的关系的第一参数和用于定义机器人的基坐标系与末端效应器的坐标系之间的关系的第二参数来计算标定参数。
根据实施例，标定参数可以包括用于定义末端效应器的坐标系与相机的坐标系之间的关系的旋转矩阵和平移向量。
根据实施例，标定参数可以包括与投影变换相关联的单应矩阵。
根据实施例，标定参数可以包括相机固有参数，该相机固有参数包括相机的焦距或镜头畸变系数。
根据实施例，用于执行包括末端效应器的机器人的手眼标定的电子设备可以包括：至少一个通信接口，以无线或有线方式与相机设备和机器人连接；以及处理器，与至少一个通信接口电连接。处理器可以在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后控制机器人将外部对象放置在工作台上，从由相机设备捕获的外部对象的图像获取外部对象的中心点在相机设备的坐标系中的坐标，并且当外部对象被放置在工作台上时，基于末端效应器在机器人的基坐标系中的坐标和外部对象的中心点在相机设备的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机设备的坐标系之间的关系的标定参数。
根据实施例，在外部对象的图像由相机设备捕获之前，处理器可以控制机器人移出相机设备的视线。
根据实施例，处理器可以通过使用外部对象的图案分析外部对象的图像来获取外部对象的中心点的坐标。
根据实施例，处理器可以在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，控制机器人将外部对象放置在工作台上的第一位置处，可以当外部对象被放置在第一位置处时，获取末端效应器在机器人的基坐标系中的第一坐标，可以从由相机设备捕获的外部对象的第一图像获取外部对象的中心点在相机设备的坐标系中的第一坐标，可以控制机器人抓取放置在第一位置处的外部对象并将外部对象放置在工作台上与第一位置不同的第二位置处，可以当外部对象被放置在第二位置处时，获取末端效应器在机器人的基坐标系中的第二坐标，可以从由相机设备捕获的外部对象的第二图像获取外部对象的中心点在相机设备的坐标系中的第二坐标，并且可以基于末端效应器的第一坐标、外部对象的中心点的第一坐标、末端效应器的第二坐标和外部对象的中心点的第二坐标来计算用于定义末端效应器的坐标系与相机设备的坐标系之间的关系的标定参数。
根据实施例，处理器可以基于用于定义机器人的基坐标系与相机设备的坐标系之间的关系的第一参数和用于定义机器人的基坐标系与末端效应器的坐标系之间的关系的第二参数来计算标定参数。
根据实施例，标定参数可以包括用于定义末端效应器的坐标系与相机设备的坐标系之间的关系的旋转矩阵和平移向量。
根据实施例，标定参数可以包括与末端效应器的坐标系和相机设备的坐标系之间的投影变换相关联的单应矩阵。
根据实施例，用于执行包括末端效应器的机器人的手眼标定的电子设备可以包括：相机，被放置以捕获工作台的图像；通信接口，以无线或有线方式与机器人连接；以及处理器，与相机和通信接口电连接。处理器可以在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，控制机器人将外部对象放置在工作台上，可以从由相机捕获的外部对象的图像获取外部对象的中心点在相机的坐标系中的坐标，并且可以当外部对象被放置在工作台上时，基于末端效应器在机器人的基坐标系中的坐标和外部对象的中心点在相机的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数。
本公开中使用的术语“模块”可以包括由硬件、软件和固件组成的单元，并且可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件，或者可以是用于执行一个或多个功能或其一部分的最小单元。“模块”可以被机械地或电子地实现，并且可以包括用于执行已知或将要开发的一些操作的专用集成电路(Application-Specific Integrated Circuit，ASIC)芯片、现场可编程门阵列(Field-ProgrammableGate Array，FPGA)或可编程逻辑器件中的至少一个。根据各种实施例的装置的至少一部分(例如，其模块或功能)或方法(例如，操作)可以例如由以程序模块形式存储在非暂时性计算机可读存储介质中的命令来实现。指令在由处理器运行时可以使得处理器执行与该指令相对应的功能。非暂时性计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，光盘只读存储器(Compact Disc Read Only Memory，CD-ROM)和DVD)、磁光介质(例如，软式光盘))和内部存储器。此外，程序指令不仅可以包括诸如由编译器生成的事物的机械代码，还可以包括使用解释器在计算机上可运行的高级语言代码。根据各种实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略上述元件的一部分，或者还可以包括其他元件。根据各种实施例的由模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式方法运行，或者一些操作可以以不同的顺序运行或者可以被省略。可替换地，可以添加其他操作。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物所限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (14)

1.一种用于执行手眼标定的机器人，所述机器人包括：
机器臂，包括多个关节，通过多个关节中的至少一部分彼此可旋转地耦合的多个臂部，以及与多个关节中的一个连接并且被配置为抓取外部对象的末端效应器；
通信接口，以无线或有线方式与相机连接；以及
控制电路，与机器臂和通信接口电连接，
其中，控制电路被配置为：
在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，控制机器臂将外部对象放置在工作台上；
从由相机捕获的、放置在工作台上的外部对象的图像获取外部对象的中心点在相机的坐标系中的坐标；以及
基于当外部对象放置在工作台上时获取的末端效应器在机器人的基坐标系中的坐标和外部对象的中心点在相机的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数，
其中，控制电路还被配置为：
在外部对象被放置在工作台上之后，控制机器臂移出相机的视线，使得从不被机器臂隐藏的外部对象的图像获取外部对象的中心点的坐标。
2.根据权利要求1所述的机器人，
其中，机器人还包括相机，并且
其中，通信接口是将相机与控制电路连接的接口。
3.根据权利要求1所述的机器人，其中，通信接口以无线方式与相机通信。
4.根据权利要求1所述的机器人，其中，控制电路被配置为：
如果外部对象被放置在工作台上的指定位置处，则控制机器臂抓取外部对象，使得末端效应器的中心与外部对象的中心重合。
5.根据权利要求1所述的机器人，还包括：
输入设备，与控制电路电连接以从机器人的用户接收输入，
其中，控制电路被配置为在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，如果通过输入设备输入机器人的用户的指令，则控制机器臂将外部对象放置在工作台上。
6.根据权利要求1所述的机器人，其中，控制电路被配置为：
通过使用外部对象的图案分析外部对象的图像来获取外部对象的中心点在相机的坐标系中的坐标。
7.根据权利要求1所述的机器人，其中，控制电路被配置为：
在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，控制机器臂将外部对象放置在工作台上的第一位置处；
当外部对象被放置在第一位置处时，获取末端效应器在机器人的基坐标系中的第一坐标；
从由相机捕获的外部对象的第一图像获取外部对象的中心点在相机的坐标系中的第一坐标；
控制机器臂抓取放置在第一位置处的外部对象，并且将外部对象放置在工作台上与第一位置不同的第二位置处；
当外部对象被放置在第二位置处时，获取末端效应器在机器人的基坐标系中的第二坐标；
从由相机捕获的外部对象的第二图像获取外部对象的中心点在相机的坐标系中的第二坐标；以及
基于末端效应器的第一坐标、外部对象的中心点的第一坐标、末端效应器的第二坐标和外部对象的中心点的第二坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数。
8.根据权利要求1所述的机器人，其中，控制电路被配置为：
基于用于定义机器人的基坐标系与相机的坐标系之间的关系的第一参数和用于定义机器人的基坐标系与末端效应器的坐标系之间的关系的第二参数来计算标定参数。
9.根据权利要求1所述的机器人，其中，标定参数包括用于定义末端效应器的坐标系与相机的坐标系之间的关系的旋转矩阵和平移向量。
10.根据权利要求1所述的机器人，其中，标定参数包括与投影变换相关联的单应矩阵。
11.根据权利要求1所述的机器人，其中，标定参数包括相机固有参数，其中所述相机固有参数包括相机的焦距或镜头畸变系数中的至少一个。
12.一种用于执行包括末端效应器的机器人的手眼标定的电子设备，所述电子设备包括：
至少一个通信接口，以无线或有线方式与相机设备和机器人连接；以及
处理器，与至少一个通信接口电连接，
其中，处理器被配置为：
在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，控制机器人将外部对象放置在工作台上；
当外部对象被放置在工作台上时，控制机器人获取末端效应器在机器人的基坐标系中的坐标；
从由相机设备捕获的外部对象的图像获取外部对象的中心点在相机设备的坐标系中的坐标；以及
基于当外部对象被放置在工作台上时获取的末端效应器在机器人的基坐标系中的坐标和当外部对象被放置在工作台上时外部对象的中心点在相机设备的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机设备的坐标系之间的关系的标定参数，
其中，处理器还被配置为：
在外部对象被放置在工作台上之后，控制机器人移出相机设备的视线，使得机器人从不被机器人隐藏的外部对象的图像获取外部对象的中心点的坐标。
13.根据权利要求12所述的电子设备，其中，处理器被配置为：
基于用于定义机器人的基坐标系与相机设备的坐标系之间的关系的第一参数和用于定义机器人的基坐标系与末端效应器的坐标系之间的关系的第二参数来计算标定参数。
14.一种用于执行包括末端效应器的机器人的手眼标定的电子设备，所述电子设备包括：
相机，被放置以捕获工作台的图像；
通信接口，以无线或有线方式与机器人连接；以及
处理器，与相机和通信接口电连接，
其中，处理器被配置为：
在外部对象由末端效应器抓取使得末端效应器的中心与外部对象的中心重合之后，控制机器人将外部对象放置在工作台上；
当外部对象被放置在工作台上时，控制机器人获取末端效应器在机器人的基坐标系中的坐标；
控制相机获取放置在工作台上的外部对象的图像；
从由相机捕获的外部对象的图像获取外部对象的中心点在相机的坐标系中的坐标；以及
基于当外部对象被放置在工作台上时获取的末端效应器在机器人的基坐标系中的坐标和当外部对象被放置在工作台上时外部对象的中心点在相机的坐标系中的坐标来计算用于定义末端效应器的坐标系与相机的坐标系之间的关系的标定参数，
其中，处理器还被配置为：
在外部对象被放置在工作台上之后，控制机器人移出相机的视线，使得机器人从不被机器人隐藏的外部对象的图像获取外部对象的中心点的坐标。
CN201880005842.2A 2017-01-04 2018-01-02 执行手眼标定的机器人和电子设备 Active CN110167722B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170001549A KR102576842B1 (ko) 2017-01-04 2017-01-04 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
KR10-2017-0001549 2017-01-04
PCT/KR2018/000050 WO2018128355A1 (en) 2017-01-04 2018-01-02 Robot and electronic device for performing hand-eye calibration

Publications (2)

Publication Number Publication Date
CN110167722A CN110167722A (zh) 2019-08-23
CN110167722B true CN110167722B (zh) 2022-11-22

Family

ID=62708768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880005842.2A Active CN110167722B (zh) 2017-01-04 2018-01-02 执行手眼标定的机器人和电子设备

Country Status (4)

Country Link
US (1) US10780585B2 (zh)
KR (1) KR102576842B1 (zh)
CN (1) CN110167722B (zh)
WO (1) WO2018128355A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108818536B (zh) * 2018-07-12 2021-05-14 武汉库柏特科技有限公司 一种机器人手眼标定的在线偏移修正方法及装置
CN111971529A (zh) * 2018-09-03 2020-11-20 Abb瑞士股份有限公司 用于管理机器人系统的方法和装置
CN109454634B (zh) * 2018-09-20 2022-02-22 广东工业大学 一种基于平面图像识别的机器人手眼标定方法
CN110969665B (zh) * 2018-09-30 2023-10-10 杭州海康威视数字技术股份有限公司 一种外参标定方法、装置、系统及机器人
US11065768B2 (en) * 2018-11-01 2021-07-20 TE Connectivity Services Gmbh Automatic calibration for camera-robot system with tool offsets
TWI677413B (zh) 2018-11-20 2019-11-21 財團法人工業技術研究院 用於機械手臂系統之校正方法及裝置
KR102577448B1 (ko) 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
KR102206753B1 (ko) * 2019-01-24 2021-01-22 주식회사 수아랩 결함 검사 장치
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
CN111627066B (zh) * 2019-02-27 2023-07-18 南京地平线机器人技术有限公司 一种摄像头的外参数调整方法及装置
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
CN109848999B (zh) * 2019-03-29 2021-05-18 北京理工大学 布线机器人的机械臂校准方法及装置
WO2020208686A1 (ja) * 2019-04-08 2020-10-15 日本電気株式会社 カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN110977980A (zh) * 2019-12-17 2020-04-10 上海嘉奥信息科技发展有限公司 基于光学定位仪的机械臂实时手眼标定方法及系统
CN111421528A (zh) * 2020-03-24 2020-07-17 广州市轻工职业学校 一种工业机器人的自动化控制系统
WO2021219239A1 (en) 2020-04-27 2021-11-04 Lego A/S System and method for calibrating a collaborative robot system
CN111590593B (zh) * 2020-06-19 2021-12-17 浙江大华技术股份有限公司 机械臂的标定方法、装置、系统及存储介质
US11597078B2 (en) * 2020-07-28 2023-03-07 Nvidia Corporation Machine learning control of object handovers
WO2022107943A1 (ko) * 2020-11-23 2022-05-27 한국전자기술연구원 지능형 스마트 물류 자동화 정보처리장치
CN112525074B (zh) * 2020-11-24 2022-04-12 杭州素问九州医疗科技有限公司 标定方法、系统、机器人、计算机装置和导航系统
WO2022155882A1 (en) * 2021-01-22 2022-07-28 Abb Schweiz Ag Assembling apparatus, assembling method and computer readable storage medium
CN113263499B (zh) * 2021-04-19 2022-12-30 深圳瀚维智能医疗科技有限公司 机械臂手眼标定方法、装置、系统及计算机可读存储介质
CN113516720B (zh) * 2021-07-07 2024-04-09 广东拓斯达科技股份有限公司 基于视觉定位的物料上架自动码放方法及系统
CN113787522B (zh) * 2021-10-12 2022-08-26 华侨大学 消除机械臂累积误差的手眼标定方法
CN113814987B (zh) * 2021-11-24 2022-06-03 季华实验室 多相机机器人手眼标定方法、装置、电子设备及存储介质
KR102641951B1 (ko) * 2021-12-29 2024-02-27 재단법인대구경북과학기술원 로봇 암 제어 장치 및 방법
CN115416030B (zh) * 2022-02-24 2023-06-20 哈尔滨工业大学 一种机械臂远距离跟踪翻滚卫星对接环的运动规划方法
WO2023223410A1 (ja) * 2022-05-17 2023-11-23 株式会社ニコン ロボット装置及びその制御方法
CN115319737B (zh) * 2022-07-12 2023-06-27 广州里工实业有限公司 一种自动化上下料控制方法、系统、装置及存储介质
KR102515259B1 (ko) * 2022-09-20 2023-03-30 주식회사 랑데뷰 Ai 물체 인식 학습용 라벨링 데이터 자동 수집 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613269A (en) * 1984-02-28 1986-09-23 Object Recognition Systems, Inc. Robotic acquisition of objects by means including histogram techniques
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法
CN104369188A (zh) * 2014-11-20 2015-02-25 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
CN205343173U (zh) * 2016-01-12 2016-06-29 上海优爱宝智能机器人科技股份有限公司 机器人手眼坐标系标定装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
KR100468857B1 (ko) 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
SE524818C2 (sv) * 2003-02-13 2004-10-05 Abb Ab En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt
US20090118864A1 (en) 2007-11-01 2009-05-07 Bryce Eldridge Method and system for finding a tool center point for a robot using an external camera
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US10112303B2 (en) * 2013-10-25 2018-10-30 Aleksandar Vakanski Image-based trajectory robot programming planning approach
JP6380828B2 (ja) * 2014-03-07 2018-08-29 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
US9193073B1 (en) 2014-10-15 2015-11-24 Quanta Storage Inc. Robot calibration apparatus for calibrating a robot arm
CN107428009B (zh) 2015-04-02 2020-07-24 Abb瑞士股份有限公司 用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613269A (en) * 1984-02-28 1986-09-23 Object Recognition Systems, Inc. Robotic acquisition of objects by means including histogram techniques
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法
CN104369188A (zh) * 2014-11-20 2015-02-25 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
CN205343173U (zh) * 2016-01-12 2016-06-29 上海优爱宝智能机器人科技股份有限公司 机器人手眼坐标系标定装置

Also Published As

Publication number Publication date
US20180186004A1 (en) 2018-07-05
KR20180080630A (ko) 2018-07-12
CN110167722A (zh) 2019-08-23
WO2018128355A1 (en) 2018-07-12
KR102576842B1 (ko) 2023-09-12
US10780585B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
CN110167722B (zh) 执行手眼标定的机器人和电子设备
EP3466070B1 (en) Method and device for obtaining image, and recording medium thereof
KR102606785B1 (ko) 동시 로컬화 및 매핑을 위한 시스템 및 방법
CN108451536B (zh) 自动地定位x射线系统的x射线源的方法和x射线系统
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US11514650B2 (en) Electronic apparatus and method for controlling thereof
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7017689B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2019028843A (ja) 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
JP2015158461A (ja) 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
US20150262415A1 (en) Image processing device, system, image processing method, and image processing program
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
US20170345184A1 (en) Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method
US10437342B2 (en) Calibration systems and methods for depth-based interfaces with disparate fields of view
CN105009172B (zh) 用于运动模糊感知视觉位姿跟踪的方法和设备
CN113436066A (zh) 用于多相机或其他环境的超分辨率深度图生成
CN111670004A (zh) 用于测量心率的电子装置和方法
CN106662923A (zh) 信息处理装置、信息处理方法和程序
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
CN111149067A (zh) 经由基准检测在工作空间中的机器人定位
JP2019079481A (ja) 生体情報解析装置及びその顔型のシミュレーション方法
CN116917949A (zh) 根据单目相机输出来对对象进行建模
US20220392084A1 (en) Scene perception systems and methods
CN109785444A (zh) 图像中现实平面的识别方法、装置及移动终端
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant