CN105818167A - 采用远距数字摄像头校准铰接的末端执行器的方法 - Google Patents

采用远距数字摄像头校准铰接的末端执行器的方法 Download PDF

Info

Publication number
CN105818167A
CN105818167A CN201510185779.3A CN201510185779A CN105818167A CN 105818167 A CN105818167 A CN 105818167A CN 201510185779 A CN201510185779 A CN 201510185779A CN 105818167 A CN105818167 A CN 105818167A
Authority
CN
China
Prior art keywords
end effector
attitude
point cloud
sight
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510185779.3A
Other languages
English (en)
Other versions
CN105818167B (zh
Inventor
R.M.乌伦布罗克
H.霍夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN105818167A publication Critical patent/CN105818167A/zh
Application granted granted Critical
Publication of CN105818167B publication Critical patent/CN105818167B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40611—Camera to monitor endpoint, end effector position
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于采用数字摄像头对机器人手臂的可铰接末端执行器进行校准的方法包括命令末端执行器实现多个姿态。在每一个命令的末端执行器姿态下，通过数字摄像头获得的末端执行器的影像被捕获且基于捕获的末端执行器的影像产生包括末端执行器的情景点云。基于命令的末端执行器姿态产生包括末端执行器的合成点云，且末端执行器的第一位置基于合成点云，且确定与情景点云相关的末端执行器的第二位置。针对多个命令的末端执行器姿态基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置。

Description

采用远距数字摄像头校准铰接的末端执行器的方法
技术领域
本发明涉及采用铰接的末端执行器的机器人手臂，和用于其校准的方法。
背景技术
本文提供的背景描述的目的是大致给出本发明的背景。在该背景部分以及在提交申请时被认为是现有技术的一些方面的情况下，本发明人的工作不明确或暗含地认为是对本发明的现有技术的承认。
机器人摄像头校准准确性对视觉传感器指导的机器人平台的有效使用来说是很关键的。机器人摄像头校准的已知方法包括确定描述摄像头相对于相关坐标系的相对位置和取向的非固有特点。已知校准方法依赖于人的监督，以通过检视来自摄像头的影像以及标记出机器人末端执行器或某其他基准标记的位置而手动地在摄像头的参考系中提供相应的点。对于一次的校准，该方法可以是准确的和适用的，但是对需要经常执行校准的灵活制造环境来说很繁琐。其他已知方法通过使用计算机视觉且采用置于机器人工作空间或附接到末端执行器的特别的校准目标、校准模式或其他基准点来找出相应的点。这种校准目标例如可包括棋盘格模式或LED。使用校准模式会是有问题的，它们可能不适用于具体工作环境，可能破坏正常的运行条件，且可能要求位置和模式校准，由此增加了通信量和优化复杂度。
发明内容
一种用于采用数字摄像头对机器人手臂的可铰接末端执行器进行校准的方法，包括命令末端执行器实现多个姿态。在每一个被命令的末端执行器姿态下，通过数字摄像头获得的末端执行器的影像被捕获，且基于被捕获的末端执行器的影像产生包括末端执行器的情景点云。基于被命令的末端执行器姿态产生包括末端执行器的合成点云，且末端执行器的第一位置是基于合成点云的，且确定与情景点云相关的末端执行器的第二位置。针对多个被命令的末端执行器姿态基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置。
根据本发明的一个方面，提出一种用于采用数字摄像头对机器人手臂的可铰接末端执行器进行校准的方法，该方法包括：
命令末端执行器实现多个姿态；
针对每一个被命令的末端执行器姿态：
通过数字摄像头捕获末端执行器的影像，
基于被捕获的末端执行器的影像产生包括末端执行器的情景点云，
基于被命令的末端执行器姿态产生包括末端执行器的合成点云，
基于合成点云确定末端执行器的第一位置，且
基于情景点云确定末端执行器的第二位置；和
针对多个被命令的末端执行器姿态基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置。
优选地，其中基于被命令的末端执行器姿态产生包括末端执行器的合成点云包括，基于被命令的末端执行器姿态和机器人手臂的运动学模型产生末端执行器的表面的合成点云。
优选地，其中针对每一个被命令的末端执行器姿态基于合成点云和情景点云确定末端执行器的第一位置包括：
针对合成点云和情景点云计算快速点特征直方图(FPFH)特征。
采用样本一致-初始对准(SAC-IA)方法基于针对合成点云和情景点云的FPFH特征在FOV中找出末端执行器的大致姿态；
通过球形过滤器在通过SAC-IA找出的末端执行器的大致姿态下将完全情景分为部分情景；
计算针对部分情景的FPFH特征；
在部分情景中采用SAC-IA方法找出末端执行器的姿态；
通过球形过滤器在通过SAC-IA找出的末端执行器的姿态下将部分情景分为精细情景；和
在精细情景中采用迭代最近点程序以估计末端执行器的姿态。
优选地，其中基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置包括，求解刚性本体变形矩阵以基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置。
优选地，其中求解刚性本体变形矩阵以基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置包括，对相应的第一和第二位置的矩阵使用单值分解。
优选地，其中求解刚性本体变形矩阵以校准末端执行器的位置包括，求解刚性本体变形矩阵以校准末端执行器相对于数字摄像头的位置。
优选地，其中通过数字摄像头捕获末端执行器的影像进一步包括，通过数字摄像头捕获末端执行器的影像而在包括末端执行器的视野中没有基准标记。
根据本发明的另一方面，提出一种用于采用远距数字摄像头对机器人手臂的可铰接末端执行器进行校准的方法，该方法包括：
按次序命令末端执行器实现多个姿态；
针对每一个被命令的末端执行器姿态：
通过数字摄像头在第一参考系中捕获末端执行器的影像，
基于被捕获的末端执行器的影像产生包括末端执行器的情景点云，
基于被命令的末端执行器姿态产生合成点云，
基于针对每一个被命令末端执行器姿态的合成点云和情景点云，确定末端执行器相对于第一参考系的第一位置；和
确定与每一个姿态中的机器人手臂相关的末端执行器相对于第二参考系的第二位置；和
执行刚性本体变形矩阵，以针对所述多个被命令的末端执行器姿态基于末端执行器相对于第一参考系的第一位置和末端执行器相对于第二参考系的第二位置校准末端执行器关于摄像头的位置。
优选地，其中基于被命令的末端执行器姿态产生包括末端执行器的合成点云包括，在第一参考系中产生末端执行器的表面的合成点云。
优选地，其中基于针对每一个被命令末端执行器姿态的合成点云和情景点云确定末端执行器相对于第一参考系的第一位置包括：
针对合成点云和情景点云计算快速点特征直方图(FPFH)特征；
采用样本一致-初始对准(SAC-IA)方法基于针对合成点云和情景点云的FPFH特征在FOV中找出末端执行器的大致姿态；
通过球形过滤器在通过SAC-IA找出的末端执行器的大致姿态下将完全情景分为部分情景；
计算用于部分情景的FPFH特征；
在部分情景中采用SAC-IA方法找出末端执行器的姿态；
通过球形过滤器在通过SAC-IA找出的末端执行器的姿态下将部分情景分为精细情景；和
在精细情景中采用迭代最近点程序来估计末端执行器的姿态。
优选地，其中执行刚性本体变形矩阵以校准末端执行器的位置包括，求解刚性本体变形矩阵，以对相应的第一和第二位置的矩阵使用单值分解来校准末端执行器的位置。
优选地，其中求解刚性本体变形矩阵以校准末端执行器的位置包括，求解刚性本体变形矩阵以校准末端执行器相对于远距数字摄像头的位置。
优选地，其中通过数字摄像头捕获末端执行器的影像进一步包括，通过远距数字摄像头捕获末端执行器的影像而在包括末端执行器的影像的视野中没有基准标记。
根据本发明的再一方面，提出一种采用远距定位的三维数字摄像头对机器人手臂的可铰接末端执行器进行校准的方法，该方法包括：
按次序命令末端执行器实现多个姿态；
对于每一个被命令的末端执行器姿态：
通过数字摄像头在第一参考系中捕获末端执行器的影像；
基于被捕获的末端执行器的影像产生包括末端执行器的表面的情景点云；
基于被命令的末端执行器姿态产生包括末端执行器的合成点云；和
基于针对每一个被命令末端执行器姿态的合成点云和情景点云确定末端执行器相对于第一参考系的第一位置；
确定与每一个姿态下机器人手臂相关的末端执行器相对于第二参考系的第二位置；和
针对所述多个被命令的末端执行器姿态基于末端执行器相对于第一参考系的第一位置和末端执行器相对于第二参考系的第二位置校准末端执行器关于摄像头的位置。
在下文结合附图进行的对实施本发明的较佳模式做出的详尽描述中能容易地理解上述的本发明的特征和优点以及其他的特征和优点。
附图说明
参考附图通过例子描述一个或多个实施例，其中：
图1示意性地示出了根据本发明的机器人装置，其具有可铰接的末端执行器和外部视觉系统，外部视觉系统包括影像检测器(摄像头)和用于其监测和控制的附随的多个控制器，
图2示意性地显示了根据本发明的校准处理结构的实施例，其用于进行与从远程安装的数字摄像头获得的可铰接末端执行器3D影像相关的、具有可铰接末端执行器的机器人装置的空间位置校准；和
图3示意性地显示了根据本发明的用于校准机器人装置的校准方法，所述机器人装置包括与可铰接末端执行器的3D影像关联的可铰接末端执行器，所述3D影像从远程安装的数字摄像头获得，而不采用外部目标或其他基准标记。
具体实施方式
现在参见附图，其中描述仅是用于描述某些示例性实施例的目的，而不是为了对其进行限制，图1示意性地示出了机器人装置40，其包括多联动件(multi-link)机器人手臂42，所述机器人手臂具有可铰接的末端执行器44和外部视觉系统，所述外部视觉系统包括远程影像检测器(摄像头)10和附随的用于其监测和控制的多个控制器。摄像头10能捕获、处理和存储包括了可铰接的末端执行器44的视野(FOV)12的影像。
摄像头10优选是立体照片(stereo)装置，其能捕获三维(3D)影像15，且与编码器20信号连接，所述编码器信号连接到摄像头控制器30。摄像头10固定安装在搁置于第一地面表面11上的立架上，其在第一xyz坐标系形式的第一参考系16中被描述，该第一xyz坐标系具有与摄像头10相关的第一原点17，x和y坐标通过第一地面表面11限定且z坐标与第一地面表面11正交。在FOV12中摄像头10可相对于机器人装置40和可铰接的末端执行器44为任何位置和取向。摄像头10远离机器人装置40，其中机器人装置40的运动不影响摄像头10的相应的运动。
在一个实施例中，通过摄像头10捕获的3D影像15是24位立体影像形式的位图影像文件，其包括RGB(红色-绿色-蓝色)值和代表FOV12的深度值。3D影像15的其他实施例可包括显示3DFOV12的黑白或灰度表现形式的3D影像，或没有限制的其他影像表现形式。摄像头10包括影像获取传感器，所述传感器信号连接到编码器20，该编码器在3D影像15上执行数字信号处理(DSP)。影像获取传感器以预定分辨率在FOV12中捕获像素，且编码器20产生FOV12的位图影像文件25，例如8位像素位图，其代表预定分辨率下的FOV12。编码器20产生位图影像文件25，该文件25被通信到摄像头控制器30。位图影像文件25在一个实施例中是存储在非瞬时数字数据存储介质中的编码数据文件。
位图影像文件25包括3D影像的数字表现形式，其包括机器人手臂42的可铰接的末端执行器44，且代表以摄像头10的原始分辨率捕获的FOV12的原始影像。被摄像头10捕获的可铰接的末端执行器44的3D影像15含有足够的信息，以用于让摄像头控制器30对可铰接的末端执行器44关于摄像头10的位置进行分析和定量。在与照明和反射率相关的影响已经被考虑且摄像头10已经被校准之后，可铰接的末端执行器44的被感知的形状取决于摄像头10和可铰接的末端执行器44之间的相对观察角度和距离。摄像头控制器30从包括机器人手臂42的可铰接的末端执行器44的位图影像文件25产生情景点云35。在一个实施例中，情景点云35包括整个位图影像文件25。替换地，情景点云35包括与机器人手臂42的可铰接的末端执行器44相关的一部分位图影像文件25，该一部分位图影像文件已经从位图影像文件25提取以降低存储空间需求。点云和点云特征提取技术是已知的。摄像头控制器30将情景点云35通信到系统控制器60。
机器人装置40优选搁置于第二地面表面41上，其在第二xyz坐标系形式的第二参考系46中被描述，该第二xyz坐标系具有与机器人装置40相关的第二原点47，x和y坐标通过第二地面表面41限定且z坐标与第二地面表面41正交。机器人装置40包括可控制的多联动件手臂42，可铰接的末端执行器44附接到所述手臂42。末端执行器44附接机器人手臂42的端部，作为其手、工具、操纵器等。其是被铰接的，即能让其关节运动且改变其形状。多联动件手臂42和末端执行器44配置为分别响应于通过机器人控制器50产生的手臂命令51和末端执行器命令53而可控地选择性地枢转、延伸和旋转。手臂命令51控制多联动件手臂42的运动且末端执行器命令53控制可铰接的末端执行器44的运动。多联动件手臂42和可铰接的末端执行器44的运动在第二参考系46中描述，x和y坐标通过第二地面表面41限定且z坐标与第二地面表面41正交。多联动件手臂42和可铰接的末端执行器44配备有在每一个铰接关节处的角度测量装置形式的位置感测装置或其他合适位置感测装置和方法，以确定该处的旋转(一个或多个)。被测量的手臂位置55代表多联动件手臂42的被测量位置，其包括与多联动件手臂42的铰接关节相关的角度，且被命令的姿态57代表与可铰接的末端执行器44相关的被测量角度，被测量的手臂位置55在第二参考系46中描述。与多联动件手臂42和可铰接末端执行器44和用于控制它们的命令的其他细节是已知的且不在本文详细描述。包括具有所示第一原点17的第一xyz坐标系的第一参考系16和包括具有第二原点47的第二xyz坐标系的第二参考系46是描述性的。描述摄像头10和机器人装置40位置的其他参考系可等效地被采用。通过非限制性的例子，第一参考系16可以代替地将第一参考系16的原点定位在摄像头10上。
控制器、控制模块、模块、控制、控制单元、处理器和相似的术语是指一个或多个专用集成电路(一个或多个)(ASIC)、电子电路(一个或多个)、执行一个或多个软件或固件程序或例行程序的中央处理单元(一个或多个)(优选是微处理器(一个或多个))和相关的存储器和存储部分(只读的、可编程只读的、随机存取的、硬件驱动的等)、逻辑电路(一个或多个)、输入/输出和装置、适当的信号调节和缓冲器电路、和其他部件中的一个或各种组合，以提供所述的功能，包括数据存储和数据分析。软件、固件、程序、指令、例行程序、代码、算法和相似的术语是指任何控制器可执行的指令集，包括校准和查找表。术语‘模型’是指基于处理器的或处理器可执行的代码，其模拟了物理存在或物理过程。控制器之间以及控制器、促动器和/或传感器之间的通信可以使用直接有线链路、网络通信总线链路、无线链路或任何其他合适的通信链路实现。
图2示意性地显示校准处理结构100的实施例，该校准处理结构用于进行与从远程安装的数字摄像头获得的可铰接末端执行器3D影像相关的、具有可铰接末端执行器的机器人装置的空间位置校准。针对图1所示的机器人装置40、摄像头10、第一参考系16、第二参考系46和附随的摄像头、机器人和系统控制器30、50、60描述了校准处理结构100。校准处理结构100采用摄像头10捕获的信号(其代表可铰接的末端执行器44的3D影像)和用于定位可铰接的末端执行器44以实现期望位置的命令。术语“校准”和有关术语是指结果或过程，其将与装置相关的实际的或标准测量结果与感知的或观察的测量结果或被命令位置进行比较。如在本文所述的校准可缩减到用于基于摄像头10的捕获信号确定末端执行器44位置的可储存的参数表、多个可执行的方程或其他合适形式，包括第一参考系16和第二参考系46之间几何平移。校准处理结构100包括系统控制器60、机器人控制器50和摄像头控制器30之间的通信和命令信号的布置，且包括采用来自摄像头10的信号以确定末端执行器44的位置。
机器人控制器50产生和发送手臂命令51和末端执行器命令53，以定位末端执行器44，且使用逆向运动学以让末端执行器44运动到那些位置。机器人控制器50基于当前的被测量关节角度使用正向运动学来计算末端执行器44相对于第二参考系46的位置，所述第二参考系46与机器人装置40相关。
机器人控制器50包括运动产生器52，以确定手臂命令51，其包括机器人手臂42在校准期间要运动到的一系列位置。所述位置不与摄像头10的视野共面也不是封留的(occluded)，而可以是任意的。运动产生器52按次序命令机器人手臂42运动到空间中的一系列期望点位置的每一个，且出于通过摄像头10进行测量和姿态捕获的目的而进行稳定化。每一个手臂命令51设置有时间戳或其他标记，其可包括在与通过摄像头10捕获的情景点云35相关的数据文件中。
机器人控制器50包括姿态产生器54，以确定末端执行器命令53，其包括在校准期间末端执行器44在每一个手臂命令51下所要运动到的一系列位置，这在本文中称为被命令姿态(i，j)。姿态产生器54按次序命令末端执行器44运动到一系列被命令姿态(i，j)的每一个，在所述姿态下出于通过摄像头10测量和捕获情景点云35的目的而仅稳定化，每一个末端执行器命令53设置有时间戳或其他标记，其可被包括在与通过摄像头10的捕获情景点云35相关的数据文件中。末端执行器命令53目的是让末端执行器44关节运动，以形成形状的变化性和更独特的3D特征，其改善模型在视觉组件中匹配的准确性。
机器人控制器50确定每一个手臂命令51下每一个末端执行器命令53的多个被命令姿态57，实际的位置与在第二参考系46中从位置传感器确定的被命令姿态57相关。多个被命令姿态57被设置为对模型合成器58的输入。
模型合成器58产生被命令的铰接形状下的末端执行器表面的合成点云59。在一个实施例中，其包括采用来自计算机辅助设计(CAD)工具的末端执行器几何结构的固体模型，以合成用于每一个被命令姿态57的点云。点是从固体模型的几何结构随机取样的，直到最终的合成点云59具有用于模型匹配的足够的密度。
摄像头控制器30基于从摄像头10输入的用于机器人装置40的每一个姿态的信号产生情景点云35。包括机器人装置40的末端执行器44的情景点云被提取，以确定针对第一参考系16描述的测量姿态(i，j)。
系统控制器60包括视觉部件62，以确定针对每一个采用了情景点云35和合成点云模型59的被命令姿态(i，j)的、末端执行器44相对于摄像头10的位置。
视觉部件62采用3D模型匹配算法，以将末端执行器定位在情景中且估计其姿态。这分几个阶段实施，包括计算用于合成点云模型59和完全情景点云的快速点特征直方图(FPFH)特征的程序，采用对数据执行样本一致-初始对准(SAC-IA)程序的程序而在FOV12中找出末端执行器的大致姿态，通过其半径为在通过SAC-IA找出的位置处合成点云模型59的边界的半径三倍的球形过滤器将完全情景分成部分情景，针对部分情景计算FPFH特征，使用SAC-IA找出部分情景中末端执行器的姿态，通过其半径与通过执行SAC-IA程序所找出的位置处合成模型的半径相同的球形过滤器将部分情景分为精细的情景，且从通过执行最近的SAC-IA程序找出的姿态开始使用迭代最近点(ICP)程序在精细的情景中估计末端执行器的姿态，以相对于摄像头10确定视觉系统检测的末端执行器位置63。与SAC-IA和ICP相关的程序和方法是已知的且不在本文详细描述。
FPFH从点特征直方图(PFH)获得，用于准确地且鲁棒地将点相对于其下方的表面进行分类。PFH是收集与视野相关的表面补片(surfacepatch)上每对常量之间两两比较的俯仰、倾斜和偏航角度的直方图。FPFH测量同一角特征作为PFH，但是估计仅在每点和其k个最靠近量之间的一些组值，随后将点的最终直方图通过邻近的直方图进行重新加权，由此降低计算复杂性。FPFH得出是已知且不在进一步详细描述。
执行SAC-IA程序以在FOV12中大致找出末端执行器的姿态。FOV12被球形过滤器(其具有的半径为合成模型的半径的三倍)在通过SAC-IA程序找出的位置处大致分降成部分FOV。SAC-IA程序是使用FPFH以实现两个不同点云P和Q之间第一次对准的算法。其包括三个主要步骤。SAC-IA从点云P选择样本点，确保其两两成对的距离大于某最小距离(dmin)。两两成对距离在一个实施例中被设定为40cm。SAC-IA找出点云Q中的点列表，其FPFH直方图类似于用于每一个样本点的样本点直方图。其从列表中随机选择一个点且该点将被认为是该样本点的对应。SAC-IA计算通过样本点和其对应点限定的刚性变形且计算用于该点云的误差度量，该误差度量允许找出变形质量。
系统控制器60包括校准计算器64，所述校准计算器采用相对于摄像头10的视觉系统检测末端执行器位置63以及被测量手臂位置55(该被测量手臂位置显示了多联动件手臂42的被测量位置)，以确定机器人摄像头校准65。相对于摄像头10的视觉系统检测末端执行器位置63产生第一姿态，其在本文被称为情景姿态(i，j)，其针对具有与摄像头10相关的第一原点17的第一参考系16被描述。第二姿态为被测量姿态(i，j)，其包括显示了多联动件手臂42的测量位置的被测量手臂位置55，且针对具有与机器人装置40相关的第二原点47的第二参考系46被描述。
校准计算器64接收相对于摄像头10和相对于机器人装置40的一组相应的点。机器人摄像头校准64通过刚性本体变形矩阵表示，所述矩阵包括3x3旋转矩阵R和3x1平移T。刚性本体变形包括通过合适的旋转、平移、映射和其组合实现的、对于第一参考系16中的姿态(i，j)的视觉系统检测末端执行器位置63相对于摄像头10和用于第二参考系46中姿态(i，j)的末端执行器的测量被位置的成对对准。刚性本体变形矩阵包括3x3旋转矩阵R和3x1平移T。给定点ai相对于摄像头的Nx3矩阵A，即在第一参考系16中针对姿态(i，j)的末端执行器44相对于摄像头10的被捕获位置，和点bi相对于机器人的Nx3矩阵B，即在第二参考系46中针对姿态(i，j)的末端执行器的被测量位置，则可采用基于变形估计的单值分解确定校准，如下。
mean A = 1 N Σ a i , mean B = 1 N Σ b i - - - [ 1 ]
A ‾ = A - mean A , B ‾ = B - mean B
UΣV T = B ‾ T A ‾ 是单值分解
U(：，2)＝U(：，2)·det(UVT)和
R＝UVT，T＝meanA-R·meanB
其中U(：,2)是指矩阵U的第二列且det()是指矩阵行列式。
单值分解(SVD)是用于任何矩阵的一种因式分解，将其分解为三个基体U、Σ和V，其中U为单矩阵，Σ为具有非负对角线的对角线矩阵，且V为单矩阵。SVD的使用不依靠于用于计算SVD的任何具体算法。一种这样的算法涉及使用Householderreflections和使用QR算法将矩阵缩减到对角形式，以计算特征值。可以类似地采用其他算法。
图3示意性地显示了用于校准机器人装置的校准方法200，所述机器人装置包括与可铰接末端执行器的3D影像关联的可铰接末端执行器，所述3D影像从远程安装的数字摄像头获得，而不采用外部目标或其他基准标记。在参考图1所述的机器人装置40和摄像头10的实施例的情况下，且在参考图2所述的校准处理结构100的实施例的情况下，出于示例性目的描述了校准方法200。校准方法200的原理可以有效地无限制地应用于其他构造。其他结构和构造可以用于实现机器人装置的空间位置校准，所述机器人装置具有可铰接末端执行器，所述可铰接末端执行器采用被数字摄像头捕获的信号，所述信号以与本文所述的实施例一致的方式代表可铰接末端执行器的3D影像。
对具有可铰接末端执行器的机器人装置的空间位置进行校准包括，按次序命令机器人装置经过一系列姿态，同时摄像头捕获且记录包括可铰接末端执行器的FOV12的3D影像。来自机器人手臂和末端执行器的数据与传感器数据和计算机视觉组合，以产生一组对应点，该组对应点适用于计算空间位置校准矩阵，所述校准矩阵关于摄像头10限定机器人装置的可铰接的末端执行器44。这包括以下过程。
校准方法200的结果是统一(unify)第一和第二参考系16、46，而不采用外部目标或其他基准标记。基准标记是插入到FOV12的物体或影像，其出现在3D影像中且可被用作用于缩放和取向的参考点。表格1作为一关键因素被提供，其中带数字标记的图框和相应的函数描述如下，对应于校准方法200。
表格1
校准方法200如下操作。(202)索引i表示被命令的机器人手臂位置，其对应于手臂命令51，具有n个机器人手臂位置。(204)机器人手臂被命令到位置i且使用机器人手臂上的传感器测量该位置。(206)索引j表示与末端执行器命令53对应的被命令末端执行器位置，且存在m个末端执行器位置。(208)末端执行器被命令到位置j且使用机器人手臂42和末端执行器44上的位置传感器测量位置，形成被命令姿态(i，j)，其在第二参考系46中描述。(210)使用如下的来自摄像头10的信息确定被测量姿态(i，j)。(212)采用被命令姿态(i，j)、基于与被命令姿态(i，j)相关的当前被测量关节角度的机器人装置40运动学模型，产生且针对第二参考系46描述合成的点云59。基于机器人手臂40的已知结构构造确定用于每一个被命令姿态(i，j)的合成点云59。被测量姿态(i，j)也用在步骤240中，以计算校准，以确定机器人装置40的末端执行器44和摄像头10之间的非固有校准，以实现手眼协调，而不用采用外部目标或其他基准标记。
(214)摄像头10捕获FOV12中的影像且提取情景点云，所述情景点云包括在被命令姿态(i，j)下的机器人装置40的末端执行器44。情景点云用于确定末端执行器44的被测量姿态(i，j)，且针对第一参考系16描述。针对每一个被命令姿态(i，j)采用情景点云和合成点云59确定末端执行器44的被测量姿态(i，j)。针对第一参考系16描述被测量姿态(i，j)。
由此，对于每一个被命令姿态(i，j)，产生了对应于针对参考图2被描述的情景点云的第一点云、以及对应于针对图2所述的合成点云59的第二点云。
(220)计算机视觉针对图2的视觉部件62被执行，以针对每一个被命令姿态(i，j)采用情景点云和合成点云模型59确定末端执行器44相对于摄像头10的位置。计算机视觉步骤(步骤220到234)的目的是针对每一个被命令姿态(i，j)采用情景点云35和合成点云59确定末端执行器44相对于摄像头10的被测量姿态(i，j)。
计算机视觉步骤包括：(222)计算用于情景点云35和合成点云模型59的快速点特征直方图(FPFH)特征，和(224)采用样本一致-初始对准(SAC-IA)程序大致估计或以其他方式找出情景中末端执行器的姿态。(226)通过具有的半径为合成模型半径三倍的球形过滤器在通过SAC-IA程序找出的位置处将完全情景分为部分情景，且(228)通过采用SAC-IA找出部分情景中末端执行器姿态，针对部分情景计算FPFH特征。(230)通过具有的半径等于合成点云模型59半径的球形过滤器在通过SAC-IA程序找出的位置处将部分情景分为精细情景。(232)从通过最近执行的SAC-IA程序找出的姿态开始，使用迭代最近点(ICP)过程估计精细情景中末端执行器的姿态。(234)被命令姿态(i，j)与被测量姿态(i，j)比较，以确定末端执行器44相对于摄像头10的位置，即第一参考系16中的被测量姿态(i，j)可被确定。针对第二参考系46所描述的被命令姿态(i，j)也在此时被捕获。
(236)索引j增量到m末端执行器位置，且末端执行器位置被测量和通过迭代执行步骤204到236而针对每一个末端执行器位置被分析。
(238)索引i增量到n机器人手臂位置，且针对j＝1到m末端执行器位置的每一个、针对i＝1到n机器人手臂位置的每一个，测量和分析末端执行器位置，步骤220到234以适当的过程执行且捕获数据。
(240)校准计算器接收相对于摄像头10且相对于机器人装置40的相应点的组，即分别是针对第一参考系16中姿态(i，j)的末端执行器相对于摄像头的位置和针对第二参考系46中姿态(i，j)的末端执行器的测量位置。机器人摄像头校准通过刚性本体变形矩阵表示，如在本文所述的。
为了测试该原理，机器人装置40的实施例的运动学模型与任意定位的模拟摄像头一起被模拟。运动产生器命令机器人模型呈现一系列姿态而传感器在每一个姿态下捕获模拟情景的点云。末端执行器姿态产生器命令机器人手在每一个手臂位置处采取各种姿态，例如握拳、伸展手或两个手指接触拇指。模型合成器形成用于这些手姿态每一个的合成点云模型。计算机视觉模块检测每一个点云中手模型的姿态。校准计算器能准确地重现被模拟摄像头的位置和取向。
本文所述的不采用外部目标或其他基准标记而使得第一和第二参考系16、46统一(unify)的校准方法提供了自动确定机器人和3D摄像头之间非固有摄像头校准的能力。机器人摄像头校准的关键是找出相对于机器人手臂和相对于摄像头的一组相应点。简要来说，机器人手臂运动经过一系列姿态而摄像头记录3D的工作空间成像。来自机器人手臂和末端执行器的数据与摄像头数据和计算机视觉组合，以产生适用于计算校准矩阵的一组对应点。机器人手臂使得其末端执行器关节运动到各种姿态，所述姿态通过摄像头10感知为3D点云。机器人的正向运动模型用于将机器人坐标系中末端执行器的模型点云合成。点云特征匹配和对准技术用于使得传感器点云中的末端执行器隔离且匹配3D模型。这些匹配提供传感器和机器人坐标系之间的对应点，其用于计算非固有校准。
本文所述的校准方法使得机器人摄像头校准过程简化，以在灵活制造环境中使用先进的感知导向的机器人技术。其优点是使得在校准过程中对人的输入的需要最小化且消除了对校准模式的需要。其利用了3D传感器和灵巧机器人操纵器的发展。其使得能够针对机器人的不断变化的制造任务而进行迅速重构，有助于灵活制造。
附图中的详细的描述和显示是对本发明的支持和描述，而本发明的范围仅通过权利要求限定。尽管已经对执行本发明的较佳模式进行了详尽的描述但是本领域技术人员可得知在所附的权利要求的范围内的用来实施本发明的许多替换设计和实施例。

Claims (10)

1.一种用于采用数字摄像头对机器人手臂的可铰接末端执行器进行校准的方法，该方法包括：
命令末端执行器实现多个姿态；
针对每一个被命令的末端执行器姿态：
通过数字摄像头捕获末端执行器的影像，
基于被捕获的末端执行器的影像产生包括末端执行器的情景点云，
基于被命令的末端执行器姿态产生包括末端执行器的合成点云，
基于合成点云确定末端执行器的第一位置，且
基于情景点云确定末端执行器的第二位置；和
针对多个被命令的末端执行器姿态基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置。
2.如权利要求1所述的方法，其中基于被命令的末端执行器姿态产生包括末端执行器的合成点云包括，基于被命令的末端执行器姿态和机器人手臂的运动学模型产生末端执行器的表面的合成点云。
3.如权利要求1所述的方法，其中针对每一个被命令的末端执行器姿态基于合成点云和情景点云确定末端执行器的第一位置包括：
针对合成点云和情景点云计算快速点特征直方图(FPFH)特征。
采用样本一致-初始对准(SAC-IA)方法基于针对合成点云和情景点云的FPFH特征在FOV中找出末端执行器的大致姿态；
通过球形过滤器在通过SAC-IA找出的末端执行器的大致姿态下将完全情景分为部分情景；
计算针对部分情景的FPFH特征；
在部分情景中采用SAC-IA方法找出末端执行器的姿态；
通过球形过滤器在通过SAC-IA找出的末端执行器的姿态下将部分情景分为精细情景；和
在精细情景中采用迭代最近点程序以估计末端执行器的姿态。
4.如权利要求1所述的方法，其中基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置包括，求解刚性本体变形矩阵以基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置。
5.如权利要求4所述的方法，其中求解刚性本体变形矩阵以基于末端执行器的第一位置和末端执行器的第二位置校准末端执行器的位置包括，对相应的第一和第二位置的矩阵使用单值分解。
6.如权利要求5所述的方法，其中求解刚性本体变形矩阵以校准末端执行器的位置包括，求解刚性本体变形矩阵以校准末端执行器相对于数字摄像头的位置。
7.如权利要求1所述的方法，其中通过数字摄像头捕获末端执行器的影像进一步包括，通过数字摄像头捕获末端执行器的影像而在包括末端执行器的视野中没有基准标记。
8.一种用于采用远距数字摄像头对机器人手臂的可铰接末端执行器进行校准的方法，该方法包括：
按次序命令末端执行器实现多个姿态；
针对每一个被命令的末端执行器姿态：
通过数字摄像头在第一参考系中捕获末端执行器的影像，
基于被捕获的末端执行器的影像产生包括末端执行器的情景点云，
基于被命令的末端执行器姿态产生合成点云，
基于针对每一个被命令末端执行器姿态的合成点云和情景点云，确定末端执行器相对于第一参考系的第一位置；和
确定与每一个姿态中的机器人手臂相关的末端执行器相对于第二参考系的第二位置；和
执行刚性本体变形矩阵，以针对所述多个被命令的末端执行器姿态基于末端执行器相对于第一参考系的第一位置和末端执行器相对于第二参考系的第二位置校准末端执行器关于摄像头的位置。
9.如权利要求8所述的方法，其中基于被命令的末端执行器姿态产生包括末端执行器的合成点云包括，在第一参考系中产生末端执行器的表面的合成点云。
10.如权利要求8所述的方法，其中基于针对每一个被命令末端执行器姿态的合成点云和情景点云确定末端执行器相对于第一参考系的第一位置包括：
针对合成点云和情景点云计算快速点特征直方图(FPFH)特征；
采用样本一致-初始对准(SAC-IA)方法基于针对合成点云和情景点云的FPFH特征在FOV中找出末端执行器的大致姿态；
通过球形过滤器在通过SAC-IA找出的末端执行器的大致姿态下将完全情景分为部分情景；
计算用于部分情景的FPFH特征；
在部分情景中采用SAC-IA方法找出末端执行器的姿态；
通过球形过滤器在通过SAC-IA找出的末端执行器的姿态下将部分情景分为精细情景；和
在精细情景中采用迭代最近点程序来估计末端执行器的姿态。
CN201510185779.3A 2015-01-22 2015-04-20 采用远距数字摄像头校准铰接的末端执行器的方法 Expired - Fee Related CN105818167B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/602,519 US9616569B2 (en) 2015-01-22 2015-01-22 Method for calibrating an articulated end effector employing a remote digital camera
US14/602,519 2015-01-22

Publications (2)

Publication Number Publication Date
CN105818167A true CN105818167A (zh) 2016-08-03
CN105818167B CN105818167B (zh) 2018-10-23

Family

ID=56364235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510185779.3A Expired - Fee Related CN105818167B (zh) 2015-01-22 2015-04-20 采用远距数字摄像头校准铰接的末端执行器的方法

Country Status (3)

Country Link
US (1) US9616569B2 (zh)
CN (1) CN105818167B (zh)
DE (1) DE102015101710B4 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107443425A (zh) * 2017-09-20 2017-12-08 柳州欧卡机器人有限公司 一种基于多关节的工业机器人校准装置
CN111133476A (zh) * 2017-09-18 2020-05-08 苹果公司 点云压缩
CN112164018A (zh) * 2020-09-27 2021-01-01 北华航天工业学院 一种机器视觉校准系统及其校准方法
US10926414B2 (en) 2017-09-29 2021-02-23 Industrial Technology Research Institute System and method for calibrating tool center point of robot
CN113997295A (zh) * 2021-12-30 2022-02-01 湖南视比特机器人有限公司 机械臂的手眼标定方法、装置、电子设备及存储介质
US11663744B2 (en) 2018-07-02 2023-05-30 Apple Inc. Point cloud compression with adaptive filtering
US11676309B2 (en) 2017-09-18 2023-06-13 Apple Inc Point cloud compression using masks
US11683525B2 (en) 2018-07-05 2023-06-20 Apple Inc. Point cloud compression with multi-resolution video encoding
US11748916B2 (en) 2018-10-02 2023-09-05 Apple Inc. Occupancy map block-to-patch information compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11935272B2 (en) 2017-09-14 2024-03-19 Apple Inc. Point cloud compression
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857786B2 (en) * 2015-03-31 2018-01-02 Recognition Robotics, Inc. System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame
CN108463313A (zh) * 2016-02-02 2018-08-28 Abb瑞士股份有限公司 机器人系统校准
WO2018222762A2 (en) * 2017-05-30 2018-12-06 Sisu Devices Llc Robotic point capture and motion control
USD873324S1 (en) 2017-06-15 2020-01-21 Robotiq Inc. Camera for a robotic arm
CA3030734C (en) 2017-06-16 2023-01-10 Robotiq Inc. Robotic arm camera system and method
CN107297399B (zh) * 2017-08-08 2018-10-16 南京埃斯顿机器人工程有限公司 一种机器人自动寻找折弯位置的方法
CN107443382B (zh) * 2017-09-12 2020-09-22 清华大学 工业机器人结构参数误差辨识与补偿方法
CN110039514A (zh) * 2018-01-15 2019-07-23 均豪精密工业股份有限公司 机械手臂装置及机械手臂装置的控制方法
CN111770814A (zh) * 2018-03-01 2020-10-13 多伦多大学管理委员会 校准移动机械手的方法
JP7040147B2 (ja) * 2018-03-09 2022-03-23 セイコーエプソン株式会社 制御装置、ロボット、ロボットシステム，及び、物体を認識する方法
JP6740288B2 (ja) * 2018-07-13 2020-08-12 ファナック株式会社 物体検査装置、物体検査システム、及び検査位置を調整する方法
CN109202912B (zh) * 2018-11-15 2020-09-11 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
TWI696529B (zh) * 2018-11-30 2020-06-21 財團法人金屬工業研究發展中心 自動定位方法以及自動控制裝置
TWI672206B (zh) * 2018-12-19 2019-09-21 財團法人工業技術研究院 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
US11049282B2 (en) * 2019-02-28 2021-06-29 Intelligrated Headquarters, Llc Vision calibration system for robotic carton unloading
CN109676636A (zh) * 2019-03-06 2019-04-26 南京航空航天大学 一种工业机器人运动学标定系统及标定方法
CN110142805A (zh) * 2019-05-22 2019-08-20 武汉爱速达机器人科技有限公司 一种基于激光雷达的机器人末端校准方法
WO2021010016A1 (ja) * 2019-07-12 2021-01-21 パナソニックＩｐマネジメント株式会社 ハンドの制御システム及びハンドの制御方法
US11927438B2 (en) * 2020-01-02 2024-03-12 The Boeing Company Methods and systems for calibrating fiducial markers relative to an object
CN112223288B (zh) * 2020-10-09 2021-09-14 南开大学 一种视觉融合的服务机器人控制方法
CN115958589A (zh) * 2021-10-11 2023-04-14 罗伯特·博世有限公司 用于机器人的手眼标定的方法和装置
US20230196495A1 (en) * 2021-12-22 2023-06-22 Datalogic Ip Tech S.R.L. System and method for verifying positional and spatial information using depth sensors
CN114523471B (zh) * 2022-01-07 2023-04-25 中国人民解放军海军军医大学第一附属医院 基于关联标识的误差检测方法及机器人系统
US20230278221A1 (en) * 2022-02-15 2023-09-07 Symbotic Canada, Ulc Apparatus and method for automatic pallet builder calibration
CN114842079B (zh) * 2022-04-23 2023-09-19 四川大学 盾构隧道内对预制中隔墙进行位姿测量的设备及方法
CN114918928B (zh) * 2022-07-22 2022-10-28 杭州柳叶刀机器人有限公司 手术机械臂精准定位方法、装置、控制终端及存储介质
GB2622222A (en) * 2022-09-06 2024-03-13 Ocado Innovation Ltd Hand-Eye Calibration for a Robotic Manipulator
CN115847423B (zh) * 2022-12-30 2024-05-28 合肥工业大学 一种工业机器人眼看手视觉系统标定方法
CN116945195B (zh) * 2023-09-19 2024-01-12 成都飞机工业（集团）有限责任公司 全向测量设备系统装置、配准方法、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471312A (en) * 1991-07-04 1995-11-28 Fanuc Ltd. Automatic calibration method
CN1426527A (zh) * 2000-04-25 2003-06-25 英斯派克公司 组合立体视像、彩色3d数字化和运动捕捉的系统
CN101909827A (zh) * 2007-10-23 2010-12-08 海雷激光有限公司 扫描头校准系统及其方法
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和系统
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
CN103925879A (zh) * 2014-04-24 2014-07-16 中国科学院合肥物质科学研究院 基于3d图像传感器的室内机器人视觉手眼关系标定方法
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19616276C2 (de) 1996-04-24 1998-04-30 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Vermessen und Kalibrieren eines mehrachsigen Manipulators
US6438448B1 (en) * 2000-02-08 2002-08-20 Storage Technology Corporation Self aligning robotic arm calibration apparatus
US7844106B2 (en) * 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc Method and system for determining poses of objects from range images using adaptive sampling of pose spaces
US20120114181A1 (en) * 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
US9437005B2 (en) 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9098913B2 (en) * 2012-05-11 2015-08-04 Cornell University Prediction of successful grasps by end of arm tooling
US20130335528A1 (en) * 2012-05-15 2013-12-19 Board Of Regents Of The University Of Texas System Imaging device capable of producing three dimensional representations and methods of use
US8363930B1 (en) 2012-07-23 2013-01-29 Google Inc. Use of materials and appearances to merge scanned images
GB2509783B (en) * 2013-01-15 2017-07-05 Holition Ltd Foot tracking
US9098773B2 (en) 2013-06-27 2015-08-04 Chevron U.S.A. Inc. System and method of detecting objects in scene point cloud

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471312A (en) * 1991-07-04 1995-11-28 Fanuc Ltd. Automatic calibration method
CN1426527A (zh) * 2000-04-25 2003-06-25 英斯派克公司 组合立体视像、彩色3d数字化和运动捕捉的系统
CN101909827A (zh) * 2007-10-23 2010-12-08 海雷激光有限公司 扫描头校准系统及其方法
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和系统
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN103925879A (zh) * 2014-04-24 2014-07-16 中国科学院合肥物质科学研究院 基于3d图像传感器的室内机器人视觉手眼关系标定方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11935272B2 (en) 2017-09-14 2024-03-19 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
CN111133476B (zh) * 2017-09-18 2023-11-10 苹果公司 包括多个点的点云的压缩和解压缩的系统、设备和方法
CN111133476A (zh) * 2017-09-18 2020-05-08 苹果公司 点云压缩
US11922665B2 (en) 2017-09-18 2024-03-05 Apple Inc. Point cloud compression
US11676309B2 (en) 2017-09-18 2023-06-13 Apple Inc Point cloud compression using masks
CN107443425A (zh) * 2017-09-20 2017-12-08 柳州欧卡机器人有限公司 一种基于多关节的工业机器人校准装置
US10926414B2 (en) 2017-09-29 2021-02-23 Industrial Technology Research Institute System and method for calibrating tool center point of robot
US11663744B2 (en) 2018-07-02 2023-05-30 Apple Inc. Point cloud compression with adaptive filtering
US11683525B2 (en) 2018-07-05 2023-06-20 Apple Inc. Point cloud compression with multi-resolution video encoding
US11748916B2 (en) 2018-10-02 2023-09-05 Apple Inc. Occupancy map block-to-patch information compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
CN112164018B (zh) * 2020-09-27 2024-02-27 北华航天工业学院 一种机器视觉校准系统及其校准方法
CN112164018A (zh) * 2020-09-27 2021-01-01 北华航天工业学院 一种机器视觉校准系统及其校准方法
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
CN113997295B (zh) * 2021-12-30 2022-04-12 湖南视比特机器人有限公司 机械臂的手眼标定方法、装置、电子设备及存储介质
CN113997295A (zh) * 2021-12-30 2022-02-01 湖南视比特机器人有限公司 机械臂的手眼标定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
DE102015101710B4 (de) 2016-09-08
CN105818167B (zh) 2018-10-23
DE102015101710A1 (de) 2016-07-28
US20160214255A1 (en) 2016-07-28
US9616569B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
CN105818167A (zh) 采用远距数字摄像头校准铰接的末端执行器的方法
US8135209B2 (en) Articulated object position and posture estimation device, method and program
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
CN108475439B (zh) 三维模型生成系统、三维模型生成方法和记录介质
US9118823B2 (en) Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
US8447097B2 (en) Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement
US10430650B2 (en) Image processing system
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
CN103302666A (zh) 信息处理设备和信息处理方法
US20080240511A1 (en) Apparatus for picking up objects
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
US20160184998A1 (en) Robot identification system
JP4765075B2 (ja) ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム
WO2019059343A1 (ja) ワーク情報処理装置およびワークの認識方法
EP3578321A1 (de) Verfahren zum verwenden mit einer maschine zum erstellen einer erweiterte-realität-anzeigeumgebung
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US20210042576A1 (en) Image processing system
US20210012529A1 (en) Information processing apparatus
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
US20230154162A1 (en) Method For Generating Training Data Used To Learn Machine Learning Model, System, And Non-Transitory Computer-Readable Storage Medium Storing Computer Program
WO2023162223A1 (ja) 学習プログラム、生成プログラム、学習方法および生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181023

Termination date: 20200420

CF01 Termination of patent right due to non-payment of annual fee