CN117103286B - 一种机械手手眼标定方法、系统和可读存储介质 - Google Patents
一种机械手手眼标定方法、系统和可读存储介质 Download PDFInfo
- Publication number
- CN117103286B CN117103286B CN202311384810.7A CN202311384810A CN117103286B CN 117103286 B CN117103286 B CN 117103286B CN 202311384810 A CN202311384810 A CN 202311384810A CN 117103286 B CN117103286 B CN 117103286B
- Authority
- CN
- China
- Prior art keywords
- manipulator
- camera
- data
- hand
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 239000011159 matrix material Substances 0.000 claims abstract description 90
- 230000009466 transformation Effects 0.000 claims description 49
- 238000013519 translation Methods 0.000 claims description 34
- 238000010276 construction Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 26
- 238000000926 separation method Methods 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims 1
- 230000002411 adverse Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 230000033001 locomotion Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000002324 minimally invasive surgery Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/0095—Means or methods for testing manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开的一种机械手手眼标定方法、系统和可读存储介质，本发明通过眼在手上和手眼分离两种方法进行手眼标定,对于眼在手上标定流程,使用预测姿态网络生成机械手与相机位姿加入标定方程,计算手眼标定结果;对于手眼分离标定流程,使用预测对应点网络生成机械手末端与相机坐标的三维坐标,并加入标定方程,计算最终结果。另外，本发明加入了生成及预测网络方法,在标定的三维空间中生成机械手坐标并预测出相应的相机坐标,加入至参数解算矩阵中,降低RCM约束的不良影响,提高参数鲁棒性与精度。
Description
技术领域
申请涉及数据处理和数据传输领域，更具体的，涉及一种机械手手眼标定方法、系统和可读存储介质。
背景技术
近年来，外科手术已逐渐转为微创手术(MIS)，主要是利用小孔径的切口或是人体孔进行手术，尽可能减少对患者的创伤，这种手术方式由于伤口面积小，对于病患而言有恢复时间短、降低并发症风险、失血和减少疼痛等优点。机器人辅助微创手术(RMIS)使用远程操作平台来控制手术器械，从而增强外科医生的可操作性，降低手术人为失误率，并且，这种装置通常会引入计算机辅助干预(CAI)，利用计算机在术前计算出手术规划指引，并于术中成像叠加到视频反馈源上监控手术流程，以确保手术的角度与深度正确，同时增强皮肉组织表面下结构和功能解剖信息的可视化。
计算机辅助干预是利用正运动学与变换关系将计算机运算后的3D信息从场景投影到相机视图中，很大程度地依赖机械手与相机的手眼标定精度，因此确保手眼标定精度是相当重要的，然而，尽管现有的手眼标定方法相当成熟，精度已满足许多实际应用场景的需求，但是对于机器人辅助微创手术而言却仍有障碍。以操作层面来说，若能提供相机与机械手足够范围的三维空间获取标定板图像，并且在图相清晰可见的情况下尽可能的采集6自由度的位姿数据，此时计算出的标定矩阵具有良好的泛化性，并且精度较高。由上述可知，微创手术主要是利用小孔径的切口进行手术，因此手术机器人在设计时往往会受到结构的限制，只能在远程运动中心(RCM)周围运动，以确保患者伤口能限制在小区域内，这限制了机械手从原本的6自由度降为4自由度(仅能三维旋转和一维平移)，导致不良的手眼约束。
目前常见的手眼标定方式是利用机用二维标定板辅助标定，眼在手上是将标定板固定放置在指定位置，机械手带着相机以不同位姿角度去拍摄标定板图像，进而计算出机械手与相机关系，手眼分离是利用机械手带着标定板，以不同位姿供相机拍摄。然而在RCM约束下，机械手的位置与角度受限制，使得相机拍摄到的标定板信息过于相似，导致参数解算时精度下降或失败。
综上所述，利用机器人辅助微创手术是一个极具潜力的领域，利用机械手结合3D影像信息可提升手术的成功率与减少手术风险，然而由于平台机械结构自带的RCM约束使得目前现有的手眼标定方式精度低，因此如何提高带有RCM约束的手眼标定是重要的。
实际操作中，由于手术机器人存在结构的限制，只允许在远程运动中心(RCM)周围运动，因此在机械手手眼标定过程中相机采集到的位姿数据过于相似，导致参数计算结果不佳。造成此结果不是因为相机或机械手测量精度问题，而是平台机构不良约束造成数据源过于单一。
因此现有技术存在缺陷，急需改进。
发明内容
鉴于上述问题，本发明的目的是提供一种机械手手眼标定方法、系统和可读存储介质，能够能避免因RCM约束带来的不良位姿计算，提高标定精度和鲁棒性。
本发明第一方面提供了一种机械手手眼标定方法，包括：
获取场景信息；
根据所述场景信息进行分析选择相对应的手眼标定方法，所述手眼标定方法包括眼在手上标定和手眼分离标定；
若为眼在手上标定，则获取带有RCM约束的机械手姿态数据T1和相机姿态数据T2；
根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数；
若为手眼分离标定，则获取带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2；
根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数；
根据所述手眼标定参数或所述旋转平移参数进行分析，得到预测相机坐标数据。
本方案中，根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析之前，还包括：
获取标定板圆点的世界坐标P1和相机坐标P2;
根据所述标定板圆点的世界坐标P1和相机坐标P2进行分析，得到标定板与相机的坐标转换关系，并建立姿态预测数据集；
根据所述姿态预测数据集建立姿态预测回归网络模型；
通过第一预设损失函数对所述姿态预测回归网络模型进行验证，得到预设姿态预测回归网络模型。
本方案中，所述根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数，包括：
在所述带有RCM约束的机械手姿态数据T1中随机生成m1个机械手姿态，得到机械手位姿数据T3；
将所述机械手位姿数据T3输入至预设姿态预测回归网络模型进行分析，得到预测相机姿态数据T4；
将所述机械手位姿数据T3和所述预测相机姿态数据T4输入至第一预设矩阵中，经过矩阵运算得到手眼标定参数。
本方案中，根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析之前，还包括：
获取带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4；
根据所述带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4进行分析，建立点预测回归网络模型；
通过第二预设损失函数对所述点预测回归网络模型进行验证，得到预设点预测回归网络模型。
本方案中，所述根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数，包括：
在所述带有RCM约束的机械手位置Q1中随机生成m2个机械手位置，得到机械手位置数据Q3；
将所述机械手位置数据Q3输入至预设点预测回归网络模型进行分析，得到预测的相机位置Q4；
将所述机械手位置数据Q3和所述预测的相机位置Q4添加至第二预设参数矩阵中，得到构造转换矩阵H；
通过SVD方法对所述构造转换矩阵H进行解耦，得到旋转平移参数。
本方案中，通过SVD方法对所述构造转换矩阵H进行解耦，具体为：
通过SVD方法对所述构造转换矩阵H进行解耦，用公式表示为：
，
其中，H为构造转换矩阵、R为旋转参数、t为平移参数、U和V代表二个相互正交矩阵、S代表一对角矩阵、为U的转置矩阵、α为机械手位置数据Q3的质心、β为预测的相机位置Q4的质心、/>为奇异值分解函数。
本发明第二方面提供了一种机械手手眼标定系统，包括存储器和处理器，所述存储器中包括机械手手眼标定方法程序，所述机械手手眼标定方法程序被所述处理器执行时实现如下步骤：
获取场景信息；
根据所述场景信息进行分析选择相对应的手眼标定方法，所述手眼标定方法包括眼在手上标定和手眼分离标定；
若为眼在手上标定，则获取带有RCM约束的机械手姿态数据T1和相机姿态数据T2；
根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数；
若为手眼分离标定，则获取带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2；
根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数；
根据所述手眼标定参数或所述旋转平移参数进行分析，得到预测相机坐标数据。
本方案中，根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析之前，还包括：
获取标定板圆点的世界坐标P1和相机坐标P2;
根据所述标定板圆点的世界坐标P1和相机坐标P2进行分析，得到标定板与相机的坐标转换关系，并建立姿态预测数据集；
根据所述姿态预测数据集建立姿态预测回归网络模型；
通过第一预设损失函数对所述姿态预测回归网络模型进行验证，得到预设姿态预测回归网络模型。
本方案中，所述根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数，包括：
在所述带有RCM约束的机械手姿态数据T1中随机生成m1个机械手姿态，得到机械手位姿数据T3；
将所述机械手位姿数据T3输入至预设姿态预测回归网络模型进行分析，得到预测相机姿态数据T4；
将所述机械手位姿数据T3和所述预测相机姿态数据T4输入至第一预设矩阵中，经过矩阵运算得到手眼标定参数。
本方案中，根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析之前，还包括：
获取带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4；
根据所述带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4进行分析，建立点预测回归网络模型；
通过第二预设损失函数对所述点预测回归网络模型进行验证，得到预设点预测回归网络模型。
本方案中，所述根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数，包括：
在所述带有RCM约束的机械手位置Q1中随机生成m2个机械手位置，得到机械手位置数据Q3；
将所述机械手位置数据Q3输入至预设点预测回归网络模型进行分析，得到预测的相机位置Q4；
将所述机械手位置数据Q3和所述预测的相机位置Q4添加至第二预设参数矩阵中，得到构造转换矩阵H；
通过SVD方法对所述构造转换矩阵H进行解耦，得到旋转平移参数。
本方案中，通过SVD方法对所述构造转换矩阵H进行解耦，具体为：
通过SVD方法对所述构造转换矩阵H进行解耦，用公式表示为：
，
其中，H为构造转换矩阵、R为旋转参数、t为平移参数、U和V代表二个相互正交矩阵、S代表一对角矩阵、为U的转置矩阵、α为机械手位置数据Q3的质心、β为预测的相机位置Q4的质心、/>为奇异值分解函数。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种机械手手眼标定方法程序，所述一种机械手手眼标定方法程序被处理器执行时，实现如上述任一项所述的一种机械手手眼标定方法的步骤。
本发明公开的一种机械手手眼标定方法、系统和可读存储介质，本发明通过眼在手上和手眼分离两种方法进行手眼标定,对于眼在手上标定流程,使用预测姿态网络生成机械手与相机位姿加入标定方程,计算手眼标定结果;对于手眼分离标定流程,使用预测对应点网络生成机械手末端与相机坐标的三维坐标,并加入标定方程,计算最终结果。另外，本发明加入了生成及预测网络方法,在标定的三维空间中生成机械手坐标并预测出相应的相机坐标,加入至参数解算矩阵中,降低RCM约束的不良影响,提高参数鲁棒性与精度。
附图说明
图1示出了本发明一种机械手手眼标定方法的流程图；
图2示出了本发明一种手眼标定参数获取方法的流程图；
图3示出了本发明一种旋转平移参数获取方法的流程图；
图4示出了本发明一种机械手手眼标定系统的框图
图5示出了本发明一种圆心及十字的二维标定板的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种机械手手眼标定方法的流程图。
如图1所示，本发明公开了一种机械手手眼标定方法，包括：
S102，获取场景信息；
S104，根据所述场景信息进行分析选择相对应的手眼标定方法，所述手眼标定方法包括眼在手上标定和手眼分离标定；
S106，若为眼在手上标定，则获取带有RCM约束的机械手姿态数据T1和相机姿态数据T2；根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数；若为手眼分离标定，则获取带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2；根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数；
S108，根据所述手眼标定参数或所述旋转平移参数进行分析，得到预测相机坐标数据。
根据本发明实施例，所述场景信息包括硬件、机械手与相机，由于场景中硬件、机械手与相机相对位置固定，通过场景信息可以确定机械手与相机的位置关系为眼在手上或手眼分离，其中，眼在手上指相机固定在机械手的末端，相机相对于机器臂末端是固定的，相机跟随机器臂移动；手眼分离指相机和机械手分离，相机相对于机械手的基座是固定的，机械手的运动对相机没有影响。
目前有两种常见的手眼标定方法,一是利用机械手与相机姿态进行计算,其二是利用机械手末端和相机坐标进行计算。因此本发明分为两种方法对相机坐标数据进行计算，首先获取场景信息，根据场景中的相机与机械手之间的关系选取相对应的手眼标定方法，然后根据手眼标定方法对相机姿态或相机坐标进行计算,对于眼在手上标定流程,使用预测姿态网络生成机械手与相机位姿加入标定方程,计算手眼标定结果;对于手眼分离标定流程,使用预测对应点网络生成机械手末端与相机坐标的三维坐标,并加入标定方程,计算最终结果。本发明加入了生成及预测网络方法,在标定的三维空间中生成机械手坐标并预测出相应的相机坐标,加入至参数解算矩阵中,降低RCM约束的不良影响,提高参数鲁棒性与精度。对于眼在手上标定流程,使用预测姿态网络生成机械手与相机位姿加入标定方程,计算得到手眼标定参数;对于手眼分离标定流程,使用预测对应点网络生成机械手末端与相机坐标的三维坐标,并加入标定方程,计算最终结果。
其中，标志点为根据2D九点标定方法，利用机械手抓取带有特征角点的物件,移动九个相同深度(Z)的位置点进行2D手眼标定得到。
根据本发明实施例，根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析之前，还包括：
获取标定板圆点的世界坐标P1和相机坐标P2;
根据所述标定板圆点的世界坐标P1和相机坐标P2进行分析，得到标定板与相机的坐标转换关系，并建立姿态预测数据集；
根据所述姿态预测数据集建立姿态预测回归网络模型；
通过第一预设损失函数对所述姿态预测回归网络模型进行验证，得到预设姿态预测回归网络模型。
需要说明的是，机械手移动范围和相机视野范围内摆放二维标定板供相机采集图像，所述标定板圆点为标定板中心，本发明以圆形标定板为例。第一预设矩阵为AX-XB的标定矩阵。
机械手携带相机采集标定板数据，数据格式为机械手位姿，以及标定板圆点的世界坐标/>和相机坐标/>，
建立姿态预测数据集，利用和/>可以得到标定板与相机的坐标转换关系，加上当前机械手位姿，建立姿态预测回归网络模型。
物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动数据和绕这三个坐标轴的转动数据，在本方案中通过a、b、c、ra、rb、rc进行表示。例如，表示标定板圆点的世界坐标/>的沿x坐标轴方向的移动数据、/>表示相机坐标/>沿x坐标轴方向的移动数据，在本方案中统一通过a、b、c、ra、rb、rc对不同物体沿x、y、z三个直角坐标轴方向的移动数据和绕这三个坐标轴的转动数据进行表示。
由于场景、硬件、机械手与相机相对位置固定，机械手位姿与相机姿态具有特定转换关系，然而因为现实中相机成像存在畸变、失真等误差，机械手同样有运动学、动力学等现实误差，较难利用建模方式预测机械手与相机位姿，因此本发明利用回归网络来预测机械手与相机位姿的对应关系，对所述姿态预测回归网络模型进行验证，输入为机械手位姿，输出为相机姿态，所述第一预设损失函数如下:
，
其中，函数数值，a、b、c、ra、rb、rc为预测姿态值，/>、/>、/>、/>、/>、/>为真实姿态值。
图2示出了本发明一种手眼标定参数获取方法的流程图。
如图2所示，根据本发明实施例，所述根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数，包括：
S202，在所述带有RCM约束的机械手姿态数据T1中随机生成m1个机械手姿态，得到机械手位姿数据T3；
S204，将所述机械手位姿数据T3输入至预设姿态预测回归网络模型进行分析，得到预测相机姿态数据T4；
S206，将所述机械手位姿数据T3和所述预测相机姿态数据T4输入至第一预设矩阵中，经过矩阵运算得到手眼标定参数。
需要说明的是，所述带有RCM约束的机械手姿态为，利用/>的所有姿态的范围中随机生成m1个机械手手生成位姿数据得到机械手位姿数据T3，，其中，随机生成m1个机械手姿态为所述带有RCM约束的机械手姿态数据T1总数n的二分之一，m1=n/2。所述第一预设矩阵为/>的标定矩阵，通过所述/>的标定矩阵进行矩阵运算即可得到手眼标定参数。其中，A为机械手位姿数据的坐标变换关系，B为相机姿态数据的坐标变换关系，X为机械手和相机之间的坐标变换关系。
根据本发明实施例，根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析之前，还包括：
获取带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4；
根据所述带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4进行分析，建立点预测回归网络模型；
通过第二预设损失函数对所述点预测回归网络模型进行验证，得到预设点预测回归网络模型。
需要说明的是，执行2D九点标定，利用机械手抓取带有特征角点的物件，移动九个相同深度(Z)的位置点进行2D手眼标定，获得二维的相机与机械手坐标转换关系，并计算2D旋转中心获得机械手法兰位置，由于2D标定不需要角度及深度信息，因此相较于3D手眼标定而言RCM约束影响较小。
机械手移动范围和相机视野范围内摆放带有圆心及十字的二维标定板(如图5所示)，再利用升降平台将标定板调整至多个指定高度(相机景深范围内)，基于2D标定结果可确定标志圆心点的二维坐标，接着利用机械手自带的力反馈传感器(或人为观测)感知标志点深度Z信息。尽可能在RCM约束下获取多个不同位置的数据。
建立点预测数据集:由上述步骤，可得到带有RCM约束的机械手三维位置信息，以及标志点的相机坐标，根据P3和P4建立点预测数据集，根据所述点预测数据集分析得到点预测回归网络模型。
如同眼在手上标定，相机与机械手之间的对应关系是确定但复杂的，因此可以利用回归网络来预测机械手位置坐标与相机坐标的对应关系，所述点预测回归网络模型进行验证，输入为机械手位置信息，输出为对应的相机三维位置信息，所述第二预设损失函数如下：
，
其中，为第二损失函数数据，a、b、c为预测姿态值，/>、/>、/>为真实姿态值。
图3示出了本发明一种旋转平移参数获取方法的流程图。
如图3所示，根据本发明实施例，所述根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数，包括：
S302，在所述带有RCM约束的机械手位置Q1中随机生成m2个机械手位置，得到机械手位置数据Q3；
S304，将所述机械手位置数据Q3输入至预设点预测回归网络模型进行分析，得到预测的相机位置Q4；
S306，将所述机械手位置数据Q3和所述预测的相机位置Q4添加至第二预设参数矩阵中，得到构造转换矩阵H；
S308，通过SVD方法对所述构造转换矩阵H进行解耦，得到旋转平移参数。
需要说明的是，所述带有RCM约束的机械手位置为,和标志点在相机中的位置Q2,利用Q1的所有位置范围中随机生成m2个机械手生成位置数据,得到机械手位置数据/>，其中，随机生成m2个机械手生成位置数据为所述带有RCM约束的机械手位置Q1总数/>的二分之一，。其中，/>为带有RCM约束的机械手位置Q1总数。然后将Q3作为输入至预设点预测回归网络模型中,分析得到预测的相机位置Q4,将生成的机械手位置与预测的相机标志点坐标添加到第二预设参数矩阵（原本的参数矩阵）中，可以构造转换矩阵H，所述构造转换矩阵H如下所示:
，
其中，H为构造转换矩阵，Q1为带有RCM约束的机械手位置，Q2为标志点在相机中的位置、Q3为机械手位置数据，Q4为预测的相机位置。
奇异值分解(SingularValueDecomposition，简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域，是很多机器学习算法的基石。利用SVD方法可解耦出旋转平移参数即粗配准参数。
根据本发明实施例，通过SVD方法对所述构造转换矩阵H进行解耦，具体为：
通过SVD方法对所述构造转换矩阵H进行解耦，用公式表示为：
，
其中，H为构造转换矩阵、R为旋转参数、t为平移参数、U和V代表二个相互正交矩阵、S代表一对角矩阵、为U的转置矩阵、α为机械手位置数据Q3的质心、β为预测的相机位置Q4的质心、/>为奇异值分解函数。
需要说明的是，利用SVD方法可解耦出旋转平移参数即粗配准参数，对所述构造转换矩阵H进行解耦时，假设所述构造转换矩阵H为一个m×n的实矩阵，那么V为一个m×m的矩阵、U为一个n×n的矩阵、S为一个m×n的矩阵，U和V都是正交矩阵，即满足、。另外，在计算旋转参数R的过程中，/>，当所述构造转换矩阵H满秩的，存在唯一解，即/>。
图4示出了本发明一种机械手手眼标定系统的框图。
如图4所示，本发明第二方面提供了一种机械手手眼标定系统4，包括存储器41和处理器42，所述存储器中包括机械手手眼标定方法程序，所述机械手手眼标定方法程序被所述处理器执行时实现如下步骤：
获取场景信息；
根据所述场景信息进行分析选择相对应的手眼标定方法，所述手眼标定方法包括眼在手上标定和手眼分离标定；
若为眼在手上标定，则获取带有RCM约束的机械手姿态数据T1和相机姿态数据T2；
根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数；
若为手眼分离标定，则获取带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2；
根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数；
根据所述手眼标定参数或所述旋转平移参数进行分析，得到预测相机坐标数据。
根据本发明实施例，所述场景信息包括硬件、机械手与相机，由于场景中硬件、机械手与相机相对位置固定，通过场景信息可以确定机械手与相机的位置关系为眼在手上或手眼分离，其中，眼在手上指相机固定在机械手的末端，相机相对于机器臂末端是固定的，相机跟随机器臂移动；手眼分离指相机和机械手分离，相机相对于机械手的基座是固定的，机械手的运动对相机没有影响。
目前有两种常见的手眼标定方法,一是利用机械手与相机姿态进行计算,其二是利用机械手末端和相机坐标进行计算。因此本发明分为两种方法对相机坐标数据进行计算，首先获取场景信息，根据场景中的相机与机械手之间的关系选取相对应的手眼标定方法，然后根据手眼标定方法对相机姿态或相机坐标进行计算,对于眼在手上标定流程,使用预测姿态网络生成机械手与相机位姿加入标定方程,计算手眼标定结果;对于手眼分离标定流程,使用预测对应点网络生成机械手末端与相机坐标的三维坐标,并加入标定方程,计算最终结果。本发明加入了生成及预测网络方法,在标定的三维空间中生成机械手坐标并预测出相应的相机坐标,加入至参数解算矩阵中,降低RCM约束的不良影响,提高参数鲁棒性与精度。
其中，标志点为根据2D九点标定方法，利用机械手抓取带有特征角点的物件,移动九个相同深度(Z)的位置点进行2D手眼标定得到。
根据本发明实施例，根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析之前，还包括：
获取标定板圆点的世界坐标P1和相机坐标P2;
根据所述标定板圆点的世界坐标P1和相机坐标P2进行分析，得到标定板与相机的坐标转换关系，并建立姿态预测数据集；
根据所述姿态预测数据集建立姿态预测回归网络模型；
通过第一预设损失函数对所述姿态预测回归网络模型进行验证，得到预设姿态预测回归网络模型。
需要说明的是，机械手移动范围和相机视野范围内摆放二维标定板供相机采集图像，所述标定板圆点为标定板中心，本发明以圆形标定板为例。
机械手携带相机采集标定板数据，数据格式为机械手位姿，以及标定板圆点的世界坐标/>和相机坐标/>，
建立姿态预测数据集，利用P1和P2可以得到标定板与相机的坐标转换关系，加上当前机械手位姿，建立姿态预测回归网络模型。
物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动数据和绕这三个坐标轴的转动数据，在本方案中通过a、b、c、ra、rb、rc进行表示。例如，表示标定板圆点的世界坐标P1的沿x坐标轴方向的移动数据、/>表示相机坐标P2沿x坐标轴方向的移动数据，在本方案中统一通过a、b、c、ra、rb、rc对不同物体沿x、y、z三个直角坐标轴方向的移动数据和绕这三个坐标轴的转动数据进行表示。
由于场景、硬件、机械手与相机相对位置固定，机械手位姿与相机姿态具有特定转换关系，然而因为现实中相机成像存在畸变、失真等误差，机械手同样有运动学、动力学等现实误差，较难利用建模方式预测机械手与相机位姿，因此本发明利用回归网络来预测机械手与相机位姿的对应关系，对所述姿态预测回归网络模型进行验证，输入为机械手位姿，输出为相机姿态，所述第一预设损失函数如下:
，
其中，函数数值，a、b、c、ra、rb、rc为预测姿态值，/>、/>、/>、/>、/>、/>为真实姿态值。
根据本发明实施例，所述根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数，包括：
在所述带有RCM约束的机械手姿态数据T1中随机生成m1个机械手姿态，得到机械手位姿数据T3；
将所述机械手位姿数据T3输入至预设姿态预测回归网络模型进行分析，得到预测相机姿态数据T4；
将所述机械手位姿数据T3和所述预测相机姿态数据T4输入至第一预设矩阵中，经过矩阵运算得到手眼标定参数。
需要说明的是，所述带有RCM约束的机械手姿态为，利用T1的所有姿态的范围中随机生成m1个机械手手生成位姿数据得到机械手位姿数据T3，/>，其中，随机生成m1个机械手姿态为所述带有RCM约束的机械手姿态数据T1总数n的二分之一，m1=n/2。所述第一预设矩阵为/>的标定矩阵，通过所述/>的标定矩阵进行矩阵运算即可得到手眼标定参数。其中，A为机械手位姿数据的坐标变换关系，B为相机姿态数据的坐标变换关系，X为机械手和相机之间的坐标变换关系。
根据本发明实施例，根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析之前，还包括：
获取带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4；
根据所述带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4进行分析，建立点预测回归网络模型；
通过第二预设损失函数对所述点预测回归网络模型进行验证，得到预设点预测回归网络模型。
需要说明的是，执行2D九点标定，利用机械手抓取带有特征角点的物件，移动九个相同深度(Z)的位置点进行2D手眼标定，获得二维的相机与机械手坐标转换关系，并计算2D旋转中心获得机械手法兰位置，由于2D标定不需要角度及深度信息，因此相较于3D手眼标定而言RCM约束影响较小。
机械手移动范围和相机视野范围内摆放带有圆心及十字的二维标定板(如图5所示)，再利用升降平台将标定板调整至多个指定高度(相机景深范围内)，基于2D标定结果可确定标志圆心点的二维坐标，接着利用机械手自带的力反馈传感器(或人为观测)感知标志点深度Z信息。尽可能在RCM约束下获取多个不同位置的数据。
建立点预测数据集:由上述步骤，可得到带有RCM约束的机械手三维位置信息，以及标志点的相机坐标，根据P3和P4建立点预测数据集，根据所述点预测数据集分析得到点预测回归网络模型。
如同眼在手上标定，相机与机械手之间的对应关系是确定但复杂的，因此可以利用回归网络来预测机械手位置坐标与相机坐标的对应关系，所述点预测回归网络模型进行验证，输入为机械手位置信息，输出为对应的相机三维位置信息，所述第二预设损失函数如下：
，
其中，为第二损失函数数据，a、b、c为预测姿态值，/>、/>、/>为真实姿态值。/>
根据本发明实施例，所述根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数，包括：
在所述带有RCM约束的机械手位置Q1中随机生成m2个机械手位置，得到机械手位置数据Q3；
将所述机械手位置数据Q3输入至预设点预测回归网络模型进行分析，得到预测的相机位置Q4；
将所述机械手位置数据Q3和所述预测的相机位置Q4添加至第二预设参数矩阵中，得到构造转换矩阵H；
通过SVD方法对所述构造转换矩阵H进行解耦，得到旋转平移参数。
需要说明的是，所述带有RCM约束的机械手位置为,和标志点在相机中的位置Q2,利用Q1的所有位置范围中随机生成m2个机械手生成位置数据,得到机械手位置数据/>，其中，随机生成m2个机械手生成位置数据为所述带有RCM约束的机械手位置Q1总数/>的二分之一，。然后将Q3作为输入至预设点预测回归网络模型中,分析得到预测的相机位置Q4,将生成的机械手位置与预测的相机标志点坐标添加到第二预设参数矩阵（原本的参数矩阵）中，可以构造转换矩阵H，所述构造转换矩阵H如下所示:
，
其中，H为构造转换矩阵，Q1为带有RCM约束的机械手位置，Q2为标志点在相机中的位置、Q3为机械手位置数据，Q4为预测的相机位置。
奇异值分解(SingularValueDecomposition，简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域，是很多机器学习算法的基石。利用SVD方法可解耦出旋转平移参数即粗配准参数。
根据本发明实施例，通过SVD方法对所述构造转换矩阵H进行解耦，具体为：
通过SVD方法对所述构造转换矩阵H进行解耦，用公式表示为：
，
其中，H为构造转换矩阵、R为旋转参数、t为平移参数、U和V代表二个相互正交矩阵、S代表一对角矩阵、为U的转置矩阵、α为机械手位置数据Q3的质心、β为预测的相机位置Q4的质心、/>为奇异值分解函数。/>
需要说明的是，利用SVD方法可解耦出旋转平移参数即粗配准参数，对所述构造转换矩阵H进行解耦时，假设所述构造转换矩阵H为一个m×n的实矩阵，那么V为一个m×m的矩阵、U为一个n×n的矩阵、S为一个m×n的矩阵，U和V都是正交矩阵，即满足、。另外，在计算旋转参数R的过程中，/>，当所述构造转换矩阵H满秩的，存在唯一解，即/>。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种机械手手眼标定方法程序，所述一种机械手手眼标定方法程序被处理器执行时，实现如上述任一项所述的一种机械手手眼标定方法的步骤。
本发明公开的一种机械手手眼标定方法、系统和可读存储介质，本发明通过眼在手上和手眼分离两种方法进行手眼标定,对于眼在手上标定流程,使用预测姿态网络生成机械手与相机位姿加入标定方程,计算手眼标定结果;对于手眼分离标定流程,使用预测对应点网络生成机械手末端与相机坐标的三维坐标,并加入标定方程,计算最终结果。另外，本发明加入了生成及预测网络方法,在标定的三维空间中生成机械手坐标并预测出相应的相机坐标,加入至参数解算矩阵中,降低RCM约束的不良影响,提高参数鲁棒性与精度。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (7)
1.一种机械手手眼标定方法，其特征在于，包括：
获取场景信息；
根据所述场景信息进行分析选择相对应的手眼标定方法，所述手眼标定方法包括眼在手上标定和手眼分离标定；
若为眼在手上标定，则获取带有RCM约束的机械手姿态数据T1和相机姿态数据T2；根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数；若为手眼分离标定，则获取带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2；根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数；
根据所述手眼标定参数或所述旋转平移参数进行分析，得到预测相机坐标数据；
根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析之前，还包括：
获取标定板圆点的世界坐标P1和相机坐标P2;
根据所述标定板圆点的世界坐标P1和相机坐标P2进行分析，得到标定板与相机的坐标转换关系，并建立姿态预测数据集；
根据所述姿态预测数据集建立姿态预测回归网络模型；
通过第一预设损失函数对所述姿态预测回归网络模型进行验证，得到预设姿态预测回归网络模型；
根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析之前，还包括：
获取带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4；
根据所述带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4进行分析，建立点预测回归网络模型；
通过第二预设损失函数对所述点预测回归网络模型进行验证，得到预设点预测回归网络模型；
其中，标志点为根据2D九点标定方法，利用机械手抓取带有特征角点的物件,移动九个相同深度(Z)的位置点进行2D手眼标定得到。
2.根据权利要求1所述的一种机械手手眼标定方法，其特征在于，所述根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数，包括：
在所述带有RCM约束的机械手姿态数据T1中随机生成m1个机械手姿态，得到机械手位姿数据T3；
将所述机械手位姿数据T3输入至预设姿态预测回归网络模型进行分析，得到预测相机姿态数据T4；
将所述机械手位姿数据T3和所述预测相机姿态数据T4输入至第一预设矩阵中，经过矩阵运算得到手眼标定参数。
3.根据权利要求1所述的一种机械手手眼标定方法，其特征在于，所述根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数，包括：
在所述带有RCM约束的机械手位置Q1中随机生成m2个机械手位置，得到机械手位置数据Q3；
将所述机械手位置数据Q3输入至预设点预测回归网络模型进行分析，得到预测的相机位置Q4；
将所述机械手位置数据Q3和所述预测的相机位置Q4添加至第二预设参数矩阵中，得到构造转换矩阵H；
通过SVD方法对所述构造转换矩阵H进行解耦，得到旋转平移参数。
4.根据权利要求3所述的一种机械手手眼标定方法，其特征在于，通过SVD方法对所述构造转换矩阵H进行解耦，具体为：
通过SVD方法对所述构造转换矩阵H进行解耦，用公式表示为：
，
其中，为构造转换矩阵、R为旋转参数、t为平移参数、U和V代表二个相互正交矩阵、S代表一对角矩阵、/>为U的转置矩阵、α为机械手位置数据Q3的质心、β为预测的相机位置Q4的质心、/>为奇异值分解函数。
5.一种机械手手眼标定系统，其特征在于，包括存储器和处理器，所述存储器中包括机械手手眼标定方法程序，所述机械手手眼标定方法程序被所述处理器执行时实现如下步骤：
获取场景信息；
根据所述场景信息进行分析选择相对应的手眼标定方法，所述手眼标定方法包括眼在手上标定和手眼分离标定；
若为眼在手上标定，则获取带有RCM约束的机械手姿态数据T1和相机姿态数据T2；根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数；若为手眼分离标定，则获取带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2；根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析，得到旋转平移参数；
根据所述手眼标定参数或所述旋转平移参数进行分析，得到预测相机坐标数据；
根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析之前，还包括：
获取标定板圆点的世界坐标P1和相机坐标P2;
根据所述标定板圆点的世界坐标P1和相机坐标P2进行分析，得到标定板与相机的坐标转换关系，并建立姿态预测数据集；
根据所述姿态预测数据集建立姿态预测回归网络模型；
通过第一预设损失函数对所述姿态预测回归网络模型进行验证，得到预设姿态预测回归网络模型；
根据所述带有RCM约束的机械手位置Q1和标志点在相机中的位置Q2进行分析之前，还包括：
获取带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4；
根据所述带有RCM约束的机械手三维位置信息P3和标志点的相机坐标P4进行分析，建立点预测回归网络模型；
通过第二预设损失函数对所述点预测回归网络模型进行验证，得到预设点预测回归网络模型；
其中，标志点为根据2D九点标定方法，利用机械手抓取带有特征角点的物件,移动九个相同深度(Z)的位置点进行2D手眼标定得到。
6.根据权利要求5所述的一种机械手手眼标定系统，其特征在于，所述根据所述带有RCM约束的机械手姿态数据T1和相机姿态数据T2进行分析，得到手眼标定参数，包括：
在所述带有RCM约束的机械手姿态数据T1中随机生成m1个机械手姿态，得到机械手位姿数据T3；
将所述机械手位姿数据T3输入至预设姿态预测回归网络模型进行分析，得到预测相机姿态数据T4；
将所述机械手位姿数据T3和所述预测相机姿态数据T4输入至第一预设矩阵中，经过矩阵运算得到手眼标定参数。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种机械手手眼标定方法程序，所述一种机械手手眼标定方法程序被处理器执行时，实现如权利要求1至4中任一项所述的一种机械手手眼标定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311384810.7A CN117103286B (zh) | 2023-10-25 | 2023-10-25 | 一种机械手手眼标定方法、系统和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311384810.7A CN117103286B (zh) | 2023-10-25 | 2023-10-25 | 一种机械手手眼标定方法、系统和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117103286A CN117103286A (zh) | 2023-11-24 |
| CN117103286B true CN117103286B (zh) | 2024-03-19 |
Family
ID=88795229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311384810.7A Active CN117103286B (zh) | 2023-10-25 | 2023-10-25 | 一种机械手手眼标定方法、系统和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117103286B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1686682A (zh) * | 2005-05-12 | 2005-10-26 | 上海交通大学 | 用于机器人在线手眼标定的自适应运动选择方法 |
| CN107160380A (zh) * | 2017-07-04 | 2017-09-15 | 华南理工大学 | 一种基于scara机械手的相机标定和坐标变换的方法 |
| CN108601626A (zh) * | 2015-12-30 | 2018-09-28 | 皇家飞利浦有限公司 | 基于图像的机器人引导 |
| CN109227601A (zh) * | 2017-07-11 | 2019-01-18 | 精工爱普生株式会社 | 控制装置、机器人、机器人系统及校正方法 |
| CN109278044A (zh) * | 2018-09-14 | 2019-01-29 | 合肥工业大学 | 一种手眼标定及坐标转换方法 |
| CN110717943A (zh) * | 2019-09-05 | 2020-01-21 | 中北大学 | 用于二维平面的眼在手上机械手手眼标定方法及系统 |
| WO2020024178A1 (zh) * | 2018-08-01 | 2020-02-06 | 深圳配天智能技术研究院有限公司 | 一种手眼标定方法、系统及计算机存储介质 |
| WO2021012122A1 (zh) * | 2019-07-19 | 2021-01-28 | 西门子（中国）有限公司 | 机器人手眼标定方法、装置、计算设备、介质以及产品 |
| CN112568995A (zh) * | 2020-12-08 | 2021-03-30 | 南京凌华微电子科技有限公司 | 一种机器人辅助手术的骨锯标定方法 |
| WO2022032964A1 (zh) * | 2020-08-12 | 2022-02-17 | 中国科学院深圳先进技术研究院 | 一种双臂机器人标定方法、系统、终端以及存储介质 |
| WO2022062464A1 (zh) * | 2020-09-27 | 2022-03-31 | 平安科技（深圳）有限公司 | 基于计算机视觉的手眼标定方法及装置、存储介质 |
| CN114748169A (zh) * | 2022-03-31 | 2022-07-15 | 华中科技大学 | 一种基于图像经验的腹腔镜手术机器人自主运镜方法 |
| CN114795486A (zh) * | 2022-06-08 | 2022-07-29 | 杭州湖西云百生科技有限公司 | 基于探针的术中实时机器人手眼标定方法及系统 |
| CN114886567A (zh) * | 2022-05-12 | 2022-08-12 | 苏州大学 | 一种面向具有远心不动点约束的手术机器人手眼标定方法 |
| CN114905548A (zh) * | 2022-06-29 | 2022-08-16 | 武汉库柏特科技有限公司 | 一种双臂机器人基坐标系标定方法及其装置 |
| CN114939867A (zh) * | 2022-04-02 | 2022-08-26 | 杭州汇萃智能科技有限公司 | 一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统 |
| WO2023061695A1 (en) * | 2021-10-11 | 2023-04-20 | Robert Bosch Gmbh | Method and apparatus for hand-eye calibration of robot |
| CN116664686A (zh) * | 2023-05-11 | 2023-08-29 | 无锡信捷电气股份有限公司 | 一种基于三维立体标定块的焊接手眼自动化标定方法 |
-
2023
- 2023-10-25 CN CN202311384810.7A patent/CN117103286B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1686682A (zh) * | 2005-05-12 | 2005-10-26 | 上海交通大学 | 用于机器人在线手眼标定的自适应运动选择方法 |
| CN108601626A (zh) * | 2015-12-30 | 2018-09-28 | 皇家飞利浦有限公司 | 基于图像的机器人引导 |
| CN107160380A (zh) * | 2017-07-04 | 2017-09-15 | 华南理工大学 | 一种基于scara机械手的相机标定和坐标变换的方法 |
| CN109227601A (zh) * | 2017-07-11 | 2019-01-18 | 精工爱普生株式会社 | 控制装置、机器人、机器人系统及校正方法 |
| WO2020024178A1 (zh) * | 2018-08-01 | 2020-02-06 | 深圳配天智能技术研究院有限公司 | 一种手眼标定方法、系统及计算机存储介质 |
| CN109278044A (zh) * | 2018-09-14 | 2019-01-29 | 合肥工业大学 | 一种手眼标定及坐标转换方法 |
| WO2021012122A1 (zh) * | 2019-07-19 | 2021-01-28 | 西门子（中国）有限公司 | 机器人手眼标定方法、装置、计算设备、介质以及产品 |
| CN110717943A (zh) * | 2019-09-05 | 2020-01-21 | 中北大学 | 用于二维平面的眼在手上机械手手眼标定方法及系统 |
| WO2022032964A1 (zh) * | 2020-08-12 | 2022-02-17 | 中国科学院深圳先进技术研究院 | 一种双臂机器人标定方法、系统、终端以及存储介质 |
| WO2022062464A1 (zh) * | 2020-09-27 | 2022-03-31 | 平安科技（深圳）有限公司 | 基于计算机视觉的手眼标定方法及装置、存储介质 |
| CN112568995A (zh) * | 2020-12-08 | 2021-03-30 | 南京凌华微电子科技有限公司 | 一种机器人辅助手术的骨锯标定方法 |
| WO2023061695A1 (en) * | 2021-10-11 | 2023-04-20 | Robert Bosch Gmbh | Method and apparatus for hand-eye calibration of robot |
| CN114748169A (zh) * | 2022-03-31 | 2022-07-15 | 华中科技大学 | 一种基于图像经验的腹腔镜手术机器人自主运镜方法 |
| CN114939867A (zh) * | 2022-04-02 | 2022-08-26 | 杭州汇萃智能科技有限公司 | 一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统 |
| CN114886567A (zh) * | 2022-05-12 | 2022-08-12 | 苏州大学 | 一种面向具有远心不动点约束的手术机器人手眼标定方法 |
| CN114795486A (zh) * | 2022-06-08 | 2022-07-29 | 杭州湖西云百生科技有限公司 | 基于探针的术中实时机器人手眼标定方法及系统 |
| CN114905548A (zh) * | 2022-06-29 | 2022-08-16 | 武汉库柏特科技有限公司 | 一种双臂机器人基坐标系标定方法及其装置 |
| CN116664686A (zh) * | 2023-05-11 | 2023-08-29 | 无锡信捷电气股份有限公司 | 一种基于三维立体标定块的焊接手眼自动化标定方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Halcon的工业机器人手眼标定方法研究;田春林等;制造业自动化(第03期);第21-23、51页 * |
| 基于HALCON的机器人手眼标定精度分析与反演方法;杨厚易;;信息技术与网络安全(第01期);第103-106页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117103286A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10507002B2 (en) | X-ray system and method for standing subject | |
| US8073528B2 (en) | Tool tracking systems, methods and computer products for image guided surgery | |
| US8147503B2 (en) | Methods of locating and tracking robotic instruments in robotic surgical systems | |
| JP2010154920A (ja) | ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム | |
| KR20080110738A (ko) | 의료용 화상의 표시 방법 및 그 프로그램 | |
| CN112614169B (zh) | 基于深度学习网络的2d/3d脊椎ct层级配准方法 | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| CN112151169B (zh) | 一种仿人操作的超声机器人自主扫描方法及系统 | |
| KR20220006654A (ko) | 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치 | |
| CN116277035B (zh) | 机器人的控制方法、装置、处理器及电子设备 | |
| CN107993227B (zh) | 一种获取3d腹腔镜手眼矩阵的方法和装置 | |
| CN112132805B (zh) | 一种基于人体特征的超声机器人状态归一化方法及系统 | |
| US10492872B2 (en) | Surgical navigation system, surgical navigation method and program | |
| CN117103286B (zh) | 一种机械手手眼标定方法、系统和可读存储介质 | |
| JP2022111704A (ja) | 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム | |
| KR20230011902A (ko) | 일반 모델에서 이동 시퀀스를 정의하는 장치 | |
| US20230123621A1 (en) | Registering Intra-Operative Images Transformed from Pre-Operative Images of Different Imaging-Modality for Computer Assisted Navigation During Surgery | |
| WO2021200438A1 (ja) | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 | |
| JP2007034964A (ja) | カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム | |
| CN113662663A (zh) | 一种ar全息手术导航系统坐标系转换方法、装置及系统 | |
| US10832422B2 (en) | Alignment system for liver surgery | |
| Guo et al. | A method of decreasing transmission time of visual feedback for the Internet-based surgical training system | |
| Delacruz et al. | Medical Manikin Augmented Reality Simulation (M2ARS) | |
| CN108261240A (zh) | 微创心脏外科手术的术前规划及手术虚拟现实模拟系统 | |
| JP5904976B2 (ja) | ３次元データ処理装置、３次元データ処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |