CN116051629A - 面向自主导航机器人的高精度视觉定位方法 - Google Patents

面向自主导航机器人的高精度视觉定位方法 Download PDF

Info

Publication number
CN116051629A
CN116051629A CN202310146885.5A CN202310146885A CN116051629A CN 116051629 A CN116051629 A CN 116051629A CN 202310146885 A CN202310146885 A CN 202310146885A CN 116051629 A CN116051629 A CN 116051629A
Authority
CN
China
Prior art keywords
center
elliptical
coordinates
ellipse
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310146885.5A
Other languages
English (en)
Other versions
CN116051629B (zh
Inventor
张贵阳
徐本连
鲁明丽
陆婷
孙勇泰
臧书琪
吴健
吉思雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202310146885.5A priority Critical patent/CN116051629B/zh
Publication of CN116051629A publication Critical patent/CN116051629A/zh
Application granted granted Critical
Publication of CN116051629B publication Critical patent/CN116051629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向自主导航机器人的高精度视觉定位方法，包括：对圆形标志点进行识别，得到候选椭圆区域；采用均值滑动的聚类分析，通过逐一对椭圆区域的中心点、方向、半轴长进行聚类，确定椭圆区域；提取椭圆区域的中心坐标；利用相机内外参数对目标点中心空间坐标进行三维重构。构建基于Hough圆变换粗筛选到均值滑动聚类确定椭圆区域边缘的稳定模式，然后通过椭圆拟合实现几何中心的精确、快速求取，接着利用相机内外参数实现目标点的三维重建，为末端执行器提供可靠的目标三维位置坐标信息，保证机器人视觉定位的精确性和稳定性。

Description

面向自主导航机器人的高精度视觉定位方法
技术领域
本发明属于视觉传感器定位技术领域，本发明涉及一种面向自主导航机器人的高精度视觉定位方法。
背景技术
随着智能制造相关技术的快速发展，将视觉技术与机器人相互结合实现目标的精准识别与精确定位已成为国内外的研究热点，定位精度已成为评价移动机器人性能的重要指标。计算机视觉和机器人技术的相互融合，使得机器人可以感知周围的环境，并利用视觉捕获的信息来引导机器人完成特定的任务，在提高生产效率、提升生产质量、优化资源配置、降低生产成本等方面具有明显的优越性，并被广泛应用于仓储物流、自主停泊、无人驾驶等诸多领域。
随着自主导航机器人工作环境的日渐复杂，需要移动机器人对工作环境中的目标做出准确而有效的定位感知。基于视觉模式的定位技术具有很强的目标辨识能力，同时相比于采用雷达传感器、激光传感器等方式，不会因为传感信号间的交互、干扰而影响定位精度。为了实现高精度视觉定位功能，需要借助目标表面设置的人工标志点或固有特征点。常用的特征点有齐方格角点、矩形特征、三角特征以及圆形特征等，实际应用的效果显示圆形特征点比角点、矩形特征等具有更高的鲁棒性，当图像出现拖尾、模糊以及噪声较大时，依然能够识别出圆形轮廓，因此圆形标志点得到了广泛的应用。然而圆形标志点在经过相机投影到平面上后，由于光轴与目标面通常不垂直，圆面会投射成椭圆面。只有精确的获取椭圆形特征的中心坐标才能保证立体匹配和三维重构计算的精确度，为此很多学者对圆心坐标提取展开了研究。传统的方法直接将投影后拟合中心作为圆心坐标，但是容易得到多个中心坐标，无法确定圆心坐标的唯一真值。之后部分学者分析影响圆形中心坐标提取精度的因素，并建立了偏差修正模型，然而模型的精确度以及受深度方向距离、成像畸变、环境光强等因素的影响，导致难以在实际应用中取得较好的效果。此外，还有一些学者考虑圆心坐标提取时的相互约束条件，但是对于标志点数量较少的情况下难以建立联合约束关系。此外，约束关系的建立必定会增加计算的数据量，导致算法的执行效率降低。因此，当前对于机器人视觉定位技术的优化和完善，亟需增强圆形特征区域确定的快速性和鲁棒性，提升中心点坐标的拟合精度，为实现机器人视觉定位技术在复杂场景下的落地和应用推广奠定基础。
发明内容
本发明的目的在于提供一种面向自主导航机器人的高精度视觉定位方法，构建基于Hough圆变换粗筛选到均值滑动聚类确定椭圆区域边缘的稳定模式，然后通过椭圆拟合实现几何中心的精确、快速求取，接着利用相机内外参数实现目标点的三维重建，为末端执行器提供可靠的目标三维位置坐标信息，保证机器人视觉定位的精确性和稳定性。
实现本发明目的的技术解决方案为：
一种面向自主导航机器人的高精度视觉目标三维重构方法，包括以下步骤：
S01：对圆形标志点进行识别，得到候选椭圆区域；
S02：采用均值滑动的聚类分析，通过逐一对椭圆区域的中心点、方向、半轴长进行聚类，确定椭圆区域；
S03：提取椭圆区域的中心坐标；
S04：利用相机内外参数对目标点中心空间坐标进行三维重构。
优选的技术方案中，所述S01中得到候选椭圆区域的方法包括：
S11：采用Hough圆变换对圆形标志点进行粗识别，将圆周上任意三点所确定的圆，经Hough变换后在三维参数空间对应于一点，这三个点所确定的圆形区域则为候选圆；
S12：通过图像的区域连通化处理，将每个候选圆区域都完整划定和标记成独立的椭圆集合。
优选的技术方案中，所述S02中确定椭圆区域的方法包括：
S21：计算初始的椭圆集合
Figure SMS_1
：
Figure SMS_2
其中，
Figure SMS_3
为集合中椭圆的数量，
Figure SMS_4
，
Figure SMS_5
分别是椭圆的中心坐标、方向角和半轴长；
S22：针对椭圆区域中心点进行均值滑动聚类，产生
Figure SMS_6
个椭圆聚类中心
Figure SMS_9
，如果
Figure SMS_12
集合的中心坐标与
Figure SMS_8
距离最近，那么将
Figure SMS_11
并入集合
Figure SMS_14
中，
Figure SMS_15
，因此椭圆集合
Figure SMS_7
被划分为
Figure SMS_10
个组合模块，第
Figure SMS_13
个组合表示为：
Figure SMS_16
其中，
Figure SMS_17
表示在所有聚类点集中，
Figure SMS_18
与
Figure SMS_19
之间的距离最近；
此时，会产生对应的
Figure SMS_20
个椭圆定向聚类中心，依次是
Figure SMS_21
，同样
Figure SMS_22
会被分成
Figure SMS_23
个子区，对应于
Figure SMS_24
的第
Figure SMS_25
个子区
Figure SMS_26
表示为：
Figure SMS_27
S23：基于每个初始椭圆子集的半轴进行聚类分析，输出对应的第
Figure SMS_28
个中心集合
Figure SMS_29
，并得到最终的候选椭圆集合
Figure SMS_30
:
Figure SMS_31
。
优选的技术方案中，所述S03中提取椭圆区域的中心坐标包括：
S31：得到椭圆集合
Figure SMS_32
边缘的二次曲线方程：
Figure SMS_33
其中，
Figure SMS_34
是椭圆集合
Figure SMS_35
边缘像素坐标；
Figure SMS_36
是拟合方程系数；
S32：构建目标函数如下：
Figure SMS_37
其中，
Figure SMS_38
表示边缘点符合椭圆目标方程分布的代数值。函数值
Figure SMS_39
理想情况下趋近于0，
Figure SMS_40
是所参与拟合运算的边缘点集合，
Figure SMS_41
是椭圆边缘点的数量；
S33：对目标函数分别求关于
Figure SMS_42
的偏导，得到包含5个参数的方程组，接着引入拉格朗日乘子求解出椭圆参数；
S34：运用二次曲线理论，得到投影椭圆面的几何中心为：
Figure SMS_43
。
优选的技术方案中，所述S04中目标点中心空间坐标三维重构方法包括：
S41：采用双目视觉成像数学模型为：
Figure SMS_44
其中，
Figure SMS_45
和
Figure SMS_46
分别是左相机和右相机的内参数；
Figure SMS_47
和
Figure SMS_48
分别是左相机和右相机坐标系下的空间物理坐标；根据该模型，当得到左相机和右相机的像平面中椭圆的中心坐标
Figure SMS_49
与
Figure SMS_50
后，得到对应的实际圆形标志点中心空间物理坐标；
S42：左、右相机之间的坐标转换通过下式实现：
Figure SMS_51
其中，双目相机间的旋转矩阵
Figure SMS_52
，平移向量
Figure SMS_53
；
S43：接着联立公式得：
Figure SMS_54
S44：根据三角测量原理，实际双目立体相机的像平面不会共面，以左相机坐标系为统一参考系，空间点坐标通过下式解算：
Figure SMS_55
式中，
Figure SMS_56
为系数，其值分别为
Figure SMS_57
，
Figure SMS_58
，
Figure SMS_59
，
Figure SMS_60
。
本发明又公开了一种面向自主导航机器人的高精度视觉定位方法，采用上述的面向自主导航机器人的高精度视觉目标三维重构方法得到圆形标志点在世界坐标系下的空间三维坐标；
以固定在自身的相机的光心为原点，求得目标点与相机光心之间的欧式距离，同时通过坐标的代数运算计算出方位角信息。
本发明还公开了一种自主导航机器人，包括机器人本体，所述机器人本体内设置有控制器，所述控制器内置有计算机程序，所述计算
机程序被执行时实现上述的面向自主导航机器人的高精度视觉定位方法。
本发明又公开了一种面向自主导航机器人的高精度视觉目标三维重构系统，包括：
候选椭圆区域识别模块，对圆形标志点进行识别，得到候选椭圆区域；
聚类分析模块，采用均值滑动的聚类分析，通过逐一对椭圆区域的中心点、方向、半轴长进行聚类，确定椭圆区域；
中心坐标提取模块，提取椭圆区域的中心坐标；
三维重构模块，利用相机内外参数对目标点中心空间坐标进行三维重构。
优选的技术方案中，所述聚类分析模块中确定椭圆区域的方法包括：
S21：计算初始的椭圆集合
Figure SMS_61
：
Figure SMS_62
其中，
Figure SMS_63
为集合中椭圆的数量，
Figure SMS_64
，
Figure SMS_65
分别是椭圆的中心坐标、方向角和半轴长；
S22：针对椭圆区域中心点进行均值滑动聚类，产生
Figure SMS_67
个椭圆聚类中心
Figure SMS_69
，如果
Figure SMS_72
集合的中心坐标与
Figure SMS_68
距离最近，那么将
Figure SMS_70
并入集合
Figure SMS_73
中，
Figure SMS_75
，因此椭圆集合
Figure SMS_66
被划分为
Figure SMS_71
个组合模块，第
Figure SMS_74
个组合表示为：
Figure SMS_76
其中，
Figure SMS_77
表示在所有聚类点集中，
Figure SMS_78
与
Figure SMS_79
之间的距离最近；
此时，会产生对应的
Figure SMS_80
个椭圆定向聚类中心，依次是
Figure SMS_81
，同样
Figure SMS_82
会被分成
Figure SMS_83
个子区，对应于
Figure SMS_84
的第
Figure SMS_85
个子区
Figure SMS_86
表示为：
Figure SMS_87
S23：基于每个初始椭圆子集的半轴进行聚类分析，输出对应的第
Figure SMS_88
个中心集合
Figure SMS_89
，并得到最终的候选椭圆集合
Figure SMS_90
:
Figure SMS_91
。
优选的技术方案中，所述中心坐标提取模块中提取椭圆区域的中心坐标包括：
S31：得到椭圆集合
Figure SMS_92
边缘的二次曲线方程：
Figure SMS_93
其中，
Figure SMS_94
是椭圆集合
Figure SMS_95
边缘像素坐标；
Figure SMS_96
是拟合方程系数；
S32：构建目标函数如下：
Figure SMS_97
其中，
Figure SMS_98
表示边缘点符合椭圆目标方程分布的代数值。函数值
Figure SMS_99
理想情况下趋近于0，
Figure SMS_100
是所参与拟合运算的边缘点集合，
Figure SMS_101
是椭圆边缘点的数量；
S33：对目标函数分别求关于
Figure SMS_102
的偏导，得到包含5个参数的方程组，接着引入拉格朗日乘子求解出椭圆参数；
S34：运用二次曲线理论，得到投影椭圆面的几何中心为：
Figure SMS_103
。
本发明与现有技术相比，其显著优点为：
本发明针对自主导航机器人的视觉高精度定位问题，在目标上设定圆形人工标志点，首先在远距离情况下基于圆形标志点实现粗定位，待移动机器人调整姿态向前不断接近目标后，再进行精确定位，通过获取标志点中心空间坐标来确定目标与自主导航机器人之间的欧氏距离。
本发明构建基于Hough圆变换粗筛选到均值滑动聚类确定椭圆区域边缘的稳定模式，然后通过椭圆拟合实现几何中心的精确、快速求取，接着利用相机内外参数实现目标点的三维重建，为末端执行器提供可靠的目标三维位置坐标信息。此外，只需检测出其中任意两个圆形标志点即可实现视觉定位功能，所提方法具有很强的鲁棒性，对实现机械臂抓取、仓储搬运、对接装配等功能具有重要的理论指导与工程应用价值。
附图说明
图1为自主导航机器人视觉定位系统工作示意图；
图2为圆形标志点及其边缘提取示意图；
图3为独立椭圆区域确定示意图；
图4为圆形标志点投影成像模型示意图；
图5为标定场景图；
图6为圆形配合目标点制定示意图；
图7为平面标定板示意图；
图8为静态测试算法运行效率；
图9为静态定位数据分布；
图10为动态测试算法运行效率；
图11为动态定位数据分布；
图12a-12d为四种情况下的实时定位轨迹生成图。
具体实施方式
本发明的原理是：针对自主导航机器人的视觉高精度定位问题，在目标上设定圆形人工标志点，通过获取标志点中心空间坐标来确定目标与自主导航机器人之间的欧氏距离。构建基于Hough圆变换粗筛选到均值滑动聚类确定椭圆区域边缘的稳定模式，然后通过椭圆拟合实现几何中心的精确、快速求取，接着利用相机内外参数实现目标点的三维重建，为末端执行器提供可靠的目标三维位置坐标信息。此外，只需检测出其中任意两个圆形标志点即可实现视觉定位功能，所提方法具有很强的鲁棒性。
实施例1：
一种面向自主导航机器人的高精度视觉目标三维重构方法，包括以下步骤：
S01：对圆形标志点进行识别，得到候选椭圆区域；
S02：采用均值滑动的聚类分析，通过逐一对椭圆区域的中心点、方向、半轴长进行聚类，确定椭圆区域；
S03：提取椭圆区域的中心坐标；
S04：利用相机内外参数对目标点中心空间坐标进行三维重构。
一实施例中，步骤S01中得到候选椭圆区域的方法包括：
S11：采用Hough圆变换对圆形标志点进行粗识别，将圆周上任意三点所确定的圆，经Hough变换后在三维参数空间对应于一点，这三个点所确定的圆形区域则为候选圆；
S12：通过图像的区域连通化处理，将每个候选圆区域都完整划定和标记成独立的椭圆集合。
一实施例中，步骤S02中确定椭圆区域的方法包括：
S21：计算初始的椭圆集合
Figure SMS_104
：
Figure SMS_105
其中，
Figure SMS_106
为集合中椭圆的数量，
Figure SMS_107
，
Figure SMS_108
分别是椭圆的中心坐标、方向角和半轴长；
S22：针对椭圆区域中心点进行均值滑动聚类，产生
Figure SMS_110
个椭圆聚类中心
Figure SMS_112
，如果
Figure SMS_115
集合的中心坐标与
Figure SMS_111
距离最近，那么将
Figure SMS_114
并入集合
Figure SMS_117
中，
Figure SMS_118
，因此椭圆集合
Figure SMS_109
被划分为
Figure SMS_113
个组合模块，第
Figure SMS_116
个组合表示为：
Figure SMS_119
其中，
Figure SMS_120
表示在所有聚类点集中，
Figure SMS_121
与
Figure SMS_122
之间的距离最近；
此时，会产生对应的
Figure SMS_123
个椭圆定向聚类中心，依次是
Figure SMS_124
，同样
Figure SMS_125
会被分成
Figure SMS_126
个子区，对应于
Figure SMS_127
的第
Figure SMS_128
个子区
Figure SMS_129
表示为：
Figure SMS_130
S23：基于每个初始椭圆子集的半轴进行聚类分析，输出对应的第
Figure SMS_131
个中心集合
Figure SMS_132
，并得到最终的候选椭圆集合
Figure SMS_133
:
Figure SMS_134
。
一实施例中，步骤S03中提取椭圆区域的中心坐标包括：
S31：得到椭圆集合
Figure SMS_135
边缘的二次曲线方程：
Figure SMS_136
其中，
Figure SMS_137
是椭圆集合
Figure SMS_138
边缘像素坐标；
Figure SMS_139
是拟合方程系数；
S32：构建目标函数如下：
Figure SMS_140
其中，
Figure SMS_141
表示边缘点符合椭圆目标方程分布的代数值。函数值
Figure SMS_142
理想情况下趋近于0，
Figure SMS_143
是所参与拟合运算的边缘点集合，
Figure SMS_144
是椭圆边缘点的数量；
S33：对目标函数分别求关于
Figure SMS_145
的偏导，得到包含5个参数的方程组，接着引入拉格朗日乘子求解出椭圆参数；
S34：运用二次曲线理论，得到投影椭圆面的几何中心为：
Figure SMS_146
。
一实施例中，步骤S04中目标点中心空间坐标三维重构方法包括：
S41：采用双目视觉成像数学模型为：
Figure SMS_147
其中，
Figure SMS_148
和
Figure SMS_149
分别是左相机和右相机的内参数；
Figure SMS_150
和
Figure SMS_151
分别是左相机和右相机坐标系下的空间物理坐标；根据该模型，当得到左相机和右相机的像平面中椭圆的中心坐标
Figure SMS_152
与
Figure SMS_153
后，得到对应的实际圆形标志点中心空间物理坐标；
S42：左、右相机之间的坐标转换通过下式实现：
Figure SMS_154
其中，双目相机间的旋转矩阵
Figure SMS_155
，平移向量
Figure SMS_156
；
S43：接着联立公式得：
Figure SMS_157
S44：根据三角测量原理，实际双目立体相机的像平面不会共面，以左相机坐标系为统一参考系，空间点坐标通过下式解算：
Figure SMS_158
式中，
Figure SMS_159
为系数，其值分别为
Figure SMS_160
，
Figure SMS_161
，
Figure SMS_162
，
Figure SMS_163
。
另一实施例中，一种面向自主导航机器人的高精度视觉定位方法，采用上述的面向自主导航机器人的高精度视觉目标三维重构方法得到圆形标志点在世界坐标系下的空间三维坐标；
以固定在自身的相机的光心为原点，求得目标点与相机光心之间的欧式距离，同时通过坐标的代数运算计算出方位角信息。
另一实施例中，一种自主导航机器人，包括机器人本体，机器人本体内设置有控制器，控制器内置有计算机程序，所述计算机程序被执行时实现上述的面向自主导航机器人的高精度视觉定位方法。
另一实施例中，一种面向自主导航机器人的高精度视觉目标三维重构系统，包括：
候选椭圆区域识别模块，对圆形标志点进行识别，得到候选椭圆区域；
聚类分析模块，采用均值滑动的聚类分析，通过逐一对椭圆区域的中心点、方向、半轴长进行聚类，确定椭圆区域；
中心坐标提取模块，提取椭圆区域的中心坐标；
三维重构模块，利用相机内外参数对目标点中心空间坐标进行三维重构。
下面以一较佳的实施例为例进行详细说明自主导航机器人视觉定位系统的工作流程：
为了验证本发明中所提方法的定位精度和有效性，通过自主导航机器人上的视觉系统实现对附有圆形标志点的托盘进行空间坐标解算。首先在远距离情况下基于圆形标志点实现粗定位，待移动机器人调整姿态向前不断接近目标后，再进行精定位，总体方案示意图如图1所示。
步骤一：圆形标志点成像区域识别。如图2所示，标志点经过相机成像后，通过对图像中黑色像素区域的边缘提取，进而实现中心点的确定；基于机器视觉的空间定位实现需要借助目标特征信息，本发明在托盘上设定人工配合圆形标志点，如图2a所示，通过对圆形特征点成像识别，得到边缘像素分布，如图2b所示，并基于边缘像素坐标拟合椭圆实现中心坐标的高精度提取，以此保证对托盘位置信息解算的准确性和稳定性。
步骤11：采用Hough圆变换实现对圆形标志点的粗识别。理论上圆周上任意三点所确定的圆，经Hough变换后在三维参数空间应对应于一点。而这三个点所确定的圆形区域则为候选圆，但是生成的候选圆存在重复、交错的现象，如果直接进行成像后的椭圆中心坐标提取，则会伴随较大的计算量，占用较高的计算资源。
步骤12：接着通过图像的区域连通化处理，将每个候选圆区域都完整划定和标记成独立的椭圆集合，如图3所示，椭圆区域本质上是内部黑色像素的集合体，黑色像素提供了椭圆候选运算的特征信息，然后采用均值滑动的聚类模式实现椭圆区域的快速确定。聚类的目的就是为了排除重复区域，进一步缩小候选椭圆集合的范围。
步骤13：传统的椭圆区域筛选算法在椭圆的五维参数空间(中心点水平方向坐标、中心点竖直方向坐标、椭圆方向、长轴、短轴)中进行，运算数据量很大。本发明在初筛选多个候选圆的基础上，构建均值滑动的聚类模式，通过逐一对椭圆区域的中心点、方向、半轴长进行聚类，能够有效减少运算量，同时保证了聚类效果。
步骤14：下面给出基于均值滑动椭圆聚类实现椭圆区域确定的过程。假设初始的椭圆集合为
Figure SMS_164
，集合中椭圆的数量为
Figure SMS_165
，则有：
Figure SMS_166
(13)
其中，
Figure SMS_168
，
Figure SMS_173
分别是椭圆的中心坐标、方向角和半轴长。首先针对椭圆区域中心点进行均值滑动聚类，产生
Figure SMS_176
个椭圆聚类中心
Figure SMS_169
，如果
Figure SMS_172
集合的中心坐标与
Figure SMS_175
距离最近，那么可以将
Figure SMS_178
并入集合
Figure SMS_167
中，
Figure SMS_171
。因此椭圆集合
Figure SMS_174
可以被划分为
Figure SMS_177
个组合模块，第
Figure SMS_170
个组合可以表示为：
Figure SMS_179
(14)
式(14)中，
Figure SMS_180
表示在所有聚类点集中，
Figure SMS_181
与
Figure SMS_182
之间的距离最近。
此时，会产生对应的
Figure SMS_183
个椭圆定向聚类中心，依次是
Figure SMS_184
。同样
Figure SMS_185
会被分成
Figure SMS_186
个子区，对应于
Figure SMS_187
的第
Figure SMS_188
个子区
Figure SMS_189
可以表示为：
Figure SMS_190
(15)
步骤15：基于每个初始椭圆子集的半轴进行聚类分析，输出对应的中心集合
Figure SMS_191
，并得到最终的候选椭圆集合
Figure SMS_192
:
Figure SMS_193
(16)
通过上述方法能够得到候选椭圆集合，而且很大程度上减小了算法的计算量，可以在较低的时间复杂度下完成对椭圆的聚类分析计算。
步骤二：椭圆中心坐标提取。由于相机光轴与目标表面通常存在非
Figure SMS_194
的夹角，因此空间圆形或球形标志点经过相机投射到像平面后会形成椭圆，成像过程如图4所示。
步骤21：在
Figure SMS_195
像平面坐标系中，点
Figure SMS_196
是圆形标志点的物理中心坐标，经过投影后的映射坐标是
Figure SMS_197
。由于畸变、噪声等因素的影响，点
Figure SMS_198
难以直接通过投影几何变换求取。为了求得
Figure SMS_199
的值，设步骤一中椭圆区域
Figure SMS_200
边缘的二次曲线方程表示为：
Figure SMS_201
(17)
其中，
Figure SMS_202
是椭圆区域
Figure SMS_203
边缘像素坐标；
Figure SMS_204
是拟合方程系数。如果各个系数满足式(18)：
Figure SMS_205
(18)
那么(17)式就有解，即可以成功拟合出精确的椭圆。为了方便求解，构建如下所示的目标函数：
Figure SMS_206
(19)
其中，
Figure SMS_207
表示边缘点符合椭圆目标方程分布的代数值。函数值
Figure SMS_208
理想情况下趋近于0，
Figure SMS_209
是所参与拟合运算的边缘点集合，
Figure SMS_210
是椭圆边缘点的数量。
步骤22：对(19)式分别求关于
Figure SMS_211
的偏导，可以得到包含5个参数的方程组，接着引入拉格朗日乘子可以求解出椭圆参数。
步骤23：此时，运用二次曲线理论，可得投影椭圆面的几何中心为：
Figure SMS_212
(20)
通过步骤二可以准确、快速得到椭圆区域的中心坐标，从而保证自主导航机器人视觉定位的精度和实时性。
步骤三：目标点中心空间坐标三维重构。相机参数标定也是实现基于视觉高精度定位的必备步骤，本发明基于99圆的平面标定板实现相机内外参数标定，并得到双目相机结构参数，标定场景如图5所示。
步骤31：由于采用ZED双目相机作为自主导航机器人的视觉系统，因此采用如下所示的双目视觉成像数学模型：
Figure SMS_213
(21)
其中，
Figure SMS_214
和
Figure SMS_215
分别是左相机和右相机的内参数；
Figure SMS_216
和
Figure SMS_217
分别是左相机和右相机坐标系下的空间物理坐标。根据该模型，当通过步骤二提取得到左相机和右相机的像平面中椭圆的中心坐标
Figure SMS_218
与
Figure SMS_219
后，可以反推出对应的实际圆形标志点中心空间物理坐标，这是实现机器人视觉定位的关键流程。
左、右相机之间的坐标转换可以通过下式来实现：
Figure SMS_220
(22)
其中，双目相机间的旋转矩阵
Figure SMS_221
，平移向量
Figure SMS_222
。
步骤32：接着联立(21)-(22)可得:
Figure SMS_223
(23)
根据三角测量原理，实际双目立体相机的像平面不会共面，以左相机坐标系为统一参考系，空间点坐标可以通过下式解算：
Figure SMS_224
式(24)中，
Figure SMS_225
为系数，其值分别为
Figure SMS_226
，
Figure SMS_227
，
Figure SMS_228
，
Figure SMS_229
。
此时，可以得到托盘上圆形标志点在世界坐标系下的空间三维坐标，自主导航机器人可以选定固定在自身的相机的光心为原点，那么可以求得托盘上目标点与相机光心之间的欧式距离，同时通过坐标的代数运算也可以计算出方位角信息，由此实现了自主导航机器人基于视觉的定位功能。
为了验证本发明中所提方法的有效性，通过AGV机器人实现对附有圆形标志点的托盘进行定位。如图6所示，托盘上的标志点设计成黑白相间的同心圆，黑色像素区域和白色像素区域会增强圆心提取的稳定性，实施例中选用外径为80mm，内径为40mm的同心圆作为标志点，能够对噪声以及图像模糊的情况具有更好的适用性。
如图7所示，本实施例采用ZED STERE CAMERA双目立体相机进行目标图像的采集与定位，此相机分辨率可达2K且外形小巧。适合安装在AGV叉车前端。标定前需要调整平面标定板不同位置和姿态，平面标定板的空间物理尺寸如图7a所示，尽可能覆盖测量空间，并进行图像采集。然后对平面标定板进行编码，如图7b所示。实验中标定空间范围约为5m×5m×3m，标定完成后得到的双目相机内参与相机间位姿关系如表1所示。
表1 立体相机内参与位姿矩阵
Figure SMS_230
本实施例通过对标志点重建精度的验证来说明定位方法的有效性。由于实际三维空间坐标的真实值难以获取，采用对位移量的测量来验证其精度。我们将相机位置固定，将托盘初始位置放置于相机正前方约5m位置。分别沿其两个轴线方向进行平移，每平移约0.5m进行一次图像的采集。用一套OptiTrack动态测量系统进行定位与测量并将此值作为真实值。根据验证，OptiTrack是一套权威的校验光学系统，拥有1300K、1700K和4100K三种分辨率级别且能达到亚毫米级的定位精度。通过该系统前后两次定位计算出位移量并将此值作为真值与本发明提出的方案定位结果进行对比。得到的测量数据如表2与表3所示。不失一般性，表2为托盘水平位移情况，表3为托盘的垂直位移情况。
表2 水平位移定位结果与误差
Figure SMS_231
表3 垂直位移定位结果与误差
Figure SMS_232
从表2与表3中可以看出，无论是托盘竖直方向运动还是水平方向运动，测量误差都随着平移量的增大而增大，最小误差为0.8mm，并且在运行状态下最大定位误差可以被控制在1.5mm以内，该精度明显高于基于SLAM技术的机器人轨迹重构精度，能够满足自主导航机器人对视觉定位系统的要求。
接着对定位算法的执行效率进行测试。首先在双目相机系统和托盘都保持静止状态下进行测试，静态测试中视觉定位系统共连续处理1700帧图像，得到的每秒处理的有效帧率数如图8所示，可以看出每秒能够解算10帧以上，处理速度能够满足要求；对应的静态定位数据如图9所示，由于相机和托盘都是静止的，因此二者之间的几何距离也是不变的，从图9中可以看出静态定位结果分布很稳定。
然后进行动态调整下的解算速率测试。此时，保持托盘位置不动，手持相机系统进行随机、连续移动，连续处理420帧图像，得到的动态平均有效帧率如图10所示，处理速度保持在每秒12帧附近。对应的动态距离测试数据如图11所示，与实际相机系统移动情况下与托盘之间的实时距离是一致的。
为更进一步模拟AGV智能叉车运动轨迹，人为控制相机的运动来模拟叉车的运动控制系统部分。在保持相机高度固定的同时，控制相机不断向靠近托盘的方向运动，直到相机距离托盘足够近导致托盘不在其视场之内。模拟的4种场景如图12a-12d所示。
由于相机实时采集托盘图像进行定位时获取的三维空间点通常是在左相机坐标系下的坐标值。为绘制出直观的效果，将所有的轨迹点加上初始位置的坐标值，即将初始位置的坐标作为原点建立空间坐标系。绘制的四种情况的轨迹图如图12a-12d所示。其中，图12a为第一场景的实时定位轨迹，图12b为第二场景的实时定位轨迹，图12c为第三场景的实时定位轨迹，图12d是图12a情况中三个标志点的3条轨迹图。在相机移动的初始时刻，由于光照或距离等原因，标志点1未被检测成功从而导致图12d中的标志点1的轨迹在初始段丢失。值得注意的是，本发明方法具有很好的鲁棒性，只需检测出任意两个圆形标志点即可实现定位。在丢失一个目标点的情况下同样能获取其最终轨迹，如图12a所示。由此可见该方法对实现机械臂抓取、仓储搬运、对接装配等功能具有重要的理论指导与工程应用价值。
上述实施例为本发明优选地实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种面向自主导航机器人的高精度视觉目标三维重构方法，其特征在于，包括以下步骤：
S01：对圆形标志点进行识别，得到候选椭圆区域；
S02：采用均值滑动的聚类分析，通过逐一对椭圆区域的中心点、方向、半轴长进行聚类，确定椭圆区域；
S03：提取椭圆区域的中心坐标；
S04：利用相机内外参数对目标点中心空间坐标进行三维重构。
2.根据权利要求1所述的面向自主导航机器人的高精度视觉目标三维重构方法，其特征在于，所述S01中得到候选椭圆区域的方法包括：
S11：采用Hough圆变换对圆形标志点进行粗识别，将圆周上任意三点所确定的圆，经Hough变换后在三维参数空间对应于一点，这三个点所确定的圆形区域则为候选圆；
S12：通过图像的区域连通化处理，将每个候选圆区域都完整划定和标记成独立的椭圆集合。
3.根据权利要求1所述的面向自主导航机器人的高精度视觉目标三维重构方法，其特征在于，所述S02中确定椭圆区域的方法包括：
S21：计算初始的椭圆集合
Figure QLYQS_1
：
Figure QLYQS_2
其中，
Figure QLYQS_3
为集合中椭圆的数量，
Figure QLYQS_4
，
Figure QLYQS_5
分别是椭圆的中心坐标、方向角和半轴长；
S22：针对椭圆区域中心点进行均值滑动聚类，产生
Figure QLYQS_7
个椭圆聚类中心
Figure QLYQS_10
，如果
Figure QLYQS_13
集合的中心坐标与
Figure QLYQS_8
距离最近，那么将
Figure QLYQS_9
并入集合
Figure QLYQS_12
中，
Figure QLYQS_15
，因此椭圆集合
Figure QLYQS_6
被划分为
Figure QLYQS_11
个组合模块，第
Figure QLYQS_14
个组合表示为：
Figure QLYQS_16
,
其中，
Figure QLYQS_17
表示在所有聚类点集中，
Figure QLYQS_18
与
Figure QLYQS_19
之间的距离最近；
此时，会产生对应的
Figure QLYQS_20
个椭圆定向聚类中心，依次是
Figure QLYQS_21
，同样
Figure QLYQS_22
会被分成
Figure QLYQS_23
个子区，对应于
Figure QLYQS_24
的第
Figure QLYQS_25
个子区
Figure QLYQS_26
表示为：
Figure QLYQS_27
S23：基于每个初始椭圆子集的半轴进行聚类分析，输出对应的第
Figure QLYQS_28
个中心集合
Figure QLYQS_29
，并得到最终的候选椭圆集合
Figure QLYQS_30
:
Figure QLYQS_31
。
4.根据权利要求1所述的面向自主导航机器人的高精度视觉目标三维重构方法，其特征在于，所述S03中提取椭圆区域的中心坐标包括：
S31：得到椭圆集合
Figure QLYQS_32
边缘的二次曲线方程：
Figure QLYQS_33
，
其中，
Figure QLYQS_34
是椭圆集合
Figure QLYQS_35
边缘像素坐标；
Figure QLYQS_36
是拟合方程系数；
S32：构建目标函数如下：
Figure QLYQS_37
，
其中，
Figure QLYQS_38
表示边缘点符合椭圆目标方程分布的代数值，函数值
Figure QLYQS_39
理想情况下趋近于0，
Figure QLYQS_40
是所参与拟合运算的边缘点集合，
Figure QLYQS_41
是椭圆边缘点的数量；
S33：对目标函数分别求关于
Figure QLYQS_42
的偏导，得到包含5个参数的方程组，接着引入拉格朗日乘子求解出椭圆参数；
S34：运用二次曲线理论，得到投影椭圆面的几何中心为：
Figure QLYQS_43
。
5.根据权利要求4所述的面向自主导航机器人的高精度视觉目标三维重构方法，其特征在于，所述S04中目标点中心空间坐标三维重构方法包括：
S41：采用双目视觉成像数学模型为：
Figure QLYQS_44
其中，
Figure QLYQS_45
和
Figure QLYQS_46
分别是左相机和右相机的内参数；
Figure QLYQS_47
和
Figure QLYQS_48
分别是左相机和右相机坐标系下的空间物理坐标；根据该模型，当得到左相机和右相机的像平面中椭圆的中心坐标
Figure QLYQS_49
与
Figure QLYQS_50
后，得到对应的实际圆形标志点中心空间物理坐标；
S42：左、右相机之间的坐标转换通过下式实现：
Figure QLYQS_51
其中，双目相机间的旋转矩阵
Figure QLYQS_52
，平移向量
Figure QLYQS_53
；
S43：接着联立公式得：
Figure QLYQS_54
，
S44：根据三角测量原理，实际双目立体相机的像平面不会共面，以左相机坐标系为统一参考系，空间点坐标通过下式解算：
Figure QLYQS_55
式中，
Figure QLYQS_56
为系数，其值分别为
Figure QLYQS_57
，
Figure QLYQS_58
，
Figure QLYQS_59
，
Figure QLYQS_60
。
6.一种面向自主导航机器人的高精度视觉定位方法，其特征在于，采用权利要求1-5任一项所述的面向自主导航机器人的高精度视觉目标三维重构方法得到圆形标志点在世界坐标系下的空间三维坐标；
以固定在自身的相机的光心为原点，求得目标点与相机光心之间的欧式距离，同时通过坐标的代数运算计算出方位角信息。
7.一种自主导航机器人，包括机器人本体，其特征在于，所述机器人本体内设置有控制器，所述控制器内置有计算机程序，所述计算机程序被执行时实现权利要求6所述的面向自主导航机器人的高精度视觉定位方法。
8.一种面向自主导航机器人的高精度视觉目标三维重构系统，其特征在于，包括：
候选椭圆区域识别模块，对圆形标志点进行识别，得到候选椭圆区域；
聚类分析模块，采用均值滑动的聚类分析，通过逐一对椭圆区域的中心点、方向、半轴长进行聚类，确定椭圆区域；
中心坐标提取模块，提取椭圆区域的中心坐标；
三维重构模块，利用相机内外参数对目标点中心空间坐标进行三维重构。
9.根据权利要求8所述的面向自主导航机器人的高精度视觉目标三维重构系统，其特征在于，所述聚类分析模块中确定椭圆区域的方法包括：
S21：计算初始的椭圆集合
Figure QLYQS_61
：
Figure QLYQS_62
其中，
Figure QLYQS_63
为集合中椭圆的数量，
Figure QLYQS_64
，
Figure QLYQS_65
分别是椭圆的中心坐标、方向角和半轴长；
S22：针对椭圆区域中心点进行均值滑动聚类，产生
Figure QLYQS_66
个椭圆聚类中心
Figure QLYQS_68
，如果
Figure QLYQS_70
集合的中心坐标与
Figure QLYQS_67
距离最近，那么将
Figure QLYQS_71
并入集合
Figure QLYQS_73
中，
Figure QLYQS_75
，因此椭圆集合
Figure QLYQS_69
被划分为
Figure QLYQS_72
个组合模块，第
Figure QLYQS_74
个组合表示为：
Figure QLYQS_76
，
其中，
Figure QLYQS_77
表示在所有聚类点集中，
Figure QLYQS_78
与
Figure QLYQS_79
之间的距离最近；
此时，会产生对应的
Figure QLYQS_80
个椭圆定向聚类中心，依次是
Figure QLYQS_81
，同样
Figure QLYQS_82
会被分成
Figure QLYQS_83
个子区，对应于
Figure QLYQS_84
的第
Figure QLYQS_85
个子区
Figure QLYQS_86
表示为：
Figure QLYQS_87
S23：基于每个初始椭圆子集的半轴进行聚类分析，输出对应的第
Figure QLYQS_88
个中心集合
Figure QLYQS_89
，并得到最终的候选椭圆集合
Figure QLYQS_90
:
Figure QLYQS_91
。
10.根据权利要求8所述的面向自主导航机器人的高精度视觉目标三维重构系统，其特征在于，所述中心坐标提取模块中提取椭圆区域的中心坐标包括：
S31：得到椭圆集合
Figure QLYQS_92
边缘的二次曲线方程：
Figure QLYQS_93
，
其中，
Figure QLYQS_94
是椭圆集合
Figure QLYQS_95
边缘像素坐标；
Figure QLYQS_96
是拟合方程系数；
S32：构建目标函数如下：
Figure QLYQS_97
，
其中，
Figure QLYQS_98
表示边缘点符合椭圆目标方程分布的代数值，函数值
Figure QLYQS_99
理想情况下趋近于0，
Figure QLYQS_100
是所参与拟合运算的边缘点集合，
Figure QLYQS_101
是椭圆边缘点的数量；
S33：对目标函数分别求关于
Figure QLYQS_102
的偏导，得到包含5个参数的方程组，接着引入拉格朗日乘子求解出椭圆参数；
S34：运用二次曲线理论，得到投影椭圆面的几何中心为：
Figure QLYQS_103
。
CN202310146885.5A 2023-02-22 2023-02-22 面向自主导航机器人的高精度视觉定位方法 Active CN116051629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310146885.5A CN116051629B (zh) 2023-02-22 2023-02-22 面向自主导航机器人的高精度视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310146885.5A CN116051629B (zh) 2023-02-22 2023-02-22 面向自主导航机器人的高精度视觉定位方法

Publications (2)

Publication Number Publication Date
CN116051629A true CN116051629A (zh) 2023-05-02
CN116051629B CN116051629B (zh) 2023-11-07

Family

ID=86129587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310146885.5A Active CN116051629B (zh) 2023-02-22 2023-02-22 面向自主导航机器人的高精度视觉定位方法

Country Status (1)

Country Link
CN (1) CN116051629B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350553A (ja) * 2005-06-14 2006-12-28 Kyoto Univ 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
CN105405134A (zh) * 2015-11-05 2016-03-16 山东科技大学 一种相机检校标志中心坐标提取方法
CN107194399A (zh) * 2017-07-14 2017-09-22 广东工业大学 一种视觉定标的方法、系统及无人机
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN109163657A (zh) * 2018-06-26 2019-01-08 浙江大学 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN109815822A (zh) * 2018-12-27 2019-05-28 北京航天福道高技术股份有限公司 基于广义Hough变换的巡检图零部件目标识别方法
CN110569838A (zh) * 2019-04-25 2019-12-13 内蒙古工业大学 一种基于视觉定位的四旋翼无人机自主降落方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350553A (ja) * 2005-06-14 2006-12-28 Kyoto Univ 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
CN105405134A (zh) * 2015-11-05 2016-03-16 山东科技大学 一种相机检校标志中心坐标提取方法
CN107194399A (zh) * 2017-07-14 2017-09-22 广东工业大学 一种视觉定标的方法、系统及无人机
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN109163657A (zh) * 2018-06-26 2019-01-08 浙江大学 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN109815822A (zh) * 2018-12-27 2019-05-28 北京航天福道高技术股份有限公司 基于广义Hough变换的巡检图零部件目标识别方法
CN110569838A (zh) * 2019-04-25 2019-12-13 内蒙古工业大学 一种基于视觉定位的四旋翼无人机自主降落方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马廷昭 等: ""基于激光线扫描的双目立体视觉测量方法研究"", 《北京机械工业学院学报》, vol. 22, no. 4, pages 1 - 5 *

Also Published As

Publication number Publication date
CN116051629B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN112215860B (zh) 一种基于图像处理的无人机定位方法
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
CN112396664A (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN103424112B (zh) 一种基于激光平面辅助的运动载体视觉导航方法
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN114004977B (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN111811395A (zh) 基于单目视觉的平面位姿动态测量方法
CN112258590A (zh) 一种基于激光的深度相机外参标定方法、设备及其存储介质
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN115097421A (zh) 一种相机-激光雷达外参标定装置及方法
CN118168545A (zh) 基于多源传感器融合的除草机器人定位导航系统及方法
CN114792338A (zh) 基于先验三维激光雷达点云地图的视觉融合定位方法
Ye et al. Extrinsic calibration of a monocular camera and a single line scanning Lidar
CN115267756A (zh) 一种基于深度学习目标检测的单目实时测距方法
Wang et al. A survey of extrinsic calibration of LiDAR and camera
Grudziński et al. Stereovision tracking system for monitoring loader crane tip position
CN111724432B (zh) 物体三维检测方法和装置
Higuchi et al. 3D measurement of large structure by multiple cameras and a ring laser
CN115761684B (zh) 基于机器视觉的agv目标识别与姿态角解算方法及系统
CN116051629B (zh) 面向自主导航机器人的高精度视觉定位方法
Jingjing et al. Research on autonomous positioning method of UAV based on binocular vision
Ma et al. A novel method for measuring drogue-UAV relative pose in autonomous aerial refueling based on monocular vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant