CN115761684A - 基于机器视觉的agv目标识别与姿态角解算方法及系统 - Google Patents

基于机器视觉的agv目标识别与姿态角解算方法及系统 Download PDF

Info

Publication number
CN115761684A
CN115761684A CN202310031071.7A CN202310031071A CN115761684A CN 115761684 A CN115761684 A CN 115761684A CN 202310031071 A CN202310031071 A CN 202310031071A CN 115761684 A CN115761684 A CN 115761684A
Authority
CN
China
Prior art keywords
target
agv
camera
coordinate system
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310031071.7A
Other languages
English (en)
Other versions
CN115761684B (zh
Inventor
张贵阳
徐本连
鲁明丽
吉思雨
陆婷
臧书琪
翟树峰
朱玲羽
潘李越云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202310031071.7A priority Critical patent/CN115761684B/zh
Publication of CN115761684A publication Critical patent/CN115761684A/zh
Application granted granted Critical
Publication of CN115761684B publication Critical patent/CN115761684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的AGV目标识别与姿态角解算方法及系统，包括AGV运行过程中进行目标检测，确定包含目标特征点的ROI区域；采用双目立体视觉系统对目标进行实时成像；分别对投射后的椭圆锥面进行拟合，同时对法向量进行优化求解；通过最优法向量解算AGV和目标之间的方位角。通过改进YOLOV3的主干网络模型，并搭建跨层连接网络结构实现对微小目标特征的有效学习和融合，提升目标检测的准确率和稳定性。完成目标识别后，接着选定包含圆形特征点的ROI区域，分别对投射后的椭圆锥面法向量进行优化求解，保证解的唯一性，进而实现目标相对于AGV自主导航载具姿态角的精确、快速解算。

Description

基于机器视觉的AGV目标识别与姿态角解算方法及系统
技术领域
本发明属于AGV载具方位角感知技术领域，本发明涉及一种基于机器视觉的AGV目标识别与姿态角解算方法，实现AGV(Automated Guided Vehicle)自主导航载具对目标方位角的实时量测。
背景技术
当前工业应用中的自主导航载具大多以固定的轨迹、预先设定的方式进行工作，能够胜任单一性、保准性、重复性较强的任务。然而该类运动载具缺乏对跨场景环境、目标状态、以及末端执行器实际位姿变化的自主感知能力，因此工作环境中的对象如果发生了超出预期的变化，就会影响载具末端姿态角的解算精度，导致运行状态下的载具无法进行下一步的操作，严重限制了自主导航载具功能的智能化以及可延展性。
激光雷达是AGV载具在方位角感知上技术较为成熟的一种方式，通过单线或者多线激光雷达，扫描环境空间的三维点云信息进行感知计算，精度高且实时性较强，但激光感知囿于其硬件成本和信息维度，在日常生活中无法得到广泛的应用。相比之下，通过相机成像的视觉模式可以获取目标特征信息来感知环境，其特点是成本较为低廉，传感信息也更为丰富，一般应用于移动载具的室内导航与定位。基于视觉实现目标姿态角量测的方法有多种，通过RGB-D相机获取目标点云信息的量测方式应用较为广泛，可以将RGB-D点特征和线段特征、平面特征进行结合，但由于点云信息数据量大，导致算法的效率较低。而采用面阵相机构成的视觉系统实现目标姿态角量测具有很高的实时性，同时精度也较高。但是该技术需要借助大量的人工标志点或配合目标点，这在实际应用中难以保障目标如托盘、箱体、堆垛具有较多的标志点，因此限制了机器视觉技术在实际工业场景中的应用。此外，当前采用深度学习的方式进行目标检测与定位取得了很好的实用效果。深度学习模型通过一层一层地抽象可以将原始数据变为另一种可以代表原始数据的展现形式。但是传统的卷积网络通常是自上而下的模式，随着网络层数的增加，感受野会增大，语义信息也更为丰富。这种自上而下的结构本身对于多尺度的物体检测就存在弊端，尤其是小物体，其特征可能会随着深度的增加而渐渐丢失，从而导致检测性能的降低。
公开号CN114549637A公开了一种运动目标识别以及实时定位与姿态解算方法及系统，基于包含关系的轮廓识别方法提取预处理后的图像的图像轮廓以及轮廓对应的特征点的位置坐标；基于轮廓对应的特征点的位置坐标完成动态目标的位姿解算以及ID识别。基于图像处理算法，需要计算特征点的位置坐标，计算方法复杂，无法进行快速响应，实时性不足；并且位姿解算的精度并不是很高。
为了提升AGV自主导航载具执行任务的灵活性，实现对目标的精准操作，那么关键的要素是能够实现对目标方位角的精确解算，这样AGV自主导航载具才能稳定地朝向目标移动，进而完成后续的连续操作任务。本发明因此而来。
发明内容
本发明的目的在于提供一种基于机器视觉的AGV目标识别与姿态角解算方法，通过改进YOLOV3的主干网络模型，并搭建跨层连接网络结构实现对微小目标特征的有效学习和融合，提升目标检测的准确率和稳定性。完成目标识别后，接着选定包含圆形特征点的ROI区域，分别对投射后的椭圆锥面法向量进行优化求解，保证解的唯一性，进而实现目标相对于AGV自主导航载具姿态角的精确、快速解算。
实现本发明目的的技术解决方案为：
一种基于机器视觉的AGV目标识别与姿态角解算方法，包括以下步骤：
S01：AGV运行过程中进行目标检测，确定包含目标特征点的ROI区域；
S02：采用双目立体视觉系统对目标进行实时成像；
S03：分别对投射后的椭圆锥面进行拟合，同时对法向量进行优化求解；
S04：通过最优法向量解算AGV和目标之间的方位角。
优选的技术方案中，所述S01中目标检测方法包括：
S11：对YOLOv3的主干网络进行重新搭建，搭建连续并行主干网络模型架构，通过连续少量的3×3接收器域提升对微弱特征的学习能力，利用局部响应归一化层降低数据之间的差异，增大特征层中单个元素的感受野来增强特征局部辨识度、以及弱化特征噪声能力，将四个并行残差块卷积层得到的特征图在通道方向进行自适应池化，依次通过全连接层、激活函数进行分类输出；
S12：构建改进型特征融合跨层连接网络结构模型，对深层特征进行卷积逆运算，并与浅层特征相乘，得到多层特征图。
优选的技术方案中，所述S12中改进型特征融合跨层连接网络结构模型包括：
对原始卷积核的行列分布进行逆向塑形，行列逆向塑形后的卷积模块是由两个
Figure 107300DEST_PATH_IMAGE001
大小的卷积层组成，计算目标关键的局部特征，每一层均采用ReLU激活函数增加网络 的非线性，接着进行批归一化；
模型最底层输出通道数是
Figure 681895DEST_PATH_IMAGE002
的特征层，通过多层逆向塑形后的卷积在通道维 度上实现逐层和跨层的耦合，将特征生成器最后卷积层得到的特征图在通道方向进行池 化，池化层输出的特征继续与其他特征再次融合，并将这些信息与特征一起传播到下一层 网络中。
优选的技术方案中，所述S03中分别对投射后的椭圆锥面进行拟合包括以下步骤：
S31：基于二维图像像素坐标系，建立像平面的椭圆方程表达式：
Figure 590070DEST_PATH_IMAGE003
其中，点
Figure 668141DEST_PATH_IMAGE004
是目标点在像素坐标系下的齐次坐标；
Figure 770614DEST_PATH_IMAGE005
是转置表达形式； 矩阵
Figure 668121DEST_PATH_IMAGE006
是像平面椭圆拟合参数矩阵，
Figure 537244DEST_PATH_IMAGE007
为拟合参数；
S32：图像像素坐标系和图像实际物理坐标系通过下式进行转换：
Figure 407505DEST_PATH_IMAGE008
其中，
Figure 54780DEST_PATH_IMAGE009
表示目标点的二维像素坐标，
Figure 259759DEST_PATH_IMAGE010
和
Figure 260469DEST_PATH_IMAGE011
分别是
Figure 500083DEST_PATH_IMAGE012
轴和
Figure 468711DEST_PATH_IMAGE013
轴方 向上每毫米所包含的像素数量，
Figure 426565DEST_PATH_IMAGE014
表示目标图像实际物理坐标原点在像素坐标系下 的坐标；
S33：将像素坐标系下的坐标转换到目标图像实际物理坐标下，得：
Figure 309595DEST_PATH_IMAGE015
其中：
Figure 997191DEST_PATH_IMAGE016
；矩阵
Figure 455110DEST_PATH_IMAGE017
主对角 线元素
Figure 486610DEST_PATH_IMAGE018
；
S34：构建圆形特征面成像后在图像实际物理坐标下椭圆拟合方程：
Figure 642172DEST_PATH_IMAGE019
其中，
Figure 466165DEST_PATH_IMAGE020
表示标志点在相机坐标系下的中心坐标，参数矩阵
Figure 563827DEST_PATH_IMAGE021
：
Figure 122372DEST_PATH_IMAGE022
其中，
Figure 252264DEST_PATH_IMAGE023
是一个 常数，
Figure 852135DEST_PATH_IMAGE024
是相机的焦距；
S35：求得矩阵
Figure 816240DEST_PATH_IMAGE025
的三个特征值
Figure 235983DEST_PATH_IMAGE026
，且满足条件
Figure 903987DEST_PATH_IMAGE027
，
Figure 436993DEST_PATH_IMAGE028
对应的特征向量
Figure 4021DEST_PATH_IMAGE029
均两两正交；
设矩阵
Figure 31497DEST_PATH_IMAGE025
的单位向量为：
Figure 880023DEST_PATH_IMAGE030
其中，
Figure 332782DEST_PATH_IMAGE031
，根据空间二次锥面理论，矩阵
Figure 389422DEST_PATH_IMAGE032
拟合出的锥面的圆截面
Figure 193211DEST_PATH_IMAGE033
为：
Figure 425521DEST_PATH_IMAGE034
其中，
Figure 988310DEST_PATH_IMAGE035
为常数，
Figure 677567DEST_PATH_IMAGE036
；
S36：将右相机仿照左相机进行相同的操作，得到右相机投射锥面下的圆截面特征 向量
Figure 28040DEST_PATH_IMAGE037
和
Figure 592269DEST_PATH_IMAGE038
。
优选的技术方案中，所述S03中对法向量进行优化求解的方法包括：
S031：将右相机投射锥面下的圆截面特征向量
Figure 406904DEST_PATH_IMAGE037
和
Figure 464069DEST_PATH_IMAGE038
变换到左相机的相机坐标 系下，得到两个法向量
Figure 646045DEST_PATH_IMAGE039
与
Figure 171222DEST_PATH_IMAGE040
，其中
Figure 653413DEST_PATH_IMAGE041
是圆截面相对于相机坐标系的旋 转矩阵。对于左相机而言法向量
Figure 408838DEST_PATH_IMAGE042
，
Figure 454941DEST_PATH_IMAGE043
；
Figure 846127DEST_PATH_IMAGE044
和
Figure 294075DEST_PATH_IMAGE045
是左相机投射锥面下的圆截 面特征向量。
S032：当椭圆特征点成像时不存在干扰因素时，基于右相机解算出的两个法向量中一定有一个与左相机解算出的两个法向量中的某一个相等，且这一个即为空间圆面的单位法向量，即：
Figure 40577DEST_PATH_IMAGE046
S033：计算目标所在圆面前后两次的法向量夹角，求得AGV与目标之间的相对方位信息。
优选的技术方案中，所述S03中对法向量进行优化求解的方法包括：
当椭圆特征点成像时存在干扰因素时，假设共有
Figure 892137DEST_PATH_IMAGE047
对椭圆标志点，通过下式进一 步优化得到稳健的法向量
Figure 444603DEST_PATH_IMAGE048
：
Figure 839069DEST_PATH_IMAGE049
其中，
Figure 303942DEST_PATH_IMAGE050
是不同椭圆在双目立体相机中法向量各个分量构成的 系数矩阵，
Figure 947806DEST_PATH_IMAGE051
是维数匹配的列向量；
通过高斯反向迭代法得到最小二乘解，得到
Figure 664483DEST_PATH_IMAGE052
。
优选的技术方案中，所述S04通过最优法向量解算AGV和目标之间的方位角的方法包括：
得到
Figure 834826DEST_PATH_IMAGE053
后，求解旋转矩阵
Figure 634113DEST_PATH_IMAGE054
如下：
Figure 358749DEST_PATH_IMAGE055
通过椭圆标志点的最优法向量
Figure 456280DEST_PATH_IMAGE056
解算出偏航角
Figure 746710DEST_PATH_IMAGE057
：
Figure 271494DEST_PATH_IMAGE058
计算俯仰角
Figure 14585DEST_PATH_IMAGE059
：
Figure 728856DEST_PATH_IMAGE060
。
本发明又公开了一种基于机器视觉的AGV目标识别与姿态角解算系统，包括：
目标检测模块，AGV运行过程中进行目标检测，确定包含目标特征点的ROI区域；
双目立体视觉系统，采用双目立体视觉系统对目标进行实时成像；
拟合优化模块，分别对投射后的椭圆锥面进行拟合，同时对法向量进行优化求解；
姿态角解算模块，通过最优法向量解算AGV和目标之间的方位角。
本发明还公开了一种基于机器视觉的AGV，包括AGV本体，所述AGV本体内设置有控制器，所述控制器内置有计算机程序，所述计算机程序被执行时实现上述的基于机器视觉的AGV目标识别与姿态角解算方法。
本发明与现有技术相比，其显著优点为：
本发明基于机器视觉技术，通过非接触的方式实现对目标的识别和姿态角解算功能。首先改进了YOLOV3主干网络模型，并搭建跨层连接网络结构实现对微小目标特征的有效学习和融合，保留微弱目标关键的局部特征，增强图像的细粒度识别能力，从而提升目标检测的准确率和稳定性。完成目标识别后便可确定包含圆形特征点的ROI区域，分别对投射后的椭圆锥面进行拟合，同时对法向量进行优化求解，避免传统方法求解法向量的二重性以及姿态角误差较大的问题，保证夹角信息计算的唯一性，进而实现目标相对于AGV自主导航载具姿态角的精确、快速解算，为自主导航载具运行过程中动态响应能力弱和转向决策实时性不足的问题提供了技术支持和参考。
附图说明
图1为坐标系定义与航向角示意图；
图2为连续并行主干网络模型架构；
图3为基于改进的跨层连接网络结构模型；
图4为空间圆双目成像示意图；
图5为椭圆检测步骤流程；
图6为托盘圆形标志点检测结果；
图7为一方位角测量结果对照；
图8为另一方位角测量结果对照；
图9为平均处理帧率示意图；
图10为圆盘图像采集示意图；
图11为动态方位角实时测量结果；
图12为动态测试整体平均帧率。
具体实施方式
本发明的原理是：针对AGV自主导航载具的方位角测量问题，本发明设计了基于机器视觉的目标识别和姿态角解算方法。考虑到圆形标志点占据的像幅尺寸很小，有效像素数较低，首先通过改进YOLOV3的主干网络模型，并搭建跨层连接网络结构实现对微小目标特征的有效学习和融合，提升目标检测的准确率和稳定性。完成目标识别后，接着选定包含圆形特征点的ROI(Region of Interest)区域，分别对投射后的椭圆锥面法向量进行优化求解，保证解的唯一性，进而实现目标相对于AGV自主导航载具姿态角的精确、快速解算。
实施例1：
如图1所示，一种基于机器视觉的AGV目标识别与姿态角解算方法，包括以下步骤：
S01：AGV运行过程中进行目标检测，确定包含目标特征点的ROI区域；
S02：采用双目立体视觉系统对目标进行实时成像；
S03：分别对投射后的椭圆锥面进行拟合，同时对法向量进行优化求解；
S04：通过最优法向量解算AGV和目标之间的方位角。
一实施例中，步骤S01中目标检测方法包括：
S11：对YOLOv3的主干网络进行重新搭建，搭建连续并行主干网络模型架构，通过连续少量的3×3接收器域提升对微弱特征的学习能力，利用局部响应归一化层降低数据之间的差异，增大特征层中单个元素的感受野来增强特征局部辨识度、以及弱化特征噪声能力，将四个并行残差块卷积层得到的特征图在通道方向进行自适应池化，依次通过全连接层、激活函数进行分类输出；
S12：构建改进型特征融合跨层连接网络结构模型，对深层特征进行卷积逆运算，并与浅层特征相乘，得到多层特征图。
具体的，步骤S12中改进型特征融合跨层连接网络结构模型包括：
对原始卷积核的行列分布进行逆向塑形，行列逆向塑形后的卷积模块是由两个
Figure 218000DEST_PATH_IMAGE001
大小的卷积层组成，计算目标关键的局部特征，每一层均采用ReLU激活函数增加网络 的非线性，接着进行批归一化；
模型最底层输出通道数是
Figure 671544DEST_PATH_IMAGE002
的特征层，通过多层逆向塑形后的卷积在通道维 度上实现逐层和跨层的耦合，将特征生成器最后卷积层得到的特征图在通道方向进行池 化，池化层输出的特征继续与其他特征再次融合，并将这些信息与特征一起传播到下一层 网络中。
一实施例中，步骤S03中分别对投射后的椭圆锥面进行拟合包括以下步骤：
S31：基于二维图像像素坐标系，建立像平面的椭圆方程表达式：
Figure 105192DEST_PATH_IMAGE003
其中，点
Figure 544526DEST_PATH_IMAGE004
是目标点在像素坐标系下的齐次坐标；
Figure 340706DEST_PATH_IMAGE061
是转置表达形式； 矩阵
Figure 941714DEST_PATH_IMAGE006
是像平面椭圆拟合参数矩阵，
Figure 800342DEST_PATH_IMAGE007
为拟合参数；
S32：图像像素坐标系和图像实际物理坐标系通过下式进行转换：
Figure 777788DEST_PATH_IMAGE008
其中，
Figure 366157DEST_PATH_IMAGE009
表示目标点的二维像素坐标，
Figure 989995DEST_PATH_IMAGE010
和
Figure 132657DEST_PATH_IMAGE011
分别是
Figure 320318DEST_PATH_IMAGE062
轴和
Figure 763194DEST_PATH_IMAGE063
轴方 向上每毫米所包含的像素数量，
Figure 519054DEST_PATH_IMAGE064
表示目标图像实际物理坐标原点在像素坐标系下 的坐标；
S33：将像素坐标系下的坐标转换到目标图像实际物理坐标下，得：
Figure 945749DEST_PATH_IMAGE015
其中：
Figure 264997DEST_PATH_IMAGE065
；矩阵
Figure 827959DEST_PATH_IMAGE017
主对角 线元素
Figure 106054DEST_PATH_IMAGE018
；
S34：构建圆形特征面成像后在图像实际物理坐标下椭圆拟合方程：
Figure 82362DEST_PATH_IMAGE019
其中，
Figure 205302DEST_PATH_IMAGE020
表示标志点在相机坐标系下的中心坐标，参数矩阵
Figure 216245DEST_PATH_IMAGE021
：
Figure 376224DEST_PATH_IMAGE022
其中，
Figure 777512DEST_PATH_IMAGE023
是一个 常数，
Figure 641825DEST_PATH_IMAGE024
是相机的焦距；
S35：求得矩阵
Figure 976117DEST_PATH_IMAGE025
的三个特征值
Figure 80298DEST_PATH_IMAGE026
，且满足条件
Figure 172144DEST_PATH_IMAGE027
，
Figure 715514DEST_PATH_IMAGE028
对应的特征向量
Figure 841995DEST_PATH_IMAGE029
均两两正交；
设矩阵
Figure 140515DEST_PATH_IMAGE025
的单位向量为：
Figure 844291DEST_PATH_IMAGE030
其中，
Figure 394614DEST_PATH_IMAGE031
，根据空间二次锥面理论，矩阵
Figure 110023DEST_PATH_IMAGE032
拟合出的锥面的圆截面
Figure 838767DEST_PATH_IMAGE033
为：
Figure 983834DEST_PATH_IMAGE034
其中，
Figure 495105DEST_PATH_IMAGE035
为常数，
Figure 707430DEST_PATH_IMAGE036
；
S36：将右相机仿照左相机进行相同的操作，得到右相机投射锥面下的圆截面特征 向量
Figure 121053DEST_PATH_IMAGE037
和
Figure 940366DEST_PATH_IMAGE066
。
一实施例中，步骤S03中对法向量进行优化求解的方法包括：
S031：将右相机投射锥面下的圆截面特征向量
Figure 176700DEST_PATH_IMAGE067
和
Figure 319231DEST_PATH_IMAGE066
变换到左相机的相机坐标 系下，得到两个法向量
Figure 474662DEST_PATH_IMAGE068
与
Figure 640326DEST_PATH_IMAGE069
，其中
Figure 991935DEST_PATH_IMAGE070
是圆截面相对于相机坐标系的旋 转矩阵。对于左相机而言法向量
Figure 598760DEST_PATH_IMAGE071
，
Figure 885663DEST_PATH_IMAGE072
；
Figure 273045DEST_PATH_IMAGE073
和
Figure 100449DEST_PATH_IMAGE074
是左相机投射锥面下的圆截 面特征向量。
S032：当椭圆特征点成像时不存在干扰因素时，基于右相机解算出的两个法向量中一定有一个与左相机解算出的两个法向量中的某一个相等，且这一个即为空间圆面的单位法向量，即：
Figure 624096DEST_PATH_IMAGE075
S033：计算目标所在圆面前后两次的法向量夹角，求得AGV与目标之间的相对方位信息。
一实施例中，步骤S03中对法向量进行优化求解的方法包括：
当椭圆特征点成像时存在干扰因素时，假设共有
Figure 511543DEST_PATH_IMAGE076
对椭圆标志点，通过下式进一 步优化得到稳健的法向量
Figure 668111DEST_PATH_IMAGE077
：
Figure 830364DEST_PATH_IMAGE078
其中，
Figure 146202DEST_PATH_IMAGE079
是不同椭圆在双目立体相机中法向量各个分量构成的系 数矩阵，
Figure 463003DEST_PATH_IMAGE080
是维数匹配的列向量；
通过高斯反向迭代法得到最小二乘解，得到
Figure 513392DEST_PATH_IMAGE081
。
一实施例中，步骤S04通过最优法向量解算AGV和目标之间的方位角的方法包括：
得到
Figure 72812DEST_PATH_IMAGE082
后，求解旋转矩阵
Figure 711997DEST_PATH_IMAGE083
如下：
Figure 472405DEST_PATH_IMAGE084
通过椭圆标志点的最优法向量
Figure 728199DEST_PATH_IMAGE085
解算出偏航角
Figure 701096DEST_PATH_IMAGE086
：
Figure 14963DEST_PATH_IMAGE087
计算俯仰角
Figure 274168DEST_PATH_IMAGE088
：
Figure 751679DEST_PATH_IMAGE060
。
另一实施例中，一种基于机器视觉的AGV目标识别与姿态角解算系统，包括：
目标检测模块，AGV运行过程中进行目标检测，确定包含目标特征点的ROI区域；
双目立体视觉系统，采用双目立体视觉系统对目标进行实时成像；
拟合优化模块，分别对投射后的椭圆锥面进行拟合，同时对法向量进行优化求解；
姿态角解算模块，通过最优法向量解算AGV和目标之间的方位角。
另一实施例中，一种基于机器视觉的AGV，包括AGV本体，AGV本体内设置有控制器，控制器内置有计算机程序，计算机程序被执行时实现上述的基于机器视觉的AGV目标识别与姿态角解算方法。
下面以一较佳的实施例为例进行详细说明基于机器视觉的AGV的工作流程：
为了验证本发明中所提方法的有效性，通过AGV叉车实现对附有圆形标志点的托盘进行姿态角解算与精度验证，叉车与托盘之间坐标系的建立以及航向角关系如图1所示。从图1中可知，在托盘设置两个人工标志点，采用半径为50mm的圆形特征，通过配合目标的方式，利用机器视觉技术实现对AGV叉车和托盘之间的方位角信息解算功能。
步骤一：AGV配合目标检测算法。YOLO算法将目标检测设计为一个回归问题，包括对多个边框和相关类别概率的回归，可以直接进行端到端的优化。然而对于面向多场景下AGV目标检测，存在目标遮挡、交错等情况，传统的YOLOV3算法容易导致虚警；而若设置过高的判断条件，则会导致漏检。此外，远距离情况下的目标识别需要保证特征学习的充分性和有效性。为了保证在AGV叉车运行过程中对目标检测的实时性和稳定性，本发明通过对YOLOv3的主干网络进行重新搭建。
步骤11：考虑到圆形标志点占据的像幅尺寸很小，有效像素数较低，因此可以看成是微小目标的识别范畴。针对该特点，搭建如图2所示的连续并行主干网络模型架构。所构建的模型通过连续少量的3×3接收器域提升对微弱特征的学习能力。图2中模型利用局部响应归一化层来降低数据之间的差异，提升训练速度和模型的泛化能力。依据目标特征像素分布特点，通过增大特征层中单个元素的感受野来增强特征局部辨识度、以及弱化特征噪声能力。为了保留微弱目标更多关键特征信息，与常用的最大池化不同，所搭建的网络模型将四个并行残差块卷积层得到的特征图在通道方向进行自适应池化，这样可以避免局部感受野上无法准确学习前景目标特征信息，依次通过全连接层、激活函数进行分类输出。
步骤12：特征融合网络模型构建。通过对原始卷积核的行列分布进行逆向塑形，通过运算能够把底层图像尺寸扩充亦或还原至初始的图像尺寸，从而保证目标特征层细节不丢失。本发明设计的改进型特征融合跨层连接网络结构模型如图3所示，对深层特征进行卷积逆运算，并与浅层特征相乘，得到多层特征图，提升对托盘上人工标志点的检测能力。
在改进的网络模型中，行列逆向塑形后的卷积模块是由两个
Figure 590585DEST_PATH_IMAGE089
大小的卷积层 组成，计算可以追溯和保留微弱目标关键的局部特征，增强图像的细粒度识别能力。每一层 均采用ReLU激活函数增加网络的非线性，避免了饱和死区的出现。接着进行批归一化，使得 梯度变化平缓，训练过程稳定，从而通过较大的学习率加快收敛速度。此外，在进行卷积逆 运算时将步长的值设为1，规避卷积核大小不是步长整倍数时导致的不均匀重叠问题。
改进的跨层连接网络模型最底层输出通道数是
Figure 204362DEST_PATH_IMAGE090
的特征层，通过多层逆向塑 形后的卷积在通道维度上实现逐层和跨层的耦合。此外，为了保留更多细节特征信息，与常 用的最大池化不同，将特征生成器最后卷积层得到的特征图在通道方向进行池化，避免局 部感受野上无法准确学习目标微弱特征信息。池化层输出的特征继续与其他特征再次融 合，并将这些信息连同与特征一起传播到下一层网络中，从而保证目标特征学习的有效性 与多样性。
步骤二：AGV叉车与托盘目标方位角解算，本发明采用SmartFLY ZED2i双目深度传感立体相机Stereolabs，配有camera/mini摄像头对目标进行成像。
步骤21：通过ZED相机对叉车上的圆形标志点成像，得到左右两幅图像，如图4所 示。记左右摄像机的光心分别为
Figure 306573DEST_PATH_IMAGE091
与
Figure 740221DEST_PATH_IMAGE092
，左右相机间的旋转矩阵为
Figure 117238DEST_PATH_IMAGE093
，平移向量为
Figure 444577DEST_PATH_IMAGE094
， 即左相机外参
Figure 959830DEST_PATH_IMAGE095
与右相机外参
Figure 880775DEST_PATH_IMAGE096
关系为
Figure 327062DEST_PATH_IMAGE097
。为了方便计算和表述，后续坐标计算 都统一在左相机坐标系下进行。
步骤22：根据透视投影原理，由于相机光轴与成像目标面之间存在一定的夹角，因此托盘上的圆形标志点经过投射变换后会形成椭圆。首先基于二维图像像素坐标系，建立像平面的椭圆方程表达式：
Figure 321956DEST_PATH_IMAGE003
(13)
其中，点
Figure 234811DEST_PATH_IMAGE098
是目标点在像素坐标系下的齐次坐标；
Figure 3571DEST_PATH_IMAGE099
是转置表达形 式；矩阵
Figure 987970DEST_PATH_IMAGE006
是像平面椭圆拟合参数矩阵。
图像像素坐标系和图像实际物理坐标系可通过下式进行转换：
Figure 985442DEST_PATH_IMAGE100
(14)
式(14)中，
Figure 803619DEST_PATH_IMAGE101
表示目标点的二维像素坐标。
Figure 558210DEST_PATH_IMAGE102
和
Figure 487246DEST_PATH_IMAGE103
分别是
Figure 378103DEST_PATH_IMAGE104
轴和
Figure 695078DEST_PATH_IMAGE105
轴方向上每毫米所包含的像素数量。
Figure 343490DEST_PATH_IMAGE106
表示目标图像实际物理坐标原点在像素坐标 系下的坐标。
接着把像素坐标系下的坐标转换到目标图像实际物理坐标下，可得：
Figure 607374DEST_PATH_IMAGE015
(15)
其中：
Figure 266984DEST_PATH_IMAGE107
；矩阵
Figure 20439DEST_PATH_IMAGE108
主对角线元素
Figure 749623DEST_PATH_IMAGE109
。
由于相机的焦距是已知的，因此可以设定相机焦距为
Figure 286040DEST_PATH_IMAGE110
，根据小孔成像原理， 构建图像实际物理坐标下椭圆拟合方程：
Figure 89173DEST_PATH_IMAGE019
(16)
其中,
Figure 279108DEST_PATH_IMAGE111
表示托盘上圆形标志点在相机坐标系下的中心坐标， 参数矩阵
Figure 495588DEST_PATH_IMAGE021
可通过下式求出：
Figure 711062DEST_PATH_IMAGE112
(17)
其中，
Figure 923298DEST_PATH_IMAGE113
是一个常数。
此时，对于常数
Figure 221817DEST_PATH_IMAGE114
确定合适的符号，可求得矩阵
Figure 941905DEST_PATH_IMAGE021
的三个特征值
Figure 288966DEST_PATH_IMAGE115
，且满 足条件
Figure 817424DEST_PATH_IMAGE116
。由式子(17)可知
Figure 818003DEST_PATH_IMAGE021
是一个实对称矩阵，其特征值
Figure 9075DEST_PATH_IMAGE115
对应的 特征向量
Figure 550040DEST_PATH_IMAGE117
均两两正交。
设矩阵
Figure 299780DEST_PATH_IMAGE025
的单位向量为：
Figure 940102DEST_PATH_IMAGE118
(18)
其中，
Figure 821733DEST_PATH_IMAGE119
。又因为
Figure 900810DEST_PATH_IMAGE120
，可知
Figure 387548DEST_PATH_IMAGE121
。根据空间二次锥面理论，矩 阵
Figure 198772DEST_PATH_IMAGE021
拟合出的锥面的圆截面
Figure 770961DEST_PATH_IMAGE122
可以表示为：
Figure 466778DEST_PATH_IMAGE123
(19)
其中，
Figure 457009DEST_PATH_IMAGE124
为常数，
Figure 111238DEST_PATH_IMAGE125
。
由此可知截面
Figure 701881DEST_PATH_IMAGE126
的法向量会产生两个解，由于空间中的目标点通过相机投射到二 维像平面时，会丢失空间信息，成像模型的局限性致使需要建立双目立体视觉系统来实现 对标志点所在平面法向量的唯一确定。
以上分析是在左相机成像的基础上，接着将右相机仿照左相机进行相同的操作， 得到右相机投射锥面下的圆截面特征向量
Figure 653919DEST_PATH_IMAGE067
和
Figure 787354DEST_PATH_IMAGE066
。
步骤23：将右相机投射锥面下的圆截面特征向量
Figure 487850DEST_PATH_IMAGE067
和
Figure 237893DEST_PATH_IMAGE066
变换到左相机的相机坐 标系下，可以得到两个法向量
Figure 986496DEST_PATH_IMAGE068
与
Figure 39684DEST_PATH_IMAGE069
，对于左相机而言
Figure 425928DEST_PATH_IMAGE127
，
Figure 787901DEST_PATH_IMAGE072
。由于托盘上的两个空间圆位置固定，在理想条件下，基于右相机解算出的两个法 向量中一定有一个与左相机解算出的两个法向量中的某一个相等，且这一个即为空间圆面 的单位法向量。即：
Figure 691529DEST_PATH_IMAGE128
(20)
因此，计算目标前后两次的法向量的夹角，便可求得AGV叉车与托盘目标之间的相 对方位信息。然而由于椭圆特征点成像时存在噪声以及环境干扰因素的存在，致使法向量
Figure 596293DEST_PATH_IMAGE129
和
Figure 973614DEST_PATH_IMAGE130
是不重合的，假设共有
Figure 698250DEST_PATH_IMAGE076
对椭圆标志点，因此通过进一步优化得到稳健的法向量
Figure 530202DEST_PATH_IMAGE131
。
Figure 23893DEST_PATH_IMAGE132
其中，
Figure 283099DEST_PATH_IMAGE133
是不同椭圆在不同相机中法向量各个分量构成的系数矩 阵，
Figure 229451DEST_PATH_IMAGE080
是维数匹配的列向量。
通过高斯反向迭代法可以得到式(21)的最小二乘解，在得到
Figure 802777DEST_PATH_IMAGE134
后，进而旋 转矩阵
Figure 541188DEST_PATH_IMAGE083
表示如下：
Figure 495328DEST_PATH_IMAGE135
接着通过附在托盘上的椭圆标志点的最优法向量
Figure 601080DEST_PATH_IMAGE136
解算出偏 航角
Figure 774835DEST_PATH_IMAGE137
：
Figure 39856DEST_PATH_IMAGE138
(23)
也可以求出俯仰角，但是由于载具是在地面上进行的二维运动，因此通常用不到 俯仰角。如果载具运动过程中遇到爬坡的情况，可以采用下列方式计算俯仰角
Figure 126017DEST_PATH_IMAGE088
：
Figure 578121DEST_PATH_IMAGE060
(24)
然后通过实验测试验证本发明方法的有效性。在近距离精配准阶段主要是对标志点的识别与检测。因此标志点的正确识别与检测是姿态角精确求解的关键，对数据集的采集与训练主要针对标志点进行。将托盘放置于不同高度、不同场景、不同光强等地点，并在不同时间对托盘进行数据集的采集，一共采集600张图像。其中500张图像作为训练集，剩余100张作为验证集。
在目标特征点检测步骤中，分别运用传统的YOLOv3以及改进的网络模型进行训练与测试。实验所用计算机显卡配置为GTX3080，操作系统是Ubuntu 20.04，并基于PyTorch1.6.1平台运行程序。将初始学习率的值设定为0.001，并通过StepLR机制实时调整学习变化率；交并比阈值设定为0.5。通过重复性测试，对托盘上圆形目标点的检测指标FP(FalsePositive)、TP(True Positive)与N(Negative)的值如表1所示。此外，计算得到其查准率(precision)、召回率(recall)、AP(Average Precision)以及FPS(Frames Per Second)的值如表2所示。
表1 FP、TP与N结果比较
Figure 775140DEST_PATH_IMAGE139
表2 查准率、召回率、AP值与FPS结果比较
Figure 793472DEST_PATH_IMAGE140
根据表1和表2可知，本发明改进的检测模型在精度上要优于传统的YOLOv3算法。首先，在时间上两者差异并不大，可以说都具有高效性。在精度上，本发明的方法总体上达到了93.43%的查准率以及94.74%的召回率，优于传统的YOLOv3模型。另外，对标志点的识别与距离有很大的关系，当距离小于3m时，本发明检测模型识别的准确率可达99.0%。
目标检测过程中设置相机高度为1.03m；托盘高度为0.82m；相机与托盘之间的距离为2.4m。可测量范围：左偏1.9m，右偏1.2m。测试效果如图6所示。从图中可以看出，托盘相对于相机的角度变换较大的情况下，也就是圆形标志点成像严重畸变时，本发明构建的检测模型依然能够实现对较小圆形标志点的稳定检测，准确框出圆形特征点的像素位置。
当目标识别完成后，可以选取包含圆形特征点的ROI图像区域。接着进行圆弧提取、候选椭圆拟合以及椭圆聚类，如图5所示。
接着进行方位角静态测试，当相机距离托盘距离为2m时进行实验1、实验2和实验3，分别保持偏航角度为0°、20°和-20不变，静态测试结果如图7所示。接着调整相机与托盘之间的距离为5m，进行实验4，与实验1一样对0°偏航角进行解算，如图8所示。通过对比图7、8发现本发明算法实现姿态角求解具有很好的精度和稳定性，重复性测量结果一致性较好。
图9是静态测试下的检测、方位角解算处理的平均帧率，从图9中可以看出处理速度均能保持在每秒10帧以上，能够满足AGV自主导航载具实时姿态解算的应用需求。
为了定量分析姿态角解算精度，将附有圆形标志点的平板放置在分度仪上，运用ZED相机进行拍摄，接着将圆盘顺时针旋转5度、10度以及15度，然后分别运用左右相机进行成像。采集到的图像如图10所示。其中上部分为左相机拍摄的图像，从左到右依次为0度，5度，10度，15度。下半部分为右相机拍摄的图像，从左到右依次为0度，5度，10度，15度。
根据本发明的方法进行姿态角的解算，得到的结果如表3所示。从表3中可以看出，偏航角求取误差能够被控制在0.7°以内，在精度上能够满足视觉方位解算的要求。
表3 偏航角解算结果
Figure 565381DEST_PATH_IMAGE141
下一步进行方位角动态测试，采取随机改变相机和目标相对姿态的方式，记录测量结果的动态变化，验证系统工作的连续性和稳定性。在动态测试过程中，将相机位置固定，将托盘初始位置放置于相机正前方约3.5m位置，并连续改变相机与托盘之间的相对姿态，通过相机连续触发模式实现图像的实时采集与处理。得到的动态角度解算结果如图11、12所示。
图11中基于视觉的姿态角解算结果与相机实时调整的位姿是一致的；此外，图11中有角度值间断和跳跃较大的点，这些对应AGV自主导航载具调整姿态频率和幅度都很大，但是结果显示均能实时解算出角度信息，说明本发明基于机器视觉的目标识别与姿态角解算技术能够解决自主导航类载具运行过程中动态响应能力偏弱的问题。从图12中可以看出动态测试过程中，解算的效率依然高于每秒10帧，解算的实时性能够满足AGV自主导航载具控制转向决策系统输入对速度的要求。
上述实施例为本发明优选地实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于机器视觉的AGV目标识别与姿态角解算方法，其特征在于，包括以下步骤：
S01：AGV运行过程中进行目标检测，确定包含目标特征点的ROI区域；
S02：采用双目立体视觉系统对目标进行实时成像；
S03：分别对投射后的椭圆锥面进行拟合，同时对法向量进行优化求解；
S04：通过最优法向量解算AGV和目标之间的方位角。
2.根据权利要求1所述的基于机器视觉的AGV目标识别与姿态角解算方法，其特征在于，所述S01中目标检测方法包括：
S11：对YOLOv3的主干网络进行重新搭建，搭建连续并行主干网络模型架构，通过连续少量的3×3接收器域提升对微弱特征的学习能力，利用局部响应归一化层降低数据之间的差异，增大特征层中单个元素的感受野来增强特征局部辨识度、以及弱化特征噪声能力，将四个并行残差块卷积层得到的特征图在通道方向进行自适应池化，依次通过全连接层、激活函数进行分类输出；
S12：构建改进型特征融合跨层连接网络结构模型，对深层特征进行卷积逆运算，并与浅层特征相乘，得到多层特征图。
3.根据权利要求2所述的基于机器视觉的AGV目标识别与姿态角解算方法，其特征在于，所述S12中改进型特征融合跨层连接网络结构模型包括：
对原始卷积核的行列分布进行逆向塑形，行列逆向塑形后的卷积模块是由两个
Figure 837571DEST_PATH_IMAGE001
大 小的卷积层组成，计算目标关键的局部特征，每一层均采用ReLU激活函数增加网络的非线 性，接着进行批归一化；
模型最底层输出通道数是
Figure 42811DEST_PATH_IMAGE002
的特征层，通过多层逆向塑形后的卷积在通道维度上实 现逐层和跨层的耦合，将特征生成器最后卷积层得到的特征图在通道方向进行池化，池化 层输出的特征继续与其他特征再次融合，并将这些信息与特征一起传播到下一层网络中。
4.根据权利要求1所述的基于机器视觉的AGV目标识别与姿态角解算方法，其特征在于，所述S03中分别对投射后的椭圆锥面进行拟合包括以下步骤：
S31：基于二维图像像素坐标系，建立像平面的椭圆方程表达式：
Figure 219234DEST_PATH_IMAGE003
其中，点
Figure 996959DEST_PATH_IMAGE004
是目标点在像素坐标系下的齐次坐标；
Figure 318629DEST_PATH_IMAGE005
是转置表达形式；矩阵
Figure 994854DEST_PATH_IMAGE006
是像平面椭圆拟合参数矩阵，
Figure 676765DEST_PATH_IMAGE007
为拟合参数；
S32：图像像素坐标系和图像实际物理坐标系通过下式进行转换：
Figure 528571DEST_PATH_IMAGE008
其中，
Figure 935937DEST_PATH_IMAGE009
表示目标点的二维像素坐标，
Figure 872758DEST_PATH_IMAGE010
和
Figure 250038DEST_PATH_IMAGE011
分别是
Figure 330251DEST_PATH_IMAGE012
轴和
Figure 813579DEST_PATH_IMAGE013
轴方向 上每毫米所包含的像素数量，
Figure 589030DEST_PATH_IMAGE014
表示目标图像实际物理坐标原点在像素坐标系下的 坐标；
S33：将像素坐标系下的坐标转换到目标图像实际物理坐标下，得：
Figure 576793DEST_PATH_IMAGE015
其中：
Figure 311181DEST_PATH_IMAGE016
；矩阵
Figure 558885DEST_PATH_IMAGE017
主对 角线元素
Figure 946266DEST_PATH_IMAGE018
；
S34：构建圆形特征面成像后在图像实际物理坐标下椭圆拟合方程：
Figure 258823DEST_PATH_IMAGE019
其中，
Figure 604706DEST_PATH_IMAGE020
表示标志点在相机坐标系下的中心坐标，参数矩阵
Figure 695415DEST_PATH_IMAGE021
：
Figure 586404DEST_PATH_IMAGE022
其中，
Figure 889603DEST_PATH_IMAGE023
是一 个常数，
Figure 815227DEST_PATH_IMAGE024
是相机的焦距；
S35：求得矩阵
Figure 686624DEST_PATH_IMAGE025
的三个特征值
Figure 324233DEST_PATH_IMAGE026
，且满足条件
Figure 463746DEST_PATH_IMAGE027
，
Figure 227565DEST_PATH_IMAGE028
对应 的特征向量
Figure 348492DEST_PATH_IMAGE029
均两两正交；
设矩阵
Figure 223259DEST_PATH_IMAGE025
的单位向量为：
Figure 930577DEST_PATH_IMAGE030
其中，
Figure 706160DEST_PATH_IMAGE031
，根据空间二次锥面理论，矩阵
Figure 342196DEST_PATH_IMAGE032
拟合出的锥面的圆截面
Figure 288549DEST_PATH_IMAGE033
为：
Figure 658612DEST_PATH_IMAGE034
其中，
Figure 361074DEST_PATH_IMAGE035
为常数，
Figure 466214DEST_PATH_IMAGE036
；
S36：将右相机仿照左相机进行相同的操作，得到右相机投射锥面下的圆截面特征向量
Figure 555655DEST_PATH_IMAGE037
和
Figure 981607DEST_PATH_IMAGE038
。
5.根据权利要求4所述的基于机器视觉的AGV目标识别与姿态角解算方法，其特征在于，所述S03中对法向量进行优化求解的方法包括：
S031：将右相机投射锥面下的圆截面特征向量
Figure 193497DEST_PATH_IMAGE037
和
Figure 155024DEST_PATH_IMAGE038
变换到左相机的相机坐标系下， 得到两个法向量
Figure 357860DEST_PATH_IMAGE039
与
Figure 945093DEST_PATH_IMAGE040
，其中
Figure 346512DEST_PATH_IMAGE041
是圆截面相对于相机坐标系的旋转矩 阵，对于左相机而言法向量
Figure 126462DEST_PATH_IMAGE042
，
Figure 862599DEST_PATH_IMAGE043
；
Figure 987943DEST_PATH_IMAGE044
和
Figure 414508DEST_PATH_IMAGE045
是左相机投射锥面下的圆截面 特征向量；
S032：当椭圆特征点成像时不存在干扰因素时，基于右相机解算出的两个法向量中一定有一个与左相机解算出的两个法向量中的某一个相等，且这一个即为空间圆面的单位法向量，即：
Figure 498264DEST_PATH_IMAGE046
S033：计算目标所在圆面前后两次的法向量夹角，求得AGV与目标之间的相对方位信息。
6.根据权利要求4所述的基于机器视觉的AGV目标识别与姿态角解算方法，其特征在于，所述S03中对法向量进行优化求解的方法包括：
当椭圆特征点成像时存在干扰因素时，假设共有
Figure 597063DEST_PATH_IMAGE047
对椭圆标志点，通过下式进一步优 化得到稳健的法向量
Figure 729361DEST_PATH_IMAGE048
：
Figure 151377DEST_PATH_IMAGE049
其中，
Figure 54700DEST_PATH_IMAGE050
是不同椭圆在双目立体相机中法向量各个分量构成的系数 矩阵，
Figure 155643DEST_PATH_IMAGE051
是维数匹配的列向量；
通过高斯反向迭代法得到最小二乘解，得到
Figure 950686DEST_PATH_IMAGE052
。
7.根据权利要求6所述的基于机器视觉的AGV目标识别与姿态角解算方法，其特征在于，所述S04通过最优法向量解算AGV和目标之间的方位角的方法包括：
得到
Figure 899312DEST_PATH_IMAGE053
后，求解旋转矩阵
Figure 793712DEST_PATH_IMAGE054
如下：
Figure 663842DEST_PATH_IMAGE055
通过椭圆标志点的最优法向量
Figure 449526DEST_PATH_IMAGE056
解算出偏航角
Figure 190343DEST_PATH_IMAGE057
：
Figure 193327DEST_PATH_IMAGE058
计算俯仰角
Figure 528185DEST_PATH_IMAGE059
：
Figure 884604DEST_PATH_IMAGE060
。
8.一种基于机器视觉的AGV目标识别与姿态角解算系统，其特征在于，包括：
目标检测模块，AGV运行过程中进行目标检测，确定包含目标特征点的ROI区域；
双目立体视觉系统，采用双目立体视觉系统对目标进行实时成像；
拟合优化模块，分别对投射后的椭圆锥面进行拟合，同时对法向量进行优化求解；
姿态角解算模块，通过最优法向量解算AGV和目标之间的方位角。
9.根据权利要求8所述的基于机器视觉的AGV目标识别与姿态角解算系统，其特征在于，所述拟合优化模块中分别对投射后的椭圆锥面进行拟合包括以下步骤：
S31：基于二维图像像素坐标系，建立像平面的椭圆方程表达式：
Figure 417610DEST_PATH_IMAGE003
其中，点
Figure 529179DEST_PATH_IMAGE004
是目标点在像素坐标系下的齐次坐标；
Figure 639480DEST_PATH_IMAGE061
是转置表达形式；矩阵
Figure 783278DEST_PATH_IMAGE006
是像平面椭圆拟合参数矩阵，
Figure 193359DEST_PATH_IMAGE007
为拟合参数；
S32：图像像素坐标系和图像实际物理坐标系通过下式进行转换：
Figure 662779DEST_PATH_IMAGE062
其中，
Figure 525955DEST_PATH_IMAGE009
表示目标点的二维像素坐标，
Figure 473445DEST_PATH_IMAGE010
和
Figure 636836DEST_PATH_IMAGE011
分别是
Figure 745999DEST_PATH_IMAGE012
轴和
Figure 768575DEST_PATH_IMAGE013
轴方向上 每毫米所包含的像素数量，
Figure 785335DEST_PATH_IMAGE014
表示目标图像实际物理坐标原点在像素坐标系下的坐 标；
S33：将像素坐标系下的坐标转换到目标图像实际物理坐标下，得：
Figure 764353DEST_PATH_IMAGE063
其中：
Figure 841155DEST_PATH_IMAGE064
；矩阵
Figure 334716DEST_PATH_IMAGE065
主对 角线元素
Figure 155166DEST_PATH_IMAGE018
；
S34：构建圆形特征面成像后在图像实际物理坐标下椭圆拟合方程：
Figure 496411DEST_PATH_IMAGE019
其中，
Figure 573476DEST_PATH_IMAGE020
表示标志点在相机坐标系下的中心坐标，参数矩阵
Figure 305065DEST_PATH_IMAGE032
：
Figure 453239DEST_PATH_IMAGE066
其中，
Figure 648991DEST_PATH_IMAGE023
是一个常数，
Figure 270858DEST_PATH_IMAGE024
是相机的焦距；
S35：求得矩阵
Figure 348798DEST_PATH_IMAGE025
的三个特征值
Figure 166844DEST_PATH_IMAGE026
，且满足条件
Figure 623626DEST_PATH_IMAGE027
，
Figure 541029DEST_PATH_IMAGE028
对应 的特征向量
Figure 575106DEST_PATH_IMAGE029
均两两正交；
设矩阵
Figure 502171DEST_PATH_IMAGE025
的单位向量为：
Figure 282302DEST_PATH_IMAGE030
其中，
Figure 839447DEST_PATH_IMAGE031
，根据空间二次锥面理论，矩阵
Figure 829662DEST_PATH_IMAGE032
拟合出的锥面的圆截面
Figure 740243DEST_PATH_IMAGE033
为：
Figure 765093DEST_PATH_IMAGE034
其中，
Figure 430823DEST_PATH_IMAGE035
为常数，
Figure 439492DEST_PATH_IMAGE036
；
S36：将右相机仿照左相机进行相同的操作，得到右相机投射锥面下的圆截面特征向量
Figure 192643DEST_PATH_IMAGE037
和
Figure 258950DEST_PATH_IMAGE038
。
CN202310031071.7A 2023-01-10 2023-01-10 基于机器视觉的agv目标识别与姿态角解算方法及系统 Active CN115761684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310031071.7A CN115761684B (zh) 2023-01-10 2023-01-10 基于机器视觉的agv目标识别与姿态角解算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310031071.7A CN115761684B (zh) 2023-01-10 2023-01-10 基于机器视觉的agv目标识别与姿态角解算方法及系统

Publications (2)

Publication Number Publication Date
CN115761684A true CN115761684A (zh) 2023-03-07
CN115761684B CN115761684B (zh) 2023-06-16

Family

ID=85348824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310031071.7A Active CN115761684B (zh) 2023-01-10 2023-01-10 基于机器视觉的agv目标识别与姿态角解算方法及系统

Country Status (1)

Country Link
CN (1) CN115761684B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116242366A (zh) * 2023-03-23 2023-06-09 广东省特种设备检测研究院东莞检测院 一种球罐内壁爬壁机器人行走空间跟踪与导航方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955259A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
US20190079537A1 (en) * 2016-03-17 2019-03-14 Honda Motor Co., Ltd. Automatic guided vehicle
CN109766775A (zh) * 2018-12-18 2019-05-17 四川大学 一种基于深度卷积神经网络的车辆检测系统
CN110989579A (zh) * 2019-11-25 2020-04-10 长春理工大学 室内agv导引方法、装置、计算机设备及其存储介质
CN112066879A (zh) * 2020-09-11 2020-12-11 哈尔滨工业大学 基于计算机视觉的气浮运动模拟器位姿测量装置及方法
CN112788110A (zh) * 2020-12-29 2021-05-11 山东大学 一种基于云边协同模型优化的产品外观检测方法及其实现系统
CN113177565A (zh) * 2021-03-15 2021-07-27 北京理工大学 一种基于深度学习的双目视觉位置测量系统及方法
CN113469948A (zh) * 2021-06-08 2021-10-01 北京安德医智科技有限公司 左心室节段识别方法及装置、电子设备和存储介质
CN114283117A (zh) * 2021-11-24 2022-04-05 广西大学 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法
CN114331831A (zh) * 2021-11-19 2022-04-12 长春理工大学 一种轻量化的单张图像超分辨率重建方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190079537A1 (en) * 2016-03-17 2019-03-14 Honda Motor Co., Ltd. Automatic guided vehicle
CN105955259A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN109766775A (zh) * 2018-12-18 2019-05-17 四川大学 一种基于深度卷积神经网络的车辆检测系统
CN110989579A (zh) * 2019-11-25 2020-04-10 长春理工大学 室内agv导引方法、装置、计算机设备及其存储介质
CN112066879A (zh) * 2020-09-11 2020-12-11 哈尔滨工业大学 基于计算机视觉的气浮运动模拟器位姿测量装置及方法
CN112788110A (zh) * 2020-12-29 2021-05-11 山东大学 一种基于云边协同模型优化的产品外观检测方法及其实现系统
CN113177565A (zh) * 2021-03-15 2021-07-27 北京理工大学 一种基于深度学习的双目视觉位置测量系统及方法
CN113469948A (zh) * 2021-06-08 2021-10-01 北京安德医智科技有限公司 左心室节段识别方法及装置、电子设备和存储介质
CN114331831A (zh) * 2021-11-19 2022-04-12 长春理工大学 一种轻量化的单张图像超分辨率重建方法
CN114283117A (zh) * 2021-11-24 2022-04-05 广西大学 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ENXIU SHI 等: "Study on AGV Posture Estimating Based on Distributed Kalman Fusion for Multi-Sensor" *
史恩秀 等: "基于分步式Kalman滤波器的AGV姿态角估计方法实验研究" *
黄慧敏: "基于旋翼飞行机器人的车辆检测与跟踪方法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116242366A (zh) * 2023-03-23 2023-06-09 广东省特种设备检测研究院东莞检测院 一种球罐内壁爬壁机器人行走空间跟踪与导航方法
CN116242366B (zh) * 2023-03-23 2023-09-12 广东省特种设备检测研究院东莞检测院 一种球罐内壁爬壁机器人行走空间跟踪与导航方法

Also Published As

Publication number Publication date
CN115761684B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111311689B (zh) 一种激光雷达与相机相对外参的标定方法及系统
Lv et al. LCCNet: LiDAR and camera self-calibration using cost volume network
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
US9805294B2 (en) Method for denoising time-of-flight range images
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
US20240013505A1 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN109887028A (zh) 一种基于点云数据配准的无人车辅助定位方法
Li et al. Automatic targetless LiDAR–camera calibration: a survey
CN103559711A (zh) 基于三维视觉系统图像特征和三维信息的运动估计方法
CN111273312B (zh) 一种智能车辆定位与回环检测方法
CN101839722A (zh) 一种中低空下目标自动识别及载体高精度定位方法
CN114998448B (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
US11704825B2 (en) Method for acquiring distance from moving body to at least one object located in any direction of moving body by utilizing camera-view depth map and image processing device using the same
CN115761684B (zh) 基于机器视觉的agv目标识别与姿态角解算方法及系统
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN110095123A (zh) 不规则小天体表面路标观测信息评价优化方法
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
CN116679314A (zh) 融合点云强度的三维激光雷达同步建图与定位方法及系统
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
Winarno et al. Object detection for KRSBI robot soccer using PeleeNet on omnidirectional camera
CN116051629B (zh) 面向自主导航机器人的高精度视觉定位方法
Su Vanishing points in road recognition: A review
Shi et al. Vision Sensor for Measuring Aerial Refueling Drogue Using Robust Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant