CN115116026A - 一种物流搬运机器人自动循迹方法及系统 - Google Patents

一种物流搬运机器人自动循迹方法及系统 Download PDF

Info

Publication number
CN115116026A
CN115116026A CN202210580242.7A CN202210580242A CN115116026A CN 115116026 A CN115116026 A CN 115116026A CN 202210580242 A CN202210580242 A CN 202210580242A CN 115116026 A CN115116026 A CN 115116026A
Authority
CN
China
Prior art keywords
image
module
lane line
automatic tracking
dimensional code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210580242.7A
Other languages
English (en)
Other versions
CN115116026B (zh
Inventor
李林航
许桢英
徐子康
方光辉
陶宇成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202210580242.7A priority Critical patent/CN115116026B/zh
Publication of CN115116026A publication Critical patent/CN115116026A/zh
Application granted granted Critical
Publication of CN115116026B publication Critical patent/CN115116026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供一种物流搬运机器人自动循迹方法及系统，包括图像采集模块、图像预处理模块、数据集制作模块、图像分割网络模型构建与训练模块、车道线检测模块和自动循迹模块；本发明利用弹性变形的数据增强方法来模拟不同形态的车道线，充分利用数据集的价值和提高神经网络的泛化能力；本发明通过改进Mask R‑CNN算法用于分割车道线和二维码区域提高抗干扰能力和分割准确率，测试准确率可达到98.5％。本发明在自动循迹模块中增加判别功能，若是提取到车道线图像则使用霍夫变换实现自动循迹，如果提取到二维码图像则启用测距算法，经过最小二乘法修正减少误差。本发明实现物流机器人的自动循迹，相较于传统的图像处理算法，有更高的鲁棒性、效率和准确率。

Description

一种物流搬运机器人自动循迹方法及系统
技术领域
本发明涉及物流机器人领域和深度学习领域，尤其是涉及到一种物流搬运机器人自动循 迹方法及系统。
背景技术
近年来，随着深度学习、机器视觉和自动化技术的发展，在仓库和车间中物流机器人已 成为运输作业的重要工具，极大地便利了自动化货物装卸和降低了人工成本。在仓库货物转 运和生产车间中，物流机器人被广泛的运用，也有非常多的优势。首先，和人类相比，它有 超高的运载能力且精度和效率也不是人力可以匹敌的；其次，和传统的传送带相比，这种物 流机器人能够根据现实情况自动的分配工作的机器人数量，随时改变机器人的活动路径等， 极大地提高了生产的灵活性和企业的竞争力。生活中的一些易燃易爆以及腐蚀性物品使用智 能搬运机器人来转移，可以减少手动转移过程中发生意外风险的几率。并且在疫情期间，物 流机器人能够减少人与人之间的接触，提升了企业的安全性，有助于防疫工作的开展。
常见的自动循迹算法主要有PID控制方法、最优控制方法、模糊控制方法、机器视觉控 制方法等，其中PID控制方法算法相对简单，但其控制参数整定复杂，且视觉相机的安装角 度需要与地面垂直，无法利用Kinect相机在实现图像采集的同时实现障碍物检测的功能。 最优控制方法，控制精准、效果好，但是其需要大量训练样本才能保证路径追踪效果；模糊 控制方法，不需要建立精确的数学模型，适应性强，但其控制规则的制定需要专家经验，追 踪误差一般较大，难以快速修正；随着深度学习的发展，机器视觉控制方法在工程应用领域 使用越来越广泛，但现有的深度学习方法参数量大，鲁棒性和准确性较低。
发明内容
针对上述技术的问题，本发明的一个方式的目的之一是提供一种物流搬运机器人自动循 迹方法及系统，以解决自动循迹精度差、测距深度相机成本高、传统视觉算法鲁棒性差的问 题。本发明的一个方式的目的之一是利用弹性变形的数据增强方法来模拟不同形态的车道线， 充分利用数据集的价值和提高神经网络的泛化能力。本发明的一个方式的目的之一是将卷积 骨干结构(ResNet101)替换为MobilenetV2结构，解决了网络模型参数多、运行速度慢的问 题，并用Transformer模型代替了原网络的分类器，通过改进Mask R-CNN算法用于分割车道 线和二维码区域提高抗干扰能力和分割准确率。本发明的一个方式的目的之一是在自动循迹 模块中增加判别功能，若是提取到车道线图像则使用霍夫变换实现自动循迹，如果提取到二 维码图像则启用测距算法，经过最小二乘法修正减少误差。
注意，这些目的的记载并不妨碍其他目的的存在。本发明的一个方式并不需要实现所有 上述目的。可以从说明书、附图、权利要求书的记载中抽取上述目的以外的目的。
本发明的技术方案是：
一种物流搬运机器人自动循迹方法，包括以下步骤：
步骤S1图像采集：使用机器人的摄像设备采集路况图像；
步骤S2图像预处理：对步骤S1采集的路况图像滤波去噪，对摄像设备内外参数标定， 通过鱼眼矫正畸变，通过空间映射进行投影实现透视缩短，消除图片中的近大远小关系；
步骤S3图像数据集制作：对所述步骤S2中处理后的图像进行标注，通过数据增强的方 法制作数据集；
步骤S4分割网络模型建立和训练：改进Mask R-CNN实例分割网络，用于分割车道线和 二维码区域，将步骤S3制作的图像数据集输入改进后的Mask R-CNN实例分割网络中进行训 练；
步骤S5车道线检测：将实时采集的路况图像输入步骤S4训练后的分割网络模型中，提 取车道线区域和二维码区域；
步骤S6自动循迹：判别步骤S5中提取的车道线区域和二维码区域，如果判别为车道线 区域，则将车道线区域用转向算法计算出机器人转弯的角度，如果判别为二维码区域，则解 码二维码，得到二维码ID并结合测距算法，得到物流机器人的位姿以及距离卸货点的距离， 结合Cartographer导航算法实现自动循迹。
上述方案中，所述步骤S3中数据增强包括翻转、旋转、缩放和弹性变形的方法，其中所 述弹性变形的方法为创建水平方向，即x轴方向，的随机位移场来使车道线变形，以模拟不 同形态的车道线，表达式为：
Figure BDA0003663495750000021
其中x，y分别代表该像素在像素坐标系下的横坐标值和纵坐标值，Δx表示横坐标值的 偏移量，rand为随机数。
上述方案中，所述步骤S4中改进Mask R-CNN实例分割网络是将原骨干网结构ResNet101替换为MobilenetV2结构，并用Transformer模型代替了原有的网络的分类器。
进一步的，所述MobilenetV2结构的卷积层模块具有线性瓶颈的倒置残差结构，选取 ReLU6作为激活函数，把标准化卷积分解为深度卷积和逐点卷积，具体的计算式如下：
Figure BDA0003663495750000022
等号左侧分子为深度卷积的参数量，分母为传统卷积的参数量，M为输入的通道数，Dk为 卷积核的边长，DF为输入特征图的尺寸，N为卷积核的数量。
进一步的，所述Transformer模型把特征图划分为9个区块，用线性映射矩阵把区块映射 成9个一维向量并添加位置编码，把一维向量与Class token向量一起送入编码器，该编码器 包括6个Multi-Head Attention层和Dense层交错堆叠。
进一步的，所述改进的Mask R-CNN所用的损失函数包括Lcls、Lbox和Lmask三部分，其中Lcls是Transformer的Class token根据softmax多分类的损失函数，表达式为：
Figure RE-GDA0003808655190000031
其中，yic为符号函数，如果样本i的真实类别等于c取1，否则取0，pic观测样本i属于 类别c的预测概率，区分车道线、二维码和背景，属于三分类，所以M＝3，
所述Lbox为边框损失，表达式为：
Figure RE-GDA0003808655190000032
Figure RE-GDA0003808655190000033
其中，ti表示预测第i个anchor的边界框回归参数，
Figure BDA0003663495750000034
表示第i个anchor对应的GTBox 的回归参数；
Lmask为掩模损失，每个类别有一个分辨率为m*m的二进制掩模，对每个像素应用sigmoid，并定义Lmask为平均二进制交叉熵损失，总损失函数的表达式为：
Loss＝Lcls+Lbox+Lmask。
上述方案中，所述步骤S4中模型训练使用5折交叉验证的方式，将步骤S3中制作好的 数据集分成5份，不重复地每次取其中一份做测试集，用其他四份做训练集来训练模型。
上述方案中，所述步骤S6中转向算法是先使用霍夫变换，把车道线区域从笛卡尔平面转 换到霍夫空间中以便找到车道线的最佳拟合直线，通过该拟合直线的斜率和直线与拍摄图片 下边界的交点计算得到机器人转弯的角度θ，
Figure BDA0003663495750000035
设图片的分辨率为w*h，w为 图片的宽，h为图片的高，拟合直线的表达式为y＝a*x+b，则θ的表达式为：
Figure BDA0003663495750000036
上述方案中，所述步骤S6中测距算法使用solvepnp方法，通过步骤S2的摄像设备内外 参数标定得到摄像设备内参矩阵、摄像设备畸变参数矩阵以及二维码特征点的世界坐标与对 应的像素坐标矩阵得到像素坐标系和世界坐标系的关系，得到物流机器人的位姿以及距离卸 货点的距离，最后通过最小二乘法优化。
一种实现所述物流搬运机器人自动循迹方法的系统，包括图像采集模块、图像预处理模 块、数据集制作模块、图像分割网络模型构建与训练模块、车道线检测模块和自动循迹模块；
所述图像采集模块用于使用机器人的摄像设备采集路况图像；
所述图像预处理模块用于对图像采集模块采集的路况图像滤波去噪，对摄像设备内外参 数标定，通过鱼眼矫正畸变，通过空间映射进行投影实现透视缩短，消除图片中的近大远小 关系；
所述数据集制作模块用于对图像预处理模块处理后的图像进行标注，通过数据增强的方 法制作数据集；
所述图像分割网络模型构建与训练模块用于改进Mask R-CNN实例分割网络，用于分割 车道线和二维码区域，将数据集制作模块制作的图像数据集输入改进后的Mask R-CNN实例 分割网络中进行训练；
所述车道线检测模块用于实时采集的路况图像输入训练后的Mask R-CNN实例分割网络 模型中，提取车道线区域和二维码区域；
所述自动循迹模块用于判别车道线检测模块中提取的车道线区域和二维码区域，如果判 别为车道线区域，则将车道线区域用转向算法计算出机器人转弯的角度，如果判别为二维码 区域，则解码二维码，得到二维码ID并结合测距算法，得到物流机器人的位姿以及距离卸货 点的距离，结合Cartographer导航算法实现自动循迹。
与现有技术相比，本发明的有益效果是：
根据本发明的一个方式，可以利用弹性变形的数据增强方法来模拟不同形态的车道线， 充分利用数据集的价值和提高神经网络的泛化能力。根据本发明的一个方式，将卷积骨干结 构(ResNet101)替换为MobilenetV2结构，解决了网络模型参数多、运行速度慢的问题，并 用Transformer模型代替了原网络的分类器，通过改进Mask R-CNN算法用于分割车道线和二 维码区域提高抗干扰能力和分割准确率。根据本发明的一个方式，在自动循迹模块中增加判 别功能，若是提取到车道线图像则使用霍夫变换实现自动循迹，如果提取到二维码图像则启 用测距算法，经过最小二乘法修正减少误差。本发明实现物流机器人的自动循迹，相较于传 统的图像处理算法，有更高的鲁棒性、效率和准确率。
注意，这些效果的记载不妨碍其他效果的存在。本发明的一个方式并不一定必须具有所 有上述效果。可以从说明书、附图、权利要求书等的记载显而易见地看出并抽出上述以外的 效果。
附图说明
图1是本发明一实施方式的总体设计框图；
图2是本发明一实施方式的图像预处理结果图；
图3是本发明一实施方式的分割网络的卷积骨干MobilenetV2结构示意图；
图4是本发明一实施方式的分割网络的分类器Transformer结构示意图；
图5是本发明一实施方式的改进Mask R-CNN的总体结构示意图；
图6是本发明一实施方式的的转向算法结果图；
图7是本发明一实施方式的的测距算法结果图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或 类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的 实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、 “宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径 向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方 位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件 必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外， 术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指 明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地 包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非 另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固 定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接； 可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以 是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语 在本发明中的具体含义。
图1所示为本发明所述物流搬运机器人自动循迹方法的一种较佳实施方式，所述物流搬 运机器人自动循迹方法，包括以下步骤：
步骤S1图像采集：使用机器人的摄像设备采集路况图像；
步骤S2图像预处理：对步骤S1采集的路况图像滤波去噪，对摄像设备内外参数标定， 通过鱼眼矫正畸变，提升测量尺寸的精度，通过空间映射进行投影实现透视缩短，消除图片 中的近大远小关系；
步骤S3图像数据集制作：对所述步骤S2中处理后的图像进行标注，通过数据增强的方 法制作并丰富数据集；
步骤S4分割网络模型建立和训练：改进Mask R-CNN实例分割网络，用于分割车道线和 二维码区域，让其提升准确率的同时更轻量化，更适用于移动端使用；将步骤S3制作的图像 数据集输入改进后的Mask R-CNN实例分割网络中进行训练；
步骤S5车道线检测：将实时采集的路况图像输入步骤S4训练后的分割网络模型中，提 取车道线区域和二维码区域；
步骤S6自动循迹：判别步骤S5中提取的车道线区域和二维码区域，如果判别为车道线 区域，则将车道线区域用转向算法计算出机器人转弯的角度，如果判别为二维码区域，则解 码二维码，得到二维码ID并结合测距算法，得到物流机器人的位姿以及距离卸货点的距离， 结合Cartographer导航算法实现自动循迹。
上述方案中，所述步骤S3中数据增强包括翻转、旋转、缩放和弹性变形的方法，其中所 述弹性变形的方法为创建水平方向，即x轴方向，的随机位移场来使车道线变形，以模拟不 同形态的车道线，表达式为：
Figure BDA0003663495750000061
其中x，y分别代表该像素在像素坐标系下的横坐标值和纵坐标值，Δx表示横坐标值的 偏移量，rand为随机数。
上述方案中，所述步骤S4中改进Mask R-CNN实例分割网络是将原骨干网结构ResNet101替换为MobilenetV2结构，解决网络模型参数多、运行速度慢的问题，并用Transformer模型代替了原有的网络的分类器，以获得更大的感受野。
进一步的，所述MobilenetV2结构的卷积层模块具有线性瓶颈的倒置残差结构，选取 ReLU6作为激活函数，把标准化卷积分解为深度卷积和逐点卷积，可以大大减少网络的参数 数量、计算量和模型大小，具体的计算式如下：
Figure BDA0003663495750000062
等号左侧分子为深度卷积的参数量，分母为传统卷积的参数量，M为输入的通道数，Dk为 卷积核的边长，DF为输入特征图的尺寸，N为卷积核的数量。
进一步的，新分类器使用所述Transformer模型把特征图划分为9个区块，用线性映射矩 阵把区块映射成9个一维向量并添加位置编码，把一维向量与Class token向量一起送入编码 器，该编码器包括6个Multi-Head Attention层和Dense层交错堆叠。
进一步的，所述改进的Mask R-CNN所用的损失函数包括Lcls、Lbox和Lmask三部分，其中Lcls是Transformer的Class token根据softmax多分类的损失函数，表达式为：
Figure BDA0003663495750000071
其中，yic为符号函数，如果样本i的真实类别等于c取1，否则取0，pic观测样本i属于 类别c的预测概率，区分车道线、二维码和背景，属于三分类，所以M＝3，
所述Lbox为边框损失，表达式为：
Figure BDA0003663495750000072
Figure BDA0003663495750000073
其中，ti表示预测第i个anchor的边界框回归参数，
Figure BDA0003663495750000074
表示第i个anchor对应的GTBox 的回归参数；
Lmask为掩模损失，每个类别有一个分辨率为m*m的二进制掩模，对每个像素应用sigmoid，并定义Lmask为平均二进制交叉熵损失，总损失函数的表达式为：
Loss＝Lcls+Lbox+Lmask。
上述方案中，所述步骤S4中模型训练使用5折交叉验证的方式，将步骤S3中制作好的 数据集分成5份，不重复地每次取其中一份做测试集，用其他四份做训练集来训练模型。
上述方案中，所述步骤S6中转向算法是先使用霍夫变换，把车道线区域从笛卡尔平面转 换到霍夫空间中以便找到车道线的最佳拟合直线，通过该拟合直线的斜率和直线与拍摄图片 下边界的交点计算得到机器人转弯的角度θ，
Figure BDA0003663495750000075
设图片的分辨率为w*h，w为 图片的宽，h为图片的高，拟合直线的表达式为y＝a*x+b，则θ的表达式为：
Figure BDA0003663495750000076
上述方案中，所述步骤S6中测距算法使用solvepnp方法，通过步骤S2的摄像设备内外 参数标定得到摄像设备内参矩阵、摄像设备畸变参数矩阵以及二维码特征点的世界坐标与对 应的像素坐标矩阵得到像素坐标系和世界坐标系的关系，得到物流机器人的位姿以及距离卸 货点的距离，最后通过最小二乘法优化减少误差。由此实现最终的物流机器人自动循迹。
一种实现所述物流搬运机器人自动循迹方法的系统，包括图像采集模块、图像预处理模 块、数据集制作模块、图像分割网络模型构建与训练模块、车道线检测模块和自动循迹模块；
所述图像采集模块用于使用机器人的摄像设备采集路况图像；
所述图像预处理模块用于矫正畸变、空间映射和滤波去噪操作，具体为对图像采集模块 采集的路况图像滤波去噪，对摄像设备内外参数标定，通过鱼眼矫正畸变，通过空间映射进 行投影实现透视缩短，消除图片中的近大远小关系；
所述数据集制作模块用于对图像预处理模块处理后的图像进行标注，通过数据增强的方 法制作数据集；
所述图像分割网络模型构建与训练模块用于改进Mask R-CNN实例分割网络，用于分割 车道线和二维码区域，将数据集制作模块制作的图像数据集输入改进后的Mask R-CNN实例 分割网络中进行训练；
所述车道线检测模块用于实时采集的路况图像输入训练后的Mask R-CNN实例分割网络 模型中，提取车道线区域和二维码区域；
所述自动循迹模块用于将提取出的车道线和二维码区域在线分析机器人姿态和转弯角 度，结合Cartographer导航算法实现自动循迹，具体为：判别车道线检测模块中提取的车道 线区域和二维码区域，如果判别为车道线区域，则将车道线区域用转向算法计算出机器人转 弯的角度，如果判别为二维码区域，则解码二维码，得到二维码ID并结合测距算法，得到物 流机器人的位姿以及距离卸货点的距离，结合Cartographer导航算法实现自动循迹。
根据本实施例，优选的，所述摄像设备为机器人前端的摄像头。
根据本实施例，优选的，所述步骤S1中摄像头以30帧/秒的速度采集路况视频，为缓解 机器人的运算压力，每采集5帧图片才处理一次。
根据本实施例，优选的，所述步骤S2中使用张正友相机标定法，拍摄20-25次不同摆放 位置的平面靶标，通过角点计算相机的内、外参数。再采用高斯滤波算法对图像进行滤波去 噪。
根据本实施例，优选的，所述步骤S3中标注是指分类背景、车道线区域和二维码区域， 它们的标签分别是0、1和2。
根据本实施例，优选的，所述步骤S3中图像标注工具为labelme，车道线区域选取方式 为多边形选取。
根据本实施例，优选的，所述步骤S4中构建的改进Mask R-CNN实例分割网络模型的骨 干结构如表一所示：
表1改进分割网络模型的骨干结构
Figure BDA0003663495750000081
Figure BDA0003663495750000091
根据本实施例，优选的，所述步骤S5中模型训练使用5折交叉验证的方式，将步骤S3 中制作好的数据集分成5份，不重复地每次取其中一份做测试集，用其他四份做训练集来训 练模型。初始学习率设置为α＝10-6，初始训练设置的批处理量batch size与迭代次数epoch 根据数据集的大小及计算机运算能力设置分别设置为8和200。将制作好的图像数据集输入 改进Mask R-CNN图像分割网络模型进行训练，待loss趋于稳定，模型训练完成。
具体实施例：
本发明所述物流搬运机器人自动循迹方法的整体流程图如图1所示，其包含如下操作步 骤：
步骤S101：图像采集：使用机器人前端的摄像头采集图像，摄像头以30帧/秒的速度采 集路况视频，为缓解机器人的运算压力，每采集5帧图片才处理一次；
步骤S102：图像预处理：对图像滤波去噪后，使用张正友相机标定法，拍摄多次不同摆 放位置的平面靶标，如图2(a)和图2(b)所示。提取角点，标定参数得到棋盘靶标相对于 相机的相对位置，如图2(c)所示。通过该方法可以获得相机的内参矩阵和畸变系数，从而 进行畸变矫正，如图2(d)-(f)。为了便于机器人后续的转向算法，对图像进行了投影矫正，如图2(g)所示。
步骤S103：图像数据集制作：采用图像标注工具对所述步骤S102中经过图像预处理的 图像进行标注，制作数据集；
在本实施例中，所述图像数据集标注方式为多边形选取，分类背景、车道线和二维码区 域，它们的标签分别是0、1和2。并使用数据增强的方法丰富数据集，提升网络的鲁棒性。
步骤S104：分割网络模型建立和训练：改进Mask R-CNN实例分割网络，将原骨干网结 构ResNet101替换为MobilenetV2结构，解决网络模型参数多、运行速度慢的问题，并用Transformer模型代替了原有的网络的分类器。把MobilenetV2提取到的feature map送入Transformer中，获得更深层次信息的同时并获得更大的感受野。改进的Mask R-CNN的总体结构示意图如图5所示。
MobilenetV2结构的卷积层模块具有线性瓶颈的倒置残差结构，如图3所示，选取ReLU6 作为激活函数，以减少信息丢失，把标准化卷积分解为深度卷积和逐点卷积，可以大大减少 网络的参数数量、计算量和模型大小，具体的计算式如下：
Figure BDA0003663495750000101
其中，等号左侧分子为深度卷积的参数量，分母为传统卷积的参数量；式中M为输入的 通道数，Dk为卷积核的边长，DF为输入特征图的尺寸，N为卷积核的数量。
新分类器使用Transformer模型把特征图划分为9个区块，用线性映射矩阵把它们映射成 9个一维向量并添加位置编码。把这些一维向量与Class token向量一起送入编码器，该编码 器分别由6个Multi-Head Attention层和Dense层交错堆叠，Transformer模型结构如图4所示。
步骤S105：车道线检测：将步骤S103制作的图像数据集输入步骤S104的分割网络模型 中，提取车道线和二维码区域。模型训练使用5折交叉验证的方式，将步骤S3中制作好的数 据集分成5份，不重复地每次取其中一份做测试集，用其他四份做训练集来训练模型。初始 学习率设置为α＝10-6，初始训练设置的批处理量batch size与迭代次数epoch根据数据集的 大小及计算机运算能力设置分别设置为8和200。将制作好的图像数据集输入改进Mask R-CNN图像分割网络模型进行训练，待loss趋于稳定，模型训练完成。
步骤S106：自动循迹：判别步骤S5中提取的车道线区域和二维码区域，如果判别为车 道线区域，则将车道线区域用转向算法计算出机器人转弯的角度，如图6所示，其中图6(a) 为机器人此刻在车道线上的状态，图6(b)为机器人拍摄的图像经过空间映射后的图像，图 中的黑线为改进的Mask R-CNN模型的输出结果使用霍夫变换拟合出的车道线，图6(c)为 通过拟合的车道线计算出的转弯角度θ；如果判别为二维码区域，解码步骤S105中提取的二 维码，得到二维码ID并结合测距算法，得到物流机器人的位姿以及距离卸货点的距离，如图 7所示，图7(a)在距离摄像头50cm处放置二维码，测试测距效果，图7(b)为测试结果， 与实际距离误差小于0.5cm，结合Cartographer导航算法实现自动循迹。
由此，通过以上步骤，采用改进Mask R-CNN模型提取车道线和二维码区域的精度达到 98.5％，为机器视觉自动循迹提供一种新的检测方法。以上实验均在航天·轻舟机器人上实现， 如图6(a)所示，控制器为STM32复合驱动板，处理器为stm32 f103，图像处理部分在Jetson NANO控制板完成，CPU为四核ARM Cortex-A57 MPCore处理器，GPU为NVIDIAMaxwell w/128NVIDIA CUDA核心，操作系统为Ubuntu 18.04L TS。
综上所述，本发明所述物流搬运机器人自动循迹方法，基于Cartographer和改进Mask R-CNN模型提取车道线和二维码区域，通过车载相机获取路况图像，并送入构建的训练完成 的图像分割网络模型对所需区域进行精确提取，提升对车道线检测的效率和准确率，能够大 大提升物流机器人自动循迹的鲁棒性；本发明改进Mask R-CNN实例分割网络，将原骨干网 结构(ResNet101)替换为MobilenetV2结构，使该网络更适用于移动端；并用Transformer 模型代替了原有的网络的分类器，提升分割的准确率，测试准确率可达到98.5％；在自动循 迹模块中增加判别功能，若是提取到车道线图像则使用霍夫变换实现自动循迹，如果提取到 二维码图像则启用测距算法，经过最小二乘法修正减少误差，通过转向算法和测距算法与 Cartographer导航算法相结合实现物流机器人自动循迹。本发明实现物流机器人的自动循迹， 相较于传统的图像处理算法，有更高的鲁棒性、效率和准确率。
以上对本发明所提供的基于深度学习的物流机器人自动循迹方法进行了详细地介绍。本 文中应用了具体的实施例对本发明的基本原理和实施方式进行了简单地阐述，但本发明的保 护范围并不局限于此，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和 精神的情况下，可以对本文中实施例进行多种变化、修改、替换和变型，本发明的范围由所 附权利要求及其等同物限定。

Claims (10)

1.一种物流搬运机器人自动循迹方法，其特征在于，包括以下步骤：
步骤S1图像采集：使用机器人的摄像设备采集路况图像；
步骤S2图像预处理：对步骤S1采集的路况图像滤波去噪，对摄像设备内外参数标定，通过鱼眼矫正畸变，通过空间映射进行投影实现透视缩短，消除图片中的近大远小关系；
步骤S3图像数据集制作：对所述步骤S2中处理后的图像进行标注，通过数据增强的方法制作数据集；
步骤S4分割网络模型建立和训练：改进Mask R-CNN实例分割网络，用于分割车道线和二维码区域，将步骤S3制作的图像数据集输入改进后的Mask R-CNN实例分割网络中进行训练；
步骤S5车道线检测：将实时采集的路况图像输入步骤S4训练后的分割网络模型中，提取车道线区域和二维码区域；
步骤S6自动循迹：判别步骤S5中提取的车道线区域和二维码区域，如果判别为车道线区域，则将车道线区域用转向算法计算出机器人转弯的角度，如果判别为二维码区域，则解码二维码，得到二维码ID并结合测距算法，得到物流机器人的位姿以及距离卸货点的距离，结合Cartographer导航算法实现自动循迹。
2.根据权利要求1所述的物流搬运机器人自动循迹方法，其特征在于，所述步骤S3中数据增强包括翻转、旋转、缩放和弹性变形的方法，其中，所述弹性变形的方法为创建水平方向，即x轴方向的随机位移场来使车道线变形，以模拟不同形态的车道线，表达式为：
Δx(x,y)＝rand(-50,+50)，
其中x，y分别代表该像素在像素坐标系下的横坐标值和纵坐标值，Δx表示横坐标值的偏移量，rand为随机数。
3.根据权利要求1所述的物流搬运机器人自动循迹方法，其特征在于，所述步骤S4中改进Mask R-CNN实例分割网络是将原骨干网结构ResNet101替换为MobilenetV2结构，并用Transformer模型代替了原有的网络的分类器。
4.根据权利要求3所述的物流搬运机器人自动循迹方法，其特征在于，所述MobilenetV2结构的卷积层模块具有线性瓶颈的倒置残差结构，选取ReLU6作为激活函数，把标准化卷积分解为深度卷积和逐点卷积，具体的计算式如下：
Figure FDA0003663495740000012
等号左侧分子为深度卷积的参数量，分母为传统卷积的参数量，M为输入的通道数，Dk为卷积核的边长，DF为输入特征图的尺寸，N为卷积核的数量。
5.根据权利要求3所述的物流搬运机器人自动循迹方法，其特征在于，所述Transformer 模型把特征图划分为9个区块，用线性映射矩阵把区块映射成9个一维向量并添加位置编码，把一维向量与Class token向量一起送入编码器，该编码器包括6个Multi-Head Attention层和Dense层交错堆叠。
6.根据权利要求3所述的物流搬运机器人自动循迹方法，其特征在于，所述改进的MaskR-CNN所用的损失函数包括Lcls、Lbox和Lmask三部分，其中Lcls是Transformer的Class token根据softmax多分类的损失函数，表达式为：
Figure RE-FDA0003808655180000021
其中，yic为符号函数，如果样本i的真实类别等于c取1，否则取0，pic观测样本i属于类别c的预测概率，区分车道线、二维码和背景，属于三分类，所以M＝3，
所述Lbox为边框损失，表达式为：
Figure RE-FDA0003808655180000022
Figure RE-FDA0003808655180000023
其中，ti表示预测第i个anchor的边界框回归参数，
Figure RE-FDA0003808655180000024
表示第i个anchor对应的GT Box的回归参数；
Lmask为掩模损失，每个类别有一个分辨率为m*m的二进制掩模，对每个像素应用sigmoid，并定义Lmask为平均二进制交叉熵损失，总损失函数的表达式为：
Loss＝Lcls+Lbox+Lmask。
7.根据权利要求1所述的物流搬运机器人自动循迹方法，其特征在于，所述步骤S4中模型训练使用5折交叉验证的方式，将步骤S3中制作好的数据集分成5份，不重复地每次取其中一份做测试集，用其他四份做训练集来训练模型。
8.根据权利要求1所述的物流搬运机器人自动循迹方法，其特征在于，所述步骤S6中转向算法是先使用霍夫变换，把车道线区域从笛卡尔平面转换到霍夫空间中以便找到车道线的最佳拟合直线，通过该拟合直线的斜率和直线与拍摄图片下边界的交点计算得到机器人转弯的角度θ，
Figure FDA0003663495740000025
设图片的分辨率为w*h，w为图片的宽，h为图片的高，拟合直线的表达式为y＝a*x+b，则θ的表达式为：
Figure FDA0003663495740000026
9.根据权利要求1所述的物流搬运机器人自动循迹方法，其特征在于，所述步骤S6中测距算法使用solvepnp方法，通过步骤S2的摄像设备内外参数标定得到摄像设备内参矩阵、摄像设备畸变参数矩阵以及二维码特征点的世界坐标与对应的像素坐标矩阵得到像素坐标系和世界坐标系的关系，得到物流机器人的位姿以及距离卸货点的距离，最后通过最小二乘法优化。
10.一种实现权利要求1-9任意一项所述物流搬运机器人自动循迹方法的系统，其特征在于，包括图像采集模块、图像预处理模块、数据集制作模块、图像分割网络模型构建与训练模块、车道线检测模块和自动循迹模块；
所述图像采集模块用于使用机器人的摄像设备采集路况图像；
所述图像预处理模块用于对图像采集模块采集的路况图像滤波去噪，对摄像设备内外参数标定，通过鱼眼矫正畸变，通过空间映射进行投影实现透视缩短，消除图片中的近大远小关系；
所述数据集制作模块用于对图像预处理模块处理后的图像进行标注，通过数据增强的方法制作数据集；
所述图像分割网络模型构建与训练模块用于改进Mask R-CNN实例分割网络，用于分割车道线和二维码区域，将数据集制作模块制作的图像数据集输入改进后的Mask R-CNN实例分割网络中进行训练；
所述车道线检测模块用于实时采集的路况图像输入训练后的Mask R-CNN实例分割网络模型中，提取车道线区域和二维码区域；
所述自动循迹模块用于将车道线检测模块提取的车道线区域用转向算法计算出机器人转弯的角度，解码车道线检测模块提取的二维码，得到二维码ID并结合测距算法，得到物流机器人的位姿以及距离卸货点的距离，结合Cartographer导航算法实现自动循迹。
CN202210580242.7A 2022-05-26 2022-05-26 一种物流搬运机器人自动循迹方法及系统 Active CN115116026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210580242.7A CN115116026B (zh) 2022-05-26 2022-05-26 一种物流搬运机器人自动循迹方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210580242.7A CN115116026B (zh) 2022-05-26 2022-05-26 一种物流搬运机器人自动循迹方法及系统

Publications (2)

Publication Number Publication Date
CN115116026A true CN115116026A (zh) 2022-09-27
CN115116026B CN115116026B (zh) 2024-04-09

Family

ID=83325677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210580242.7A Active CN115116026B (zh) 2022-05-26 2022-05-26 一种物流搬运机器人自动循迹方法及系统

Country Status (1)

Country Link
CN (1) CN115116026B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200057917A1 (en) * 2018-08-17 2020-02-20 Shenzhen Dorabot Inc. Object Location Method, Device and Storage Medium Based on Image Segmentation
CN111401150A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于实例分割和自适应变换算法的多车道线检测方法
CN112101137A (zh) * 2020-08-26 2020-12-18 东南大学 用于爬壁机器人导航的焊缝识别与路径提取的方法
CN112686217A (zh) * 2020-11-02 2021-04-20 坝道工程医院(平舆) 一种基于Mask R-CNN的地下排水管道病害像素级别的检测方法
CN113554587A (zh) * 2021-05-31 2021-10-26 江苏大学 一种基于深度学习的熔池图像几何特征提取方法及系统
CN114092699A (zh) * 2021-11-15 2022-02-25 南京理工大学 基于迁移学习的群猪图像分割的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200057917A1 (en) * 2018-08-17 2020-02-20 Shenzhen Dorabot Inc. Object Location Method, Device and Storage Medium Based on Image Segmentation
CN111401150A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于实例分割和自适应变换算法的多车道线检测方法
CN112101137A (zh) * 2020-08-26 2020-12-18 东南大学 用于爬壁机器人导航的焊缝识别与路径提取的方法
CN112686217A (zh) * 2020-11-02 2021-04-20 坝道工程医院(平舆) 一种基于Mask R-CNN的地下排水管道病害像素级别的检测方法
CN113554587A (zh) * 2021-05-31 2021-10-26 江苏大学 一种基于深度学习的熔池图像几何特征提取方法及系统
CN114092699A (zh) * 2021-11-15 2022-02-25 南京理工大学 基于迁移学习的群猪图像分割的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LINHANG LI等: "Stability detection of melt pool in laser cladding based on enhanced mask R-CNN", 《TENTH INTERNATIONAL SYMPOSIUM ON PRECISION MECHANICAL MEASUREMENTS》, 19 November 2021 (2021-11-19) *
朱有产;王雯瑶;: "基于改进Mask R-CNN的绝缘子目标识别方法", 微电子学与计算机, no. 02, 5 February 2020 (2020-02-05) *
王帅帅;刘建国;纪郭;: "基于全卷积神经网络的车道线检测", 数字制造科学, no. 02, 15 June 2020 (2020-06-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置

Also Published As

Publication number Publication date
CN115116026B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Guindel et al. Automatic extrinsic calibration for lidar-stereo vehicle sensor setups
Romero-Ramire et al. Fractal Markers: a new approach for long-range marker pose estimation under occlusion
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
Pascoe et al. Robust direct visual localisation using normalised information distance.
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN115147723B (zh) 一种内河船舶识别与测距方法、系统、介质、设备及终端
CN112734844B (zh) 一种基于正八面体的单目6d位姿估计方法
CN115546202B (zh) 一种用于无人叉车的托盘检测与定位方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
CN113510700A (zh) 一种机器人抓取任务的触觉感知方法
CN115116026A (zh) 一种物流搬运机器人自动循迹方法及系统
CN115909157A (zh) 一种基于机器视觉的识别检测方法、装置、设备及介质
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
Garcia et al. Large scale semantic segmentation of virtual environments to facilitate corrosion management
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN114092396A (zh) 一种包装盒撞角瑕疵检测的方法及装置
CN112149671B (zh) 基于归一化互相关模板匹配的目标区域精准定位方法
CN112907666A (zh) 一种基于rgb-d的托盘位姿估计方法、系统及装置
CN113240721A (zh) 一种应用于巷道复杂场景的导航灭点检测方法
CN114140526A (zh) 一种基于深度学习的无序工件三维视觉位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant