CN112949452B - 一种基于多任务共享网络的机器人弱光环境抓取检测方法 - Google Patents

Abstract

本发明公开了一种基于多任务共享网络的机器人弱光环境抓取检测方法，属于计算机视觉与智能机器人技术领域。本发明通过图像采集保证弱光环境与正常光照环境下拍摄图像的严格匹配，构建相应的数据集d，再采用Darknet‑53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，当损失值在迭代次数iter内的变化小于阈值t时，抓取检测模型G已收敛，即模型G训练完成；对于在弱光环境下拍摄的图像I_low，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务。

Description

一种基于多任务共享网络的机器人弱光环境抓取检测方法

技术领域

本发明属于计算机视觉与智能机器人技术领域，具体涉及一种基于多任务共享网络的机器人弱光环境抓取检测方法。

背景技术

随着人工智能、机器人控制和感知技术的不断发展，配备有多自由度机械臂的机器人能够自主实现对不同目标物体的抓取操作，并开展高级别人机交互，在家庭服务、自动化装配等诸多领域正扮演着越来越重要的角色。典型的机器人抓取流程一般包括四个步骤：目标定位、姿态估计、抓取检测和运动规划，其中抓取检测能够确定物体上的可抓取部位，直接决定了机器人抓取操作的稳定性和精度，具有重要作用。目前，机器人抓取检测算法通常利用深度学习模型以端到端的方式建立输入信息(包括：图像、深度信息、触觉信息等)与预测抓取框的映射关系，通过模型的反复训练迭代，不断提升抓取检测精度和鲁棒性。

然而，现有抓取检测方法的输入图像往往在光照充足条件下采集和获取，此时目标细节纹理清晰、与背景的特征差异明显。在低对比度的弱光环境下，现有方法的检测精度急剧降低，因此，通常采用外置光源补光和红外传感器融合等手段提高待抓取目标的可见性，但前者会带来严重的光污染和能量消耗，而后者无法提供色彩信息，且对物体细节的分辨率较低。因此，采用一种适用于低对比度弱光环境，且无需引入额外传感器的抓取检测算法，具有十分重要的意义。

发明内容

针对低对比度弱光环境下检测精度低的问题，本发明提供了一种基于多任务共享网络的机器人弱光环境抓取检测方法。

为了达到上述目的，本发明采用了下列技术方案：

一种基于多任务共享网络的机器人弱光环境抓取检测方法，包括以下步骤：

步骤1，采集并构建相应的数据集d，

数据集d由4n组“弱光图像-正常光照图像-抓取标注信息”对构成，其中

表示场景i下的第j幅弱光环境图像，

表示场景i下的正常光照图像，bⁱ表示场景i下的抓取框标注参数，n表示数据集中的场景数目，j表示每一场景拍摄的弱光图像数目，为保证弱光环境与正常光照环境下拍摄图像的严格匹配，进行图像采集；直至得到完整数据集d；

步骤2，采用Darknet-53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；

步骤3，从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，将预测的抓取框及增强图像与真实值进行比较，计算对应的损失值，并根据损失值对模型各参数进行调整，确保数据集中所有样本均完成训练；当损失值在迭代次数iter内的变化小于阈值t时，则认为抓取检测模型G已收敛，即模型G训练完成；

对于在弱光环境下拍摄的图像I_low，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务，即：

G(I_low)→{I_normal,x_i,y_i,θ_i,w_i,h_i},i＝1,2,…,m

其中，I_normal表示模型增强后的图像，x_i,y_i表示预测的第i个抓取框中心像素点的横、纵坐标，θ_i为预测的第i个抓取框相对于水平方向的旋转角度，w_i,h_i表示预测的第i个抓取框的宽度和高度，m表示预测的抓取框总数。

进一步，所述步骤1中图像采集方法包括以下步骤：

步骤S1.1搭建内部无光环境的暗室，在暗室底部四个角落以及顶部安装可调光LED灯泡；

步骤S1.2在当前场景i下，将相机固定于三角架上，调节LED灯泡亮度分别至0.001lux，0.01lux，0.1lux，1lux和20lux，其中前四级亮度用于模拟不同等级的弱光环境，最后一级亮度用于模拟采光良好的室内环境，在不同亮度下分别对目标物体进行拍摄，得到对应的4张弱光环境图像

和1张正常光照图像

步骤S1.3在正常光照图像基础上，进行抓取框标注，获取当前成像场景的标注参数bⁱ，形成4组“弱光图像-正常光照图像-抓取标注信息”对；

步骤S1.4最后改变待拍摄的目标物体或拍摄场景，重复执行步骤S1.2和步骤S1.3，直至得到完整数据集d。

进一步，所述步骤2中抓取检测模块是采用Yolo v3目标检测框架的多尺度特征融合及参数预测机制，分别在小尺度、中尺度和大尺度下进行抓取框参数的预测。

进一步，所述步骤2中图像增强模块包括以下步骤：

步骤S2.1，针对Yolo v3框架的大尺度预测层，提取由中尺度特征图与Darknet-53网络第36层特征图fmap₃₆拼接、应用3×3卷积和1×1卷积得到特征图

再对特征图

进行反卷积操作，增大特征图尺寸，并与Darknet-53网络第11层特征图fmap₁₁沿通道维度进行拼接，经2个3×3卷积得到尺寸为128×104×104的特征图map_104*104，即：

其中，deconv()表示反卷积操作，

表示沿通道维度的拼接操作，κ_3×3代表尺寸为3×3的卷积核；

步骤S2.2，对map_104*104进行反卷积操作，并与Darknet-53网络第4层特征图fmap₄沿通道维度进行拼接，经2个3×3卷积得到尺寸为64×208×208的特征图map_208*208，即：

步骤S2.3，针对Darknet-53网络第1层特征图fmap₁，重复步骤S2.1和步骤S2.2，得到尺寸为32×416×416的特征图map_416*416，经2个3×3卷积和1个1×1卷积得到尺寸为3×416×416最终的增强图像map_output，即：

其中，κ_1×1代表尺寸为1×1的卷积核。

进一步，所述步骤2中模型损失函数Loss定义为：

Loss＝Loss_reg+Loss_cls+γ_img*Loss_img

其中Loss_reg表示回归损失，主要评价模型预测的无方向抓取框与真实无方向抓取框的位置和尺寸差异；

Loss_cls表示分类损失，主要评价模型预测的抓取框类别与真实抓取框类别的差异；

Loss_img表示图像重构损失，主要评价增强图像与正常光照图像的视觉差异，具体形式如下：

其中，p_i表示模型增强图像在像素i处的灰度值，

表示正常光照图像在像素i处的灰度值，|·|为取绝对值操作，c为图像中的像素点总数；

针对输入的单幅图像，引入图像平衡因子γ_img，用于调整Loss_reg，Loss_cls和Loss_img对模型总损失的贡献度。

与现有技术相比本发明具有以下优点：

1.无需引入外置光源、红外等补光手段，仅利用光学图像即可实现弱光环境下的抓取检测，具有能耗低、成本可控等优势；

2.充分利用深度模型的强特征表达能力，利用单一模型同时实现图像增强和抓取检测两个任务，有助于加速模型收敛速度，并提高单任务算法精度。

本发明的方法易于实现，其应用价值主要体现在以下几个方面：

1.对于煤矿井下作业、工厂流水线自动装配等领域，可在低光照环境下保证正常作业和运转，大大节约电力等能源消耗，降低企业运行成本；

2.可有效提高抓取检测算法的环境适应性，从而扩展机器人抓取任务的工作时间范围，有助于实现全天候机器人操作。

附图说明

图1为本发明的流程图；

图2为拍摄数据集所搭建的暗室及光源位置分布示意图；

图3为本发明所提多任务共享网络基本结构图；

图4从左到右依次为拍摄的弱光图像，模型增强后图像，增强图像抓取检测结果。

具体实施方式

实施例1

图1为本发明的流程图，一种基于多任务共享网络的机器人弱光环境抓取检测方法，包括以下步骤：

步骤1，采集并构建相应的数据集d，

数据集d由4n组“弱光图像-正常光照图像-抓取标注信息”对构成，其中

表示场景i下的第j幅弱光环境图像，

表示场景i下的正常光照图像，bⁱ表示场景i下的抓取框标注参数，n表示数据集中的场景数目，j表示每一场景拍摄的弱光图像数目，为保证弱光环境与正常光照环境下拍摄图像的严格匹配，进行图像采集；直至得到完整数据集d；

步骤S1.1搭建内部无光环境的暗室，在暗室底部四个角落以及顶部安装可调光LED灯泡；图2为拍摄数据集所搭建的暗室及光源位置分布示意图；

步骤S1.2在当前场景i下，将相机固定于三角架上，调节LED灯泡亮度分别至0.001lux，0.01lux，0.1lux，1lux和20lux，其中前四级亮度用于模拟不同等级的弱光环境，最后一级亮度用于模拟采光良好的室内环境，在不同亮度下分别对目标物体进行拍摄，得到对应的4张弱光环境图像

和1张正常光照图像

步骤S1.3在正常光照图像基础上，进行抓取框标注，获取当前成像场景的标注参数bⁱ，形成4组“弱光图像-正常光照图像-抓取标注信息”对；

步骤S1.4最后改变待拍摄的目标物体或拍摄场景，重复执行步骤S1.2和步骤S1.3，直至得到完整数据集d；

步骤2，采用Darknet-53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；

抓取检测模块是采用Yolo v3目标检测框架的多尺度特征融合及参数预测机制，分别在小尺度、中尺度和大尺度下进行抓取框参数的预测。

图像增强模块包括以下步骤：

步骤S2.1，针对Yolo v3框架的大尺度预测层，提取由中尺度特征图与Darknet-53网络第36层特征图fmap₃₆拼接、应用3×3卷积和1×1卷积得到特征图

再对特征图

进行反卷积操作，增大特征图尺寸，并与Darknet-53网络第11层特征图fmap₁₁沿通道维度进行拼接，经2个3×3卷积得到尺寸为128×104×104的特征图map_104*104，即：

其中，deconv()表示反卷积操作，

表示沿通道维度的拼接操作，κ_3×3代表尺寸为3×3的卷积核；

步骤S2.2，对map_104*104进行反卷积操作，并与Darknet-53网络第4层特征图fmap₄沿通道维度进行拼接，经2个3×3卷积得到尺寸为64×208×208的特征图map_208*208，即：

步骤S2.3，针对Darknet-53网络第1层特征图fmap₁，重复步骤S2.1和步骤S2.2，得到尺寸为32×416×416的特征图map_416*416，经2个3×3卷积和1个1×1卷积得到尺寸为3×416×416最终的增强图像map_output，即：

其中，κ_1×1代表尺寸为1×1的卷积核。

进一步，所述步骤2中模型损失函数Loss定义为：

Loss＝Loss_reg+Loss_cls+γ_img*Loss_img

其中Loss_reg表示回归损失，主要评价模型预测的无方向抓取框与真实无方向抓取框的位置和尺寸差异；

Loss_cls表示分类损失，主要评价模型预测的抓取框类别与真实抓取框类别的差异；

Loss_img表示图像重构损失，主要评价增强图像与正常光照图像的视觉差异，具体形式如下：

其中，p_i表示模型增强图像在像素i处的灰度值，

表示正常光照图像在像素i处的灰度值，|·|为取绝对值操作，c为图像中的像素点总数；

针对输入的单幅图像，引入图像平衡因子γ_img，用于调整Loss_reg，Loss_cls和Loss_img对模型总损失的贡献度；图3为本发明所提多任务共享网络基本结构图；

步骤3，从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，将预测的抓取框及增强图像与真实值进行比较，计算对应的损失值，并根据损失值对模型各参数进行调整，确保数据集中所有样本均完成训练；当损失值在迭代次数iter内的变化小于阈值t时，则认为抓取检测模型G已收敛，即模型G训练完成；

对于在弱光环境下拍摄的图像I_low，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务，即：

G(I_low)→{I_normal,x_i,y_i,θ_i,w_i,h_i},i＝1,2,…,m

其中，I_normal表示模型增强后的图像，x_i,y_i表示预测的第i个抓取框中心像素点的横、纵坐标，θ_i为预测的第i个抓取框相对于水平方向的旋转角度，w_i,h_i表示预测的第i个抓取框的宽度和高度，m表示预测的抓取框总数。如图4从左到右依次为拍摄的弱光图像，模型增强后图像，增强图像抓取检测结果。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于多任务共享网络的机器人弱光环境抓取检测方法，其特征在于：包括以下步骤：

步骤1，采集并构建相应的数据集d，

i＝1,2,…,n，j＝1,2,3,4，数据集d由4n组“弱光图像-正常光照图像-抓取标注信息”对构成，其中

表示场景i下的第j幅弱光环境图像，

表示场景i下的正常光照图像，bⁱ表示场景i下的抓取框标注参数，n表示数据集中的场景数目，j表示每一场景拍摄的弱光图像数目，为保证弱光环境与正常光照环境下拍摄图像的严格匹配，进行图像采集；直至得到完整数据集d；

步骤2，采用Darknet-53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；

步骤3，从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，将预测的抓取框及增强图像与真实值进行比较，计算对应的损失值，并根据损失值对模型各参数进行调整，确保数据集中所有样本均完成训练；当损失值在迭代次数iter内的变化小于阈值t时，则认为抓取检测模型G已收敛，即模型G训练完成；

对于在弱光环境下拍摄的图像I_low，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务，即：

G(I_low)→{I_normal,x_i,y_i,θ_i,w_i,h_i},i＝1,2,…,m

其中，I_normal表示模型增强后的图像，x_i,y_i表示预测的第i个抓取框中心像素点的横、纵坐标，θ_i为预测的第i个抓取框相对于水平方向的旋转角度，w_i,h_i表示预测的第i个抓取框的宽度和高度，m表示预测的抓取框总数；

所述步骤2中图像增强模块包括以下步骤：

步骤S2.1，针对Yolo v3框架的大尺度预测层，提取由中尺度特征图与Darknet-53网络第36层特征图fmap₃₆拼接、应用3×3卷积和1×1卷积得到特征图

再对特征图

进行反卷积操作，增大特征图尺寸，并与Darknet-53网络第11层特征图fmap₁₁沿通道维度进行拼接，经2个3×3卷积得到尺寸为128×104×104的特征图map_104*104，即：

其中，deconv( )表示反卷积操作，

表示沿通道维度的拼接操作，κ_3×3代表尺寸为3×3的卷积核；

步骤S2.2，对map_104*104进行反卷积操作，并与Darknet-53网络第4层特征图fmap₄沿通道维度进行拼接，经2个3×3卷积得到尺寸为64×208×208的特征图map_208*208，即：

步骤S2.3，针对Darknet-53网络第1层特征图fmap₁，重复步骤S2.1和步骤S2.2，得到尺寸为32×416×416的特征图map_416*416，经2个3×3卷积和1个1×1卷积得到尺寸为3×416×416最终的增强图像map_output，即：

map_output＝map_416*416*κ_3×3*κ_3×3*κ_1×1

其中，κ_1×1代表尺寸为1×1的卷积核。

2.根据权利要求1所述的一种基于多任务共享网络的机器人弱光环境抓取检测方法，其特征在于：所述步骤1中图像采集方法包括以下步骤：

步骤S1.1搭建内部无光环境的暗室，在暗室底部四个角落以及顶部安装可调光LED灯泡；

步骤S1.2在当前场景i下，将相机固定于三角架上，调节LED灯泡亮度分别至0.001lux，0.01lux，0.1lux，1lux和20lux，其中前四级亮度用于模拟不同等级的弱光环境，最后一级亮度用于模拟采光良好的室内环境，在不同亮度下分别对目标物体进行拍摄，得到对应的4张弱光环境图像

和1张正常光照图像

步骤S1.3在正常光照图像基础上，进行抓取框标注，获取当前成像场景的标注参数bⁱ，形成4组“弱光图像-正常光照图像-抓取标注信息”对；

步骤S1.4最后改变待拍摄的目标物体或拍摄场景，重复执行步骤S1.2和步骤S1.3，直至得到完整数据集d。

3.根据权利要求2所述的一种基于多任务共享网络的机器人弱光环境抓取检测方法，其特征在于：所述步骤2中抓取检测模块是采用Yolo v3目标检测框架的多尺度特征融合及参数预测机制，分别在小尺度、中尺度和大尺度下进行抓取框参数的预测。

4.根据权利要求3所述的一种基于多任务共享网络的机器人弱光环境抓取检测方法，其特征在于：所述步骤2中模型损失函数Loss定义为：

Loss＝Loss_reg+Loss_cls+γ_img*Loss_img

其中Loss_reg表示回归损失，主要评价模型预测的无方向抓取框与真实无方向抓取框的位置和尺寸差异；

Loss_cls表示分类损失，主要评价模型预测的抓取框类别与真实抓取框类别的差异；

Loss_img表示图像重构损失，主要评价增强图像与正常光照图像的视觉差异，具体形式如下：

其中，p_i表示模型增强图像在像素i处的灰度值，

表示正常光照图像在像素i处的灰度值，|·|为取绝对值操作，c为图像中的像素点总数；

针对输入的单幅图像，引入图像平衡因子γ_img，用于调整Loss_reg，Loss_cls和Loss_img对模型总损失的贡献度。

Images