CN111815708A - 基于双通路卷积神经网络的服务机器人抓取检测方法 - Google Patents

Abstract

本发明属于服务机器人技术领域，具体涉及一种基于双通路卷积神经网络的服务机器人抓取检测方法、系统、装置，旨在解决机器人抓取检测方法难以兼具实时性和准确性问题。本发明方法包括：获取周围环境的原始彩色图像和原始深度图像，并将原始彩色图像转换为原始灰度图像；获取目标物体包围框，并得到第一深度图像区域、第一灰度图像区域；将图像区域调整至设定尺寸；对调整尺寸的图像区域进行编码，并相加；将相加后的特征图进行解码，得到抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图；得到最佳抓取矩形及其在原始彩色图像中对应的最佳抓取检测框，实现对目标物体的抓取检测。本发明保证了抓取的实时性和准确性。

Description

基于双通路卷积神经网络的服务机器人抓取检测方法

技术领域

本发明属于服务机器人技术领域，具体涉及一种基于双通路卷积神经网络的服务机器人抓取检测方法、系统、装置。

背景技术

近年来，随着人工智能、传感技术、计算处理技术等的迅猛发展，服务机器人逐渐走进人们的日常生活，其中安装有机械臂的服务机器人以其能够提供物体抓取的服务而受到普遍关注。为实现对目标物体的抓取，机器人需要首先利用基于深度学习的物体检测方法(例如Faster R-CNN、YOLO、SSD等方法)检测出目标物体，而后确定目标物体在图像中的最佳抓取检测框，进而引导机械臂进行抓取作业，其中确定目标物体在图像中的最佳抓取检测框即抓取检测是保证抓取质量的重要一环。传统的抓取检测一般基于物体三维模型，适用于较为简单的情形或应用于特定物体。随着深度学习在机器人抓取检测领域的发展，出现了一系列基于卷积神经网络的抓取检测方法。基于分类的抓取检测方法一般通过对采样获得的候选抓取进行分类并排序，选择排名最高的候选抓取作为最佳抓取，但这类方法需要依次对每一个候选抓取进行判断，可能会带来耗时、特征的重复提取等问题。基于回归的抓取检测方法对整张图像进行分析，直接通过回归方式预测出最佳抓取，该类方法实时性较好，但当存在多个解的情形下，产生的最佳抓取可能是无效的。由于计算机视觉领域的图像检测和分割方法的迅速发展，产生了许多成熟的框架，基于图像检测/分割框架的抓取检测方法就利用这些框架，将其进行改变以适应抓取检测任务。整体来看，基于卷积神经网络的抓取检测方法通常聚焦于实时性和准确性中的一方面，难以同时兼具较好的实时性和较好的准确性。如何设计一种既具有较好实时性、又具有较好准确性的基于卷积神经网络的机器人抓取检测方法仍有待于进一步研究。

因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的机器人抓取检测方法难以同时兼具较好的实时性和较好的准确性的问题，本发明提出了一种基于双通路卷积神经网络的服务机器人抓取检测方法，该方法包括：

步骤S10，服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

步骤S20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

步骤S30，将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

步骤S40，通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

步骤S50，通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；

步骤S60，基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；

其中，Q、W、H、C、S分别为以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、高度、2倍朝向角的余弦值、2倍朝向角的正弦值构建的特征图。

在一些优选的实施方式中，步骤S30中“将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域”，其方法为：通过双线性插值法将所述第一深度图像区域、所述第一灰度图像区域调整至设定的尺寸，得到第二深度图像区域、第二灰度图像区域。

在一些优选的实施方式中，所述双通路卷积神经网络包括双分支的编码器以及解码器；所述编码器基于深度可分离卷积层构建；所述解码器基于级联的全局反卷积模块以及五个标准卷积构建。

在一些优选的实施方式中，步骤S60中“通过预设的第一方法得到最佳抓取矩形”，其方法为：

选取抓取质量特征图中最大抓取质量评价值所对应的像素点的位置作为最佳抓取矩形的中心位置；

获取第一角度特征图、第二角度特征图在所述中心位置处的对应取值，并通过预设的第二方法得到最佳抓取矩形的朝向角；

获取宽度特征图、高度特征图在所述中心位置处的对应取值，作为最佳抓取矩形的宽、高；

综合所述中心位置、所述朝向角、所述宽、高，得到最佳抓取矩形。

在一些优选的实施方式中，“通过预设的第二方法得到最佳抓取矩形的朝向角”，其方法为：

其中，θ^*表示最佳抓取矩形的朝向角，(u^*,v^*)表示最佳抓取矩形的中心位置，

分别表示第一角度特征图、第二角度特征图在(u^*,v^*)处的对应取值。

在一些优选的实施方式中，所述双通路卷积神经网络的损失函数为：

其中，L_loss为双通路卷积神经网络在训练时获取的损失值，N为双通路卷积神经网络在训练时的训练样本总数，Q_i、W_i、H_i、C_i、S_i为基于第i个训练样本，双通路卷积神经网络输出的抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图，

为第i个训练样本对应的抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图的真值，i＝1,2,…,N。

本发明的第二方面，提出了一种基于双通路卷积神经网络的服务机器人抓取检测系统，该系统包括：获取模块、检测模块、调整模块、编码模块、解码模块、抓取检测模块；

所述获取模块，配置为服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

所述检测模块，配置为基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

所述调整模块，配置为将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

所述编码模块，配置为通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

所述解码模块，配置为通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；其中，Q、W、H、C、S分别为以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、高度、2倍朝向角的余弦值、2倍朝向角的正弦值构建的特征图；

所述抓取检测模块，配置为基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于双通路卷积神经网络的服务机器人抓取检测方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于双通路卷积神经网络的服务机器人抓取检测方法。

本发明的有益效果：

本发明在保证机器人抓取实时性的同时，提高了抓取的准确性。本发明通过由深度可分离卷积层构建的编码器进行编码，并通过基于全局反卷积模块的解码器进行解码，得到抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图，进而得到最佳抓取矩形及其在原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测，能够在保证较好实时性的同时，提供较为准确的抓取检测结果，有效提升了抓取检测的质量。

附图说明

通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。

图1是本发明一种实施例的基于双通路卷积神经网络的服务机器人抓取检测方法的流程示意图；

图2为本发明一种实施例的基于双通路卷积神经网络的服务机器人抓取检测系统的框架示意图；

图3是本发明一种实施例的全局反卷积模块的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一种基于双通路卷积神经网络的服务机器人抓取检测方法，如图1所示，该方法包括以下步骤：

步骤S10，服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

步骤S20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

步骤S30，将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

步骤S40，通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

步骤S50，通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；

步骤S60，基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；

其中，Q、W、H、C、S分别为以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、高度、2倍朝向角的余弦值、2倍朝向角的正弦值构建的特征图。

为了更清晰地对本发明基于双通路卷积神经网络的服务机器人抓取检测方法进行说明，下面对本发明方法一种实施例中各步骤进行展开详述。

该实施例为一种较优的实现方式，预先构建一个包含编码器深度图分支、编码器灰度图分支和解码器的双通路卷积神经网络，基于预先构建的训练样本集并结合预先设计的损失函数(具体损失函数的设置会在下文具体展开说明)对该卷积神经网络进行训练，获取编码器深度图分支、编码器灰度图分支和解码器的参数，并应用到本发明的基于双通路卷积神经网络的服务机器人抓取检测方法中。另外，为了对双通路卷积神经网络的输入图像G_m所对应的每个像素位置的抓取质量进行评价，抓取采用矩形的描述方式，称之为抓取矩形，用五元组(u,v,θ,w,h)加以表征，其中(u,v)为抓取矩形的中心，

为抓取矩形的宽度方向与图像水平方向的角度，称之为抓取矩形的朝向角，w和h分别为抓取矩形的宽度和高度。对于每个抓取矩形而言，存在一个抓取质量评价值q∈[0,1]与其对应。

步骤S10，服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

在本实施例中，服务机器人通过安装在自身的Kinect传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换成原始灰度图像。

步骤S20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

在本实施例中，基于所述原始彩色图像，利用基于深度学习的物体检测方法进行目标物体的检测，得到目标物体的包围框，进而得到该包围框的四个顶点的坐标，将原始深度图像中与这四个坐标对应的图像区域称之为目标物体第一深度图像区域，记为D_o；将原始灰度图像中与这四个坐标对应的图像区域称之为目标物体第一灰度图像区域，记为G_o；其中，在本发明中，基于深度学习的物体检测方法优选采用SSD。

步骤S30，将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

在本实施例中，将D_o调整至300×300尺寸，得到第二深度图像区域D_m；将G_o调整至300×300尺寸，得到第二灰度图像区域G_m。

具体如下：

首先根据D_o的高度h₀和宽度w₀，结合D_m的图像尺寸300×300，计算出第一高度缩放比例r_fh和第一宽度缩放比例r_fw，r_fh＝h₀/300，r_fw＝w₀/300；进而确定D_m中的像素点P_dm(u_dm,v_dm)在D_o中的对应位置P_do(u_do,v_do)，其中u_do＝u_dm×r_fw，v_do＝v_dm×r_fh；在D_o中得到与P_do位置相邻的四个像素点，基于这四个像素点的像素值，利用双线性插值法，先在高度方向上作线性插值，再在宽度方向上作线性插值，双线性插值后的结果即为第二深度图像区域D_m中像素点P_dm的值。对D_m中的每个像素点，都按照上述双线性插值的过程获得各自像素点的值，最终获得第二深度图像区域D_m。

同理，利用第一高度缩放比例r_fh和第一宽度缩放比例r_fw确定出G_m中的像素点P_gm(u_gm,v_gm)在G_o中的对应位置P_go(u_go,v_go)，其中u_go＝u_gm×r_fw，v_go＝v_gm×r_fh；在G_o中得到与P_go位置相邻的四个像素点，基于这四个像素点的像素值，利用双线性插值法，先在高度方向上作线性插值，再在宽度方向上作线性插值，双线性插值后的结果即为第二灰度图像区域G_m中像素点P_gm的值。对G_m中的每个像素点，都按照上述双线性插值过程各自像素点的值，最终获得第二灰度图像区域G_m。

步骤S40，通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

在本实施例中，将D_m和G_m送入双通路卷积神经网络中，其中D_m经过编码器深度图分支B_D的处理后得到第一特征图F₁，G_m经过编码器灰度图分支B_G的处理后得到第二特征图F₂。

其中，编码器深度图分支B_D包括七个深度可分离卷积层：Ds_conv1、Ds_conv2、Ds_conv3、Ds_conv4、Ds_conv5、Ds_conv6和Ds_conv7，这七个深度可分离卷积层依次连接，设置方式如下：这七个深度可分离卷积层分别采用9×9、5×5、5×5、5×5、5×5、5×5和3×3的卷积核，步长分别为(3,3)、(2,2)、(2,2)、(1,1)、(1,1)、(1,1)和(1,1)，特征图的大小分别为100×100×16、50×50×32、25×25×32、25×25×32、25×25×32、25×25×32和25×25×32；第二深度图像区域D_m依次经过Ds_conv1、Ds_conv2、Ds_conv3、Ds_conv4、Ds_conv5、Ds_conv6和Ds_conv7处理后得到第一特征图F₁。

编码器灰度图分支B_G包括四个深度可分离卷积层：Ds_conv8、Ds_conv9、Ds_conv10和Ds_conv11，这四个深度可分离卷积层依次连接，设置方式如下：这四个深度可分离卷积层分别采用9×9、5×5、5×5和3×3的卷积核，步长分别为(3,3)、(2,2)、(2,2)和(1,1)，特征图的大小分别为100×100×16、50×50×32、25×25×32和25×25×32；第二灰度图像区域G_m依次经过Ds_conv8、Ds_conv9、Ds_conv10和Ds_conv11处理后得到第二特征图F₂。

将第一特征图F₁和第二特征图F₂中的对应元素相加，得到第三特征图F₃。

步骤S50，通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；

在本实施例中，将第三特征图F₃经过基于全局反卷积模块的解码器的解码处理，生成抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S。

基于全局反卷积模块的解码器由四个级联的全局反卷积模块(GDN-1、GDN-2、GDN-3和GDN-4)以及五个标准卷积(Conv-1、Conv-2、Conv-3、Conv-4和Conv-5)组成。

其中，全局反卷积模块的结构示意图如图3所示，其中M_in、H_in、W_in分别为全局反卷积模块的输入特征图及其高度和宽度，M_out、H_out、W_out分别为输出特征图及其高度和宽度，且H_in≤H_out、W_in≤W_out，C_in和C_out分别为输入和输出特征图的通道数。对于每一个全局反卷积模块，其输入特征图M_in分别经过上下两个分支的处理。上分支由反卷积Deconv-1和反卷积Deconv-3级联构成，下分支由反卷积Deconv-2和反卷积Deconv-4级联构成。Deconv-1和Deconv-3分别采用1×K_g和K_g×1的卷积核，步长分别设置为(1,1)、(s_g,s_g)，Deconv-1和Deconv-3的输出特征图的通道数都为C_out；Deconv-2和Deconv-4分别采用K_g×1和1×K_g的卷积核，步长分别设置为(1,1)、(s_g,s_g)，Deconv-2和Deconv-4的输出特征图的通道数都为C_out，其中K_g为给定卷积核参数，s_g为给定步长。Deconv-3和Deconv-4的输出特征图相加后，再经过批归一化处理和ReLu激活函数处理，得到全局反卷积模块的输出特征图M_out。

四个全局反卷积模块GDN-1、GDN-2、GDN-3和GDN-4对应的(C_in,K_g,s_g,C_out)参数的取值分别为(32,3,1,32)、(32,5,2,32)、(32,5,2,16)和(16,9,3,16)；GDN-1、GDN-2、GDN-3和GDN-4对应的(H_in,W_in,H_out,W_out)参数的取值分别为(25,25,25,25)、(25,25,50,50)、(50,50,100,100)和(100,100,300,300)。

本实施例中，第三特征图F₃作为GDN-1的输入特征图送入GDN-1中，依次经过GDN-1、GDN-2、GDN-3和GDN-4进行处理；之后，将GDN-4的输出特征图分别送入标准卷积Conv-1、Conv-2、Conv-3、Conv-4和Conv-5中；这五个标准卷积各自处理后分别输出抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S，其中这五个标准卷积采用3×3的卷积核，步长均为(1,1)，输出特征图的尺寸均为300×300。抓取质量特征图Q中每个像素点的值描述了以相应像素点为中心的抓取矩形的抓取质量评价值q，宽度特征图W中每个像素点的值描述了以相应像素点为中心的抓取矩形的宽度w，高度特征图H中每个像素点的值描述了以相应像素点为中心的抓取矩形的高度h，第一角度特征图C中每个像素点的值描述了以相应像素点为中心的抓取矩形的朝向角θ的2倍的余弦值，第二角度特征图S中每个像素点的值描述了以相应像素点为中心的抓取矩形的朝向角θ的2倍的正弦值。

步骤S60，基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；

本实施例中，通过预设的第一方法得到最佳抓取矩形的具体过程如下：

选取抓取质量特征图Q中最大抓取质量评价值所对应的像素点的位置作为最佳抓取矩形的中心位置，记为(u^*,v^*)；

获取第一角度特征图C、第二角度特征图S在位置(u^*,v^*)处的对应取值，并通过预设的第二方法得到最佳抓取矩形的朝向角，记为θ^*；

通过预设的第二方法得到最佳抓取矩形的朝向角的方法如下：

其中，

为第二角度特征图S在位置(u^*,v^*)处的取值，

为第一角度特征图C在位置(u^*,v^*)处的取值；

获得宽度特征图W、高度特征图H在位置(u^*,v^*)处的对应取值，作为最佳抓取矩形的宽w^*、高h^*；

综合u^*、v^*、θ^*、w^*和h^*，得到最佳抓取矩形

用(u^*,v^*,θ^*,w^*,h^*)进行表征。

基于最佳抓取矩形

求出该最佳抓取矩形的四个顶点的坐标，分别为(u₁,v₁)、(u₂,v₂)、(u₃,v₃)、(u₄,v₄)，并得到该最佳抓取矩形的四个顶点在原始灰度图像中的对应点，分别记为G₁、G₂、G₃、G₄，它们在原始灰度图像中的像素坐标分别为(u_lt+round(u₁×r_fw),v_lt+round(v₁×r_fh))、(u_lt+round(u₂×r_fw),v_lt+round(v₂×r_fh))、(u_lt+round(u₃×r_fw),v_lt+round(v₃×r_fh))、(u_lt+round(u₄×r_fw),v_lt+round(v₄×r_fh))，其中(u_lt,v_lt)为目标物体第一灰度图像区域的左上角的顶点在原始灰度图像中的像素坐标，round()为四舍五入取整函数；以G₁、G₂、G₃和G₄为顶点构成目标物体在原始灰度图像中的最佳抓取检测框，该最佳抓取检测框也就是目标物体在原始彩色图像中的最佳抓取检测框，从而完成对目标物体的抓取检测。

下面对本发明实施例包含编码器深度图分支、编码器灰度图分支和解码器的双通路卷积神经网络的训练样本、损失函数进行说明。

本实施例中，双通路卷积神经网络采用Cornell抓取数据集进行训练，Cornell抓取数据集包含885张RGB-D待抓取物体的图像，并且有5110个人工标注的抓取矩形。将Cornell抓取数据集中的885张图像经过随机裁剪、放大和旋转之后生成4425张300×300的RGB-D图像，其中每张RGB-D图像包含一个300×300的深度图像区域和一个300×300的灰度图像区域，这两个图像区域将被直接送入双通路卷积神经网络中以对该网络进行训练。每张RGB-D图像对应的抓取质量特征图的真值

宽度特征图的真值

高度特征图的真值

第一角度特征图的真值

和第二角度特征图的真值

构建如下。首先对

进行初始化，它们的尺寸均为300×300，所有像素点的值用0初始化。对于每张RGB-D图像的每个人工标注的抓取矩形来说，以抓取矩形的中心点为中心，以抓取矩形宽度和高度的1/3为新的宽和高，构建抓取矩形对应的矩形区域，并对

中与该矩形区域相对应的区域内的像素点用1赋值；待该RGB-D图像的所有人工标注的抓取矩形都处理完成后，得到该RGB-D图像对应的抓取质量特征图的真值

对于每张RGB-D图像的每个人工标注的抓取矩形来说，以抓取矩形的中心点为中心，以抓取矩形宽度的1/2和抓取矩形的高度为新的宽和高，构建抓取矩形对应的矩形区域，并对

中与该矩形区域相对应的区域内的像素点，用抓取矩形的w、h以及cos(2θ)和sin(2θ)分别进行赋值；待该RGB-D图像的所有人工标注的抓取矩形都处理完成后，得到该RGB-D图像对应的宽度特征图的真值

高度特征图的真值

第一角度特征图的真值

和第二角度特征图的真值

上述双通路卷积神经网络的训练过程采用Adam优化器，其损失函数如公式(2)所示：

其中，L_loss为双通路卷积神经网络在训练时获取的损失值，N为双通路卷积神经网络在训练时的训练样本总数，Q_i、W_i、H_i、C_i、S_i为基于第i个训练样本，双通路卷积神经网络输出的抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图，

为第i个训练样本对应的抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图的真值，i＝1,2,…,N。

采用本发明能够使得服务机器人抓取检测在保证较好实时性的同时，实现较好的准确性，为服务机器人在家庭、办公等环境下的抓取检测提供技术支持，实现较好的技术效果。

本发明第二实施例的一种基于双通路卷积神经网络的服务机器人抓取检测系统，如图2所示，包括：获取模块100、检测模块200、调整模块300、编码模块400、解码模块500、抓取检测模块600；

所述获取模块100，配置为服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

所述检测模块200，配置为基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

所述调整模块300，配置为将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

所述编码模块400，配置为通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

所述解码模块500，配置为通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；其中，Q、W、H、C、S分别为以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、高度、2倍朝向角的余弦值、2倍朝向角的正弦值构建的特征图；

所述抓取检测模块600，配置为基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测。

所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于双通路卷积神经网络的服务机器人抓取检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于双通路卷积神经网络的服务机器人抓取检测方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于双通路卷积神经网络的服务机器人抓取检测方法。

所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，该方法包括：

步骤S10，服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

步骤S20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

步骤S30，将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

步骤S40，通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

步骤S50，通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；

步骤S60，基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；

其中，Q、W、H、C、S分别为以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、高度、2倍朝向角的余弦值、2倍朝向角的正弦值构建的特征图。

2.根据权利要求1所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，步骤S30中“将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域”，其方法为：通过双线性插值法将所述第一深度图像区域、所述第一灰度图像区域调整至设定的尺寸，得到第二深度图像区域、第二灰度图像区域。

3.根据权利要求2所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，所述双通路卷积神经网络包括双分支的编码器以及解码器；所述编码器基于深度可分离卷积层构建；所述解码器基于级联的全局反卷积模块以及五个标准卷积构建。

4.根据权利要求3所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，步骤S60中“通过预设的第一方法得到最佳抓取矩形”，其方法为：

选取抓取质量特征图中最大抓取质量评价值所对应的像素点的位置作为最佳抓取矩形的中心位置；

获取第一角度特征图、第二角度特征图在所述中心位置处的对应取值，并通过预设的第二方法得到最佳抓取矩形的朝向角；

获取宽度特征图、高度特征图在所述中心位置处的对应取值，作为最佳抓取矩形的宽、高；

综合所述中心位置、所述朝向角、所述宽、高，得到最佳抓取矩形。

5.根据权利要求4所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，“通过预设的第二方法得到最佳抓取矩形的朝向角”，其方法为：

其中，θ^*表示最佳抓取矩形的朝向角，(u^*,v^*)表示最佳抓取矩形的中心位置，

分别表示第一角度特征图、第二角度特征图在(u^*,v^*)处的对应取值。

6.根据权利要求5所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，所述双通路卷积神经网络的损失函数为：

其中，L_loss为双通路卷积神经网络在训练时获取的损失值，N为双通路卷积神经网络在训练时的训练样本总数，Q_i、W_i、H_i、C_i、S_i为基于第i个训练样本，双通路卷积神经网络输出的抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图，

为第i个训练样本对应的抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图的真值，i＝1,2,…,N。

7.一种基于双通路卷积神经网络的服务机器人抓取检测系统，其特征在于，该系统包括：获取模块、检测模块、调整模块、编码模块、解码模块、抓取检测模块；

所述获取模块，配置为服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

所述检测模块，配置为基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

所述调整模块，配置为将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

所述编码模块，配置为通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

所述解码模块，配置为通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；其中，Q、W、H、C、S分别为以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、高度、2倍朝向角的余弦值、2倍朝向角的正弦值构建的特征图；

所述抓取检测模块，配置为基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测。

8.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-6任一项所述的基于双通路卷积神经网络的服务机器人抓取检测方法。

9.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于双通路卷积神经网络的服务机器人抓取检测方法。

Images