CN107053168A - 一种基于深度学习网络的目标识别方法及带电作业机器人 - Google Patents

Abstract

本发明提出一种基于深度学习网络的目标识别方法及带电作业机器人，初始化卷积神经网络中各层的权值和偏置，输入二维图像数据，进行卷积处理获得C1层数据；对C1层数据进行最大池化处理，减小数据的大小，获得S2层数据；对S2层数据进行卷积处理，获得C3层数据；对C3层数据进行最大池化处理，进一步减小数据大小，获得S4层数据；对S4层数据进行卷积处理，形成C5层数据；将C5层数据作为输入，与H6层完全连接，输出层与H6层完全连接，输出对目标特征的学习结果；运用反向传播算法进行权值和偏置的微调，完成网络的学习。本发明在复杂背景下，目标识别率高，鲁棒性好。

Description

一种基于深度学习网络的目标识别方法及带电作业机器人

技术领域

本发明涉及带电作业机器人目标识别领域，尤其涉及一种基于深度学习网络的目标识别方法及带电作业机器人。

背景技术

将带电作业机器人引入到电力产业中，代替人工进行电力维护检修工作，可以有效避免带电作业时人员伤亡事故的发生，并且能极大提高电力行业的作业效益。目前，带电作业机器人主要采用主从机械臂的遥操作方法，作业人员通过主操作手遥控从机械臂，其人身安全在一定程度上获得保障。但具有如下缺点：一、要求作业人员有较高的技术熟练度，这意味着要对操作员进行严格专业的训练，消耗人力物力，效率也不高。二、人工主从操作步骤繁琐，作业缓慢。三、操作过程的容错率低，可能损毁机械臂，甚至影响作业进度。

具有自主作业能力的机器人能够克服主从操作的缺点。机器人自主作业要求其具有识别作业对象的能力。现有的识别方法都是浅层结构，从数据的统计特性出发，提出各种各样的特征提取方法。这些方法具有高度的数据依赖性，在对象处于复杂背景下往往识别的正确率不高。

1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野的概念，1984年日本学者Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。卷积神经网络是深度学习网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。在卷积神经网络中，图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。而且这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

发明内容

本发明提出一种基于深度学习网络的目标识别方法及带电作业机器人，在复杂背景下，目标识别率高，鲁棒性好。

为了解决上述技术问题，本发明提供一种基于深度学习网络的目标识别方法，步骤如下：

步骤1，收集作业对象的图片，建立目标数据库；

步骤2，将目标数据库分为训练集、测试集；

步骤3，初始化卷积神经网络中各层的权值和偏置，输入二维图像数据，进行卷积处理获得C1层数据；

步骤4，对C1层数据进行最大池化处理，减小数据的大小，获得S2层数据；

步骤5，对S2层数据进行卷积处理，获得C3层数据；

步骤6，对C3层数据进行最大池化处理，进一步减小数据大小，获得S4层数据；

步骤7，对S4层数据进行卷积处理，形成C5层数据；

步骤8，将C5层数据作为输入，与H6层完全连接，输出层与H6层完全连接，输出对目标特征的学习结果；

步骤9，运用反向传播算法进行权值和偏置的微调，完成网络的学习。

进一步，步骤3中，卷积神经网络中，同一层上的神经元共享权值和偏置；输入层二维图像先与滤波器进行卷积，然后通过非线性函数激活，从而获得C1层数据。

进一步，所述非线性函数为双曲正切函数。

进一步，步骤9中，根据步骤8的输出数据与理想输出的差，按照极小化代价函数的方法反向传播调整每一层的权值和偏置。

进一步，反向传播中使用的代价函数为：

其中，E表示代价函数，y表示输出层输出数据，t表示理想输出，||·||₂表示2范数运算。

使用前述目标识别方法的带电作业机器人包括绝缘斗臂车，搭载在绝缘斗臂车上的机器人平台，安装在机器人平台上的机械臂，还包括数据采集系统以及数据处理和控制系统；所述数据采集系统包括设置在机器人平台上的摄像机，摄像机用于采集机械臂作业场景图像，并将所述作业场景图像发送给数据处理和控制系统；所述数据处理和控制系统根据所述作业场景图像生成3D虚拟作业场景或者规划出机械臂空间路径。

进一步，数据处理和控制系统根据所述作业场景图像获取机械臂与作业对象之间的相对位置关系，根据所述相对位置关系和带电作业内容规划机械臂的空间路径，根据所述空间路径控制机械臂动作以完成带电作业。

进一步，所述数据处理和控制系统包括第一工控机、第二工控机，第二工控机内置图像处理器和带电作业动作序列库，所述带电作业动作序列库中预先存储有各项带电作业对应的动作序列数据；所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的机械臂与作业对象之间的相对位置关系，第二工控机所述相对位置关系以及具体带电作业所对应的动作序列规划机械臂的空间路径，并将所述机械臂的空间路径数据发送给第一工控机；第一工控机根据所述机械臂的空间路径控制机械臂动作。

进一步，所述绝缘斗臂车上设置有控制室，所述数据处理和控制系统包括第一工控机、第二工控机、显示屏和主操作手，第二工控机内置图像处理器，显示屏和主操作手位于控制室内；主操作手与机械臂为主从操作关系，通过改变主操作手的姿态控制机械臂运动；所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的3D虚拟作业场景，并送显示器显示。

进一步，所述机械臂或者主操作手为六自由度机构，包括基座，旋转轴方向与基座平面垂直的腰关节，与腰关节连接的肩关节，与肩关节连接的大臂，与大臂连接的肘关节，与肘关节连接的小臂，与小臂连接的腕关节，腕关节由三个旋转关节组成，分别为腕俯仰关节、腕摇摆关节和腕旋转关节；所述六自由度机构中各个关节均具有相应的正交旋转编码器和伺服驱动电机，正交旋转编码器用于采集各个关节的角度数据，伺服驱动电机用于控制各关节的运动；第一工控机根据机械臂各关节角度的期望值，通过控制伺服驱动电机控制按机械臂各关节运动。

本发明与现有技术相比，其显著优点在于：

(1)本发明采用卷积神经网络对目标特征进行学习，通过反复训练获得待识别的对象的特征向量；有别于基于颜色的识别方法，卷积神经网络能够学习到目标更深层次的特征信息，从而对颜色特征不明显的设备零件，如螺栓，以及对有特殊形状的绝缘柱等都具有较好的识别性能；通过丰富目标数据库，涵盖目标在不同光照条件的图片信息，使得本发明方法对光照变化具有较强的鲁棒性；

(2)本发明采用多特征联合判断的方法，卷积神经网络学习后获得多维特征向量，能够大大减少误识别的发生。

附图说明

图1为本发明基于深度学习网络的目标识别方法原理图。

图2为最大池化原理示意图。

图3为使用本发明所述目标识别方法的带电作业机器人的一种实施例的整体结构示意图；

图4为本发明中带电作业机器人绝缘斗臂车的系统组成框图；

图5为本发明中机器人平台的结构示意图；

图6为本发明中机械臂的结构示意图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于深度学习网络的目标识别方法及带电作业机器人的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

结合附图，一种基于深度学习网络的带电作业机器人目标识别方法，包括以下步骤：

步骤1，收集作业对象的图片，建立目标数据库。作业对象的图片来源于网络和实地拍摄。

步骤2，将目标数据库分为训练集、测试集。前者用于网络的训练，后者用于网络识别能力的测试。

步骤3，初始化卷积神经网络中各层的权值和偏置，同一层上的神经元共享权值和偏置，从而减少网络中自由参数的个数，降低网络参数训练的复杂度。卷积神经网络的输入层为二维图像，二维图像与滤波器进行卷积，然后通过非线性函数f(·)激活，获得C1层数据。激活函数是模拟大脑神经元对刺激的反应，常用的非线性激活函数有Sigmoid函数、双曲正切函数、ReLu(Rectified Linear Units)函数。本发明使用双曲正切函数，其表达式为：

x为双曲正切函数的中的常规变量。

经过激活函数激活后的输出为：

其中，是对应第l个卷积层的第i个输出数据；K_ji是相应位置的滤波器参数，符号表示离散卷积算子，b_i是偏置量，表示第l个卷积层的神经元序号。

步骤4，对C1层数据进行最大池化处理，也就是进行下采样处理，减小数据的大小，获得S2层数据。最大池化是将卷积获得的特征向量在不同位置进行基于最大值的聚合统计。考虑到带电作业背景因素的影响，选择最大池化能够恰当地去除环境干扰，从而优化目标识别性能。

步骤5，将S2层数据与滤波器进行卷积处理，获得C3层数据；

步骤6，将C3层数据进行最大池化处理，进一步减小数据大小，得到S4层数据；

步骤7，将S4层数据进行卷积处理，形成一维的C5层数据；

步骤8，将C5层数据作为输入，与H6层完全连接；输出层与H6层也完全连接，基于softmax回归模型，输出对目标特征的学习结果。

步骤9，反向传播进行权值和偏置的微调，完成网络的学习。根据步骤8的输出数据与理想输出的差，按照极小化代价函数的方法反向传播调整每一层的权值和偏置。理想输出是带有标签的数据，建立目标数据库时同时完成对图像数据的标签工作。反向传播进行微调中使用的代价函数为：

其中，E表示代价函数，y表示输出层输出数据，t表示理想输出，||·||₂表示2范数运算。

反向传播调整权值和偏置的具体过程如下：

步骤9-1，将第l层第i个神经元中产生的残差定义为计算输出层的残差其中，n_l是输出层的序号。

步骤9-2，计算第l采样层的残差。先将第l+1层的残差与全1矩阵进行克罗内克积运算，进行残差矩阵的拓展，原因是采用层对上一层数据进行了下采样处理，数据的维数发生改变，通过克罗内克积运算恢复减小的维数。然后根据残差地推公式计算第l采样层的残差。残差地推公式为：

其中，W^l+1是第l+1的权值组成的矩阵。

步骤9-3，根据残差，计算权值的梯度和偏置的梯度，

权值梯度计算方法为：

偏置梯度计算方法为：

其中，E为代价函数，为第l层第i个神经元关于第j个输入的权值，为第l层第i个神经元的偏置。

逐层向前求代价函数关于权值和偏置的极小值，从而调整权值和偏置，进而完成整个网络参数的调整。

结合附图，带电作业机器人包括绝缘斗臂车1、控制室2、伸缩臂3、机器人平台4。其中，绝缘斗臂车1上架设控制室2和伸缩臂3，伸缩臂3末端连接机器人平台4，机器人平台4与控制室2之间采用光纤以太网通信或者无线网络通信。

绝缘斗臂车1可供操作人员驾驶，从而将机器人平台4运输到作业现场。绝缘斗臂车1上装有支撑腿，支撑腿可以展开，从而将绝缘斗臂车1与地面稳固支撑。绝缘斗臂车1上装有发电机，从而给控制室2及伸缩臂3供电。

伸缩臂3设有沿伸缩方向的驱动装置，操作人员可以通过控制驱动装置，从而将机器人平台4升降到作业高度。该伸缩臂3由绝缘材料制成，用于实现机器人平台4与控制室2的绝缘。在本发明中，伸缩臂3可有由剪叉式升降机构或其他机构代替。

作为一种实施方式，控制室2中设置有第二工控机、显示屏、第一主操作手、第二主操作手、辅助主操作手以及通信模块等。

作为一种实施方式，机器人平台4包括绝缘子46、第一机械臂43、第二机械臂44、辅助机械臂42、第一工控机48、双目摄像头45、全景摄像头41、深度摄像头410、蓄电池49、专用工具箱47、通信模块。

机器人平台4的绝缘子46用于支撑第一机械臂43、第二机械臂44、辅助机械臂42，将这三个机械臂的外壳与机器人平台4绝缘。

蓄电池49为第一工控机48、第一机械臂43、第二机械臂44、辅助机械臂42、全景摄像头41、双目摄像头45、深度摄像头410、通信模块供电。

作为一种实施方式，双目摄像头45一共有三个，分别安装在第一机械臂43、第二机械臂44和辅助机械臂42的腕关节437上，负责采集作业场景的图像数据，并将图像数据发送给第二工控机。双目摄像头45由两个光轴平行的工业相机组成，平行光轴之间的距离固定。

深度摄像头410安装在机器人平台4正对作业场景的侧面，负责采集作业场景的景深数据，将景深数据发送给第二工控机。

全景摄像头41通过支架安装在机器人平台4的上方，负责采集作业场景的全景图像数据，将图像数据发送给第二工控机，并显示在显示器上，作业人员可以通过全景图像监控作业场景。

专用工具箱47是放置抓具、扳手等作业工具的场所。机械臂末端安装有工具快换装置。机械臂根据作业任务的类型到专用工具箱47中使用工具快换装置获取作业工具。

控制室2中第一主操作手、第二主操作手以及辅助主操作手是一种用于人工远程操作机械臂的操作装置，他们与第一机械臂43、第二机械臂44和辅助机械臂42构成主从操作关系。机械臂和主操作手具有相同的结构，只是主操作手尺寸规格比机械臂小，以便于操作人员操作。机械臂和主操作手拥有六个关节，每个关节都有光电编码器采集角度数据，各主操作手的微型控制器通过串口将六个关节的角度数据发送给第二工控机。

作为本发明一个实施例，所述机械臂为六自由度机构，包括基座431，旋转轴方向与基座平面垂直的腰关节432，与腰关节432连接的肩关节433，与肩关节433连接的大臂434，与大臂434连接的肘关节435，与肘关节435连接的小臂436，与小臂436连接的腕关节437，腕关节437由三个旋转关节组成，分别为腕俯仰关节、腕摇摆关节和腕旋转关节；所述六自由度机构中各个关节均具有相应的正交旋转编码器31和伺服驱动电机，正交旋转编码器31用于采集各个关节的角度数据，伺服驱动电机用于控制各关节的运动；第一工控机根据所述机械臂的空间路径解算出各关节的运动角度，控制伺服驱动电机按照所述运动角度控制机械臂各关节运动。

作为一种实施方式，机器人平台4与控制室2之间的数据传输通过光纤有线传输，或者使用无线网络传输。机器人平台4上的通信模块是光纤收发器，光纤收发器用于实现光纤中的光信号与双绞线中的电信号的相互转换，从而在通信上实现机器人平台4与控制室2的电气隔离。控制室2中的通信模块是光纤收发器，光纤收发器用于实现光纤中的光信号与双绞线中的电信号的相互转换，从而在通信上实现机器人平台4与控制室2的电气隔离。

作为一种实施方式，第二工控机可以完成以下任务：

建立动作序列库。预先将各项带电作业任务分解为作用序列，组成动作序列库，存储在第二工控机中，用于机械臂路径规划。

建立作业对象模型库。预先制作各项带电作业任务所涉及的作业对象的三维模型和目标识别模型，例如，根据电力塔杆、电线、耐张绝缘子、隔离刀闸、避雷器等器件实物，制作三维模型和目标识别模型，用于带电作业机器人自动识别作业对象，构建作业场景三维虚拟场景。

建立机械臂和专用工具模型库。预先制作机械臂和专用工具的三维模型和目标识别模型，例如，扳手等，用于带电作业机器人自动构建作业场景三维虚拟场景，规划机械臂空间路径。

获取图像数据。获取全景图像、深度图像和双目图像的数据信息。

根据图像数据识别和跟踪作业目标。

获取主操作手的角度、角速度和角加速度数据，获取机械臂的角度、角速度和角加速度数据。

对相关图像数据进行处理和计算，获取机械臂位置，获取作业对象的位置，获取机械臂与作业对象之间的相对位置，并根据相对位置和作业任务规划机械臂的空间路径。

根据图像数据构建作业对象三维场景，根据机械臂角度信息和作业对象三维场景获得机械臂与作业对象的相对位置，并根据相对位置和作业任务规划机械臂的空间路径。

对相关图像数据进行处理和计算，构建3D虚拟作业场景，送显示器显示，操作人员根据3D虚拟作业场景监控作业过程。与全景图像相比，3D虚拟作业场景综合和深度图像信息和双目图像信息，对机器臂与作业对象之间、机械臂之间、作业对象与作业环境之间的相对位置的判断更精确，且不会存在视觉死角。因此，操作人员通过3D虚拟作业场景进行作业监控，操作精度更高，可以防止碰撞发生，提高了安全性。同时，3D虚拟作业场景显示在控制室2中的显示器上，远离机械臂作业现场，提高了人作业人员的人身安全。

作为一种实施方式，第一工控机可以完成以下任务：

根据第二工控机发送的主操作手各关节的角度信息，控制机械臂各关节的运动。

获取第二工控机发送的机械臂的空间路径数据，根据作业任务的动作序列，解算出机械臂各关节的角度数据运动量，并控制机械臂各关节运动。

本发明中，第一机械臂和第二机械臂相互配合，可以模仿人的两个手的作业顺序完成带电作业。考虑到灵活性，可以再增加一个强壮的辅助机械臂，此时，辅助机械臂专司器件夹持等力道大的动作，第一机械臂和第二机械臂则进行相关业务操作。

根据第二工控机和第一工控机完成的不同任务的组合，本发明带电作业机器人既可以由作业人员进行远程摇操作以完成带电作业，又可以进行自主带电作业。在进行带电作业之前，作业人员先通过观察全景图像，将机器人平台4移动至作业对象附近。

如果选择人工远程摇操作，则由第二工控机根据数目图像和深度图像构建3D虚拟作业场景并送显示器显示，作业人员通过3D虚拟作业场景监控操作过程，通过主操作手控制机械臂的动作，以完成带电作业。在此过程中，作业人员改变主操作手姿态后，主操作手中各关节的光电编码器采集各关节角度，各主操作手的微型控制器通过串口将各关节的角度数据发送给第二工控机。第二工控机将主操作手各关节的角度数据作为机械臂各关节角度的期望值发送给第一工控机，第一工控机根据角度期望值通过伺服电机控制机械臂各关节的运动，已完成带电作业。

如果选择自主作业，则由第二工控机根据数目图像和深度图像计算获取作业对象和机械臂之间的相对位置关系，然后依据作业任务所对应的动作序列进行机械臂空间路径规划，并将空间路径发送给第一工控机，第一工控机解算出机械臂各关节需要转动的角度数据作为机械臂各关节角度的期望值，通过伺服电机控制机械臂各关节的运动，已完成带电作业。

Claims (10)

1.一种基于深度学习网络的目标识别方法，其特征在于，步骤如下：

步骤1，收集作业对象的图片，建立目标数据库；

步骤2，将目标数据库分为训练集、测试集；

步骤3，初始化卷积神经网络中各层的权值和偏置，输入二维图像数据，进行卷积处理获得C1层数据；

步骤4，对C1层数据进行最大池化处理，减小数据的大小，获得S2层数据；

步骤5，对S2层数据进行卷积处理，获得C3层数据；

步骤6，对C3层数据进行最大池化处理，进一步减小数据大小，获得S4层数据；

步骤7，对S4层数据进行卷积处理，形成C5层数据；

步骤8，将C5层数据作为输入，与H6层完全连接，输出层与H6层完全连接，输出对目标特征的学习结果；

步骤9，运用反向传播算法进行权值和偏置的微调，完成网络的学习。

2.如权利要求1所述基于深度学习网络的目标识别方法，其特征在于，步骤3中，卷积神经网络中，同一层上的神经元共享权值和偏置；输入层二维图像先与滤波器进行卷积，然后通过非线性函数激活，从而获得C1层数据。

3.如权利要求2所述基于深度学习网络的目标识别方法，其特征在于，所述非线性函数为双曲正切函数。

4.如权利要求1所述基于深度学习网络的目标识别方法，其特征在于，步骤9中，根据步骤8的输出数据与理想输出的差，按照极小化代价函数的方法反向传播调整每一层的权值和偏置。

5.如权利要求4所述基于深度学习网络的目标识别方法，其特征在于，反向传播中使用的代价函数为：

<mrow> <mi>E</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>t</mi> <mo>-</mo> <mi>y</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>,</mo> </mrow>

其中，E表示代价函数，y表示输出层输出数据，t表示理想输出，||·||₂表示2范数运算。

6.使用权利要求1至5所述任意一目标识别方法的带电作业机器人，其特征在于，包括绝缘斗臂车，搭载在绝缘斗臂车上的机器人平台，安装在机器人平台上的机械臂，还包括数据采集系统以及数据处理和控制系统；

所述数据采集系统包括设置在机器人平台上的摄像机，摄像机用于采集机械臂作业场景图像，并将所述作业场景图像发送给数据处理和控制系统；

所述数据处理和控制系统根据所述作业场景图像生成3D虚拟作业场景或者规划出机械臂空间路径。

7.如权利要求6所述带电作业机器人，其特征在于，数据处理和控制系统根据所述作业场景图像获取机械臂与作业对象之间的相对位置关系，根据所述相对位置关系和带电作业内容规划机械臂的空间路径，根据所述空间路径控制机械臂动作以完成带电作业。

8.如权利要求7所述带电作业机器人，其特征在于，所述数据处理和控制系统包括第一工控机、第二工控机，第二工控机内置图像处理器和带电作业动作序列库，

所述带电作业动作序列库中预先存储有各项带电作业对应的动作序列数据；

所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的机械臂与作业对象之间的相对位置关系，第二工控机所述相对位置关系以及具体带电作业所对应的动作序列规划机械臂的空间路径，并将所述机械臂的空间路径数据发送给第一工控机；

第一工控机根据所述机械臂的空间路径控制机械臂动作。

9.如权利要求6所述带电作业机器人，其特征在于，所述绝缘斗臂车上设置有控制室，所述数据处理和控制系统包括第一工控机、第二工控机、显示屏和主操作手，第二工控机内置图像处理器，显示屏和主操作手位于控制室内；主操作手与机械臂为主从操作关系，通过改变主操作手的姿态控制机械臂运动；所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的3D虚拟作业场景，并送显示器显示。

10.如权利要求9所述带电作业机器人，其特征在于，所述机械臂或者主操作手为六自由度机构，包括基座，旋转轴方向与基座平面垂直的腰关节，与腰关节连接的肩关节，与肩关节连接的大臂，与大臂连接的肘关节，与肘关节连接的小臂，与小臂连接的腕关节，腕关节由三个旋转关节组成，分别为腕俯仰关节、腕摇摆关节和腕旋转关节；

所述六自由度机构中各个关节均具有相应的正交旋转编码器和伺服驱动电机，正交旋转编码器用于采集各个关节的角度数据，伺服驱动电机用于控制各关节的运动；

第一工控机根据机械臂各关节角度的期望值，通过控制伺服驱动电机控制按机械臂各关节运动。