CN109807887B - 基于深度神经网络的柔性臂智能感知与控制方法和系统 - Google Patents

Abstract

本发明提供一种基于深度神经网络的柔性臂智能感知与控制方法和系统，通过采集训练样本对深度神经网络进行训练，得到训练网络；使用训练网络对采集的目标图片进行柔性臂姿态学习，根据得到的柔性臂控制结果对柔性臂进行操控。本发明针对复杂的环境信息，设计了目标定位深度神经网络。针对柔性臂复杂的运动学模型，设计了运动学模型解算神经网络。分别采集数据对网络进行训练学习，得到有效的计算模型用于柔性臂的操控任务,能够提高空间机动平台对非合作目标跟踪识别的精度以及控制能力，实现监控区域的实时感知能力，在空间在轨服务、无人监控系统领域中均可有广泛的应用。

Description

基于深度神经网络的柔性臂智能感知与控制方法和系统

技术领域

本发明涉及计算机视觉与深度学习技术领域，具体地，涉及一种基于深度神经网络的柔性臂智能感知与控制方法和系统。

背景技术

为了帮助或替代人完成各种多样化的任务，智能机器人近年来受到广泛关注与发展。在灾害救援以及空间在轨服务这类高危活动中，使用机器人的意义尤为重要。因为在这类任务中，使用机器人能够有效降低操作人员的危险性。智能机器人的种类较多，在空间在轨服务任务中，机械臂被广泛应用。例如加拿大空间站机械臂系统(SSRMS)，日本宇宙航空研究开发机构(JAXA)工程测试卫星ETS-VII以及美国国防高级研究计划局(DARPA)的轨道快车项目等。目前，大部分机械臂是刚性的，刚体机器人是指机器人的身体部件以及连接关节均是刚性的。刚性机械臂由于精准的电机控制技术能够高效地完成多种特定的任务，然而，刚性机械臂普遍缺乏环境适应性，极大限制了机械臂的应用能力。

近年来，柔性机器人逐渐进入人们的视野，与刚性机器人相对，柔性机器人的部件全部或部分由弹性模量较小的材料构成，这类机器人的好处在于其柔性较高，能够较好地适应多种复杂环境，其弹性的表面也能够带来较好的安全性。目前柔性臂常采用气体驱动器或其他新型柔性材料，使得柔性臂拥有比较灵活的运动能力。而与此同时，柔性臂的构型为操控带来难点，传统针对刚性机械臂的有效控制手段将不适用。目前，大部分研究工作的控制方法比较初步，一般都是采用开环的方式，人为设置运动指令来控制柔性臂的运动，但是这样的操控方法在应用中很有局限性，因为在灾害救援以及空间在轨服务中对柔性臂的自主性要求较高，需要其自主发现目标，并对目标进行操作，以便能够自动地完成各项功能要求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度神经网络的柔性臂智能感知与控制方法和系统。

根据本发明提供的一种基于深度神经网络的柔性臂智能感知与控制方法，包括：

训练步骤：采集训练样本，通过训练样本对深度神经网络进行训练，得到训练网络；

测试步骤：采集目标图片，使用训练网络对目标图片进行柔性臂姿态学习，得到柔性臂控制结果，根据柔性臂控制结果对柔性臂进行操控。

优选地，所述训练步骤包括：

定位训练步骤：采集目标定位训练样本，使用目标定位训练样本，对目标定位深度神经网络进行训练，对输入的图像数据中获取目标在图像中所处的目标位置，得到第一网络；

姿态训练步骤：采集目标运动学模型解算训练样本，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，根据目标位置计算执行机构SMA的执行长度，得到第二网络。

优选地，所述测试步骤包括：

第一网络采集步骤：采集现场图片，将现场图片输入第一网络，通过第一网络获取目标在图像中所处的目标位置；

坐标变换步骤：将目标位置进行坐标变换，得到目标在世界坐标系下的三维坐标；

第二网络计算步骤：根据三维坐标，确定柔性臂姿态，将柔性臂姿态输入第二网络，通过第二网络得到执行机构SMA的执行长度；

柔性臂操控步骤：根据得到的执行机构SMA的执行长度，对指定执行机构SMA进行通电，操控柔性臂。

优选地，所述第一网络采用卷积神经网络；

所述对目标定位深度神经网络进行训练选用的损失函数包括坐标误差、交并比误差和分类误差。

根据本发明提供的一种基于深度神经网络的柔性臂智能感知与控制系统，包括：

训练模块：采集训练样本，通过训练样本对深度神经网络进行训练，得到训练网络；

测试模块：采集目标图片，使用训练网络对目标图片进行柔性臂姿态学习，得到柔性臂控制结果，根据柔性臂控制结果对柔性臂进行操控。

优选地，所述训练模块包括：

定位训练模块：采集目标定位训练样本，使用目标定位训练样本，对目标定位深度神经网络进行训练，对输入的图像数据中获取目标在图像中所处的目标位置，得到第一网络；

姿态训练模块：采集目标运动学模型解算训练样本，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，根据目标位置计算执行机构SMA的执行长度，得到第二网络。

优选地，所述测试模块包括：

第一网络采集模块：采集现场图片，将现场图片输入第一网络，通过第一网络获取目标在图像中所处的目标位置；

坐标变换模块：将目标位置进行坐标变换，得到目标在世界坐标系下的三维坐标；

第二网络计算模块：根据三维坐标，确定柔性臂姿态，将柔性臂姿态输入第二网络，通过第二网络得到执行机构SMA的执行长度；

柔性臂操控模块：根据得到的执行机构SMA的执行长度，对指定执行机构SMA进行通电，操控柔性臂。

优选地，所述第一网络采用卷积神经网络；

所述对目标定位深度神经网络进行训练选用的损失函数包括坐标误差、交并比误差和分类误差。

与现有技术相比，本发明具有如下的有益效果：

1、本发明针对空间柔性臂，基于计算机视觉与深度学习理论，实现了自主智能操控；

2、本发明通过包含目标的图像作为感知信号，解算出控制信号控制柔性臂单元的运动，能够提高空间机动平台对非合作目标跟踪识别的精度以及控制能力，实现监控区域的实时感知能力，在空间在轨服务、无人监控系统领域中均可有广泛的应用。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为柔性臂坐标系几何示意图；

图2为本发明感知与控制系统框图；

图3为目标定位深度神经网络结构参数示意图；

图4为本发明运算流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

针对上述问题，为了使柔性臂能够准确自主地完成各项功能要求，本发明使用了深度神经网络构建起柔性臂的感知系统与控制系统，研究对象是一种柔性臂，其驱动器采用柔性较高的形状记忆合金(SMA)弹簧。研究对象的主体结构包含上下对称的两部分由3D打印制成，此外使用了三条SMA弹簧作为执行机构，执行机构通过通电加热控制，当温度升高，SMA弹簧丝将缩短。通过控制三条SMA的通电，柔性臂能够实现弯曲以及扭转动作。在柔性臂顶端，还装有一个微型摄像头，供采集环境信息用。通过摄像头输入包含目标的图像作为感知信号，输出控制信号控制执行机构SMA的运动。

根据本发明提供的一种基于深度神经网络的柔性臂智能感知与控制方法，包括：

训练步骤：采集训练样本，通过训练样本对深度神经网络进行训练，得到训练网络；

测试步骤：采集目标图片，使用训练网络对目标图片进行柔性臂姿态学习，得到柔性臂控制结果，根据柔性臂控制结果对柔性臂进行操控。

具体地，所述训练步骤包括：

定位训练步骤：采集目标定位训练样本，使用目标定位训练样本，对目标定位深度神经网络进行训练，对输入的图像数据中获取目标在图像中所处的目标位置，得到第一网络；优选地，采集目标定位训练样本，其样本数据为摄像头采集的图片，标签为目标在图像中的位置坐标。采集目标运动学模型解算训练样本，其样本数据为形状记忆合金(SMA)的长度，标签为柔性臂的运动姿态。

姿态训练步骤：采集目标运动学模型解算训练样本，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，根据目标位置计算执行机构SMA的执行长度，得到第二网络。优选地，使用目标定位训练样本，对目标定位深度神经网络进行训练，该网络输入是图像数据，输出是目标在图像内边界框，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，该网络输入是柔性臂的运动姿态，输出是SMA的长度。

具体地，所述测试步骤包括：

第一网络采集步骤：采集现场图片，将现场图片输入第一网络，通过第一网络获取目标在图像中所处的目标位置；优选地，所述现场图片通过摄像头进行采集。

坐标变换步骤：将目标位置进行坐标变换，得到目标在世界坐标系下的三维坐标；

第二网络计算步骤：根据三维坐标，确定柔性臂姿态，将柔性臂姿态输入第二网络，通过第二网络得到执行机构SMA的执行长度；优选地，确定柔性臂姿态还需要通过任务需求进行设定。

柔性臂操控步骤：根据得到的执行机构SMA的执行长度，对指定执行机构SMA进行通电，操控柔性臂。

具体地，所述第一网络采用卷积神经网络；在卷积神经网络中，输入对应于摄像头采集图像，输出对应于目标物体在图像中的位置，首先使用ImageNet数据集对网络参数进行预训练，随后在所采集的数据集中训练，得到最终的网络。之后，采用多层感知机结构，输入对应机器人的运动姿态，输出对应机器人执行机构的控制信号。

在使用目标运动学模型解算训练样本中，采集的数据通过运动学模型计算生成，选取不同的SMA长度值(l₁,l₂,l₃)，由方程组计算得到柔性臂的姿态，每一次不同的选值便可得到一组数据，采集多组数据后，用于之后的神经网络训练。

所述对目标定位深度神经网络进行训练选用的损失函数包括坐标误差、交并比误差和分类误差。

根据本发明提供的一种基于深度神经网络的柔性臂智能感知与控制系统，包括：

训练模块：采集训练样本，通过训练样本对深度神经网络进行训练，得到训练网络；

测试模块：采集目标图片，使用训练网络对目标图片进行柔性臂姿态学习，得到柔性臂控制结果，根据柔性臂控制结果对柔性臂进行操控。

具体地，所述训练模块包括：

定位训练模块：采集目标定位训练样本，使用目标定位训练样本，对目标定位深度神经网络进行训练，对输入的图像数据中获取目标在图像中所处的目标位置，得到第一网络；

姿态训练模块：采集目标运动学模型解算训练样本，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，根据目标位置计算执行机构SMA的执行长度，得到第二网络。

具体地，所述测试模块包括：

第一网络采集模块：采集现场图片，将现场图片输入第一网络，通过第一网络获取目标在图像中所处的目标位置；

坐标变换模块：将目标位置进行坐标变换，得到目标在世界坐标系下的三维坐标；

第二网络计算模块：根据三维坐标，确定柔性臂姿态，将柔性臂姿态输入第二网络，通过第二网络得到执行机构SMA的执行长度；

柔性臂操控模块：根据得到的执行机构SMA的执行长度，对指定执行机构SMA进行通电，操控柔性臂。

具体地，所述第一网络采用卷积神经网络；

所述对目标定位深度神经网络进行训练选用的损失函数包括坐标误差、交并比误差和分类误差。

本发明提供的基于深度神经网络的柔性臂智能感知与控制系统，可以通过基于深度神经网络的柔性臂智能感知与控制方法的步骤流程实现。本领域技术人员可以将基于深度神经网络的柔性臂智能感知与控制方法理解为所述基于深度神经网络的柔性臂智能感知与控制系统的优选例。

本发明的感知与控制包括目标定位与运动学模型解算两个模块，这两个模块功能相互独立，具体而言，目标定位的任务是从图像中获取目标在图像中所处的位置，而运动学模型的解算则是从目标位置根据运动学模型计算出执行机构SMA的长度。

以下结合附图对本发明的优选例做进一步阐述。

首先介绍该实例的研究对象，如图1所示，图中机构的上半部分，由3D打印制成，该部分的顶端中心即为柔性臂的末端中心点。相类似的，图中机构的下半部分，由相同方式制成，为柔性臂的底端。上下部分的连接处可自由旋转，仅通过空心软管保证上下不分不会脱开。此外，该柔性臂使用了三条SMA弹簧作为执行机构，分别为图中所示的

与

该执行机构通过通电加热控制，当温度升高，SMA弹簧丝将缩短。通过上述的机构布局以及执行机构的运动特性，该柔性臂具备弯曲以及扭转的能力。在柔性臂顶端，还装有一个微型摄像头，供采集环境信息用。针对该机器人的感知与控制任务是感知目标，将柔性臂末端对准目标物体(即末端法向量指向目标物体)，以供后续末端机构(例如手爪等)操作。

如图2所示，在上述所描述的机器人系统中，本发明设计了目标定位与基于运动学模型解算的部分。目标定位的任务是从图像中获取目标在图像中所处的位置，而运动学模型解算则是从目标位置根据运动学模型计算出执行机构SMA的长度。实施步骤如下：

步骤1，采集目标定位训练样本，其样本数据为摄像头采集的图片，标签为目标在图像中的位置坐标。利用摄像头设备对各种环境中、各个姿态的目标进行拍摄。采集到图像之后，需要对训练样本标记目标的真值框。

步骤2，采集目标运动学模型解算训练样本，其样本数据为SMA的长度，标签为柔性臂的运动姿态。该样本通过柔性臂机构运动学性质生成。由几何关系推导柔性臂的运动学模型。机构上半部分SMA驱动弹簧连接点用字母T_i(X_i,Y_i,Z_i),i＝1,2,3来表示，机构下半部分SMA驱动弹簧连接点各点用B_i,i＝1,2,3来表示，其中l₀表示机构顶面和底面三叉型分支中各支的长度，l则表示机构上半部分和下半部分中轴的长度。驱动弹簧用符号l_i,i＝1,2,3来表示，其中l_i表示连接B_iT_i的SMA。

根据各坐标点的几何约束关系，可得到柔性操控臂柔性单元的运动学模型方程组，如下式所示：

采集的数据通过上述运动学模型计算生成。选取不同的SMA长度值(l₁,l₂,l₃)，可以由方程组计算得到柔性臂的姿态。每一次不同的选值便可得到一组数据，采集多组数据后，用于之后的神经网络训练。

步骤3，使用目标定位训练样本，对目标定位深度神经网络进行训练，该网络输入是图像数据，输出是目标在图像内边界框，记该网络为网络1。网络1采用卷积神经网络，具体网络结构参数如图3所示。训练所选用的损失函数由三部分组成，分别为：坐标误差、交并比误差和分类误差。

坐标误差coordErr表示预测框与误差框坐标位置的差异，即四维向量预测值

与真值(x,y,w,h)之间的距离误差，该距离误差定义采用均方和误差的形式，具体如下：

交并比误差iouErr衡量的是预测框与误差框的重合程度，其计算方式是预测框与误差框交的面积除以并的面积。

分类误差clsErr是衡量算法的分类误差，这是考虑了算法需要对目标进行识别。算法的分类器使用了逻辑斯谛回归，计算得到的类别概率后使用交叉熵作为损失函数。

综上所述，算法网络的联合损失函数如下：

loss＝λ_coord·coordErr+λ_iou·iouErr+λ_cls·clsErr

其中λ_coord，λ_iou与λ_cls分别为三个损失的权重。

在训练过程中，首先使用ImageNet数据集对网络参数进行预训练，随后在步骤1所采集的数据集中训练，得到最终的网络。

步骤4，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，该网络输入是柔性臂的运动姿态，输出是SMA的长度，记该网络为网络2。该网络结构采用三层多层感知机结构，其输入节点数为3，对应目标世界坐标系坐标，这是由于目标在世界坐标系坐标是柔性臂末端想要抵达的位置。输出节点数为3，对应三个SMA的长度。隐层节点数量选为5。

步骤5，摄像头采集图片，使用网络1得到目标在图像内的位置。在实际应用过程中，柔性臂利用摄像头与训练好的网络1感知目标物体。摄像头采集图片后，将图片作为输入通过网络1计算可得到目标在图像内的位置。

步骤6，利用相机坐标变换，将目标在图像坐标系中的二维坐标转化为目标在世界坐标系的三维坐标。图像坐标系与世界坐标系中经过了相机成像的一个变换，该相机成像的变换在给定相机的情况下是固定的，被称为相机的内参矩阵：

其中，f_x，f_y为焦距，一般情况下，两者相等；x₀，y₀为主点坐标(即成像原点，与实际的图像坐标系原点有个偏移)；s为坐标轴倾斜参数。

相机还有外参矩阵，该矩阵的物理意义是世界坐标系与相机体坐标系的变换，换言之与相机安装位置和世界坐标系定义有关，外参矩阵包括旋转矩阵R_3×3和平移向量T_3×1。

设目标点在世界坐标系中的坐标为

在相机体坐标系中的坐标为

在图像坐标系平面坐标为(u^t,v^t)。有下列关系：

相机的内外参矩阵K，R_3×3，T_3×1需要事先标定，可通过张正友标定法计算得到。通过上述推导可以实现图像坐标系与世界坐标系的转换。

步骤7，根据任务需求，以及得到的目标三维坐标，可以确定柔性臂的运动姿态。将该运动姿态输入网络2得到SMA的长度。本实施例中的任务是使得柔性臂末端对准目标物体，运动姿态描述选定为目标三维坐标。将步骤6计算得到的三维坐标输入网络2，通过计算可得到SMA的长度l_i,i＝1,2,3。计算结果的三个量将作为控制指令，控制SMA达到指定的长度。

步骤8，根据计算得到的结果对指定SMA通电。完成操控任务。该步骤需要底层控制器的计算，依据SMA电流、时间、长度三个量的动态关系，施加电流控制目标SMA达到指定长度。

本实施例提供了基于深度神经网络和三维视觉的柔性臂智能感知与控制方法，其总体运算流程图如图4所示。针对SMA驱动的柔性臂实物，采用两个神经网络分别对复杂环境与柔性臂自身的强非线性模型进行拟合。通过样本学习，能够有效构建出上述复杂的关系。此外结合三维视觉，本智能感知与控制方法能够实现被控对象的智能自主化运动。所提出的算法适应范围广，可以针对多种复杂的柔性机器人，只需采集足够的训练样本，便可使用本方法进行训练与应用。同时，在应用中只需计算已训练好的神经网络，能够满足实际工程的实时性需求。本方法可以在机器人操控领域广泛应用，为目前缺乏有效控制手段的柔性机器人领域提供重要的技术支持。

本发明提出了一种新的柔性臂智能感知与控制算法，利用深度神经网络去拟合复杂的模型关系，并利用三维视觉的方法，仅根据二维图像输入信息就能够解算出操控柔性臂的控制信号。针对复杂的环境信息，设计了目标定位深度神经网络。针对柔性臂复杂的运动学模型，设计了运动学模型解算神经网络。分别采集数据对网络进行训练学习，便可得到有效的计算模型用于柔性臂的操控任务。本发明的目的在于针对复杂环境，以及被控对象建模困难的情形，设计一个合理有效的感知与控制算法。该算法利用了深度学习以及其他人工智能技术，使用深度神经网络进行建模，实现了柔性臂对外部环境的感知以及完成指定任务。本发明作为一个基于深度神经网络的智能感知与控制框架，能够达到实时计算的性能要求。对于柔性臂这类难以建模的被控对象，本方法可以有效规避数学建模，使用神经网络建模拟合的方式完成各项任务。从而为柔性臂在实际应用中提供了重要的技术支持。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种基于深度神经网络的柔性臂智能感知与控制方法，其特征在于，包括:

训练步骤：采集训练样本，通过训练样本对深度神经网络进行训练，得到训练网络；

测试步骤：采集目标图片，使用训练网络对目标图片进行柔性臂姿态学习，得到柔性臂控制结果，根据柔性臂控制结果对柔性臂进行操控；

所述测试步骤包括：

第一网络采集步骤：采集现场图片，将现场图片输入第一网络，通过第一网络获取目标在图像中所处的目标位置；

坐标变换步骤：将目标位置进行坐标变换，得到目标在世界坐标系下的三维坐标；

第二网络计算步骤：根据三维坐标，确定柔性臂姿态，将柔性臂姿态输入第二网络，通过第二网络得到执行机构SMA的执行长度；

柔性臂操控步骤：根据得到的执行机构SMA的执行长度，对指定执行机构SMA进行通电，操控柔性臂。

2.根据权利要求1所述的基于深度神经网络的柔性臂智能感知与控制方法，其特征在于，所述训练步骤包括：

定位训练步骤：采集目标定位训练样本，使用目标定位训练样本，对目标定位深度神经网络进行训练，对输入的图像数据中获取目标在图像中所处的目标位置，得到第一网络；

姿态训练步骤：采集目标运动学模型解算训练样本，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，根据目标位置计算执行机构SMA的执行长度，得到第二网络。

3.根据权利要求2所述的基于深度神经网络的柔性臂智能感知与控制方法，其特征在于，所述第一网络采用卷积神经网络；

所述对目标定位深度神经网络进行训练选用的损失函数包括坐标误差、交并比误差和分类误差。

4.一种基于深度神经网络的柔性臂智能感知与控制系统，其特征在于，包括:

训练模块：采集训练样本，通过训练样本对深度神经网络进行训练，得到训练网络；

测试模块：采集目标图片，使用训练网络对目标图片进行柔性臂姿态学习，得到柔性臂控制结果，根据柔性臂控制结果对柔性臂进行操控；

所述测试模块包括：

第一网络采集模块：采集现场图片，将现场图片输入第一网络，通过第一网络获取目标在图像中所处的目标位置；

坐标变换模块：将目标位置进行坐标变换，得到目标在世界坐标系下的三维坐标；

第二网络计算模块：根据三维坐标，确定柔性臂姿态，将柔性臂姿态输入第二网络，通过第二网络得到执行机构SMA的执行长度；

柔性臂操控模块：根据得到的执行机构SMA的执行长度，对指定执行机构SMA进行通电，操控柔性臂。

5.根据权利要求4所述的基于深度神经网络的柔性臂智能感知与控制系统，其特征在于，所述训练模块包括：

定位训练模块：采集目标定位训练样本，使用目标定位训练样本，对目标定位深度神经网络进行训练，对输入的图像数据中获取目标在图像中所处的目标位置，得到第一网络；

姿态训练模块：采集目标运动学模型解算训练样本，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，根据目标位置计算执行机构SMA的执行长度，得到第二网络。

6.根据权利要求5所述的基于深度神经网络的柔性臂智能感知与控制系统，其特征在于，所述第一网络采用卷积神经网络；

所述对目标定位深度神经网络进行训练选用的损失函数包括坐标误差、交并比误差和分类误差。

Images