CN112733921B - 一种预测刚体6d姿态的神经网络损失函数计算方法及系统 - Google Patents

Abstract

本发明公开了一种预测刚体6D姿态的神经网络损失函数计算方法及系统，包括使用神经网络从6D姿态的刚体图像中获取图像特征；计算图像特征对应的6D姿态真实值与网络预测值的6D姿态之间的欧式距离；通过比较欧式距离与预设阈值的大小，判定图像中刚体样本类别，确定各类样本之间的样本损失函数；为样本添加权重相关因子，并采用神经网络反向传播算法，通过带权重的样本损失函数，更新神经网络参数。上述方案利用给不同难易预测的物体赋予不同的权重，达到提高网络收敛速度，提高准确率的效果。

Description

一种预测刚体6D姿态的神经网络损失函数计算方法及系统

技术领域

本发明涉及三维机器视觉识别中的姿态估计技术领域，具体涉及一种预测刚体6D姿态的神经网络损失函数计算方法及系统。

背景技术

目前，在工业机器人自动抓取方法中，通过计算被抓取物体的相对机器人的坐标，然后利用运动学反解确定机器人各个轴的角度，通过运动解算的方法求解物体相对于机械臂的姿态。这种做法在现实应用中往往需要使用多个不同角度相机进行视觉计算，效率较低，而且这种计算方法往往比较冗杂，精度上限当达到门槛值后难以继续提高。

为了减少工业机器人的抓取时间，增加效率，针对传统的姿态例如视觉识别引导做出对应的改进，使用神经网络对物体的姿态进行估计，其中损失函数是除网络结构的神经网络的另一个关键部分，已有关于刚体的损失函数分为两大类，对称物体与非对称物体各为一类。

对称物体：直接计算CAD模型上选取的点真实位姿与对应的预测位姿之间的欧式距离；

非对称物体：计算预测位姿与CAD模型真实位姿的最近点的欧式距离。

此两类损失函数没有考虑检测样本的难易程度，对简单样本与困难样本没有作区分，影响网络收敛速度，没有充分挖掘不同样本对网络训练的影响程度。

发明内容

为了解决上述问题，本发明公开一种预测刚体6D姿态的神经网络损失函数计算方法及系统，针对现有的刚体6D姿态估计所用的对称和非对称的两类物体损失函数而没有考虑检测样本的难易程度的缺陷，提出一种新的损失函数，能够自动区分难易样本，加快网络收敛，有助于避免震荡。

本发明通过以下技术手段解决上述技术问题：

一种预测刚体6D姿态的神经网络损失函数计算方法，所述方法包括如下步骤：

使用神经网络从6D姿态的刚体图像中获取图像特征；

计算所述图像特征对应的真实值与网络预测值之间的欧式距离；

通过比较所述欧式距离与预设阈值的大小，判定图像中刚体样本类别，确定各类样本之间的样本损失函数；

为所述样本添加权重相关因子，并采用神经网络反向传播算法，通过带权重的样本损失函数，更新神经网络参数。

优选的，所述使用神经网络从6D姿态的物体图像中获取图像特征包括：将图像样本集中的包含6D姿态的刚体图像输入神经网络进行特征提取，获得所述6D姿态的刚体图像在至少一个网络层级的图像特征。

优选的，根据下式计算图像特征对应的真实值与网络预测值之间欧式距离：

式中，x为3D点，R与t为真实值对应的旋转矩阵与平移向量，与/>为预测值得旋转矩阵与平移向量。

优选的，通过下式比较所述欧式距离与预设阈值的大小：

式中，f表示dis,α,β之间的函数映射关系，α,β为阈值参数。

优选的，所述各类样本之间的样本损失函数包括：非对称物体姿态的估计损失函数和对称物体姿态的估计损失函数；

其中，通过下式确定非对称物体姿态的估计损失函数：

通过下式确定对称物体姿态估计损失函数：

式中，为非对称物体姿态的估计损失函数，/>对称物体姿态估计损失函数；x_j为模型点云中的序号为j的3D点，x_k为评估模型上的序号为k的3D点，R与t为真实值对应的旋转矩阵与平移向量，/>与/>为预测值得旋转矩阵与平移向量，M为3D点个数。

优选的，通过下式为所述样本添加权重相关因子：

w_new＝w*e^f(dis,α,β)

式中样本w为原始权重，w_new为考虑样本难易性后的权重。

进一步地，通过下式确定带权重的样本损失函数：

式中，为带权重的非对称物体姿态的估计损失函数，/>为带权重的对称物体姿态估计损失函数。

一种预测刚体6D姿态的神经网络损失函数计算系统，所述系统包括：

获取模块，用于使用神经网络从6D姿态的刚体图像中获取图像特征；

计算模块，用于计算所述图像特征对应的真实值与网络预测值之间的欧式距离；

预测模块，用于通过比较所述欧式距离与预设阈值的大小，判定图像特征中刚体类别，确定各类样本之间的样本损失函数；

更新模块，用于为所述样本添加权重相关因子，并采用神经网络反向传播算法，通过带权重的样本损失函数，更新神经网络参数。

本发明的有益效果体现在：

本发明提出的一种预测刚体6D姿态的神经网络损失函数计算方法及系统，考虑了样本的差异性，将样本分为难样本和易样本；在反向传播中充分考虑了不同样本的差异性，提出一种新的损失函数，利用给不同难易预测的物体赋予不同的权重，并自适应的处理，能够自动区分难易样本，加快网络收敛，有助于提高网络收敛速度与准确率，避免震荡。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明提供的方法总流程图；

图2为本发明实施例1提供的预测刚体6D姿态的神经网络损失函数计算流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示，本发明具体实施方式中提供一种预测刚体6D姿态的神经网络损失函数计算方法，具体包括以下步骤：

S101使用神经网络从6D姿态的刚体图像中获取图像特征；

S102计算所述图像特征对应的真实值与网络预测值之间的欧式距离；

S103通过比较所述欧式距离与预设阈值的大小，判定图像中刚体样本类别，确定各类样本之间的样本损失函数；

S104为所述样本添加权重相关因子，并采用神经网络反向传播算法，通过带权重的样本损失函数，更新神经网络参数。

进一步地，已有的针对非对称物体姿态估计损失函数：

公式(1)中x_j为模型点云中的序号为j的3D点，R与t为真实值对应的旋转矩阵与平移向量，与/>为预测值得旋转矩阵与平移向量，M为3D点个数。

已有的针对对称物体姿态估计损失函数：

公式(2)中x_j为模型点云中的序号为j的3D点，x_k为评估模型上的序号为k的3D点，R与t为真实值对应的旋转矩阵与平移向量，与/>为预测值得旋转矩阵与平移向量，M为3D点个数。

考虑检测样本的难易程度，设计分段损失函数，设置两个先验阈值α,β(α＞β＞0)作为分段函数的判断条件

公式(3)中x为3D点，R与t为真实值对应的旋转矩阵与平移向量，与/>为预测值得旋转矩阵与平移向量，公式(4)表现的为dis,α,β之间的函数映射关系。

w_new＝w*e^f(dis,α,β) (5)

公式(5)中样本w为原始权重，w_new为考虑样本难易性后的权重。则考虑样本难易性后公式(1)与(2)更新为公式(6)与(7)即为带权重的损失函数：

实施例1：

本发明实施例1提出的一种预测刚体6D姿态的神经网络损失函数计算方法，整个流程见图1，包括以下步骤：

神经网络特征提取

特征提取部分无网络模型的特需要求，通用提取特征网络即可；

1.计算真实值与网络预测值之间的欧式距离

根据公式(3)计算真实值与网络预测值之间欧式距离；

2.根据阈值判断样本类别

通过判断上一步计算出的结果dis与阈值参数α,β的大小，判定样本类别；

3.计算样本新的权重参数

判断应采用的函数映射，数学表达式如公式(4)；

5计算带权重的损失函数

在通用的刚体姿态估计的损失函数的基础上添加权重相关因子，构成带权重的损失函

数，新的带权重损失函数如公式(6)，(7)；

6神经网络反向传播

通用的神经网络反向传播算法更新网络参数。

实施例2：

基于相同技术构思，本发明还提供一种预测刚体6D姿态的神经网络损失函数计算系统，所述系统包括：

获取模块，用于使用神经网络从6D姿态的刚体图像中获取图像特征；

计算模块，用于计算所述图像特征对应的真实值与网络预测值之间的欧式距离；

预测模块，用于通过比较所述欧式距离与预设阈值的大小，判定图像中刚体样本类别，确定各类样本之间的样本损失函数；

更新模块，用于为所述样本添加权重相关因子，并采用神经网络反向传播算法，通过带权重的样本损失函数，更新神经网络参数。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本申请的技术方案而非对其保护范围的限制，尽管参照上述实施例对本申请进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，这些变更、修改或者等同替换，其均在其申请待批的权利要求范围之内。

Claims (5)

1.一种预测刚体6D姿态的神经网络损失函数计算方法，其特征在于，所述方法包括如下步骤：

使用神经网络从6D姿态的刚体图像中获取图像特征；

计算所述图像特征对应的真实值与网络预测值之间的欧式距离；

通过比较所述欧式距离与预设阈值的大小，判定图像中刚体样本类别，确定各类样本之间的样本损失函数；

为所述样本添加权重相关因子，并采用神经网络反向传播算法，通过带权重的样本损失函数，更新神经网络参数；

根据下式计算图像特征对应的真实值与网络预测值之间欧式距离：

式中，x为3D点，R与t为真实值对应的旋转矩阵与平移向量，与/>为预测值的旋转矩阵与平移向量；

通过下式比较所述欧式距离与预设阈值的大小：

式中，f表示dis,α,β之间的函数映射关系，α,β为阈值参数；

通过下式确定带权重的样本损失函数：

式中，为带权重的非对称物体姿态的估计损失函数，/>为带权重的对称物体姿态估计损失函数；x_j为模型点云中的序号为j的3D点，x_k为评估模型上的序号为k的3D点，R与t为真实值对应的旋转矩阵与平移向量，/>与/>为预测值得旋转矩阵与平移向量，M为3D点个数。

2.如权利要求1所述的方法，其特征在于，所述使用神经网络从6D姿态的物体图像中获取图像特征包括：将图像样本集中的包含6D姿态的刚体图像输入神经网络进行特征提取，获得所述6D姿态的刚体图像在至少一个网络层级的图像特征。

3.如权利要求1所述的方法，其特征在于，所述各类样本之间的样本损失函数包括：非对称物体姿态的估计损失函数和对称物体姿态的估计损失函数；

其中，通过下式确定非对称物体姿态的估计损失函数：

通过下式确定对称物体姿态估计损失函数：

式中，为非对称物体姿态的估计损失函数，/>对称物体姿态估计损失函数。

4.如权利要求1所述的方法，其特征在于，通过下式为所述样本添加权重相关因子：

w_new＝w*e^f(dis,α,β)

式中，样本w为原始权重，w_new为考虑样本难易性后的权重。

5.一种预测刚体6D姿态的神经网络损失函数计算系统，其特征在于，所述系统包括：

获取模块，用于使用神经网络从6D姿态的刚体图像中获取图像特征；

计算模块，用于计算所述图像特征对应的真实值与网络预测值之间的欧式距离；

预测模块，用于通过比较所述欧式距离与预设阈值的大小，判定图像特征的样本类别，确定各类样本之间的样本损失函数；

更新模块，用于为所述样本添加权重相关因子，并采用神经网络反向传播算法，通过带权重的样本损失函数，更新神经网络参数；

根据下式计算图像特征对应的真实值与网络预测值之间欧式距离：

式中，x为3D点，R与t为真实值对应的旋转矩阵与平移向量，与/>为预测值的旋转矩阵与平移向量；

通过下式比较所述欧式距离与预设阈值的大小：

式中，f表示dis,α,β之间的函数映射关系，α,β为阈值参数；

通过下式确定带权重的样本损失函数：

式中，为带权重的非对称物体姿态的估计损失函数，/>为带权重的对称物体姿态估计损失函数；x_j为模型点云中的序号为j的3D点，x_k为评估模型上的序号为k的3D点，R与t为真实值对应的旋转矩阵与平移向量，/>与/>为预测值得旋转矩阵与平移向量，M为3D点个数。