CN110909762A - 基于多传感器融合的机器人姿态识别方法及装置 - Google Patents

Abstract

本发明提供一种基于多传感器融合的机器人姿态识别方法及装置，包括：采集机器人中内置的各种传感器的数据；从采集的传感器的数据中提取特征，所述特征包括位置特征、力矩特征和环境特征；对提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合；构建神经网络模型，将融合后的各特征输入神经网络模型，获得机器人的姿态信息，所述姿态信息包括三维位置信息和三维方向信息。上述方法及装置通过融合多种传感器的数据，利用神经网络算法进行统一的识别判断，提高了姿态的识别与判断的准确性和快速性。

Description

基于多传感器融合的机器人姿态识别方法及装置

技术领域

本发明涉及计算机移动计算技术领域，更具体地，涉及一种基于多传感器融合的机器人姿态识别方法及装置。

背景技术

随着人工智能的快速发展，机器人技术也得到了很大的提升，与此同时，作为应用广泛的计算机技术之一——人工神经网络在计算机相关领域的中的使用愈发广发。

机器人运作过程中的姿态识别离不开机器人中的各种传感器实时采集的各种数据，在这些采集到的数据基础上，机器人利用集成的算法分别处理分析，从而从各个方面得出信息，进而识别当前的姿态。从传感器中得到的数据种类繁多且彼此之间关系错中复杂，传统的处理方法基本从一项或部分数据中得出一类信息，很大程度上忽视了数据之间的关联性。

发明内容

本发明的目的是为了解决机器人中从单个或少数传感器中得出一项信息可靠性不足的问题的基于多传感器融合的机器人姿态识别方法及装置，通过多传感器融合的方式来换取可靠性，提出了基于多传感器融合思想的机器人姿态识别方法，该方法利用机器人中集成的多种多样的传感器，通过彼此数据之间的联系统一分析处理数据，提高结果的可靠性，进而更好地对机器人的姿态进行识别。

根据本发明的一个方面，提供一种基于多传感器融合的机器人姿态识别装置，包括:

采集模块，采集机器人中内置的各种传感器的数据；

特征提取模块，从采集模块采集的数据中提取特征，所述特征包括位置特征、力矩特征和环境特征；

融合架构模块，对特征提取模块提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合；

姿态识别模块，构建神经网络模型，将融合后的各特征输入神经网络模型，获得机器人的姿态信息，所述姿态信息包括三维位置信息和三维方向信息。

优选地，所述神经网络模型的训练步骤包括：

构建数据集，所述数据集包括训练集和验证集，所述验证集为已知机器人的姿态信息，所述训练集为验证集所对应的传感器数据；

对神经网络模型的参数进行初始赋值；

设定每一步的神经网络模型训练时参数变量更新的步长、神经网络模型的激活函数；

将训练集代入设定后的神经网络模型，得到训练集对应的预测的姿态信息；

通过损失函数根据训练集对应的预测的姿态信息和验证集获得神经网络模型的迭代次数及神经元个数，从而获得训练后神经网络模型的参数。

优选地，还包括预处理模块，对采集模块采集的数据进行滤波处理。

进一步，优选地，所述预处理模块包括：

平滑单元，通过使用移动平均值对数据进行平滑处理；

数据转换单元，将数据转换到设定范围内；

低通滤波单元，利用低通滤波器清洗数据；

去基线单元，通过将每个值与数据平均值作差，使所有值平均分布在0值的两侧。

优选地，所述传感器包括加速度传感器、磁位置传感器、存在传感器、手势传感器、力矩传感器、环境传感器和电源管理传感器中的一种或多种，所述特征提取模块提取的位置特征包括磁位置特征、速度特征和加速度特征，所述特征提取模块提取的力矩特征包括力与压力特征、力矩特征、微动特征，所述特征提取模块提取的环境特征包括：接近觉特征、距离特征、视觉特征、声音特征和可见光与红外光特征。

优选地，所述特征提取模块提取的特征还包括通过位置特征、力矩特征和环境特征提取的一阶低维特征和高维特征，所述一阶低维特征包括图像熵和平均亮度值，所述高维特征包括图像边缘特征、图像纹理特征和灰度共生矩阵。

优选地，所述融合架构模块包括：

相关度获得单元，通过相似度算法获得一个特征与其他特征的相关度；

筛选单元，筛选出与每个特征相关度达到设定值的关联特征；

融合单元，选择分散型的融合拓扑结构，建立每个特征及其关联特征与神经网络模型输入层的双射函数映射关系。

进一步优选地，所述融合单元包括：

拓扑子单元，根据每个特征及其关联特征构建分散型的融合拓扑结构，将融合拓扑结构的多维信息送到网络映射与逻辑转换子单元；

网络映射与逻辑转换子单元，将拓扑子单元处理的多维信息以双射函数映射的方式对应到神经网络模型的输入层的各个神经单元。

根据本发明的另一个方面，提供一种基于多传感器融合的机器人姿态识别方法，包括：

采集机器人中内置的各种传感器的数据；

从采集的传感器的数据中提取特征，所述特征包括位置特征、力矩特征和环境特征；

对提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合；

构建神经网络模型，将融合后的各特征输入神经网络模型，获得机器人的姿态信息，所述姿态信息包括三维位置信息和三维方向信息。

优选地，所述对提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合的步骤包括：

通过相似度算法获得一个特征与其他特征的相关度；

筛选出与每个特征相关度达到设定值的关联特征；

根据每个特征及其关联特征构建分散型的融合拓扑结构；

建立融合拓扑结构中每个特征与与神经网络模型输入层的双射函数映射关系。

上述基于多传感器融合的机器人姿态识别方法及装置在识别机器人姿态时，通过融合多种传感器的数据，利用神经网络算法进行统一的识别判断，提高了姿态的识别与判断的准确性和快速性。利用多传感器融合的思想提高了姿态识别的可靠性；采用神经网络对特征进行融合，通过前期模型的训练能够很好地提高识别结果的准确性。

附图说明

图1是本发明所述基于多传感器融合的机器人姿态识别方法的流程图的示意图；

图2是本发明所述传感器的数据预处理的示意图；

图3是本发明中采用的LSTM神经网络结构图；

图4是本发明所述基于多传感器融合的机器人姿态识别装置构成框图的示意图。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

下面将参照附图来对根据本发明的各个实施例进行详细描述。

图1是本发明所述基于多传感器融合的机器人姿态识别方法的流程图的示意图，如图1所示，所述机器人姿态识别方法包括：

步骤S1，采集机器人中内置的各种传感器的数据；

步骤S3，从采集的传感器的数据中提取特征，所述特征包括位置特征、力矩特征和环境特征；

步骤S5，对提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合；

步骤S7，构建神经网络模型，将融合后的各特征输入神经网络模型，获得机器人的姿态信息，所述姿态信息包括三维位置信息和三维方向信息。

优选地，在步骤S1和步骤S3之间还包括步骤S2，对采集的传感器的数据进行预处理，所述预处理包括以下一种或多种：

通过使用移动平均值对传感器的数据进行平滑处理，例如，对原数据的目标值给定一个模板，该模板包含其周围的临近值，以目标值为中心的5个值，构成一个滤波模板，即去掉目标值本身，对其进行修正，一定程度上减少噪声的影响，如图2(a)为3轴的原始加速度数据，图2(b)为平滑处理后的3轴的加速度数据；

将数据转换到设定范围内，如上例，图2(c)为数据转换后的Z轴的加速度数据,优选地，通过下式(1)计算3轴的数据量值，同时利用反三角函数根据公式(2)将加速度数据转换到一定的范围内(0-200°)；

其中，Ax、Ay、Az分别为X，Y，Z轴方向的加速度大小，g为当前的加速度值，α1为加速度方向与y-z平面的角度，β1为加速度方向与x-z平面的角度，γ1为加速度方向与x-y平面的角度。

其中，θx为滤波后加速度数据转换到x轴的滤波后结果，θy为滤波后加速度数据转换到y轴的滤波后结果，θz为滤波后加速度数据映射到到z轴的滤波后结果。

利用低通滤波器清洗数据，如上例，图2(d)为滤波处理后的Z轴的加速度数据；

进行去基线处理，通过将每个值与数据平均值作差，使所有值平均分布在0值的两侧，如上例，图2(e)为去基线处理后的Z轴的加速度数据。

此外，优选地，在步骤S7中将融合后的各特征输入神经网络模型之前，还包括步骤S6，对神经网络模型进行训练，当神经网络模型达到要求时，才将融合后的各特征输入训练后的神经网络模型的步骤，具体地：构建数据集，所述数据集包括训练集和验证集，所述验证集为已知机器人的姿态信息，所述训练集为验证集所对应的传感器数据；

对神经网络模型的参数进行初始赋值；

设定每一步的神经网络模型训练时参数变量更新的步长、神经网络模型的激活函数，其中，所述步长是每次模型预测时依赖的之前数据个数，步长设置越大变量的抖动性越小，越不会因为某次异常的取值使得平均值波动很大，优选地，将步长设置为5；

将训练集代入设定后的神经网络模型，得到训练集对应的预测的姿态信息；

通过损失函数根据训练集对应的预测的姿态信息和验证集获得神经网络模型的迭代次数及神经元个数，从而获得训练后神经网络模型的参数，例如，使用sigmoid和tanh激活函数选择从神经网络模型中根据设定的损失函数通过反向传播算法提取的特征，特征包括三维坐标信息和三维旋转信息，用于预测机器人末端和外部物体的姿态信息，其中，定义对机器人姿态校正的损失函数：姿态平均距离函数，函数计算出真值姿势和估计姿态转换对应的3维特征点之间距离的平均值。根据此神经网络模型对机器人姿态的校正结果，根据姿态平均距离函数是否小于给定阈值(10cm)选择神经网络模型的迭代次数及神经元个数。

在步骤S1中，所述传感器包括加速度传感器、磁位置传感器、存在传感器、手势传感器、力矩传感器、环境传感器和电源管理传感器中的一种或多种，在步骤S3中，提取的位置特征包括磁位置特征、速度特征和加速度特征，所述特征提取模块提取的力矩特征包括力与压力特征、力矩特征、微动特征，提取的环境特征包括：接近觉特征、距离特征、视觉特征、声音特征和可见光与红外光特征。

优选地，所述传感器包括内传感器和外传感器，内传感器在机器人本体内部的每个关节轴，包括加速度传感器、磁位置传感器、手势传感器和力矩传感器，采集速度、加速度、力和力矩等特征；外传感器包括存在传感器和环境传感器，通过外传感器获得机器人周围环境的距离信息和图像信息，从而得到对应的距离特征和视觉特征，例如，视觉传感器和听觉传感器，视觉传感器放置在机器人正上方70cm处，听觉传感器固定在机器人底座。

另外，优选地，在步骤S3和步骤S5之间还包括步骤S4，对提取的特征进行分类，将特征分为内传感器特征和外传感器特征，所述内传感器特征为从内传感器数据提取的特征，所述外传感器特征为从外传感器数据提取的特征，具体地，如下表1所示

表1

此时，在步骤S7中，融合后的内传感器特征和外传感器特征分别输入神经网络模型，处理内传感器特征的神经网络模型获得机器人末端的姿态信息，处理外传感器的神经网络模型获得机器人外部环境物体的姿态信息，其中，磁位置特征决定了机器人姿态识别中的运动位置信息和三维坐标下的旋转信息，力矩特征决定了机器人运动关节信息，环境特征从三维视觉的角度确定机器人相对于周围环境的姿态信息。

在步骤S3中，提取的特征还包括通过位置特征、力矩特征和环境特征提取的一阶低维特征和高维特征，所述一阶低维特征包括图像熵和平均亮度值，所述高维特征包括图像边缘特征、图像纹理特征和灰度共生矩阵。

在一个实施例中，步骤S5包括：

通过相似度算法获得一个特征与其他特征的相关度，例如，通过皮尔逊系数获得一个特征与其他特征的相关度；

筛选出与每个特征相关度达到设定值的关联特征；

根据每个特征及其关联特征构建分散型的融合拓扑结构，该拓扑结构在各个传感器采集的数据完成一定量的计算和处理任务后得到经过标准化、过滤噪声的数据，将压缩、提取特征后的传感器数据送到网络映射与逻辑转换子单元；

建立融合拓扑结构中每个特征与与神经网络模型输入层的双射函数映射关系，具体地，将拓扑子单元处理的多维信息以双射函数映射的方式对应到神经网络输入层的各个神经单元，根据构建的神经网络，计算网络输出层与真实标注值的均方误差，从而使用反向传播算法调整隐藏层网络连接的权值分配，使各传感器的数据经过网络预测的信息与真实标注信息的误差小于给定值(例如0.01)，让传感器数据逻辑化、合理化，其中所述多维信息包括位置特征、速度特征、加速度特征、距离特征、力矩特征的多个维度的信息。

在一个实施例中，所述神经网络模型为LSTM，LSTM很好地解决了面对长期依赖问题时学习能力下降甚至丧失的问题。除此之外，LSTM能很好地处理带有多变量和多输入的问题，在时间序列预测中也有很好的表现。

如图3(a)所示，所述LSTM神经网络模型由重复的神经网络模块链式组成，每个神经网络模块包括输入层、输出层和网络层，融合后的特征从输入层输入，经网络层处理得到一个输出提供给输出层。

所述网络层包括遗忘门(图3(b))、输入门(图3(c))和输出门(图3(d))，遗忘门负责处理从当前输入和上一模块的输出中删除无用的特征，遗忘门接收上一模块传感器融合后的特征的输出和当前模块传感器融合后的特征的输入，输入门对特征进行计算处理，由两部分组成，sigmoid层完成对信息的更新而tanh层提供一个备选的向量值，然后用前一个LSTM的细胞状态模块乘以遗忘门的结果丢弃无用信息，并通过将sigmoid层和tanh层的结果相乘得到新数据值对LSTM的细胞状态进行更新；在输出门，基于更新后的细胞状态由sigmoid层确定当前细胞状态的输出数据，并将经过tanh层处理后的当前细胞状态乘以sigmoid层的结果，得出输出值。

图4是本发明所述基于多传感器融合的机器人姿态识别装置构成框图的示意图，如图4所示，所述机器人姿态识别装置包括：

采集模块1，采集机器人中内置的各种传感器的数据，所述传感器包括加速度传感器、磁位置传感器、存在传感器、手势传感器、力矩传感器、环境传感器和电源管理传感器中的一种或多种；

特征提取模块2，为了之后更好地分析与校正处理，需要从采集和处理后的数据中尽可能地提取有用的特征量，也就是说，从采集模块采集的数据中提取特征，所述特征包括位置特征、力矩特征和环境特征，所述特征提取模块提取的位置特征包括磁位置特征、速度特征和加速度特征，所述特征提取模块提取的力矩特征包括力与压力特征、力矩特征、微动特征，所述特征提取模块提取的环境特征包括：接近觉特征、距离特征、视觉特征、声音特征和可见光与红外光特征；

融合架构模块3，对特征提取模块提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合；

姿态识别模块4，构建神经网络模型，将融合后的各特征输入神经网络模型，获得机器人的姿态信息，所述姿态信息包括三维位置信息和三维方向信息。

优选地，所述特征提取模块2提取的特征还包括通过位置特征、力矩特征和环境特征提取的一阶低维特征和高维特征，所述一阶低维特征包括图像熵和平均亮度值，所述高维特征包括图像边缘特征、图像纹理特征和灰度共生矩阵。

在一个实施例中，还包括预处理模块，对采集模块采集的数据进行滤波处理，减小数据中噪声的干扰，提高数据的准确性和可靠性，所述预处理模块包括：

平滑单元，通过使用移动平均值对数据进行平滑处理；

数据转换单元，将数据转换到设定范围内；

低通滤波单元，利用低通滤波器清洗数据；

去基线单元，通过将每个值与数据平均值作差，使所有值平均分布在0值的两侧。

在一个实施例中，所述融合架构模块3包括：

相关度获得单元，通过相似度算法获得一个特征与其他特征的相关度；

筛选单元，筛选出与每个特征相关度达到设定值的关联特征；

融合单元，选择分散型的融合拓扑结构，建立每个特征及其关联特征与神经网络模型输入层的双射函数映射关系。

优选地，所述融合单元包括：

拓扑子单元，根据每个特征及其关联特征构建分散型的融合拓扑结构，将融合拓扑结构的多维信息送到网络映射与逻辑转换子单元；

网络映射与逻辑转换子单元，将拓扑子单元处理的多维信息以双射函数映射的方式对应到神经网络模型的输入层的各个神经单元。

从单个传感器获取的数据具有很大的局限性，不仅包含的信息量有限，而且很容易受到传感器本身质量的影响。为了突破这种限制，融合架构模块3融合多种传感器数据，综合考虑从这些传感器中提取的各种特征量，将多种关联性较强的数据整合。通过提取的特征量，对特征进行筛选，找出与该特征相关度较高的关联特征，融合这些关联特征识别机器人姿态。融合架构模块3主要由三部分组成：特征提取、数据融合和识别。其中，融合部分是整个架构的核心，考虑到神经网络良好的容错性和适应性，使用人工神经网络作为融合架构模块3的核心算法，首先，神经网络具有很好的容错性，自我学习、自我组织能力以及自适应性。其次，神经网络能够模拟仿真复杂的非线性映射。神经网络的这两个特性很好地满足了多传感器融合的需求。具体实现时，神经网络通过系统当前样本之间的相似度决定分类标准，这也决定了网络中的权值分布情况。同时，通过特定的学习算法，神经网络还能够获取知识，并具备不确定性的推理机制。除此之外，神经网络实现了多传感器数据的信号分析处理能力和自动化归纳推理功能的融合。例如，选择分散型的融合拓扑结构，建立传感器数据与神经网络各个单元的函数映射关系，训练网络参数使传感器信息对目标的影响逻辑化。

在一个实施例中，还包括训练模块，对姿态识别模块4构建神经网络模型进行训练，神经网络模型模型训练时，在导入和标准化数据后，需要对神经网络模型模型的各个参数进行选择和确定。首先确定每一步的步长，即每次模型预测时依赖的之前数据个数。然后，需要选择合适的激活函数以及特征量。将已有数据集分为训练集和测试集后，再根据模型对心率校正的结果，选择模型中神经网络的迭代次数以及神经元个数。最后，根据模型对机器人的三维姿态信息的预测结果和真实结果对应点的距离平均值误差判断训练模型的表现。

优选地，训练模块包括：

数据集构建单元，构建数据集，所述数据集包括训练集和验证集，所述验证集为已知机器人的姿态信息，所述训练集为验证集所对应的传感器数据；

初始化单元，对神经网络模型的参数进行初始赋值；设定每一步的神经网络模型训练时参数变量更新的步长、神经网络模型的激活函数；

训练单元，将训练集代入设定后的神经网络模型，得到训练集对应的预测的姿态信息；通过损失函数根据训练集对应的预测的姿态信息和验证集获得神经网络模型的迭代次数及神经元个数，从而获得训练后神经网络模型的参数。

尽管前面公开的内容示出了本发明的示例性实施例，但是应当注意，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的发明实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明的元素可以以个体形式描述或要求，但是也可以设想具有多个元素，除非明确限制为单个元素。

Claims (10)

1.一种基于多传感器融合的机器人姿态识别装置，其特征在于，包括:

采集模块，采集机器人中内置的各种传感器的数据；

特征提取模块，从采集模块采集的数据中提取特征，所述特征包括位置特征、力矩特征和环境特征；

融合架构模块，对特征提取模块提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合；

姿态识别模块，构建神经网络模型，将融合后的各特征输入神经网络模型，获得机器人的姿态信息，所述姿态信息包括三维位置信息和三维方向信息。

2.根据权利要求1所述的基于多传感器融合的机器人姿态识别装置，其特征在于，所述神经网络模型的训练步骤包括：

构建数据集，所述数据集包括训练集和验证集，所述验证集为已知机器人的姿态信息，所述训练集为验证集所对应的传感器数据；

对神经网络模型的参数进行初始赋值；

设定每一步的神经网络模型训练时参数变量更新的步长、神经网络模型的激活函数；

将训练集代入设定后的神经网络模型，得到训练集对应的预测的姿态信息；

通过损失函数根据训练集对应的预测的姿态信息和验证集获得神经网络模型的迭代次数及神经元个数，从而获得训练后神经网络模型的参数。

3.根据权利要求1所述的基于多传感器融合的机器人姿态识别装置，其特征在于，还包括预处理模块，对采集模块采集的数据进行滤波处理。

4.根据权利要求3所述的基于多传感器融合的机器人姿态识别装置，其特征在于，所述预处理模块包括：

平滑单元，通过使用移动平均值对数据进行平滑处理；

数据转换单元，将数据转换到设定范围内；

低通滤波单元，利用低通滤波器清洗数据；

去基线单元，通过将每个值与数据平均值作差，使所有值平均分布在0值的两侧。

5.根据权利要求1所述的基于多传感器融合的机器人姿态识别装置，其特征在于，所述传感器包括加速度传感器、磁位置传感器、存在传感器、手势传感器、力矩传感器、环境传感器和电源管理传感器中的一种或多种，所述特征提取模块提取的位置特征包括磁位置特征、速度特征和加速度特征，所述特征提取模块提取的力矩特征包括力与压力特征、力矩特征、微动特征，所述特征提取模块提取的环境特征包括：接近觉特征、距离特征、视觉特征、声音特征和可见光与红外光特征。

6.根据权利要求1所述的基于多传感器融合的机器人姿态识别装置，其特征在于，所述特征提取模块提取的特征还包括通过位置特征、力矩特征和环境特征提取的一阶低维特征和高维特征，所述一阶低维特征包括图像熵和平均亮度值，所述高维特征包括图像边缘特征、图像纹理特征和灰度共生矩阵。

7.根据权利要求1所述的基于多传感器融合的机器人姿态识别装置，其特征在于，所述融合架构模块包括：

相关度获得单元，通过相似度算法获得一个特征与其他特征的相关度；

筛选单元，筛选出与每个特征相关度达到设定值的关联特征；

融合单元，选择分散型的融合拓扑结构，建立每个特征及其关联特征与神经网络模型输入层的双射函数映射关系。

8.根据权利要求7所述的基于多传感器融合的机器人姿态识别装置，其特征在于，所述融合单元包括：

拓扑子单元，根据每个特征及其关联特征构建分散型的融合拓扑结构，将融合拓扑结构的多维信息送到网络映射与逻辑转换子单元；

网络映射与逻辑转换子单元，将拓扑子单元处理的多维信息以双射函数映射的方式对应到神经网络模型的输入层的各个神经单元。

9.一种基于多传感器融合的机器人姿态识别方法，其特征在于，包括：

采集机器人中内置的各种传感器的数据；

从采集的传感器的数据中提取特征，所述特征包括位置特征、力矩特征和环境特征；

对提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合；

构建神经网络模型，将融合后的各特征输入神经网络模型，获得机器人的姿态信息，所述姿态信息包括三维位置信息和三维方向信息。

10.根据权利要求9所述的机器人姿态识别方法，其特征在于，所述对提取的特征进行筛选，获得每个特征相关度达到设定值的关联特征，将每个特征与其关联特征融合的步骤包括：

通过相似度算法获得一个特征与其他特征的相关度；

筛选出与每个特征相关度达到设定值的关联特征；

根据每个特征及其关联特征构建分散型的融合拓扑结构；

建立融合拓扑结构中每个特征与与神经网络模型输入层的双射函数映射关系。

Images