CN112767296A - 一种基于时间序列成像的多传感器数据融合方法及系统 - Google Patents

Abstract

本公开公开的一种基于时间序列成像的多传感器数据融合方法及系统，包括：获取多个传感器采集的时间序列信号；将多个时间序列信号分组，其中每组时间序列信号包括两个时间序列信号；将每个时间序列信号通过极坐标表示；计算极坐标表示后时间序列信号各时间点方向角和的余弦值，并将各余弦值放入三角矩阵中，获得编码图片；将同组时间序列信号获得的编码图片进行融合，获得单通道图片；将多个单通道图片进行数据叠加，获得多个时间序列信号的数据融合结果。获得的数据融合结果保留了原时间序列信号中的时间关系。

Description

一种基于时间序列成像的多传感器数据融合方法及系统

技术领域

本发明涉及数据融合技术领域，尤其涉及一种基于时间序列成像的多传感器数据融合方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

多传感器的数据融合是一种新型的信息处理技术，它获取信息的方式主要是通过多个传感器单元来实现，最后将这些信息进行整合分析。多传感器数据融合可以在很大程度上避免单传感器的弊端，在信息处理和信息估计方面更加的全面和准确，提高了整个系统的可靠性和鲁棒性。这一技术正广泛应用于自动目标识别、战场监视、自动飞行器导航、机器人、遥感、医疗诊断、图像处理、模式识别和复杂工业过程控制等领域。通常来说，根据处理信息源层次的不同，多传感器的数据融合主要分为数据层融合、特征层融合和决策层融合。

特征层融合和决策层融合需要对传感器收集到的数据进行压缩，这不仅会导致高处理成本，而且会损失很多细节，数据层融合可以保留大量原始数据，为目标提供尽可能详细的信息，获得尽可能精确的融合效果，但现有的数据层融合无法保留原始传感器数据内部的时间关系，从而使获得数据融合结果无法全面的包含传感器数据的信息。

发明内容

本公开为了解决上述问题，提出了一种基于时间序列成像的多传感器数据融合方法及系统，将单传感器的一维时间序列信号映射到表示各时间点方向角和的余弦值的三角矩阵中，进而对多个传感器数据进行融合，可以有效地保留原始传感器数据内部的时间关系。

为实现上述目的，本公开采用如下技术方案：

第一方面，提出了一种基于时间序列成像的多传感器数据融合方法，包括：

获取多个传感器采集的时间序列信号；

将多个时间序列信号分组，其中每组时间序列信号包括两个时间序列信号；

将每个时间序列信号通过极坐标表示；

计算极坐标表示后时间序列信号各时间点方向角和的余弦值，并将各余弦值放入三角矩阵中，获得编码图片；

将同组时间序列信号获得的编码图片进行融合，获得单通道图片；

将多个单通道图片进行数据叠加，获得多个时间序列信号的数据融合结果。

第二方面，提出了一种基于时间序列成像的多传感器数据融合系统，包括：

信号获取模块，用于获取多个传感器采集的时间序列信号；

序号分组模块，用于将多个时间序列信号分组，其中每组时间序列信号包括两个时间序列信号；

极坐标转换模块，用于将每个时间序列信号通过极坐标表示；

编码图像获取模块，用于计算极坐标表示后时间序列信号各时间点方向角和的余弦值，并将各余弦值放入三角矩阵中，获得编码图片；

单通道图片获取模块，用于将同组时间序列信号获得的编码图像进行融合，获得单通道图片；

多传感器数据融合结果获取模块，用于将多个单通道图片进行数据叠加，获得多个时间序列信号的数据融合结果。

第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于时间序列成像的多传感器数据融合方法所述的步骤。

第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于时间序列成像的多传感器数据融合方法所述的步骤。

与现有技术相比，本公开的有益效果为：

1、本公开通过将单传感器的一维时间序列信号映射到表示各时间点方向角和的余弦值的三角矩阵中，从而实现多传感信号在这种矩阵表达下的数据融合，实现了传感器数据在数据层有效融合的基础上，有效地保留原始传感器数据内部的时间关系。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例1通过公式(1)-(5)对时间序列信号进行编码获得编码图像的过程；

图2为本公开实施例1基于时间序列成像的多传感器数据融合结果。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

实施例1

在对多传感器数据进行融合时，数据层融合可以保留大量原始数据，为目标提供尽可能详细的信息，获得尽可能精确的融合效果。

随着传感器技术和计算机集成技术的不断发展，以及受到卷积神经网络在视觉感知方面所取得的突出性成功的启发，将传感器信号这种时间序列信号编码为图片作为智能模型的输入可以实现更好的信息感知能力。

在该实施例中，将多传感器信号在数据层进行融合，一种基于时间序列成像的多传感器数据融合方法被提出。该方法通过将单传感器信号的一维时间序列数据映射到余弦和的三角矩阵中，从而实现多传感信号在这种矩阵表达下的数据融合。这种多传感器数据融合算法实现了传感器数据在数据层的有效融合，并且可以有效地保留原始传感器数据内部的时间关系。

一种基于时间序列成像的多传感器数据融合方法，包括：

获取多个传感器采集的时间序列信号；

将多个时间序列信号分组，其中每组时间序列信号包括两个时间序列信号；

将每个时间序列信号通过极坐标表示；

计算极坐标表示后时间序列信号各时间点方向角和的余弦值，并将各余弦值放入三角矩阵中，获得编码图片；

将同组时间序列信号获得的编码图片进行融合，获得单通道图片；

将多个单通道图片进行数据叠加，获得多个时间序列信号的数据融合结果。

进一步的，将每个时间序列信号进行缩放，将缩放后的时间序列信号进行极坐标表示。

进一步的，三角矩阵为上三角矩阵。

进一步的，通过二角差公式计算各时间点方向角和的余弦值。

进一步的，利用角度透视图将三角矩阵识别为编码图片。

进一步的，在计算单通道图片时，将其中的一个三角矩阵转置后与另一个三角矩阵相加，获得单通道图片。

进一步的，多个时间序列信号长度相同。

结合图1、2对一种基于时间序列成像的多传感器数据融合方法进行详细说明，具体为：

获取多个传感器采集的时间序列信号，时间序列信号用X＝{x₁,x₂…x_i…x_n}表示，其中第i个时间点的实际值为x_i。

将多个时间序列信号分组，其中每组时间序列信号包括两个时间序列信号。

对于每个时间序列信号通过公式(1)进行缩放，使缩放后的时间序列信号的所有值均落在[-1,1]中。

公式(1)中，

表示第i个时间点缩放到[-1,1]区间上的新值；max(X)和min(X)分别表示这段时间序列X＝(x₁,x₂…x_i…x_n}中的最大值和最小值。

将缩放后的时间序列信号用极坐标进行表示。

其中，φ_i为第i个时间点的信号在极坐标上对应的与极轴的角度，r为相应的极径，公式(3)中，t_i是时间戳，N是正则化极坐标系跨度的常数。

随着时间的不断增加，相应时间点上的值在生成圆上的不同角度点之间连续扭转，这种基于极坐标表示时间序列信号的方法可以有效的保留对应点间绝对的时间关系，从而识别不同时间间隔内的时间关系。

将缩放后的时间序列信号通过极坐标表示之后，通过二角差公式计算各个时间点之间的余弦值，形成上三角矩阵，该余弦值用为各时间点方向角和的余弦值，利用角度透视图来识别不同时间点之间的时间关系，获得编码图片。

公式(4)中，

是X经过缩放后的行向量；I是单元行向量[1,1,…,1]；T_Logic是对角线和对角线以上元素均为1的上三角逻辑矩阵；○表示两个矩阵的哈达玛积。通过公式(5)获得一个余弦值的三角矩阵，该矩阵为上三角矩阵，。

对于两组相同长度的时间序列信号

和

经过上面的编码公式得到对应的矩阵T₁和矩阵T₂。将其中任意一组数据编码后的矩阵进行转置获得转置矩阵，将转置矩阵和另一个矩阵相加，实现两个时间序列信号的有效融合，例如对于X¹获得的矩阵T₁进行转置获得

最后将

和T₂进行矩阵加法即可实现数据的有效融合。具体公式如下：

通过公式(6)，可有效地将两组传感器同步收集的时间序列信号成像到同一个二维矩阵上表示，获得单通道图片。进而，可以将多达六组传感器的同步时间序列信号通过本实施例提出的数据融合方法融合到一张三通道的图片上，获得多组时间序列信号之间的数据融合结果。

如图1所示，(a)显示了传感器提取到的原始的时间序列信号；(b)将原始信号经过缩放后的结果；(c)缩放后的信号通过公式2、3，实现在极坐标上的表达；(d)最后通过公式4、5，对时间序列信号进行编码并以图片形式显示。

本实施例公开的数据融合方法，根据公式(2)-(5)可知：随着图像中的位置从左上向右下移动，代表时间序列信号中的关系时间在逐渐增加。时间序列信号编码后的编码图像中的点T((i,j)|j-i＝k,j≥i)表示时间间隔为k的序列量方向角和的余弦值，这有效保持了它们之间的时间关系。当k＝0时，代表在编码图像主对角线上的点，此时的T(i,i)只包含原始时间序列信号中对应为i点的量值信息。

将本实施例公开的数据融合方法，应用于机床切削加工时，对机床上各传感器收集的时间序列信号进行数据融合，获得机床上多传感器获得的时间序列信号的数据融合结果，如图2所示，其中时间信号1-6分别对应于F_x、V_x、F_y、V_y、F_z、V_z，其中F_x、F_y、F_z和V_x、V_y、V_z分别表示机床加工时X、Y、Z三轴的原始力信号和振动信号。首先将传感器信号两两配对并根据给出的公式(1)-(6)进行融合，从而生成出对应的单通道图片。最后，将单通道图片数据叠加为一张三通道的彩色图片，从而实现多传感器信号在数据层的融合。

需要注意的是：这里的原始信号可以是一般意义上的同步时间序列信号，包括但不限于：声音、振动、力、临床监护数据、股票数据等。

本实施例通过将单传感器的一维时间序列信号映射到表示各时间点方向角和的余弦值的三角矩阵中，从而实现多传感信号在这种矩阵表达下的数据融合，实现了传感器数据在数据层有效融合的基础上，有效地保留原始传感器数据内部的时间关系。

实施例2

在该实施例中，公开了一种基于时间序列成像的多传感器数据融合系统，包括：

信号获取模块，用于获取多个传感器采集的时间序列信号；

序号分组模块，用于将多个时间序列信号分组，其中每组时间序列信号包括两个时间序列信号；

极坐标转换模块，用于将每个时间序列信号通过极坐标表示；

编码图像获取模块，用于计算极坐标表示后时间序列信号各时间点方向角和的余弦值，并将各余弦值放入三角矩阵中，获得编码图片；

单通道图片获取模块，用于将同组时间序列信号获得的编码图像进行融合，获得单通道图片；

多传感器数据融合结果获取模块，用于将多个单通道图片进行数据叠加，获得多个时间序列信号的数据融合结果。

实施例3

在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的一种基于时间序列成像的多传感器数据融合方法所述的步骤。

实施例4

在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的一种基于时间序列成像的多传感器数据融合方法所述的步骤。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于时间序列成像的多传感器数据融合方法，其特征在于，包括：

获取多个传感器采集的时间序列信号；

将多个时间序列信号分组，其中每组时间序列信号包括两个时间序列信号；

将每个时间序列信号通过极坐标表示；

计算极坐标表示后时间序列信号各时间点方向角和的余弦值，并将各余弦值放入三角矩阵中，获得编码图片；

将同组时间序列信号获得的编码图片进行融合，获得单通道图片；

将多个单通道图片进行数据叠加，获得多个时间序列信号的数据融合结果。

2.如权利要求1所述的一种基于时间序列成像的多传感器数据融合方法，其特征在于，将每个时间序列信号进行缩放，将缩放后的时间序列信号进行极坐标表示。

3.如权利要求1所述的一种基于时间序列成像的多传感器数据融合方法，其特征在于，三角矩阵为上三角矩阵。

4.如权利要求1所述的一种基于时间序列成像的多传感器数据融合方法，其特征在于，通过二角差公式计算各时间点方向角和的余弦值。

5.如权利要求1所述的一种基于时间序列成像的多传感器数据融合方法，其特征在于，利用角度透视图将三角矩阵识别为编码图片。

6.如权利要求1所述的一种基于时间序列成像的多传感器数据融合方法，其特征在于，在计算单通道图片时，将其中的一个三角矩阵转置后与另一个三角矩阵相加，获得单通道图片。

7.如权利要求1所述的一种基于时间序列成像的多传感器数据融合方法，其特征在于，多个时间序列信号长度相同。

8.一种基于时间序列成像的多传感器数据融合系统，其特征在于，包括：

信号获取模块，用于获取多个传感器采集的时间序列信号；

序号分组模块，用于将多个时间序列信号分组，其中每组时间序列信号包括两个时间序列信号；

极坐标转换模块，用于将每个时间序列信号通过极坐标表示；

编码图像获取模块，用于计算极坐标表示后时间序列信号各时间点方向角和的余弦值，并将各余弦值放入三角矩阵中，获得编码图片；

单通道图片获取模块，用于将同组时间序列信号获得的编码图像进行融合，获得单通道图片；

多传感器数据融合结果获取模块，用于将多个单通道图片进行数据叠加，获得多个时间序列信号的数据融合结果。

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的一种基于时间序列成像的多传感器数据融合方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的一种基于时间序列成像的多传感器数据融合方法的步骤。

Images