CN114330467A - 一种多设备融合感知方法和装置 - Google Patents

Abstract

本申请实施例提供一种多设备融合感知方法和装置，涉及人工智能AI技术领域，解决了分布式技术中持续的计算和设备间通信带来的功耗开销大的问题。该方法是根据电子设备中的训练模型执行的，该方法包括：电子设备对采集的原始数据进行特征提取，得到特征矢量；电子设备确定特征矢量对应的权重；当权重达到阈值时，电子设备将特征矢量以及权重的计算结果发送给中心设备，计算结果用于中心设备确定感知目标。当权重未达到阈值时，电子设备确定不向中心设备发送特征矢量以及权重的计算结果。本申请实施例用于AI中设备间进行通信的过程。

Description

一种多设备融合感知方法和装置

技术领域

本申请实施例涉及人工智能(artificial intelligence，AI)技术领域，尤其涉及一种多设备同和感知方法和装置。

背景技术

准确的感知用户的活动、状态、上下文环境信息，是给用户提供个性化精准服务的基础。当前移动设备、穿戴设备、物联网(Internet of Things，IoT)设备上都集成了丰富的传感器，并具备较强的计算能力，能采集视觉、听觉、运动传感、信号强度等模态信号，对人、环境的感知目标进行计算。随着分布式技术不断发展，设备间数据互通、能力互助成为可能，感知能力除了通过单设备实现以外，还可以通过多设备实现，以利用多设备在不同视角的感知，形成对感知对象更丰富、立体的认识。

若使用移动设备、穿戴设备进行持续感知，则要求移动设备、穿戴设备持续采集数据、持续计算，并持续通信计算结果，实现中心式/分布式的融合计算。区别与车载、家居多传感器的融合感知，移动设备、穿戴设备等无电源设备的电量十分宝贵，持续的计算和设备间通信会带来不可忽略的功耗开销，所以低功耗的设计对于移动设备融合感知尤为重要。

发明内容

本申请实施例提供一种多设备融合感知方法和装置，能够解决分布式技术中持续的计算和设备间通信带来的功耗开销大的问题。

为达到上述目的，本申请实施例采用如下技术方案：

第一方面，提供一种多设备融合感知方法，该方法是根据电子设备中的训练模型执行的，该方法包括：电子设备(感知设备)对采集的原始数据进行特征提取，得到特征矢量；电子设备确定特征矢量对应的权重；当权重达到阈值时，电子设备将特征矢量以及权重的计算结果发送给中心设备，计算结果用于中心设备确定感知目标；当权重未达到阈值时，电子设备确定不向中心设备发送特征矢量以及权重的计算结果。其中，感知目标可以为人或环境中的检测目标。

由此，本申请的融合感知方法中，对于与中心设备建立通信连接的多个感知设备，通过阈值的筛选，可使得不满足阈值条件的感知设备不向中心设备上报特征矢量与权重的计算结果。该阈值是通过进行模型训练得到的，感知设备可根据部署在感知设备中的模型确定是否需要上报计算结果的。上报计算结果时，可以认为对应的特征是与感知目标相关性较高的特征，未上报结算结果时，可以认为对应的特征不影响中心设备判断感知目标的类型。这样，在能够判断感知目标的类型同时，可以减少感知设备和中心设备之间的通信开销。同时，中心设备侧，对于未上报计算结果的感知设备，可将融合计算时该感知设备的特征矢量全部置为0，这样，中心设备不需要根据所有通信连接的感知设备的计算结果推理感知目标，可以降低中心设备侧的融合计算开销。

在一种可能的设计中，电子设备对采集的原始数据进行特征提取，得到特征矢量包括：电子设备将原始数据作为第一神经网络的输入，得到特征矢量，第一神经网络包括多层感知器MLP、或卷积神经网络CNN或深度神经网络DNN。第一神经网络可以理解为本申请中的特征提取模块的一种实现方式。即电子设备进行特征提取时可以通过第一神经网络实现，原始数据可以是电子设备中的传感器采集的例如加速度、角速度和方向等数据，这些数据经过第一神经网络可以提取特征矢量，以便后续根据特征矢量计算权重和进行推理感知目标的融合计算。

在一种可能的设计中，电子设备确定特征矢量对应的权重包括：电子设备将特征矢量作为第二神经网络的输入，将特征矢量经过第二神经网络的计算，得到特征矢量对应的权重。第二神经网络包括隐藏层、全连接层以及激活函数。该权重可以理解为权重对应的特征矢量与感知目标的相关程度，权重越大，对应的特征与感知目标的相关程度越大。因此，当权重高于阈值时，可以认为对应的特征与感知目标的相关性较高，可以上报给中心设备用于识别感知目标。这样，未高于阈值的特征就不上报给中心设备了，可以减少感知设备与中心设备间的通信开销。

在一种可能的设计中，阈值是在训练训练模型时，对训练过程中得到的阈值的计算结果添加L1稀疏表示正则化约束得到的；其中，当升高L1稀疏表示正则化约束的正则项时，阈值也相应的升高。也就是说，在训练模型时，当可上报的特征能够推理出感知目标时，可以尽可能少的让感知设备上报特征给中心设备。这就需要训练得到合适的阈值，本申请可以通过在训练时添加L1稀疏表示正则化约束，得到合适的阈值，这样高于阈值的权重对应的特征上报给中心设备，低于阈值的权重对应的特征不上报，可减少感知设备与中心设备间的通信开销。

第二方面，提供一种多设备融合感知方法，该方法是根据中心设备中的训练模型执行的，中心设备与多个电子设备(感知设备)通信，该方法包括：中心设备确定是否从多个电子设备接收到计算结果，计算结果是电子设备根据采集的原始数据对应的特征矢量以及特征矢量对应的权重确定的；当中心设备从多个电子设备中的至少一个电子设备接收到计算结果时，中心设备根据多个电子设备的计算结果执行特征融合计算，得到融合结果，融合结果用于表征用户或环境的感知目标；其中，当中心设备确定未接收到多个电子设备中的任一电子设备发送的计算结果时，中心设备将任一电子设备对应的特征矢量的元素全部置为0。

即对于中心设备侧，不是与中心设备侧建立通信连接的每个感知设备都需要上报计算结果，可以减少感知设备与中心设备间的通信开销。对于未上报计算结果的感知设备，中心设备在进行特征融合计算时，可以将未上报计算结果的感知设备对应的特征矢量的元素全部置为0，或者在进行特征融合计算时，不考虑未上报计算结果的感知设备，可以降低中心设备侧的计算开销。

在一种可能的设计中，该方法还包括：当中心设备确定未从多个电子设备接收到计算结果时，中心设备不执行特征融合计算。可以理解，该方法可以是周期性执行的，如果中心设备未接收到与中心设备建立通信连接的所有感知设备的计算结果，那么中心设备就不需要进行当前周期的特征融合计算。这样可以降低中心设备侧的计算开销。

在一种可能的设计中，中心设备根据多个电子设备的计算结果执行数据融合计算，得到融合结果包括：中心设备将多个电子设备的计算结果作为神经网络的输入，利用神经网络执行数据融合计算，得到神经网络输出的融合结果；其中，神经网络包括多层感知器MLP、或卷积神经网络CNN或深度神经网络DNN。该融合结果可以理解为最终确定的感知目标的类型。例如该感知目标的类型可以表示人上车的动作或下车的动作。

第三方面，提供一种电子设备，电子设备包括训练模型，该模型包括：特征提取模块，用于对采集的原始数据进行特征提取，得到特征矢量；特征选择模块，用于确定特征矢量对应的权重；特征选择模块，还用于当权重达到阈值时，将特征矢量以及权重的计算结果发送给中心设备，计算结果用于中心设备确定感知目标；当权重未达到阈值时，确定不向中心设备发送特征矢量以及权重的计算结果。

在一种可能的设计中，电子设备对采集的原始数据进行特征提取，得到特征矢量包括：电子设备将原始数据作为第一神经网络的输入，得到特征矢量，第一神经网络包括多层感知器MLP、或卷积神经网络CNN或深度神经网络DNN。

在一种可能的设计中，电子设备确定特征矢量对应的权重包括：电子设备将特征矢量作为第二神经网络的输入，将特征矢量经过第二神经网络的计算，得到特征矢量对应的权重。第二神经网络包括隐藏层、全连接层以及激活函数。

在一种可能的设计中，阈值是在训练训练模型时，对训练过程中得到的阈值的计算结果添加L1稀疏表示正则化约束得到的；其中，当升高L1稀疏表示正则化的正则项时，阈值也相应的升高。

第四方面，提供一种中心设备，中心设备包括训练模型，中心设备与多个电子设备通信，该模型包括：确定模块，用于确定是否从多个电子设备接收到计算结果，计算结果是电子设备根据采集的原始数据对应的特征矢量以及特征矢量对应的权重确定的；特征融合模块，用于当中心设备从多个电子设备中的至少一个电子设备接收到计算结果时，根据多个电子设备的计算结果执行特征融合计算，得到融合结果，融合结果用于表征用户或环境的感知目标；其中，当中心设备确定未接收到多个电子设备中的任一电子设备发送的计算结果时，特征融合模块，用于将任一电子设备对应的特征矢量的元素全部置为0。

在一种可能的设计中，特征融合模块还用于：当中心设备确定未从多个电子设备接收到计算结果时，中心设备不执行特征融合计算。

在一种可能的设计中，特征融合模块用于：将多个电子设备的计算结果作为神经网络的输入，利用神经网络执行数据融合计算，得到神经网络输出的融合结果；其中，神经网络包括多层感知器MLP、或卷积神经网络CNN或深度神经网络DNN。

第五方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面及任一项可能的实现方式中的多设备融合感知方法。

第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得电子设备执行上述第一方面及任一项可能的实现方式中的多设备融合感知方法。

第七方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第二方面及任一项可能的实现方式中的多设备融合感知方法。

第八方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得电子设备执行上述第二方面及任一项可能的实现方式中的多设备融合感知方法。

第九方面，本申请实施例提供了一种系统，该系统可以包括以上任一方面的任一项可能的实现方式中的中心设备和至少一个电子设备。该电子设备和中心设备可以执行上述任一方面及任一项可能的实现方式中的多设备融合感知方法。

附图说明

图1为本申请实施例提供的一种多设备融合计算的网络架构示意图；

图2为本申请实施例提供的一种感知设备和中心设备的架构示意图；

图3为本申请实施例提供的一种感知设备和中心设备的设备内的结构示意图；

图4为本申请实施例提供的一种训练模型的流程示意图；

图5为本申请实施例提供的一种模型在线运行时的流程示意图；

图6为本申请实施例提供的一种训练模型的流程示意图；

图7为本申请实施例提供的一种模型在线运行时的流程示意图；

图8为本申请实施例提供的一种电子设备的结构示意图；

图9为本申请实施例提供的一种智能设备的结构示意图；

图10为本申请实施例提供的一种中心设备的结构示意图。

具体实施方式

为了便于理解，示例的给出了部分与本申请实施例相关概念的说明以供参考。如下所示：

人工神经网络：一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接代表通过连接信号的加权值，可称之为权重，相当于人工神经网络的记忆。

隐藏层(hidden layer)：除输入层和输出层以外的其他各层可以为隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。

多层感知器(multilayer perceptron，MLP):一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。

卷积神经网络(convolutional neural networks，CNN)：一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)。

循环神经网络(recurrent neural network，RNN)：一类以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点按链式连接的递归神经网络(recursive neural network)。

本申请实施例用于分布式技术下设备间进行数据通信，以确定人物或环境中的感知目标。本申请是通过训练模型，将训练模型分发给各设备，以按照模型确定是否向中心设备发送数据，可以减少设备间的通信开销和后续融合计算的开销。

目前，对于现有的分布式技术下设备间的通信，一种方式中，通过对多个传感器中的每个传感器数据进行滤波修正，得到多个传感器的修正后数据。再计算多个传感器中不同传感器间数据融合的传感器间融合权重。基于修正后数据和传感器间融合权重进行二次加权融合，以获取最终融合结果。该方案虽然是计算各个特征参与融合感知时的权重，但是每个特征都会加权参与融合计算。而本申请是根据特征的权重选择参与感知的特征，将不参与感知的其他特征丢弃，在模型训练时考虑了上层融合网络适应特征缺失的情况。

又一种方式中，可以通过配置传感器集线器的传感器集线器处理器，将多个功能性从应用处理器外派给传感器集线器处理器；以及使用耦合到传感器集线器处理器的一个或多个传感器来执行一个或多个上下文感知应用。但是，该方案是由中心集线器管理各个传感器活动，包括管理功耗的活动，但该方案并没有涉及保护降低功耗管理的方法。本申请是由各个感知设备自主的管理自身活动，决定是否要上报特征，中心设备无需向各个感知设备下发指令。

又一种方式中，可以实时监测并读取各传感器采集的动态数据；将动态数据与设定的简单事件生成规则进行匹配，如果匹配成功，则发出启动信号，生成简单事件；读取简单事件，生成简单事件集，根据设定的事件过滤规则对简单事件集进行过滤；根据设定的事件聚合规则对过滤后的简单事件集进行聚合，生成复杂事件。可以理解，该方案是将动态数据与设定的简单事件生成规则进行匹配，如果匹配成功，则发出启动信号。但是，该方案处理的是事件，不涉及模型计算。本申请处理的是传感器采集的原始数据，感知设备通过特征提取网络从数据中提取特征，中心设备通过融合网络再对特征进行融合，得到感知目标。而且，该现有的方案是通过规则对事件进行过滤，且对于原始数据，现有技术不能使用规则对原始数据进行筛选，而本申请是通过特征选择模块，筛选从原始信号提取出来的特征，特征选择模块是随着模型一起训练得到的，可以选择与感知目标相关联的特征。

又一种方式中，提供一种多传感器选择性量测数据融合估计算法，该算法会选择各传感器量测数据中部分有价值数据提交给融合中心，在融合中心处进行量测数据的融合，然后基于融合后的量测数据对目标进行跟踪估计。但是，该算法是图像检测目标物体，通过当前上层融合得到目标位置，将目标位置传给底层各传感器，让传感器预测目标物体的位置，截取目标位置附近的图片上传中心节点，进行融合计算。可以理解，该方案是需要中心节点将标位置，传给底层各传感节点，传感节点根据收到的目标位置计算各自的检查位置。而本申请不需要中心设备向子网络的传感设备下发参数，而是由各传感设备自主的完成特征选择。而且，该现有的方案是通过各传感节点根据中心节点下发的目标位置，预测自己的目标位置，并截取采集数据中预测目标位置附近的部分数据上传中心节点。但是，本申请中，各传感设备会先对采集数据整体进行处理，提取特征，然后根据特征自行选择特征选择模块激活的情况，上报被激活的各传感设备获取的整体特征。

由此，综上所述，本申请为了减少设备间的通信开销和后续融合计算的开销，提出了一种基于多设备低功耗的融合感知方法，旨在让各个感知设备可以自主的处理采集的原始数据，提取特征，并进行特征选择，只将与感知目标相关度高的特征上报给中心设备，以便中心设备根据相关度高的特征进行上层的融合计算，以此减少设备间的通信开销和后续融合计算的开销。

基于本申请提出的方法，本申请提供一种网络架构，如图1所示，该网络架构可以应用于AI领域中，例如具体可以为AI领域的自动驾驶领域中。该网络架构可以包括多个感知设备，多个感知设备10包括一个中心设备11。该中心设备11可以为多个感知设备10中计算能力较强的设备，例如中心设备11可以为手机、计算机或平板电脑等设备，除中心设备以外的感知设备10可以为智能手表等。具体场景例如，在自动驾驶领域中，手机接收智能手表发送的感知数据，手机根据自身的感知数据和手表发送的感知数据进行融合计算，得到目前人或环境的感知目标。如图2所示，例如通过手机和手表在人身体不同部位感知加速度和方向的变化，手机进行融合计算后，可以精细的感知人的体态和动作。该人的体态和动作例如可以为人的醉酒步态，或者为自驾车行为，或为上下车行为等。

应用上述网络架构，如图3所示，在本申请中，可以先训练了一个人工神经网络，该神经网络包含多个底层的子网络和一个上层的融合网络。子网络和融合网络之间的通信方式可以是蓝牙通信、无线上网(Wi-Fi)等。对于该网络架构中一些边缘的设备，例如监控摄像头等，也可以是第四代移动通信技术(the 4th generation mobile communicationtechnology，4G)通信。

其中，每个子网络对应一个感知设备，每个感知设备包括至少一个传感器，至少一个传感器用于采集人或环境的原始数据。子网络和融合网络可以部署训练后的模型，子网络中的模型用于提取特征，并计算特征权重，根据特征权重确定是否向融合网络上报特征与特征权重加权后的特征。融合网络中的模型用于根据加权后的特征进行融合计算，确定人或环境的感知目标。

如图3所示，每个子网络中的模型可以包括特征提取模块和特征选择模块，特征提取模块用于根据传感器采集到的原始数据提取特征，特征选择模块用于根据提取的特征计算特征的权重。子网络的模型在离线训练时，可对特征选择模块输出的各特征的权重添加L1稀疏表示正则化约束，用于压缩特征选择模块被激活的数目。模型训练后，可将融合网络部署于中心设备，子网络部署于对应的感知设备；子网络将所提取的特征与特征权重加权后，上报给中心设备；只有特征选择模块激活的设备上报特征和权重加权后的特征给中心设备，进行后续的融合计算，即中心设备与感知设备间进行选择性通信。中心网络也只在收到上报特征时启动计算，即未被激活的特征选择模块对应的设备不上报特征和权重加权后的值，可降低设备间通信开销。后续中心设备在启动计算时可将未上报的子网络对应的数据置为0进行计算，可降低后续融合计算开销。中心网络中可包括门控循环单元(gatedrecurrent unit，GRU)网络，该GRU网络为一个时序融合模型，用于实现执行本申请中的融合计算。

下面先对本申请的子网络和融合网络的模型离线训练过程进行说明。该离线训练过程可以在个人计算机(personal computer，PC)上执行。PC可以根据输入到PC中的中心设备采集的原始数据和各个感知设备采集的原始数据进行模型训练。

如图4所示，本申请的模型离线训练过程可以包括：

401、构建一个人工神经网络，包含多个底层的子网络和一个上层的融合网络。其中，每个子网络对应一个感知设备，负责提取该设备采集数据的特征。融合网络也是一个感知设备，负责提取中心设备采集数据的特征。

402、每个感知设备从本设备采集的数据提取特征。

每个感知设备的子网络可以包括特征提取模块和特征选择模块。特征提取模块负责从对应设备采集的数据中提取特征。其中，每个感知设备中可以包括多个传感器，多个传感器用于采集数据，特征提取模块可以根据多个传感器采集的数据提取特征。

示例性的，特征提取模块可以包括一个多层神经网络，神经网络可以为HiddenLayer。输入该多层神经网络的是传感器采集的原始数据，这样，原始数据经过多层HiddenLayer得到输出值，并将最后一层Hidden Layer的输出值作为特征矢量。该特征矢量表示从本设备采集的数据提取的特征。其中，多层Hidden Layer可以为多种网络中的一种，例如多层Hidden Layer为MLP、CNN和RNN中的一种。

403、每个感知设备根据提取的特征确定该特征对于感知目标的重要性。

其中，对于任一感知设备，其特征选择模块用于评估特征提取模块所提取特征对于感知目标的重要性。

示例性的，特征选择模块可以是一个多层神经网络，输入的是特征提取模块输出的特征矢量，经过多层Hidden Layer、全连接层、ReLu(rectified linear units)激活层计算，输出一个特征的权重值。该权重值用于表示特征对于感知目标的重要性，或者说是对该特征的打分。

404、为每个感知设备中的特征选择模块的输出添加L1稀疏表示正则化约束，通过惩罚特征选择模块的激活层，压缩特征选择模块被激活的数目。

该数轴可以理解为训练阈值，该阈值用于判断特征选择模块是否被激活。当权重值高于或等于该阈值时，确定对应的特征选择模块被激活；当权重值低于该阈值时，确定对应的特征选择模块不被激活，其对应的权重值可以被置为0。

特征选择模块被激活时，其对应的感知设备需向中心设备上报特征；特征选择模块不被激活时，其对应的感知设备不向中心设备上报特征，即不向中心设备发送通信信令。由此，可以减少感知设备和中心设备之间的通信开销，也可以减少中心设备进行融合计算的计算开销。

示例性的，可以通过调节稀疏表示正则化约束的大小，调节特征选择模块输出的稀疏性，正则项数值越大，用于确定是否激活特征选择模块的阈值越高，越多特征选择模块不被激活，激活的特征选择模块要求其对应输入的特征与感知目标的相关性越高。

405、每个感知设备将输出的特征与特征选择模块产生的权重加权后，输入给中心设备(上层融合网络)。

即中心设备的输入为多组子网络(多个感知设备)将特征与权重加权后的特征。

406、中心设备根据多个感知设备上报的加权之后的特征，输出感知目标的分类结果。

中心设备可以包括特征融合计算模块，用于根据上报的加权后的特征得到感知目标的分类结果。该分类结果即用于表示当前人或环境的感知目标的类型，例如该类型为上车动作或下车动作等。

示例性的，上层融合网络可选取多种网络，例如选取MLP、CNN或RNN中的一种。对于中心设备来说，不激活的特征选择模块对应的子网络由于未上报加权后的特征，中心设备则默认该子网络的特征为全部为0的特征矢量，中心设备在进行融合计算时，将默认该自网络对应的特征为0。

在训练开始前，即在步骤401中，还可以执行407、离线采集多个设备的数据，完成数据标注。即数据采集和数据标注发生在训练前。该数据标注即完成子网络对应的模型的数据标注和完成融合网络对应的模型的数据标注。

多个子网络和上层融合网络作为一个整体网络，通过标注数据训练感知模型。

训练完成后，可以将融合网络的模型部署于中心设备，并将子网络对应的模型部署于感知设备，以实施模型在线推理。如图5所示，该在线推理过程可以包括：

501、各感知设备的特征提取模块对该设备采集的数据进行特征提取，并通过特征选择模块计算该特征的权重。

502、各感知设备将权重与阈值进行比较。

503、当权重大于或等于阈值时，感知设备将特征与权重加权后上报中心设备；当权重小于阈值时，感知设备将权重值置为0，并确定不向中心设备发送通信信令，即不上报特征。

其中，本申请不限定感知设备进行数据上报的通信方式。上报的数据需要通过同步时钟进行数据对齐，即各感知设备和中心设备之间需进行时钟同步，以使得中心设备同时收到各感知设备上报的特征。

504、中心设备接收到各感知设备上报的特征后，启动数据融合计算，推理感知目标。

其中，如果没有任何一个感知设备上报特征，中心设备不启动融合计算。若只有部分感知设备上报了特征，则中心设备中的特征融合计算模块可以用于将无上报的感知设备的特征填零后，再进行融合计算。

这样，通过阈值筛选特征选择模块是否被激活，可以使得有上报动作的感知设备上报的特征对于感知目标具有重要性，或者说上报的特征与感知目标的相关性较高。因此，将相关性高的特征发送给中心设备也可以使得中心设备推理出感知目标。这样，部分感知设备不上报特征时，可以减少感知设备与中心设备间进行通信的通信开销。同时，对于中心设备来说，没有根据建立通信连接的所有感知设备的特征进行计算，也可以降低中心设备的融合计算的开销。

下面以示例性的场景为例说明本申请在PC端执行的模型训练和训练后在实际应用时的实施方式。

例如，该场景为通过用户随身携带的手机和手表识别用户上车、下车的动作。

可以理解，该场景下，感知设备为手机和手表，手机和手表均包括数据采集模块、特征提取模块和特征选择模块；中心设备为手机，包括特征融合计算模块；手机和手表均包括通信模块，用于手表和手机之间收发指令和数据。

在该场景下，手机和手表感知任务(推理感知目标的任务)启动后，在手机和手表上，数据采集模块用于采集本设备的加速度传感器和陀螺仪传感器的原始数据，将原始数据发送给特征提取模块，特征提取模块用于从该原始数据提取特征，并由特征选择模块评估特征权重。当权重满足阈值要求时，特征选择模块用于将特征乘以权重上报至特征融合计算模块，特征融合计算模块用于推理计算用户当前的动作类别(感知目标的分类结果)。其中，手机的特征是本地传输给手机的特征融合计算模块，手表的特征是通过通信模块远程传输给手机的。

根据以上场景说明，在进行模型训练时，如图6所示，该训练过程可以包括：

601、数据采集。

a)手机和手表以50Hz的频率采集手机和手表中的加速度传感器和陀螺仪传感器的原始数据。

即手机包括加速度传感器和陀螺仪传感器，手机包括加速度传感器和陀螺仪传感器。

以手表为例，手表对应的原始数据可以包括手表相对重力方向的方位角pitch、roll，手表本地坐标系中三个方向的线性加速度(除去重力加速度)：acc_x、acc_y、acc_z，三个方向的角速度omega_x、omega_y、omega_z，共计8个维度的原始数据。其中，采集过程可以包括降噪、归一化、重力加速度提取、设备方位角计算等信号处理过程，由硬件驱动层提供。

b)手机和手表选取长度为2s的时间窗口，以步长为1s滑动，收集时间窗口内采集的原始数据，将2s时间窗口内采集的8个维度的原始数据拼接为8*100的矩阵，将该矩阵作为每轮计算的输入数据x(输入的原始数据x)。

602、特征提取。

PC端可以通过1D-CNN网络提取手机和手表输入数据x的特征(或称为featuremap)。

其中，一维卷积神经网络(1D-CNN)是CNN网络的一种类型，1D-CNN网络可以选取2层卷积+池化的方式训练。

示例性的，第一层可以选取32个8*10的过滤器(filter)，以步长stride＝1对输入数据x进行卷积，激活函数为ReLu，并进行1*2average pooling池化，得到32*45的featuremap(特征图)。

第二层选取64个16*5的filter，以步长stride＝1对输入数据x进行卷积，激活函数为ReLu，并进行1*4的average pooling池化，得到64*10的feature map。

经过2层卷积+池化训练，将手机输出的feature map记为v¹ _ij，将手表输出的feature map记为v² _ij。

603、特征权重计算。

a)PC端根据手机和手表的feature map，计算手机和手表的权重。

示例性的，将该时间窗口下，手机或手表的权重记为c_t时，c_t可以表示为：

表示线性叠加的权重，该c_t的计算方式可以理解为是对1D-CNN的输出矩阵的矩阵元进行线性叠加。

t＝1时，c₁表示手机对应的特征的权重；t＝2时，c₂表示手表对应的特征的权重。

b)训练时，在损失函数中添加对权重的L1稀疏表示正则化项；

l_attn＝λ∑_t|c_t|，l_attn表示L1稀疏表示正则化项。

本申请可以通过调节λ值，来调节本申请中的L1稀疏表示正则化项，从而调节本申请中的阈值。

上述损失函数可以理解为本申请训练的整个模型的损失函数，可以通过最优化损失函数来计算模型当中的各个权重。本申请中的损失函数可以包括：特征融合计算模块输出预测值与真实值间的交叉熵、特征融合计算模块输出全连接层L2正则项、特征选择模块输出权重的L1正则项。

c)特征输出为：特征权重乘上特征u_t＝c_t v^t _ij。

例如，t＝1时，手机对应的特征权重乘上特征表示为：u₁＝c₁ v¹ _ij；

t＝2时，手表对应的特征权重乘上特征表示为：u₂＝c₂ v² _ij。

如果权重c₁＝0，则手机的特征权重乘上特征的值u₁也为0，手机不通过本地向手机的特征融合计算模块发送手机的特征(u₁)，反之，c₁≠0时，手机需要通过本地向手机的特征融合计算模块发送特征(u₁)；

如果权重c₂＝0，则手表的特征权重乘上特征的值u₂也为0，手表不通过手表的通信模块向手机的特征融合计算模块发送特征u₂)，反之，c₂≠0时，手表需要通过手表的通信模块向手机的特征融合计算模块发送特征(u₂)。

604、特征融合计算。

a)PC端将手机输出的特征u₁与手表输出的特征u₂拼接为一个128×10的featuremap，记为u_ij；

b)通过全连接层输入向量u_ij乘上权重矩阵w，经softmax归一化后，得到对各类别概率的预测

wherez_n＝∑_ijw_n,iju_ij，其中，

表示预测值，可以理解为第n类感知目标发生的可能性；z_n表示一个中间量。

c)基于softmax的结果，通过Cross Entropy定义多分类的损失函数。其中，CrossEntropy用于描述预测值与真实值之间的差异。

d)训练中损失函数对全连接层添加L2正则化，以约束全连接层，避免过拟合。

605、训练。

a)在用户上车、下车以及其他行为动作中，采集手表、手机加速度传感器和陀螺仪传感器的数据，以2s对数据切片，并由人工打上这2s动作的类别标签，分别为上车、下车和其他类型。

b)使用采集的数据集训练上述1D-CNN模型，训练过程使用随机梯度下降(stochastic gradient descent，SGD)来训练神经网络参数。

训练好模型后：

1)将训练好的数据采集模块、特征提取模块、特征选择模块部署与相应的手机和手表设备；将特征融合计算模块部署与手机；手机和手表部署通信模块，可互传指令和数据；

2)上车、下车识别任务启动后，手机通知手机和手表启动数据采集、特征提取、特征选择；同时手机和手表进行时钟对齐；

3)手机、手表每1s采集过去2s本设备的加速度传感器、陀螺仪传感器的数据，提取特征，并通过各自的特征选择模块计算特征权重。如特征权重不为零，则手机、手表将特征乘以特征权重后上报给手机的特征融合计算模块；其中，手机是本地通信上报，手表是通过通信模块上报给手机；如特征权重为零，则不上报特征；

4)手机每1s进行一轮检查。如收到上报特征，则启动数据融合计算，推理感知目标。如果没有任何一个设备上报数据，则不继续后续融合计算。如只有手机上报特征，手表未上报特征，则手机将手表的特征的值填0，继续后续融合计算；如只有手表上报特征，手机未上报特征，则手机将手机的特征的值填0，继续后续融合计算。

可以理解，本申请提供的模型包含中心设备的融合网络和各个感知设备的子网络，多个网络共同训练；感知设备的子网络包含特征提取模块和特征选择模块；训练时对各特征权重添加稀疏表示正则化约束；对上层融合网络输入的是稀疏化之后的特征，一些感知设备不上报特征，不影响融合效果，这是由于上报的特征都是与感知目标的相关性较高的特征。而且，各感知设备自主判断特征与感知目标的关联，只有在产生关键特征时才上报中心设备，进行特征级融合；中心设备也只在收到特性上报时才启动融合计算，可以降低感知设备与中心设备间的通信开销，也降低了中心设备侧的计算开销。

根据上文的说明，本申请提供一种多设备融合感知方法，该方法可以应用于AI领域，例如可以应用于自动驾驶领域等。

该方法是根据电子设备中的训练模型执行的，下文中的阈值是在训练训练模型时添加L1稀疏表示正则化约束得到的；其中，当升高L1稀疏表示正则化约束的正则项时，阈值也相应的升高。

如图7所示，当训练完成得到训练模型，并将模型部署于电子设备和中心设备后，该方法包括：

701、电子设备对采集的原始数据进行特征提取，得到特征矢量。

该电子设备与上文中的感知设备的意义相同，例如电子设备可以为手机或手表等。

在一些实施例中，电子设备可以将原始数据作为第一神经网络的输入，得到特征矢量，第一神经网络可以包括MLP、或CNN或DNN。

其中，原始数据为电子设备中的各个传感器采集到的人或环境等对应的原始数据，传感器例如可以为加速度传感器或陀螺仪传感器等，原始数据例如可以为加速度、方位角和角速度等。

步骤701的一种可能的实现方式可以参见上述步骤602的实现。

需要说明的是，步骤701-707可以是周期性的执行的。

702、电子设备确定特征矢量对应的权重。

电子设备将特征矢量作为第二神经网络的输入，将特征矢量经过第二神经网络的计算，得到特征矢量对应的权重。第二神经网络包括Hidden Layer、全连接层以及激活函数。而后，执行步骤703或704。

步骤702的一种可能的实现方式可以参见上述步骤603的实现。

703、当权重达到阈值时，电子设备将特征矢量以及权重的计算结果发送给中心设备，计算结果用于中心设备确定感知目标。

阈值是通过L1稀疏表示正则化约束后得到的，因此，当电子设备的特征矢量对应的权重大于阈值时，可以理解为该特征矢量对应的特征与感知目标的相关性较高，更有助于中心设备确定感知目标的类型。

该计算结果可以是特征矢量以及权重相乘后的结果。例如该计算结果与上文中步骤603中的u_t的意义相同。

704、当权重未达到阈值时，电子设备确定不向中心设备发送特征矢量以及权重的计算结果。

当电子设备的特征矢量对应的权重未达到阈值，可以理解为该特征矢量对应的特征与感知目标的相关性较低，可以不向中心设备发送该特征矢量以及权重的计算结果，不上报时，也不影响中心设备对感知目标的类型的判断。

705、中心设备确定是否从多个电子设备接收到计算结果，计算结果是电子设备根据采集的原始数据对应的特征矢量以及特征矢量对应的权重确定的。而后执行步骤706或步骤707。

由于本申请中，电子设备需要根据模型判断是否需要向中心设备上报特征的计算结果，因此，有可能发生所有电子设备都未上报的情况，因此，中心设备在进行特征融合计算之前，先判断是否接收到多个电子设备的计算结果，如果确定接收到，那么中心设备确定需开启特征融合计算。

706、当中心设备从多个电子设备中的至少一个电子设备接收到计算结果时，中心设备根据多个电子设备的计算结果执行特征融合计算，得到融合结果，融合结果用于表征用户或环境的感知目标。

当中心设备确定未接收到多个电子设备中的任一电子设备发送的计算结果时，中心设备将任一电子设备对应的特征矢量的元素全部置为0。

在一些实施例中，中心设备可以将多个电子设备的计算结果作为神经网络的输入，利用神经网络执行数据融合计算，得到神经网络输出的融合结果；

其中，神经网络包括MLP、或CNN或深DNN。

步骤706的一种可能的实现方式可以参见上述步骤604。

707、当中心设备确定未从多个电子设备接收到计算结果时，中心设备不执行特征融合计算。

即如果中心设备确定与中心设备建立通信连接的多个电子均未上报计算结果，那么中心设备确定当前周期不需要执行特征融合计算。

由此，在本申请中，中心设备与多个电子设备建立通信连接时，在每个周期内，根据阈值的筛选，可以不是每个电子设备都向中心设备发送特征与权重的计算结果，可以减少电子设备与中心设备间的通信开销。中心设备也可以不需要根据每个电子设备上报的计算结果进行融合计算，也可以降低中心设备侧的计算开销。

可以理解的是，为了实现上述功能，电子设备和/或中心设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例可以根据上述方法示例对电子设备和/或中心设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图8示出了上述实施例中涉及的电子设备80(感知设备)的一种可能的组成示意图，如图8所示，该电子设备80可以包括：特征提取单元801、特征评估单元802和特征上报单元803。

其中，特征提取单元801可以用于支持电子设备80执行上述步骤501、步骤701等，和/或用于本文所描述的技术的其他过程。

特征评估单元802可以用于支持电子设备80执行上述步骤502、步骤702等，和/或用于本文所描述的技术的其他过程。

特征上报单元803可以用于支持电子设备80执行上述步骤503、步骤703、步骤704等，和/或用于本文所描述的技术的其他过程。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的电子设备80，用于执行上述多设备融合感知方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，电子设备80可以包括处理模块、存储模块和通信模块。存储模块可以包括存储在电子设备80中的模型对应的程序和数据，通信模块可以包括上述特征上报单元803的功能。其中，处理模块可以用于对电子设备80的动作进行控制管理，例如，可以用于支持电子设备80执行上述特征提取单元801和特征评估单元802执行的步骤。存储模块可以用于支持电子设备80存储程序代码和数据等，例如存储本申请训练后的模型。通信模块，可以用于支持电子设备80与其他设备的通信，例如与中心设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器，通信模块为收发器时，本实施例所涉及的电子设备可以为具有图9所示结构的智能设备。

在采用对应各个功能划分各个功能模块的情况下，图10示出了上述实施例中涉及的中心设备100(感知设备中的一个)的一种可能的组成示意图，如图10所示，该中心设备100可以包括：确定单元1001和特征融合单元1002。

其中，确定单元1001可以用于支持中心设备100执行上述步骤705等，和/或用于本文所描述的技术的其他过程。

特征融合单元1002可以用于支持中心设备100执行上述步骤706、步骤707等，和/或用于本文所描述的技术的其他过程。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的中心设备100，用于执行上述多设备融合感知方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，中心设备100可以包括处理模块、存储模块和通信模块。

处理模块包括确定模块(与确定单元1001的功能相同)和特征融合模块(与特征融合单元1002的功能相同)，存储模块可以包括存储在中心设备100中的模型对应的程序和数据，通信模块可以用于接收上述特征上报单元803发送的数据。其中，处理模块可以用于对中心设备100的动作进行控制管理，例如，可以用于支持中心设备100执行上述确定单元1001和特征融合单元1002执行的步骤。存储模块可以用于支持中心设备100存储程序代码和数据等，例如存储本申请训练后的模型。通信模块，可以用于支持中心设备100与其他设备的通信，例如与其他感知设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器，通信模块为收发器时，本实施例所涉及的中心设备可以为具有图9所示结构的智能设备。

本申请实施例还提供一种电子设备/中心设备，包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述相关方法步骤实现上述实施例中的多设备融合感知方法。

本申请的实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的多设备融合感知方法。

本申请的实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中电子设备执行的多设备融合感知方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中电子设备执行的多设备融合感知方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本申请另一实施例提供了一种系统，该系统可以包括上述中心设备和上述至少一个电子设备，可以用于实现上述多设备融合感知方法。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种多设备融合感知方法，其特征在于，所述方法是根据电子设备中的训练模型执行的，所述方法包括：

所述电子设备对采集的原始数据进行特征提取，得到特征矢量；

所述电子设备确定所述特征矢量对应的权重；

当所述权重达到阈值时，所述电子设备将所述特征矢量以及所述权重的计算结果发送给中心设备，所述计算结果用于所述中心设备确定感知目标；

当所述权重未达到阈值时，所述电子设备确定不向中心设备发送所述特征矢量以及所述权重的计算结果。

2.根据权利要求1所述的方法，其特征在于，所述电子设备对采集的原始数据进行特征提取，得到特征矢量包括：

所述电子设备将所述原始数据作为第一神经网络的输入，得到所述特征矢量，所述第一神经网络包括多层感知器MLP、或卷积神经网络CNN或深度神经网络DNN。

3.根据权利要求1或2所述的方法，其特征在于，所述电子设备确定所述特征矢量对应的权重包括：

所述电子设备将所述特征矢量作为第二神经网络的输入，将所述特征矢量经过所述第二神经网络的计算，得到所述特征矢量对应的权重；

所述第二神经网络包括隐藏层、全连接层以及激活函数。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述阈值是在训练所述训练模型时添加L1稀疏表示正则化约束得到的；

其中，当升高所述L1稀疏表示正则化约束的正则项时，所述阈值升高。

5.一种多设备融合感知方法，其特征在于，所述方法是根据中心设备中的训练模型执行的，所述中心设备与多个电子设备通信，所述方法包括：

中心设备确定是否从所述多个电子设备接收到计算结果，所述计算结果是所述电子设备根据采集的原始数据对应的特征矢量以及所述特征矢量对应的权重确定的；

当所述中心设备从所述多个电子设备中的至少一个电子设备接收到计算结果时，所述中心设备根据所述多个电子设备的计算结果执行特征融合计算，得到融合结果，所述融合结果用于表征用户或环境的感知目标；

其中，当所述中心设备确定未接收到所述多个电子设备中的任一电子设备发送的计算结果时，所述中心设备将所述任一电子设备对应的特征矢量的元素全部置为0。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述中心设备确定未从所述多个电子设备接收到计算结果时，所述中心设备不执行特征融合计算。

7.根据权利要求5或6所述的方法，其特征在于，所述中心设备根据所述多个电子设备的计算结果执行数据融合计算，得到融合结果包括：

所述中心设备将所述多个电子设备的计算结果作为神经网络的输入，利用所述神经网络执行数据融合计算，得到所述神经网络输出的所述融合结果；

其中，所述神经网络包括多层感知器MLP、或卷积神经网络CNN或深度神经网络DNN。

8.一种电子设备，其特征在于，所述电子设备包括训练模型，所述模型包括：

特征提取模块，用于对采集的原始数据进行特征提取，得到特征矢量；

特征选择模块，用于确定所述特征矢量对应的权重；

所述特征选择模块，还用于当所述权重达到阈值时，将所述特征矢量以及所述权重的计算结果发送给中心设备，所述计算结果用于所述中心设备确定感知目标；

当所述权重未达到阈值时，确定不向中心设备发送所述特征矢量以及所述权重的计算结果。

9.根据权利要求8所述的电子设备，其特征在于，所述电子设备对采集的原始数据进行特征提取，得到特征矢量包括：

所述电子设备将所述原始数据作为第一神经网络的输入，得到所述特征矢量，所述第一神经网络包括多层感知器MLP、或卷积神经网络CNN或深度神经网络DNN。

10.根据权利要求8或9所述的电子设备，其特征在于，所述电子设备确定所述特征矢量对应的权重包括：

所述电子设备将所述特征矢量作为第二神经网络的输入，将所述特征矢量经过所述第二神经网络的计算，得到所述特征矢量对应的权重；

所述第二神经网络包括隐藏层、全连接层以及激活函数。

11.根据权利要求8-10任一项所述的电子设备，其特征在于，所述阈值是在训练所述训练模型时添加L1稀疏表示正则化约束得到的；

其中，当升高所述L1稀疏表示正则化约束的正则项时，所述阈值升高。

12.一种中心设备，其特征在于，所述中心设备包括训练模型，所述中心设备与多个电子设备通信，所述模型包括：

确定模块，用于确定是否从所述多个电子设备接收到计算结果，所述计算结果是所述电子设备根据采集的原始数据对应的特征矢量以及所述特征矢量对应的权重确定的；

特征融合模块，用于当所述中心设备从所述多个电子设备中的至少一个电子设备接收到计算结果时，根据所述多个电子设备的计算结果执行特征融合计算，得到融合结果，所述融合结果用于表征用户或环境的感知目标；

其中，当所述中心设备确定未接收到所述多个电子设备中的任一电子设备发送的计算结果时，所述特征融合模块，用于将所述任一电子设备对应的特征矢量的元素全部置为0。

13.根据权利要求12所述的中心设备，其特征在于，所述特征融合模块还用于：

当所述中心设备确定未从所述多个电子设备接收到计算结果时，所述中心设备不执行特征融合计算。

14.根据权利要求12或13所述的中心设备，其特征在于，所述特征融合模块用于：

将所述多个电子设备的计算结果作为神经网络的输入，利用所述神经网络执行数据融合计算，得到所述神经网络输出的所述融合结果；

其中，所述神经网络包括多层感知器MLP、或卷积神经网络CNN或深度神经网络DNN。

15.一种计算机可读存储介质，其特征在于，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述权利要求1-4中的任一项所述的方法。

16.一种计算机程序产品，其特征在于，当计算机程序产品在计算机上运行时，使得电子设备执行上述权利要求1-4中的任一项所述的方法。

17.一种计算机可读存储介质，其特征在于，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述权利要求5-7中的任一项所述的方法。

18.一种计算机程序产品，其特征在于，当计算机程序产品在计算机上运行时，使得电子设备执行上述权利要求5-7中的任一项所述的方法。

Images