CN104714781A - 一种多模态信号数据处理方法、装置及终端设备 - Google Patents

Abstract

本发明公开了一种多模态信号处理方法、装置及终端设备，用以在保证多模态信号数据处理的精确性的基础上，提高多模态信号数据处理的速度。其中，多模态信号数据处理方法包括：接收包含多模态信号数据的数据包序列；解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数；比较中央处理器核数与所述模态数；若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。

Description

一种多模态信号数据处理方法、装置及终端设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种多模态信号数据处理方法、装置及终端设备。

背景技术

在移动健康远程应用系统中，用户通过佩戴在身体上的多种传感器，动态采集多种与健康相关的体征信号，通过网络上传至服务器端。服务器端通过对大量体征信号数据的挖掘和分析，为用户提供健康管理、健康监测和远程医疗协助。移动健康远程应用系统使用户能够在家中或社区中享受到健康监测与指导，让用户能够随时、客观地判断健康状况。一个典型的移动健康远程应用系统如图1所示，包括佩戴在用户身上的各种传感器S101（如血氧传感器、加速度传感器、心电传感器、血压传感器、肌电传感器、体温传感器等）、智能网关S102和服务器S103，各传感器S101实时采集多模态的原始体征信号，并将其按照采集时间顺序打包，通过近距离通信技术（如蓝牙、BLE（低功耗蓝牙技术）、Zigbee等）发送给智能网关S102，智能网关S102通过无线通信技术（如Wifi、3G、LTE等）再发送给服务器S103作进一步处理和分析。以一晚（约8小时）睡眠多模态信号数据为例，其包括心电（ECG）信号数据、加速度信号数据、体温信号数据，睡眠多模态信号数据包括3种模态信号数据，则其模态数为3。

由于各传感器采集的原始体征信号数据量大，直接通过智能网关上传至服务器需要消耗大量的网络资源。因此，智能网关在将原始信号数据上传至服务器之前进行必要的特征提取和压缩操作。

现有技术中，用户佩戴在身上的多个传感器实时采集多模态原始体征信号数据，在单位时间内将所有采集的原始体征信号数据打包，实时（如运动远程监护系统）或者在指定的时间（如睡眠远程监护系统在起床后）按照数据包的建立顺序发送给智能网关，智能网关则按照数据包的建立时间顺序依次串行处理每个数据包中包含的各模态信号数据。如图2所示，为智能网关处理多模态信号数据的处理流程示意图，对于接收到的数据包序列，智能网关按照数据包序列中包含的各数据包的建立时间顺序，依次选择一个数据包，针对每一数据包，智能网关依次串行处理该数据包中包含的每一模态信号数据。

目前在智能网关上进行多模态体征信号数据处理计算时间较长，如在CPU主频为1GHz的智能网关上，进行一晚睡眠多模态信号数据（约8小时的心电（ECG）信号数据、加速度信号数据、体温信号数据，原始数据大小约为50MB）的特征提取和压缩，需要约5分钟。因此，基于智能网关的多模态体征信号数据处理的快速计算，对于移动健康远程应用系统具有重要的意义。

目前大多数的优化计算方法均是从信号数据处理的算法本身出发。例如针对ECG信号的R波提取计算中，采用计算量较低的窗口平滑、差分求极值等时域处理方法替代计算量较大的频域滤波、小波变换等处理方法。但是上述优化方法均是通过牺牲算法的部分精确性和稳定性来换取算法运行速度，这影响了体征信号数据处理结果的精确性。从而，如何在保证多模态信号数据处理的精确性的基础上，提高多模态信号数据处理的速度，成为现有技术亟待解决的技术问题之一。

发明内容

本发明实施例提供一种多模态信号处理方法、装置及终端设备，用以在保证多模态信号数据处理的精确性的基础上，提高多模态信号数据处理的速度。

本发明实施例提供一种多模态信号数据处理方法，包括：

接收包含多模态信号数据的数据包序列；

解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数；

比较中央处理器核数与所述模态数；

若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；

若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。

本发明实施例提供一种多模态信号数据处理装置，包括：

接收单元，用于接收包含多模态信号数据的数据包序列；

解析单元，用于解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数；

比较单元，用于比较中央处理器核数与所述模态数；

执行单元，用于根据所述比较单元的比较结果，若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。

本发明实施例提供一种终端设备，包括上述的多模态信号数据处理装置。

本发明实施例提供的多模态信号数据处理方法、装置及终端设备，在接收到数据包序列之后，解析任一数据包以获取多模态信号数据的模态数，并比较获取的模态数与中央处理器核数，若核数大于等于模态数则针对每一模态信号数据，开启一个线程进行处理，从而实现了各模态信号数据的并行处理，若核数小于模态数，则按照预设算法并行处理各模态信号数据，由此可见，本发明实施例中，由于对各模态信号数据进行并行处理，相比于现有技术中对各模态信号数据进行串行处理，能够减少处理时间，提高了多模态信号数据处理的速度，同时，本发明实施例中并未对算法本身进行优化，从而能够保证多模态信号数据处理结果的精确性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术中，移动健康远程应用系统结构示意图；

图2为现有技术中，智能网关处理多模态信号数据的处理流程示意图；

图3为本发明实施例中，多模态信号数据处理方法的实施流程示意图；

图4为本发明实施例中，多模态信号数据处理并行调度示意图；

图5为本发明实施例中，多模态信号数据处理装置的结构示意图。

具体实施方式

为了实现在保证体征信号数据处理的精确性的前提下，提高体征信号数据处理速度，本发明实施例提供了一种多模态信号数据处理方法、装置及终端设备。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

发明人发现，对于智能网关接收到的每个数据包中包含的多模态信号数据具有以下三个特点：

1）智能网关接收到的每个数据包都包含了单位时间内采集到的各个模态体征信号的原始数据，由于不同模态信号数据的采样率可能不同，因此其对应的运算窗口不同，同时，每一模态信号数据的大小不同，这样，针对每一模态信号数据，需要的处理窗口数量也不同。以睡眠监测的一个数据包为例，其可能包含有256个心电（ECG）信号数据，64个加速度信号数据，而ECG信号数据的处理窗口为32，加速度信号数据的处理窗口为64，则每个数据包中包含8个ECG信号数据处理窗口和1个加速度信号数据处理窗口。

2）对每一模态信号数据的处理存在时间上的依赖关系，由于在信号数据处理过程中，当前窗口处理结果依赖于之前窗口处理结果，因此，前一窗口的数据必须先于后一窗口的数据进行处理，也就是说，针对每一模态信号数据的处理必须是串行的。

3）不同模态信号数据的处理是独立的，因此，可以并行执行各模态信号数据处理。

同时，随着智能终端设备技术的发展，现有的终端设备大多具备多核特性，能够支持不同模态信号数据的并行处理。

需要说明的是，本发明实施例提供的多模态信号数据处理方法不仅适用于移动健康远程应用系统中，也适用于其它场景下终端设备对多模态信号数据进行处理，以提高多模态信号数据处理的速度。为了便于描述，本发明实施例中以移动健康远程应用系统中对睡眠进行监测为例对多模态信号数据进行处理为例进行说明。

基于上述分析，本发明实施例提供一种多模态信号数据处理方法，如图3所示，可以包括以下步骤：

S301、终端设备接收包含多模态信号数据的数据包序列。

具体的，以移动健康远程应用系统中对睡眠监测为例，当传感器采集到多模态信号数据（包括ECG信号数据、加速度信号数据和体温信号数据）之后，按照采集的时间顺序依次将采集到的多模态信号数据打包，按照数据包的前后顺序通过近距离传输技术（如蓝牙、BLE和Zigbee等）发送给智能网关。

S302、终端设备解析任一数据包，获取数据包中包含的多模态信号数据的模态数。

本例中，每一数据包包含3种模态信号数据，即获取的模态数为3。

S303、终端设备比较自身中央处理器核数与获取的模态数，若核数大于等于模态数，执行步骤S304，若核数小于模态数，执行步骤S305。

具体的，本例中，智能网关比较自身中央处理器核数（若智能网关为双核，则对应的核数为2，若智能网关为四核，则对应的核数为4）与获取的模态数；

S304、终端设备针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据。

S305、终端设备按照预设算法并行处理多模态信号数据。

其中，具体实施时，数据包数据中包含的每一数据包携带有该数据包的建立时间，则步骤S305中可以但不限于按照以下两种方式来并行处理每一数据包中包含的多模态信号数据：

方式一、

终端设备同时开启N个线程（N为终端设备中央处理器核数），并按照接收到的数据包序列所包含的数据包的建立时间，依次选择一个数据包，并针对每一数据包，均执行以下操作：从该数据包中任意选择N个模态数据信号，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中选择任一模态信号数据进行处理，依次类推，直至处理完成该数据包中的所有模态信号数据。

延续上例，共包含3种模态信号数据，若智能网关为双核的，则同时开启两个线程，每一线程分别处理一种模态信号数据，即同时处理两种模态信号数据，假设分别为ECG信号数据和加速度信号数据，假设加速度信号数据先处理完成，则处理加速度信号数据的线程接着处理体温信号数据，直至该数据包包含的所有模态的信号数据处理完成。具体实施时，若还有第四种模态的信号数据时，则在两个线程中的任一线程处理完成当前信号数据之后，再接着处理第四种模态的信号数据，依次类推，直至数据包包含的所有模态信号数据全部处理完成。

方式二、

方式二中，终端设备根据各数据包的建立时间，选取建立时间最早的数据包，采用串行处理方式进行处理，即依次处理该数据包中包含的每一模态数据，在处理的过程中，记录处理该模态信号数据所需的处理时长。

具体的，可以采用以下方式确定处理各模态信号数据所需的处理时长，针对每一模态信号数据，获得该模态信号数据对应的数据处理窗口大小，例如，上例中，ECG信号数据的处理窗口为32，加速度信号数据处理窗口为64，并根据该模态信号数据的大小确定处理该模态信号数据需要的处理窗口的数量n，如以一个数据包中包含256个ECG信号数据、64个加速度数据为例，则处理该数据包中包含的ECG信号数据需要8个处理窗口，处理ECG信号数据需要1个处理窗口，同时，在处理建立时间最早的数据包的过程中，终端设备针对模态信号数据i记录处理该模态信号数据一个窗口所需要的单位时长t_i，这样，便能够得到处理模态信号数据i所需的处理时长为（n_i*t_i）。

在建立时间最早的数据包处理完成之后，终端设备开启N个线程（N为终端设备中央处理器核数）从剩余未处理的各数据包中，按照数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作：从该数据包中按照模态信号数据处理时长降序的顺序依次选择前N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中按照处理时长降序的顺序依次选择一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。

为了更好的理解本发明实施例，以下以终端设备为4核且多模态信号数据的模态数为6为例对方式二的具体实施方式进行说明（以处理一个数据包的流程为例）。假设6种模态信号数据分别为模态1信号数据、模态2信号数据、……模态6信号数据，处理模态1信号数据所需的处理时长为10s，处理模态2信号数据所需的处理时长为15s，处理模态3信号数据所需的处理时长为8s，处理模态4信号数据所需的处理时长为20s，处理模态5信号数据所需的处理时长为18s，处理模态6信号数据所需的处理时长为7s。如图4所示，为多模态信号数据处理并行调度示意图，按照处理时长按照降序的顺序选择4个信号数据，本例中，先开始四个线程，假设分别为线程1、线程2、线程3和线程4分别处理模态4信号数据、模态5信号数据、模态2信号数据和模态1信号数据，当线程4处理完成模态1信号数据之后，接着处理模态3信号数据，当线程3处理完成模态2信号数据之后，接着处理模态6信号数据，至此一个数据包中的所有信号数据均处理完成。

上述方式二中，从第二个数据包开始，采用贪心算法，每次按照处理时长降序顺序依次选择N（N为终端设备中央处理器核数）个模态信号数据，开启N个线程并行处理这N个模态信号数据，当某个线程上的信号数据处理完成后，就从未处理的信号数据中按顺序选择下一个信号数据进行处理（即剩下的信号数据中需要处理时长最长的信号数据），直至数据包中的所有模态的信号数据都处理完成。通过采用贪心算法，以迭代的方式处理多模态信号数据，使每一步都达到局部最优的效果，因此，一个完整的数据包的处理中能够达到局部最优的处理效果。

在本发明实施例中，充分利用终端设备的多核特性，并行处理多模态信号数据，从而提高了多模态信号数据的处理速度。

基于同一发明构思，本发明实施例中还提供了一种多模态信号数据处理装置及终端设备，由于上述装置及设备解决问题的原理与多模态信号数据处理方法相似，因此上述装置及设备的实施可以参见方法的实施，重复之处不再赘述。

如图5所示，为本发明实施例提供的多模态信号数据处理装置的结构示意图，可以包括：

接收单元501，用于接收包含多模态信号数据的数据包序列；

解析单元502，用于解析接收单元501接收到的数据包序列中的任一数据包，获取多模态信号数据的模态数；

比较单元503，用于比较中央处理器核数与所述模态数；

执行单元504，用于根据比较单元503的比较结果，若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。

具体实施时，数据包序列的每一数据包携带有该数据包的建立时间。较佳的，执行单元504可以单不限于按照以下两种方式中的任一种处理多模态信号数据。

方式一、

执行单元504，可以用于若所述核数小于所述模态数时，按照以下方法并行处理所述多模态信号数据：开启N个线程，其中，N为中央处理器核数；按照各数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作：从该数据包中任意选择N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中选择任一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。

方式二

执行单元504，可以用于若所述核数小于所述模态数时，按照以下方法并行处理所述多模态信号数据：依次处理建立时间最早的数据包中所包含的每一模态信号数据；并记录处理该模态信号数据所需处理时长；开启N个线程，其中，N为中央处理器核数；从剩余的各数据包中，按照数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作：从该数据包中按照模态信号数据处理时长降序的顺序依次选择前N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中按照处理时长降序的顺序依次选择一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。

其中，执行单元504，可以用于按照以下方法确定每一模态信号数据所需处理时长：针对每一模态信号数据，获得该模态信号数据对应的数据处理窗口大小；根据所述数据处理窗口大小和该模态信号数据大小确定处理该模态信号数据需要的数据处理窗口数量；在处理建立时间最早的数据包中所包含的该模态信号数据时，记录处理一个数据处理窗口的单位时长；根据确定出的数据处理窗口数量和记录的处理一个数据处理窗口的单位时长，确定处理该模态信号数据所需处理时长。

为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本发明时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。

需要说明的是，本发明实施例提供的多模态信号数据处理装置可以设置于网关、计算机等需要进行数据处理的终端设备中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种多模态信号数据处理方法，其特征在于，包括：

接收包含多模态信号数据的数据包序列；

解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数；

比较中央处理器核数与所述模态数；

若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；

若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。

2.如权利要求1所述的方法，其特征在于，所述数据包序列的每一数据包携带有该数据包的建立时间；以及

按照预设算法并行处理所述多模态信号数据，具体包括：

开启N个线程，其中，N为中央处理器核数；

按照各数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作：

从该数据包中任意选择N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中选择任一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。

3.如权利要求1所述的方法，其特征在于，所述数据包序列的每一数据包携带有该数据包的建立时间；以及

按照预设算法并行处理所述多模态信号数据，具体包括：

依次处理建立时间最早的数据包中所包含的每一模态信号数据；并

记录处理该模态信号数据所需处理时长；

开启N个线程，其中，N为中央处理器核数；

从剩余的各数据包中，按照数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作：

从该数据包中按照模态信号数据处理时长降序的顺序依次选择前N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中按照处理时长降序的顺序依次选择一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。

4.如权利要求3所述的方法，其特征在于，按照以下方法确定每一模态信号数据所需处理时长：

针对每一模态信号数据，获得该模态信号数据对应的数据处理窗口大小；

根据所述数据处理窗口大小和该模态信号数据大小确定处理该模态信号数据需要的数据处理窗口数量；

在处理建立时间最早的数据包中所包含的该模态信号数据时，记录处理一个数据处理窗口的单位时长；

根据确定出的数据处理窗口数量和记录的处理一个数据处理窗口的单位时长，确定处理该模态信号数据所需处理时长。

5.一种多模态信号数据处理装置，其特征在于，包括：

接收单元，用于接收包含多模态信号数据的数据包序列；

解析单元，用于解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数；

比较单元，用于比较中央处理器核数与所述模态数；

执行单元，用于根据所述比较单元的比较结果，若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。

6.如权利要求5所述的装置，其特征在于，所述数据包序列的每一数据包携带有该数据包的建立时间；以及

所述执行单元，具体用于若所述核数小于所述模态数时，按照以下方法并行处理所述多模态信号数据：开启N个线程，其中，N为中央处理器核数；按照各数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作：从该数据包中任意选择N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中选择任一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。

7.如权利要求5所述的装置，其特征在于，所述数据包序列的每一数据包携带有该数据包的建立时间；以及

所述执行单元，具体用于若所述核数小于所述模态数时，按照以下方法并行处理所述多模态信号数据：依次处理建立时间最早的数据包中所包含的每一模态信号数据；并记录处理该模态信号数据所需处理时长；开启N个线程，其中，N为中央处理器核数；从剩余的各数据包中，按照数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作：从该数据包中按照模态信号数据处理时长降序的顺序依次选择前N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中按照处理时长降序的顺序依次选择一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。

8.如权利要求7所述的装置，其特征在于，

所述执行单元，具体用于按照以下方法确定每一模态信号数据所需处理时长：针对每一模态信号数据，获得该模态信号数据对应的数据处理窗口大小；根据所述数据处理窗口大小和该模态信号数据大小确定处理该模态信号数据需要的数据处理窗口数量；在处理建立时间最早的数据包中所包含的该模态信号数据时，记录处理一个数据处理窗口的单位时长；根据确定出的数据处理窗口数量和记录的处理一个数据处理窗口的单位时长，确定处理该模态信号数据所需处理时长。

9.一种终端设备，其特征在于，包括权利要求5～8任意权利要求所述的装置。