CN108304860A - 一种面向多模态融合模式识别应用的高效分类器堆叠框架 - Google Patents

Abstract

本发明公开了一种面向多模态融合模式识别应用的高效分类器堆叠框架包括若干传感器，一个运行时在线数据缓存和一个基于分类器堆叠技术的控制单元。其中，传感器负责和环境和用户交互，获取实时数据；运行时在线数据缓存保存获取的实时数据；基于分类器堆叠技术的控制单元由若干分类器堆叠构成，根据系统要求和传感器配置，使用传感器历史数据，由分类器给出系统稳定性的判断，判断系统是否会发生改变，从而对系统中的传感器进行控制。本发明针对多模态系统中不可避免的高能耗问题，提出了一种高效的系统构建框架，拥有泛用性好，易于构建，能耗低，适用面广等优点，能够有效的运用于各类涉及多模态融合的系统。

Description

一种面向多模态融合模式识别应用的高效分类器堆叠框架

技术领域

本发明属于计算机应用领域，特别是针对多模态融合系统中常见的因设备过多导致的能耗过高，计算性能超过负荷等问题而设计的能使系统得到全面优化一种系统构建框架，具体地说一种面向多模态融合模式识别应用的高效分类器堆叠框架。

背景技术

随着传感器技术和智能终端的不断发展，已经日渐普及，目前有越来多的系统已经部署到移动平台上，他们通过多种传感设备的共同运用，例如摄像头，麦克风，加速度传感器，GPS等，通过观察记录用户日常生活中的各种信息来获取用户当前所处的状态信息，通过将各种数据或是中间结果进行融合并提供给系统进行处理。通常，我们将这些各种信息分为各个模态的信息，包含听觉，视觉，触觉等若干模态，例如，有一个睡眠监控系统，在用户睡眠时在他附近放置包括摄像头，麦克风，红外线感测器，光强传感器等，以此来感知用户的睡眠质量。

通常，这些系统大都部署在独立的移动平台上，随着系统复杂性和实时性等的提高，系统的能耗同时也在提升，但是由于设备大小的限制，并不能携带过大的电池或者接入电源工作，而且某些设备的使用场景导致充电困难，例如布置在城市中的摄像监控装充电难度就较大。因此，人们希望能够尽量在不降低系统性能的情况下，节约系统的能耗。除此以外，同时计算多模态的数据也给系统中的计算单元带来了较大的负荷。

最近，随着智能手机的功能的完善和广泛普及，目前智能手机上已经安置有绝大多数常用传感器，许多系统已经移植到了手机端或是基于开发，比如基于加速度监控用户的运动状态，睡眠状态等。手机本身的电池容量尽管已经获得了很大的提升，但是通常情况只能支撑手机工作一到两天的时间，特别在打开传感器工作时的电池能耗甚至可能只能支撑几个小时。与此同时，手机的CPU还在同时进行大量的运算，高能耗下也会带来系统运算性能的下降，所以如何优化系统的设计成了重中之重。

发明内容

本发明目的是为了克服传统的多模态系统中的能耗过高的问题，而提供一种面向多模态融合模式识别应用的高效分类器堆叠框架。

为实现上述技术目的，本发明采取的技术方案为：

一种面向多模态融合模式识别应用的高效分类器堆叠框架，该框架包括由多个传感器构成的数据源，用于获取实时数据；一个运行时在线数据缓存，用于保存获取的实时数据；一个基于分类器堆叠的控制单元，用于数据的运算处理并对传感器进行控制；面向多模态融合模式识别应用的高效分类器堆叠框架方法具体包含以下步骤：

1)数据源包括N个传感器S₁,S₂,…,S_N，在某个时刻t，运行的传感器为前n个传感器，各个传感器单独收集数据，分别形成输入数据流；设各个传感器S_i数据率已知为每秒r_i个采样值，输入数据存储于运行时在线数据缓存，记各个传感器缓存的数据分别为D_i；所述的r_i为正实数；

2)从当前时刻t开始，根据大小为w秒的滑动窗口在各个传感器缓存的数据中向前选取数据D_i[t-w,t]作为当前时间窗口下传感器S_i的数据，记为D_i,t；所述的w为正实数；

3)在各个传感器的当前窗口的数据下，将传感器按照模态的强弱顺序进行排序；基于分类器堆叠的控制单元从最低层分类器开始依次开始选取若干模态的历史窗口数据，判断系统是否可能会发生改变；若指示系统稳定，则选择性关闭若干传感器；若指示系统可能会改变，则根据需求打开更多的传感器监测系统的状态。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤1)的具体过程为：

1.1)创建大小动态变化的运行时缓存D；

1.2)将各个传感器获得的数据存入缓存D，并按照不同的传感器分开存储，其中每个传感器内的数据按照时间先后存储；

1.3)根据上层分类器堆叠单元以及实际应用的需要，定义D中各个传感器的缓存数据最长的保留时间为h_i秒，从而避免过于陈旧的数据占据D的空间；所述的h_i为w的整数倍。

上述的步骤2)的具体过程为：

2.1)根据上层分类器堆叠单元以及实际应用的需要，合理的选择滑动窗口在时间上的分片粒度w；

2.2)从当前时刻t开始，根据大小为w秒的滑动窗口在各个传感器缓存的数据中向前选取数据D_i[t-w,t]作为当前时间窗口下传感器S_i的数据，记为D_i,t。

上述的步骤3)的具体过程为：

3.1)分类器堆叠单元将所有的传感器按照模态由弱到强的顺序进行排序；

3.2)分类器堆叠单元由m个分类器堆叠构成，记为C₁,C₂,…,C_m，对应着由弱到强的模态，每个分类器C_j的输入包含有前O_j个传感器和第j+1个分类器在t-1时刻的输出，第j个分类器C_j输出结果为下一个传感器C_j+1是否会发生改变；第m个分类器为系统最终输出结果的分类单元；这些分类器由系统预先进行训练完成；

3.3)计算可以获得的输入值。第j个分类器的输入包含第j+1个分类器在t-1时刻的输出和来自前O_j个传感器的输入。第i个传感器对于该分类器C_j的输入为和历史数据相关的改变量f^(m-j)(i,t)，其具体定义为：

f^(m-j)(i，t)＝f^(m-j-1)(i，t)-f^(m-j-1)(i，t-1)

f⁽⁰⁾(i，t)＝D_i，t

其中，f⁽⁰⁾(i,t)对应第i个传感器的原始数据；

3.4)从传感器C₁开始进行判断，若输出结果为不改变，则说明C₂的结果可以复用前一时刻的结果。若为改变，则由C₂对查询传感器进行判断，输出当前时刻下C₂的结果；

3.5)按照此规律依次对m个传感器进行计算，最后分类器C_m的输出对应系统最终的识别状态，既系统输出；

3.6)在步骤3.5)的计算过程中，若计算到某个分类器C_i时已经得出系统状态在当前时刻不会发生改变，则在下一时刻只需要打开分类器C_i所需要的传感器，对系统状态进行监测即可，关闭其他能耗高的传感器；

3.7)在步骤3.5)的计算过程中，若分类器C_i需要的输入值涉及某个在当前时刻没有打开的传感器，那么系统结束当前时刻的计算，沿用前一时刻的结果，通知所有传感器打开进行数据采集，在下一时刻进行判断。

与现有技术相比，本发明的一种面向多模态融合模式识别应用的高效分类器堆叠框架包括若干传感器，一个运行时在线数据缓存和一个基于分类器堆叠技术的控制单元。其中，传感器负责和环境和用户交互，获取实时数据；运行时在线数据缓存保存获取的实时数据；基于分类器堆叠技术的控制单元由若干分类器堆叠构成，根据系统要求和传感器配置，使用传感器历史数据，由分类器给出系统稳定性的判断，判断系统是否会发生改变，从而对系统中的传感器进行控制。

本发明针对多模态系统中不可避免的高能耗问题，提出了一种高效的系统构建框架，拥有泛用性好，易于构建，能耗低，适用面广等优点，能够有效的运用于各类涉及多模态融合的系统。

附图说明

图1是本发明的系统流程图；

图2是本发明分类器堆叠单元构成图；

图3是本发明堆叠分类器识别流程图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

发明目的是为了克服传统的多模态系统中的能耗过高的问题，本发明面向多模融合模式识别类应用，针对其中的各个传感器的性能，能耗和具体性质的研究，提出了一种使用在线缓存数据的，高效，准确，持久的系统框架。在实现高效融合的同时，我们通过将传统多模态融合模式识别系统的识别方法嵌入到分类器堆叠的控制单元中，从而使得该系统框架对输入数据的格式和特征，系统具体识别方法的实现并不做任何预设，从而在系统设计过程中可以方便的构建新的系统框架，灵活的满足不同应用场景下的需求。

通常来说，基于多模态实现的系统中，不同的模态对于系统的贡献都不相同。有的模态对于系统的准确率和性能的贡献较高，可以称之为强模态，但是采集这些模态的信息需要更高的代价；有的模态贡献较低，称之为弱模态，但是可以以较低的代价采集到这些信息。例如在行为识别系统中，视频信息可以十分准确的捕捉用户具体的运动状态，加速度传感器只能给出用户的大致运动幅度；但是加速度传感器所需要的耗电量和处理复杂性将远小于摄像头的消耗。

通常，系统的性能由准确率和能耗两方面来衡量，根据上述的强弱模态的准确率和能耗的特点，我们确定了我们构建的新的系统框架的需求，提出了利用分类器堆叠方式构建控制单元，通过开关传感器的方式，在系统的准确率维持在可接受的范围内的前提下，尽可能降低系统的能耗。

下面结合具体实施例，进一步阐明本发明，

1、硬件环境

1)由若干传感器构成的数据源，各个传感器能够单独的连续产生传感器数据并且汇聚成连续的数据流；

2)一个数据汇集和计算单元(移动或服务器平台)，该平台能够连入数据源获取实时数据流，并具备足够的存储和处理能力(视数据流的数据率而定)，能够完成分类器堆叠单元所需要的判别工作。即本发明的一个运行时在线数据缓存和一个基于分类器堆叠的控制单元，控制单元由从个分类器堆叠构成。

2、应用场景

在应用本发明所公开的方法构建多模态融合系统框架时，首先需要将采集得到的传感器数据传送到进行存储的服务器。用户根据具体的模式识别方法的需求来规定分片大小w，缓存大小h。服务器根据接收到的若干传感器实时数据，根据该实时数据和历史数据，通过系统预先训练好的分类器，得出当前系统状态是否稳定的判断，判断系统是否可以只打开较少的传感器监测系统状态。该系统框架输出的结果与始终采用所有传感器数据的模式识别系统的结果相同，具有相同的应用范围。同时该系统在长时间的运行中，将会有长时间处在只打开较少传感器的状态，从而使得整个系统的能耗相比只包含一个最终分类器的系统(以下简称单分类器系统)有较多的改善。

该系统框架和单分类器系统相比，将单分类器系统的识别单元嵌入到了分类器堆叠识别单元中，对单分类器系统的识别单元并没有做出改动，该操作对单分类器系统的改动是比较小的，易于实现，可以应用在多种多模态融合系统中。

本发明所涉及技术的一个典型应用场景是以物联网技术为支撑的大数据应用。在物联网基础设施的支持下，能够采集到大量的环境、用户健康信息等数据并汇总到云端。这类技术包括目前已经处于快速建设当中的空气质量检测网络、车载移动传感器网络、智能可穿戴设备网络等。以智能可穿戴设备网络为例，目前市场上新兴的以智能手环为代表的可穿戴设备，内嵌了多种不同种类的传感器，能够以较高的采样频率，获取包括加速度、心率、体温在内的和用户生理健康有关的数据。这些采集到的原始数据通过无线通信技术，以实时数据流的形式汇总到云端进行处理。云端软件通过一系列的模式识别方法，能够从用户生理原始数据中识别出用户的动作、情绪状态、日常生活规律等有用的高层次信息，进而更好地为用户提供服务。然而由于智能手环本身的电池容量的局限性，当需要长时间监控用户的生理状态，维持和云服务器的连接，并不能支持智能手环长时间进行工作。若长时间接入电源工作也会对使用带来很大的不便。所以可以考虑在智能手环的监控软件开发中，运用我们提出的多模态融合的系统框架，优化系统的设计，从而使得系统的能耗得到可观的优化，同时保证系统的准确率稳定。

3、方法描述

本发明所涉及的一种面向多模态融合模式识别应用的高效分类器堆叠框架，其数据处理流程图如图1所示。

1)数据分片和缓存技术

本发明所涉及的面向多模态融合模式识别应用的高效分类器堆叠框架方法，其基础是对输入数据流的分片和缓存技术。假设当前时间为t，根据应用需求，能够确定时间分片的大小为w秒，模式识别应用能够容忍的数据新鲜度为h秒(h为w的整数倍)。对于来自某个传感器的数据，数据分片和缓存技术首先利用一个长度为w秒滑动窗口将输入数据流D切分成时间上不相交的数据段D[t-w,t],D[t-2w,t-w],...,D[i,j],...,D[t-h,t-h+w]，其中i和j分别是数据段中所包含数据的开始和结束时间。由于每段数据中所包含的数据量。不同传感器的数据率之间可能存在较大波动，因此在缓存数据段时，需要开辟动态存储空间来对缓存数据进行存储。考虑到h的取值往往较小，因此对数据的缓存可以在内存中完成。

2)分类器堆叠单元构造

根据当前时刻和历史时刻的数据，通常由部分传感器的信息即可给出系统的状态是否会发生改变的信息，通过监测系统是否会发生改变的信息，当系统发生改变时，才需要更多的传感器准确判断系统当前时刻下所处的状态。

分类器堆叠单元首先将系统中所有的传感器按照模态由弱到强的顺序进行排序。分类器堆叠单元的构造如图2所示，有堆叠构造的m个分类器，记为C₁,C₂,…,C_m，包含有由弱到强的模态，每个分类器C_j的输入包含有前O_j个传感器和第j+1个分类器在t-1时刻的输出，第j个分类器C_j输出结果为下一个分类器C_j+1是否会发生改变。第m个分类器的输出结果为最终系统的输出结果。这些分类器由系统预先进行训练完成。

第j个分类器的输入包含第j+1个分类器在t-1时刻的输出和来自前O_j个传感器的输入。第i个传感器对于该分类器C_j的输入为和历史数据相关的改变量f^(m-^j)(i,t)，其具体定义为：

f^(m-j)(i，t)＝f^(m-j-1)(i，t)-f^(m-j-1)(i，t-1)

f⁽⁰⁾(i，t)＝D_i，t

其中，f⁽⁰⁾(i,t)对应第i个传感器的原始数据。

分类器堆叠单元的操作流程如图3所示。在计算系统是否稳定时，会首先由包含最少模态信息的分类器C₁开始计算，依次迭代的判断系统是否处于稳定状态。从分类器C₁开始进行判断，若输出结果为不改变，则说明C₂的结果可以复用前一时刻的结果。若为改变，则由C₂对查询传感器进行判断，输出当前时刻下C₂的结果。之后迭代的按照此规律依次对m个分类器进行计算，最后分类器C_m的输出对应系统最终的识别状态。在上述迭代的计算过程中，若计算到某个分类器C_i时可以得到上层的分类器的输出结果都是稳定状态，也就是系统状态在当前时刻不会发生改变，则在下一时刻只需要打开分类器C_i的输入所需要的传感器，对系统状态进行监测即可(其他小于j的分类器的输入均是C_i的子集)，关闭其他能耗高的传感器。在迭代的计算过程中，若某个分类器C_i需要的输入值涉及到若干在当前时刻没有打开的传感器，那么系统结束当前时刻的计算，沿用前一时刻的结果，通知所有传感器打开进行数据采集，在下一时刻进行判断。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。

Claims (4)

1.一种面向多模态融合模式识别应用的高效分类器堆叠框架，其特征是：所述的框架包括由多个传感器构成的数据源，用于获取实时数据；一个运行时在线数据缓存，用于保存获取的实时数据；一个基于分类器堆叠的控制单元，用于数据的运算处理并对传感器进行控制；面向多模态融合模式识别应用的高效分类器堆叠框架方法具体包含以下步骤：

1)数据源包括N个传感器S₁,S₂,…,S_N，在某个时刻t，运行的传感器为前n个传感器，各个传感器单独收集数据，分别形成输入数据流；设各个传感器S_i数据率已知为每秒r_i个采样值，输入数据存储于运行时在线数据缓存，记各个传感器缓存的数据分别为D_i；所述的r_i为正实数；

2)从当前时刻t开始，根据大小为w秒的滑动窗口在各个传感器缓存的数据中向前选取数据D_i[t-w,t]作为当前时间窗口下传感器S_i的数据，记为D_i,t；所述的w为正实数；

3)在各个传感器的当前窗口的数据下，将传感器按照模态的强弱顺序进行排序；基于分类器堆叠的控制单元从最低层分类器开始依次开始选取若干模态的历史窗口数据，判断系统是否可能会发生改变；若指示系统稳定，则选择性关闭若干传感器；若指示系统可能会改变，则根据需求打开更多的传感器监测系统的状态。

2.根据权利要求1所述的一种面向多模态融合模式识别应用的高效分类器堆叠框架，其特征是：所述的步骤1)的具体过程为：

1.1)创建大小动态变化的运行时缓存D；

1.2)将各个传感器获得的数据存入缓存D，并按照不同的传感器分开存储，其中每个传感器内的数据按照时间先后存储；

1.3)根据上层分类器堆叠单元以及实际应用的需要，定义D中各个传感器的缓存数据最长的保留时间为h_i秒，从而避免过于陈旧的数据占据D的空间；所述的h_i为w的整数倍。

3.根据权利要求2所述的一种面向多模态融合模式识别应用的高效分类器堆叠框架，其特征是：所述的步骤2)的具体过程为：

2.1)根据上层分类器堆叠单元以及实际应用的需要，合理的选择滑动窗口在时间上的分片粒度w；

2.2)从当前时刻t开始，根据大小为w秒的滑动窗口在各个传感器缓存的数据中向前选取数据D_i[t-w,t]作为当前时间窗口下传感器S_i的数据，记为D_i,t。

4.根据权利要求3所述的一种面向多模态融合模式识别应用的高效分类器堆叠框架，其特征是：所述的步骤3)的具体过程为：

3.1)分类器堆叠单元将所有的传感器按照模态由弱到强的顺序进行排序；

3.2)分类器堆叠单元由m个分类器堆叠构成，记为C₁,C₂,…,C_m，对应着由弱到强的模态，每个分类器C_j的输入包含有前O_j个传感器和第j+1个分类器在t-1时刻的输出，第j个分类器C_j输出结果为下一个传感器C_j+1是否会发生改变；第m个分类器为系统最终输出结果的分类单元；这些分类器由系统预先进行训练完成；

3.3)计算可以获得的输入值。第j个分类器的输入包含第j+1个分类器在t-1时刻的输出和来自前O_j个传感器的输入。第i个传感器对于该分类器C_j的输入为和历史数据相关的改变量f^(m-j)(i,t)，其具体定义为：

f^(m-j)(i，t)＝f^(m-j-1)(i，t)-f^(m-j-1)(i，t-1)

f⁽⁰⁾(i，t)＝D_讨

其中，f⁽⁰⁾(i，t)对应第i个传感器的原始数据；

3.4)从传感器C₁开始进行判断，若输出结果为不改变，则说明C₂的结果可以复用前一时刻的结果。若为改变，则由C₂对查询传感器进行判断，输出当前时刻下C₂的结果；

3.5)按照此规律依次对m个传感器进行计算，最后分类器C_m的输出对应系统最终的识别状态，既系统输出；

3.6)在步骤3.5)的计算过程中，若计算到某个分类器C_i时已经得出系统状态在当前时刻不会发生改变，则在下一时刻只需要打开分类器C_i所需要的传感器，对系统状态进行监测即可，关闭其他能耗高的传感器；

3.7)在步骤3.5)的计算过程中，若分类器C_i需要的输入值涉及某个在当前时刻没有打开的传感器，那么系统结束当前时刻的计算，沿用前一时刻的结果，通知所有传感器打开进行数据采集，在下一时刻进行判断。