CN109697453A - 基于多模融合的半监督场景分类识别方法、系统及装置 - Google Patents
基于多模融合的半监督场景分类识别方法、系统及装置 Download PDFInfo
- Publication number
- CN109697453A CN109697453A CN201811161936.7A CN201811161936A CN109697453A CN 109697453 A CN109697453 A CN 109697453A CN 201811161936 A CN201811161936 A CN 201811161936A CN 109697453 A CN109697453 A CN 109697453A
- Authority
- CN
- China
- Prior art keywords
- scene
- feature
- semi
- supervised
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多模融合的半监督场景分类识别方法、系统及装置，该方法包括数据预处理、基于特征融合的动、静态场景二分类、基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别，本发明解决了现有技术在实际环境应用时，基于单模的加速度传感器或无线信号数据在精确的场景识别中分类效果不佳、普适性不足的问题，以及对于某些场景采集大量标定数据成本较高的问题，本发明的技术方案充分融合Wi‑Fi、蓝牙、传感器三类数据的互补优势，显著减少了标定工作量，同时使得模型较单独利用标定数据而言识别率有了明显提升。
Description
技术领域
本发明属于场景分类识别方法技术领域，尤其涉及一种基于多模融合的半监 督场景分类识别方法，同时，本发明还提供一种基于多模融合的半监督场景分类 识别系统，同时，本发明还提供一种基于多模融合的半监督场景分类识别装置。
背景技术
近年来，随着Wi-Fi、蓝牙等无线网络技术的发展以及移动终端的小型化和普 及化，场景识别逐渐成为研究热点。场景识别的主要内容是感知移动设备所在的 场景，进而对用户提供自适应的内容、个性化的动态服务，现有的场景识别方法 主要分为如下几类：①利用环境中无线信号(如低功耗蓝牙、Wi-Fi、GPS等) 单模方法进行场景分类识别。②利用用户动作信息(如运动传感器数据)的单模 方法进行场景分类识别。③基于场景特点信息的场景分类识别。
在利用环境无线信号进行场景识别领域，Yiqiang Chen等在[Surroundingcontext and episode awareness using dynamic Bluetooth data]一文中利用环境 中动态的蓝牙信号，通过提取手机所处环境中蓝牙的数量、静态蓝牙的比例等特 征，进而识别用户所在场景，取得了一定的识别率；这种方法由于无线信号在某 些场景中覆盖范围不足，很难被广泛地应用到场景识别中。
在利用用户动作信息进行场景识别领域；叶等在《一种基于传感器与用户行 为数据分析的移动学习场景感知分类方法》一文中选取合适的传感器作为场景感 知的依据，进而分类出用户所处的场景。阮等在《基于支持向量机多分类器的室 内外场景感知算法》一文中挖掘出不同传感器在不同环境及不同行为下的特征， 然后设计多个支持向量机对室内外场景进行识别，最终获得了较好的识别率，这 种方法虽然可以完成分类识别的任务，并但是手机传感器采集的数据会因为手机 姿态不固定而随意度很大，因此这种方法的鲁棒性和普适性不强。
基于周围环境信息进行场景识别主要是基于场景信息的指纹算法。指纹算法 主要分为离线训练阶段和在线预测阶段，离线训练阶段的任务是采集需分类场景 的信号参数，例如Wi-Fi信号、蓝牙信号、温度、湿度等，然后将一组指纹信息 及其对应的场景类别形成指纹数据库，在线预测阶段的任务是根据终端设备实时 收集到的信号参数，采用匹配算法来确定与指纹数据库中哪条指纹最匹配，进而 确定终端的实际位置。但这种方法需要采集大量的标定数据作为指纹，极大的增 加了成本，并且分类效果非常依赖于离线训练阶段的数据与在线预测阶段的数据 是否处于同一分布，由于现实环境具有较大的波动性，Wi-Fi、蓝牙、温度、湿度 等都会随着时间的变化而发生明显的变化，最终导致离线阶段训练出来的模型不 能用来预测最新的数据，现有技术存在在实际环境中，精确的场景识别存在基于 单模的传感器或无线信号数据存在分类效果不佳、普适性不足的问题以及对于某 些场景采集大量标定数据成本较高的问题。
发明内容
本发明提供一种基于多模融合的半监督场景分类识别方法，以解决上述背景 技术中基于单模的传感器或单模无线信号数据存在分类效果不佳、普适性不足的 问题以及对于某些场景采集大量标定数据成本较高的问题。
本发明所解决的技术问题采用以下技术方案来实现：一种基于多模融合的半 监督场景分类识别方法，包括：
数据预处理：从环境中采集智能设备的相应的信号源，将采集的信号源分别 进行异常数据处理和缺失数据处理后通过特征提取作为第一输入；
基于特征融合的动、静态场景二分类：根据第一输入中基于特征融合的相应 的信号源特征，通过机器学习方法判定当前场景为静态场景或动态场景；
基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别：
若判定当前场景为静态场景，则进行特征融合然后通过监督学习方法并进行 静态场景识别；
若判定当前场景为动态场景，则进行特征融合然后通过半监督学习方法进行 模型训练并进行动态场景识别。
进一步，所述相应的信号源包括Wi-Fi、蓝牙、传感器。
进一步，所述进行特征融合，然后通过监督学习进行静态场景识别包括：将 采集到的多个所述信号源的特征进行特征融合，通过监督学习进行静态场景识别； 所述多个信号源的特征包括Wi-Fi信号特征、蓝牙设备的信号特征、传感器的特 征，也可以是包括上述任意两个或任意两个以上的特征的组合；并且此处的传感 器可以是例如加速度传感器等类型的传感器。
进一步，所述通过半监督学习进行模型训练并进行动态场景识别包括：通过 半监督极速学习机，基于多个所述信号源的特征，对动态场景模型进行模型训练 并进行动态场景识别；
所述多个信号源的特征包括Wi-Fi信号特征、光照强度特征、传感器特征， 也可以是包括上述任意两个或任意两个以上的特征的组合；并且此处的传感器可 以是例如加速度传感器等类型的传感器。
进一步，所述根据第一输入中基于特征融合的相应信号源特征判定当前场景 为静态场景或动态场景包括：
采用二分类机器学习方法，根据第一输入中基于特征融合的信号源特征，进 行模型训练和场景识别，可得出所述场景为动态场景或者为静态场景。
进一步，所述异常数据处理包括假定同一环境对信号源的影响近似为高斯分 布，然后通过高斯滤波的方法过滤掉异常的数据包。
进一步，所述假定同一环境对信号源的影响近似为高斯分布，然后通过高斯 滤波的方法过滤掉异常的数据包括：
若采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异 常的Wi-Fi数据；
若采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常 的蓝牙数据；
若采集的传感器的原始信号数据服从高斯分布，则通过高斯滤波的方法过滤 掉异常的传感器数据。
进一步，所述通过高斯滤波的方法过滤掉异常的数据包括对在同一环境下近 似为高斯分布的信号源建立高斯模型，设定信号源的高斯模型概率阈值范围，过 滤掉不在阈值范围内的信号。
进一步，所述缺失数据处理包括：
若信号源整体缺失，则不从信号源中提取特征；
若信号源随机缺失，则使用滑动窗口提取平均特征。
进一步，所述滑动窗口提取平均特征包括：
若随机缺失的信号源的滑动窗口大小为设定的窗口时间且相邻窗口之间没 有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并对其进 行分类识别。
进一步，所述通过特征提取作为模型的输入包括将采集的信号源分别进行异 常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数据分别进行窗口时间设 定，在滑动窗口中选取与分类相关度较高的特征作为模型的输入；
将采集的信号源进行异常数据处理和缺失数据处理后的传感器数据，通过相 关性分析，分别提取传感器特征的一个或多个强特征；
所述强特征包括以下特征中的至少一种：平均值、极差、标准差、中值。
更为优选的，上述强特征的提取，可以是：将采集的信号源分别进行异常数 据处理和缺失数据处理后的传感器数据，通过相关性分析，分别提取加速度(三 轴)、温度、光照强度等传感器特征平均值、极差、标准差和中值等强特征。需 要说明的是，这些传感器的参数，以及提取的强特征，是可以依据具体的需要进 行调整的，包括传感器参数的选择个数、搭配方式，以及强特征选取的个数、搭 配方式等，此处不再对所有可能的组合方式进行穷举，但上述的多种可能组合均 应视为落入本发明的保护范围之内。
进一步，所述传感器相应参数包括加速度三轴、方向三轴、温度、湿度等。
同时，本发明还提供一种基于多模融合的半监督场景分类识别系统，包括场 景分类识别平台；
所述场景分类识别平台用于：
数据预处理：从环境中采集智能设备的相应信号源，将采集的信号源分别进 行异常数据处理和缺失数据处理后通过特征提取作为第一输入；
基于特征融合的动、静态场景二分类：根据第一输入中基于特征融合的相应 的信号源判定当前场景为静态场景或动态场景；
基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别：
若判定当前场景为静态场景，则进行特征融合然后通过监督学习方法并进行 静态场景识别；
若判定当前场景为动态场景，则进行特征融合，然后通过半监督学习方法进 行模型训练并进行动态场景识别。
进一步，所述相应的信号源包括Wi-Fi、蓝牙、传感器。
进一步，所述进行特征融合，通过监督学习进行静态场景识别包括：将采集 到的多个所述信号源特征进行特征融合，通过监督学习进行静态场景识别；所述 多个信号源的特征包括Wi-Fi信号特征、蓝牙设备的信号特征、传感器特征，也 可以是包括上述任意两个或任意两个以上的特征的组合；并且此处的传感器可以 是例如加速度传感器等类型的传感器。
进一步，所述通过半监督学习进行模型训练并进行动态场景识别包括：通过 半监督极速学习机，基于多个所述信号源的特征，对动态场景模型进行模型训练 并进行动态场景识别；所述多个信号源的特征包括以下特征Wi-Fi信号特征、传 感器特征，也可以是包括上述任意两个或任意两个以上的特征的组合；并且此处 的传感器可以是例如加速度传感器等类型的传感器
进一步，所述根据第一输入中基于特征融合的相应的信号源特征判定当前场 景为静态场景或动态场景包括：
采用二分类机器学习方法，根据第一输入中基于特征融合的信号源特征，进 行模型训练和场景识别，可得出所述场景为动态场景或者静态场景。
进一步，所述异常数据处理包括假定同一环境对信号源的影响近似为高斯分 布，然后通过高斯滤波的方法过滤掉异常的数据包。
进一步，所述假定同一环境对信号源的影响近似为高斯分布，然后通过高斯 滤波的方法过滤掉异常的数据包括：
若采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异 常的Wi-Fi数据；
若采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常 的蓝牙数据；
若采集的传感器的原始信号数据服从高斯分布，则通过高斯滤波的方法过滤 掉异常的传感器数据。
进一步，所述通过高斯滤波的方法过滤掉异常的数据包括对在同一环境下近 似为高斯分布的信号源建立高斯模型，设定信号源的高斯模型概率阈值范围，过 滤掉不在阈值范围内的信号。
进一步，所述缺失数据处理包括：
若信号源整体缺失，则不从信号源中提取特征；
若信号源随机缺失，则使用滑动窗口提取平均特征。
进一步，所述滑动窗口提取平均特征包括：
若随机缺失的信号源的滑动窗口大小为设定的窗口时间且相邻窗口之间没 有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并对其进 行分类识别。
进一步，所述通过特征提取作为模型的输入包括将采集的信号源分别进行异 常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数据分别进行窗口时间设 定，在滑动窗口中选取与分类相关度较高的特征作为模型的输入；
将采集的信号源进行异常数据处理和缺失数据处理后的传感器数据，通过相 关性分析，分别提取传感器特征的一个或多个强特征；
所述强特征包括以下特征中的至少一种：平均值、极差、标准差、中值。
更为优选的，上述强特征的提取，可以是：将采集的信号源分别进行异常数 据处理和缺失数据处理后的传感器数据，通过相关性分析，分别提取加速度(三 轴)、温度、光照强度等传感器特征平均值、极差、标准差和中值等强特征。需 要说明的是，这些传感器的参数，以及提取的强特征，是可以依据具体的需要进 行调整的，包括传感器参数的选择个数、搭配方式，以及强特征选取的个数、搭 配方式等，此处不再对所有可能的组合方式进行穷举，但上述的多种可能组合均 应视为落入本发明的保护范围之内。
进一步，所述传感器相应参数包括加速度三轴、方向三轴、温度、湿度、光 照强度等。
同时，本发明还提供一种基于多模融合的半监督场景分类识别装置，所述装 置包括一个或多个处理单元；以及
内存单元，其中存储有可由处理器单元调用并进行运算的计算机指令；
所述计算机指令执行上述的基于多模融合的半监督场景分类识别方法。
有益技术效果：
本发明的技术方案充分融合了Wi-Fi、蓝牙、传感器三类数据的互补优势， 相比于单模数据而言分类效果有了明显提升，并且针对某些场景采集标定数据成 本较高的问题引入了半监督的学习方法，较大的减少了标定工作量，同时使得模 型较单独利用标定数据而言识别率有了明显提升。
附图说明
图1是本发明一种基于多模融合的半监督场景分类识别方法的整体流程图；
图2是本发明一种基于多模融合的半监督场景分类识别方法的具体流程图；
图3是本发明一种基于多模融合的半监督场景分类识别方法的不同场景下 的Wi-Fi mac变化率和蓝牙mac变化率图；
图4是本发明一种基于多模融合的半监督场景分类识别方法的的不同特征 组合下分类算法结果对比图；
图5是本发明一种基于多模融合的半监督场景分类识别方法的三个特征下 不同场景的分布图；
图6是本发明一种基于多模融合的半监督场景分类识别方法的极速学习机 结构图；
图7是本发明一种基于多模融合的半监督场景分类识别方法的极速学习机 在同一算法下不同特征组合的结果对比图；
图8是本发明一种基于多模融合的半监督场景分类识别方法的不同数据比 例下的分类结果比较图；
图9是本发明一种基于多模融合的半监督场景分类识别方法的滑动窗口示 意图。
具体实施方式
以下结合附图以及具体的实施例，对本发明的具体实现方式做进一步描述。 显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所 有其他实施例，都属于本发明保护的范围。需要指出的是，该实施例中的具体实 施方式之间是可以相互借鉴参考，或者共同使用以实现本发明的技术方案的，不 应仅将其理解为相互独立或不可相互组合使用的实施方式。
实施例1：
本实施例：如图1、2所示，一种基于多模融合的半监督场景分类识别方法， 包括：
数据预处理S101：从环境中采集智能设备的相应的信号源，将采集的信号 源分别进行异常数据处理和缺失数据处理后通过特征提取作为第一输入S1011；
基于特征融合的动、静态场景二分类S102：根据第一输入中基于特征融合 的相应的信号源，通过机器学习方法判定当前场景为静态场景或动态场景S1021；
基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别 S103：
若判定当前场景为静态场景，则进行特征融合然后通过监督学习方法并进行 静态场景识别S1031；
若判定当前场景为动态场景，则进行特征融合，然后通过半监督学习方法进 行模型训练并进行动态场景识别S1032。
所述相应的信号源包括Wi-Fi、蓝牙、传感器。
由于采用一种基于多模融合的半监督场景分类识别方法，包括数据预处理： 从环境中采集智能设备的相应的信号源，将采集的信号源分别进行异常数据处理 和缺失数据处理后通过特征提取作为第一输入；基于特征融合的动、静态场景二 分类：根据第一输入中基于特征融合的相应的信号源特征，通过机器学习方法判 定当前场景为静态场景或动态场景；基于特征融合的静态场景识别以及基于特征 融合的半监督动态场景识别：若判定当前场景为静态场景，则进行特征融合然后 通过监督学习方法并进行静态场景识别；若判定当前场景为动态场景，则进行特 征融合然后通过半监督学习方法进行模型训练并进行动态场景识别，数据预处理， 由于直接从环境中采集到的Wi-Fi、蓝牙、传感器数据存在缺失值、噪声、异常 信号等问题，所以需要对采集的数据进行预处理和特征提取后才能作为模型的输 入，其次，基于特征融合的动静态场景二分类，如果某种场景下，用户的相对位置在一段时间内较固定，本方法将这种场景定义为静态场景，反之，如果在某个 场景下，用户的相对位置在一段时间内变化较大，本方法将这种场景定义为动态 场景，由于在动静态场景下采集数据的难易程度以及数据比例差距较大，所以本 方法首先对动静态场景进行二分类识别，最后，基于特征融合的静态场景识别 以及基于特征融合的半监督动态场景识别，由于静态场景的标定数据容易采集， 而动态场景的标定数据采集难度较大，所以本方法分别用监督学习和半监督学习 的方法对动静态场景进行细分识别，综上所述，一种基于多模融合的半监督场景 识别分类方法，相比于已有的工作，本方法的主要贡献是：一是充分融合了Wi- Fi、蓝牙、传感器三类数据的互补优势，相比于单模数据而言分类效果有了明显 提升，二是针对某些场景采集标定数据成本较高的问题引入了半监督的学习方法， 较大的减少了标定工作量，同时使得模型较单独利用标定数据而言识别率有了明 显提升。
所述进行特征融合然后通过监督学习进行静态场景识别包括：通过将采集到 的Wi-Fi信号特征、蓝牙设备的信号特征、光照强度特征和加速度传感器等传感 器特征进行特征融合，然后通过监督学习方法进行静态场景识别。
由于采用所述通过监督学习方法进行特征融合并进行静态场景识别包括通 过将采集到的Wi-Fi信号强度特征、蓝牙设备的信号特征、光照强度特征和加速 度传感器等传感器特征进行特征融合，然后通过监督学习方法并进行静态场景识 别，由于在对场景进行动静态区分后，本方法需要对动静态场景做进一步的细分， 这部分主要工作是融合Wi-Fi、蓝牙、传感器特征对静态场景进行细分，本方法 描述的场景为公交、地铁、公园、居民区这四种常见的动态场景以及办公室、图 书馆、电影院、医院这四种常见的静态场景，由于采集静态场景数据比较方便， 数据量较大，本方法采用传统的监督学习方法对其进行细分区别；对于动态场景 采集数据比较困难，获得标注数据的成本较大，本方法引入了半监督的思想对其 进行分类，这部分内容在下面的章节中详细描述，
在区分静态场景时，Wi-Fi、蓝牙、传感器数据的不同特征对不同场景的区分 度不同，为了筛选出对静态场景感知分类影响较大的信号特征，本方法按照相 关度大小对特征进行排序，实验分析得出，Wi-Fi信号强度均值、蓝牙设备的变 化率、光照强度均值是与静态场景分类识别最强相关的三个特征，从图5中可以 清晰的看出四种静态场景数据在三个特征下的分布；
本方法为了验证融合特征的有效性，选取与静态场景分类相关度最高的25 维特征，针对这25维特征，利用4种不同分类算法进行建模并采用十折交叉算 法来验证分析，然后在25维特征中取出属于传感器类特征共19维进行相同实 验，算法运行结果如表2、表3所示：
表2基于传感器特征下静态场景分类结果
表3融合特征下静态场景分类结果
可见，基于融合特征的方法能够明显提高静态场景分类效果，四种分类算法 对静态场景的分类识别率都达到了80％以上，其中J48算法的精确度甚至接近 于95％，建模时间也在可接受范围内，因此，证明了本方法提出的融合特征进行 静态场景识别方法的有效性。
所述通过半监督学习方法进行模型训练并进行动态场景识别包括通过半监 督极速学习机基于采集到的Wi-Fi信号特征、光照强度特征和加速度传感器特征 等传感器特征对动态场景模型进行模型训练并进行动态场景识别。
由于采用所述通过半监督学习方法进行模型训练并进行动态场景识别包括 通过半监督极速学习机基于采集到的Wi-Fi信号特征、光照强度特征和加速度传 感器特征等传感器特征对动态场景模型进行模型训练并进行动态场景识别，由于 为了加快模型的训练以及解决动态场景下采集标定数据成本过高的问题，本发明 先后引入极速学习机模型以及半监督极速学习机，表述如下：
极速学习机(ELM)
ELM(Extreme Learning Machine)是由黄广斌教授于2004年提出的一种 单隐层的前馈神经网络，相对于传统神经网络算法而言，具有学习速度快并且泛 化性能好的特点，网络结构如图6，所示；
对于一个输入向量x∈Rn和具有L个隐层节点的输出表达为：
式中βi＝[βi1,βi2,…,βim]T表示第i个隐层节点与输出节点的连接权重， G(ai,bi,x)表示第i个隐层节点的输出，ai＝[ai1,ai2,…,ain]T代表第i个输入节点 与隐层节点的连接权重，ai和bi是第i个隐层节点的偏置，对于每一个隐藏节点， 引入激励函数g(x)，则第i个隐藏节点的输出为：
G(ai,bi,x)＝g(ai·x+bi)
对于一个有N个训练样本数据集{(xj,tj)|j＝1,2,…,N}， xj＝[xj1,xj2,…,xjn]T，其中xi∈Rn表示输入信号特征值，ti∈Rm表示分类标签， 因此，可以用矩阵表示如下：
根据文献可知，ai和bi只需在训练初始阶段随机给定，而不需在训练过程中 进行训练得到，因此，上述式子中，H和T是已知参数，只需要求解参数β，对 于β的求解，可以将上述模型看成是一个线性模型，从而利用最小均方误差进行 求解：
目标函数为：
求解得：
其中是H的广义逆矩阵，
综合可得Hβ＝T，上述模型将会以接近零误差训练模型参数β，
半监督极速学习机(SS-ELM)
SS-ELM是ELM的一种延伸，思想是将标注样本和未标注样本结合起来进 行训练提升学习的性能，主要的目的是因为人工采集标注样本数据的成本过高， 未标注的样本获取非常容易，从而通过利用少量的标注样本和大量的未标注样本 来达到良好的识别精度，
根据结构风险最小化理论，为了达到好的泛化能力，学习方法需要平衡学习 函数f与经验风险，本发明引入拉普拉斯算子作流形约束，使用图的平滑度函数 S(f)来描述模型的复杂度，定义为：
其中“i～j”表示顶点i是顶点j的邻居之一，fi和fj分别是顶点i和j上观 察到的函数值，L是图的拉普拉斯算子，根据文献；
为了考虑经验风险和控制模型的复杂度，损失函数可以转换为：
式中后半部分为流形约束项，为了简便计算，由Hβ＝f可得：
上式对β进行求导可得：
β＝(I+HTJH+λHTLH)-1HTJT
其中λ为0时，未标定数据将会被忽略，上式会退化成式；
实验验证与分析
本发明采集数据的终端是魅族Pro5，操作系统为Android 5，1，6，利用自 主开发的Wi-Fi、蓝牙、传感器同步采集器，对室外四个场景(公园、地铁、公 交车、居民区)采集数据，总共采集有效数据4100条，其中公园1098条、地 铁976条、公交1036、居民区990条，训练数据和测试数据为1:1；
融合特征的有效性证明：
上文中提到了在某些动态场景下(如公园等空旷场地)，蓝牙由于信源不足导 致蓝牙信号在此场景中整体缺失，所以这部分主要是融合Wi-Fi、传感器的特征， 利用半监督的方法对动态场景进行细分识别。图6为Wi-Fi、传感器、Wi-Fi+传 感器三种特征组合在不同的动态场景下利用SS-ELM进行模型训练和分类识别 的结果；
从图6中可以看出在只使用Wi-Fi特征进行场景的分类识别时，难以达到高 的识别效果，因为在动态场景下，Wi-Fi的覆盖范围有限，不同动态场景下区分 度不明显，而在不同场景下由于不同终端的运动差异性导致传感器信号的差异性 较大，所以单纯利用传感器特征的分类效果优于单纯使用Wi-Fi特征的分类效果， 另外，将Wi-Fi特征和传感器特征融合后的分类效果最佳，每种场景都有较明显 的提升，融合特征充分利用了Wi-Fi和传感器特征的互相关特征，从而使得分类 效果有明显的提升，证明了融合特征策略的有效性；
标定数据量对分类识别效果影响：
为了验证标定数据量对SS-ELM分类精度的影响，保持测试样本的个数不变， 将训练样本分为标注样本Trainl和未标注样本Trainu，未标注样本不包含场景标 签，在Trainl为200、400、600时，将u/l分别取值为0、0，5、1、1，5、2和 2，5，对模型进行训练，然后测试分类识别效果；
如图7分析可知，当标定数据与未标定数据比例固定时，随着标定数据的 增加，分类识别率逐步上升，表明标定数据量越多，分类模型效果越好；当标定 数据一定的情况，分类识别率随着未标定的数据增加先上升然后下降，出现这种 情况的原因是当未标定数据量比例低的情况下，未标定数据和标定数据相互结合 提升了模型的效果，当未标定数据量比例过高时，训练模型的效果由未标定数据 控制，训练数据会偏离标定数据所处的分布，从而使得模型的分类效果下降，从 上图中可知，当标定数据：未标定数据为1:1时，模型的分类识别最佳，当标定 数据量为400时，识别效果达到了90％以上，证明了提出的半监督方法能够充 分利用未标定的数据来提升模型的分类效果；
半监督与其他分类算法比较：
为了验证不同算法的分类识别效果，本发明选取了贝叶斯网络(Bayesiannetwork，BN)、k近邻中的IBK、决策树算法中的J48、ELM与本发明引入的 SSELM算法相比较，保持测试数据不变，将训练数据中标定数据量取值为400， u/l＝1:1，其中Naive Bayes、IBK、J48、ELM不能用于半监督学习中，因此只 能用标定数据进行训练，利用上述几种算法对模型进行训练以及类别预测，对比 不同算法下的训练、预测时间、分类识别率，最终结果如表4所示，
表4动态场景分类结果
分析可以，本发明引入的SS-ELM和ELM算法在分类效果上优于其他算法， 且SS-ELM优于ELM，因为SS-ELM是基于ELM的基础上，充分利用了未标 定数据对模型进行训练，既保留了ELM的优势又体现了未标定数据的作用，在 训练时耗方面，由于SS-ELM引入了未标定数据进行训练，增加了训练时常，但 对于模型训练好后，在测试阶段的时间仅次于ELM，综上所述，SS-ELM在保 证训练时间接受的范围内大幅度的提升了分类识别率，证明了引入的半监督分类 方法能够充分利用未标定数据提升模型的识别率；
表5为融合Wi-Fi、传感器特征后SS-ELM分类算法结果的混淆矩阵：
表5 SS-ELM算法的混淆矩阵
所述根据第一输入中基于特征融合的相应的信号源特征，采用机器学习方法 判定当前场景为静态场景或动态场景S1021包括：
采用二分类机器学习方法，基于第一输入中特征融合的信号源特征，进行模 型训练和场景识别，可得出所述场景为动态场景或者静态场景。
由于采用所述根据第一输入中基于特征融合的相应的信号源特征，采用机器 学习方法判定当前场景为静态场景或动态场景包括：采用二分类机器学习方法， 基于第一输入中特征融合的信号源特征，进行模型训练和场景识别，可得出所述 场景为动态场景或者静态场景。，由于经过第一部分的信号预处理和特征提取后， 第二部分工作主要是融合Wi-Fi、蓝牙、传感器特征对动静态场景区分，在以往 的研究中，主要是基于利用单模的传感器特征或者无线信号进行动静态场景区分， 这种方法虽然能可以完成区分的任务，因为传感器的数据与手机放置位置有很大 的关系以及无线信号存在波动性较大的问题，所以本方法充分利用Wi-Fi、蓝牙、 传感器特征的互补优势，进而对动静态场景做二类区分，这种方法增加了系统的 普适性并提高了分类精度。
为了验证Wi-Fi和蓝牙mac的变化率对于区分动静态场景有很大的作用， 如图3所示，本方法分析了在办公室、图书馆两种静态场景及公交车、地铁两种 动态场景下Wi-Fi、蓝牙mac的变化率，实验结果如下图所示，从图中可以看出， 在公交车和地铁这类动态场景中，Wi-Fi和蓝牙mac的变化波动非常大，而在办 公室和图书馆这类静态场景中，Wi-Fi和蓝牙mac几乎保持不变，因此可以将 Wi-Fi和蓝牙mac变化率特征作为动态和静态场景的分类，模型的输入。
如图4所示，由于Wi-Fi和蓝牙的变化特征以及传感器的数据有较大的相关 性，因此本方法融合Wi-Fi、蓝牙变化特征和传感器的特征，进而对动静态场景 进行分类识别，为了验证融合特征的正确性，本方法观察几种不同的特征组合(传 感器、传感器+Wi-Fi、传感器+蓝牙、传感器+Wi-Fi+蓝牙)在几种经典算法下(J48、 IBK、NaiveBayes、LibSVM)下的实验效果，如图所示，从图中可以得知，在不 同算法下，进行特征融合的效果都要优于单模传感器的分类识别效果，将Wi-Fi、 蓝牙、传感器三类特征进行融合时，识别率最高，几种算法的平均提升幅度在10％ 左右，对于NaiveBayes算法而言提升了25％，融合特征充分利用了Wi-Fi、蓝 牙、传感器所包含的信息，从而分类识别效果最好，证明了本方法所提出的融合特征方法的有效性。
所述异常数据处理包括假定同一环境对信号源的影响近似为高斯分布，然后 通过高斯滤波的方法过滤掉异常的数据包。
所述假定同一环境对信号源的影响近似为高斯分布，然后通过高斯滤波的方 法过滤掉异常的数据包括：
若采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异 常的Wi-Fi数据；
若采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常 的蓝牙数据；
若采集的传感器的原始信号数据服从高斯分布，则通过高斯滤波的方法过滤 掉异常的传感器数据。
所述通过高斯滤波的方法过滤掉异常的数据包括对在同一环境下近似为高 斯分布的信号源建立高斯模型，设定信号源的高斯模型概率阈值范围，过滤掉不 在阈值范围内的信号。
由于采用所述异常数据处理包括假定同一环境对信号源的影响近似为高斯 分布，然后通过高斯滤波的方法过滤掉异常的数据包，所述假定同一环境下对信 号源影响近似为高斯分布，然后通过高斯滤波的方法过滤掉异常的数据包括：假 设采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常的 Wi-Fi数据；假设采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法 过滤掉异常的蓝牙数据；假设采集的传感器的原始信号数据服从高斯分布，则通 过高斯滤波的方法过滤掉异常的传感器数据，所述通过高斯滤波的方法过滤掉异 常的数据包括对在同一环境下近似为高斯分布的信号源建立高斯模型，设定信号 源的高斯模型概率阈值范围，过滤掉不在阈值范围内的信号，由于在复杂的环境 中，Wi-Fi、蓝牙信号由于信源不足、多径传播、其他电子设备信号以及建筑物的 干扰，导致手机接收到的信号强度值存在随机性和不稳定性，同样传感器信号也由于手机的电量、网络延迟等因素不可避免使得采集的数据存在异常数据或者数 据缺失的情况，另采集到的原始数据无法直接放入模型中进行训练以及分类，因 此需要进行数据预处理和特征提取，异常数据处理是指在真实环境中，由于Wi- Fi、蓝牙、传感器信号的波动较大，因此在采集的数据中难免会出现一些异常的 数据，即噪声，针对这个问题，本方法采取了高斯滤波的方法过滤掉异常的数据， 假定同一环境对信号源的影响近似为高斯分布，对于Wi-Fi、蓝牙信号而言，其 信号强度服从高斯分布；而对于传感器数据来说，其采集到的原始信号数据服从 高斯分布(如温度传感器，其采集到的温度服从高斯分布)，假定某个信号源序列 为：X＝{x1,x2,…,xn}，其均值μ、标准差σ和概率密度函数f(x)表示为：
根据公式(1)对信号源建立高斯模型后，设定概率阈值范围，过滤掉不在阈值 范围内的信号。
所述缺失数据处理包括：
若信号源整体缺失，则不从信号源中提取特征；
若信号源随机缺失，则使用滑动窗口提取平均特征。
所述滑动窗口提取平均特征包括：
若随机缺失的信号源的滑动窗口大小为设定的窗口时间且相邻窗口之间没 有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并对其进 行分类识别。
由于采用所述缺失数据处理包括：若信号源整体缺失，则不从信号源中提取 特征；若信号源随机缺失，则使用滑动窗口提取平均特征，所述滑动窗口提取平 均特征包括：若随机缺失的信号源的滑动窗口大小为设定的窗口时间且相邻窗口 之间没有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并 对其进行分类识别，由于从现实环境中采集到的数据观察得，缺失数据的情况分 为两种，一种是在某些场景下信号源整体缺失，如在上文提到的某些动态场景下， 由于蓝牙信源不足，导致蓝牙信号在这个场景下整体缺失，本方法处理的方式是 在对动态场景进行细分识别时，为了提高算法的普适性，不会从蓝牙信号中提出 特征，这部分将在下文体现出来，另外一种是信号随机缺失，本方法针对这种情 况使用滑动窗口提取平均特征的方法消除缺失值带来的影响，滑动窗口示意图如 图9所示；
本方法设置的滑动窗口大小为60s，相邻窗口之间没有重叠部分，当滑动窗 口进行更新时，在当前的滑动窗口里提取特征并对其进行分类识别。
在一具体的实施方式中，该方法所述通过特征提取作为模型的输入包括将采 集的信号源分别进行异常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数 据分别进行窗口时间设定，在滑动窗口中选取与分类相关度较高的特征作为模型 的输入；
将采集的信号源进行异常数据处理和缺失数据处理后，通过相关性分分别提 取加速度(三轴)、温度、光照强度等传感器特征的平均值、极差、标准差和中 值等强特征。由于采用所述通过特征提取作为模型的输入包括将采集的信号源分 别进行异常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数据分别进行窗 口时间设定，在滑动窗口中选取与分类相关度较高的特征作为模型的输入；将采 集的信号源分别进行异常数据处理和缺失数据处理后的传感器数据通过相关性 分析提取加速度(三轴)、温度、光照强度等传感器特征的平均值、极差、标准 差和中值等强特征，由于为了能够有效的体现出设备所处的环境特征，需要在上 文提到的滑动窗口中进行特征提取，本方法选取与分类相关度较高的特征作为模 型的输入，本方法共提取44维信号特征，其中Wi-Fi信号特征4维、蓝牙信号 特征4维、传感器信号特征36维，提取特征的方式如下：
对于Wi-Fi信号，如表1所示，本方法定义以下符号：
表1基本符号定义列表
说明：在经过了数据预处理后，一个时间窗口内不会出现没有扫描到Wi-Fi mac的数据，即就是无论在训练数据还是测试数据中，||A||≠0；
根据上表的符号定义，本方法针对Wi-Fi信号提取了如下4个特征：
1、Wi-Fi mac的个数
在一个时间窗口内，Wi-Fi mac的个数||A||反映了环境中的Wi-Fi mac的个 数，
上文中提到的在不同环境中，由于建筑物等的阻挡影响了Wi-Fi信号的传播， 从而使得不同环境下Wi-Fi信号值有着明显的差异，所以本方法提取在一个时间 窗口内的Wi-Fi信号强度的均值和方差：
2、Wi-Fi信号强度均值：
3、Wi-Fi信号强度的标准差：
4、Wi-Fi mac的变化率
由于人在不同环境中的运动情况不同，通过判断Wi-Fi mac的变化率可以知 道用户处于动态环境还是静态环境，变化率的定义如下：
对于蓝牙信号，提取特征的方法与提取Wi-Fi特征相同，本方法不再详细介 绍，对于加速度传感器，本方法通过相关性分析，提取加速度三轴、方向三轴、 温度、湿度、光照强度的平均值(mean)、极差(range)、标准差(standard deviation) 和中值(median)这等强特征，共36维。
针对利用单模信号数据通过传统机器学习方法识别用户终端场景时存在难 以胜任多场景、复杂环境的问题，提出了一种基于多模融合的半监督场景分类识 别方法，该方法首先对采集的Wi-Fi、蓝牙、传感器信号数据进行预处理，然后 提取融合特征并利用传统机器学习方法对动静态场景进行大类区分以及静态场 景的细类区分，同时引入半监督方法充分利用动态场景中未标定的数据训练模型 进而实现动态场景的细类区分，实验表明，提取Wi-Fi、蓝牙、传感器的融合特 征能够大大的提升区分度，引入的半监督学习方法减少了标定数据带来的成本， 也提升了动态场景的区分度。
实施例2
在又一个具体的实施例中，本发明还提供了一种基于多模融合的半监督场景 分类识别系统，包括场景分类识别平台；
所述场景分类识别平台用于：
数据预处理S101：从环境中采集智能设备的相应的信号源，将采集的信号 源分别进行异常数据处理和缺失数据处理后通过特征提取作为第一输入S1011；
基于特征融合的动、静态场景二分类S102：根据第一输入中基于特征融合 的相应的信号源特征，采用机器学习方法判定当前场景为静态场景或动态场景 S1021；
基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别 S103：
若判定当前场景为静态场景，则进行特征融合然后通过监督学习方法并进行 静态场景识别S1031；
若判定当前场景为动态场景，则进行特征融合，然后通过半监督学习方法进 行模型训练并进行动态场景识别S1032。
所述相应的信号源包括Wi-Fi、蓝牙、传感器。
由于采用一种基于多模融合的半监督场景分类识别方法，包括数据预处理： 从环境中采集智能设备的相应的信号源，将采集的信号源分别进行异常数据处理 和缺失数据处理后通过特征提取作为第一输入；基于特征融合的动、静态场景二 分类：根据第一输入中基于特征融合的相应的信号源特征，采用机器学习方法判 定当前场景为静态场景或动态场景；基于特征融合的静态场景识别以及基于特征 融合的半监督动态场景识别：若判定当前场景为静态场景，则进行特征融合然后 通过监督学习方法并进行静态场景识别；若判定当前场景为动态场景，则进行特 征融合，然后通过半监督学习方法进行模型训练并进行动态场景识别，数据预处 理，由于直接从环境中采集到的Wi-Fi、蓝牙、传感器数据存在缺失值、噪声、 异常信号等问题，所以需要对采集的数据进行预处理和特征提取后才能作为模型 的输入，其次，基于特征融合的动静态场景二分类，如果某种场景下，用户的相 对位置在一段时间内较固定，本方法将这种场景定义为静态场景，反之，如果在 某个场景下，用户的相对位置在一段时间内变化较大，本方法将这种场景定义为 动态场景，由于在动静态场景下采集数据的难易程度以及数据比例差距较大，所 以本方法首先对动静态场景进行二分类识别，最后，基于特征融合的静态场景 识别以及基于特征融合的半监督动态场景识别，由于静态场景的标定数据容易采 集，而动态场景的标定数据采集难度较大，所以本方法分别用监督学习和半监督 学习的方法对动静态场景进行细分识别，综上所述，一种基于多模融合的半监督 场景识别分类方法，相比于已有的工作，本方法的主要贡献是：一是充分融合了 Wi-Fi、蓝牙、传感器三类数据的互补优势，相比于单模数据而言分类效果有了明显提升，二是针对某些场景采集标定数据成本较高的问题引入了半监督的学习方 法，较大的减少了标定工作量，同时使得模型较单独利用标定数据而言识别率有 了明显提升。
所述通过监督学习方法进行特征融合并进行静态场景识别包括将采集到的 Wi-Fi信号特征、蓝牙设备的信号特征、光照强度特征和加速度传感器等传感器 特征进行特征融合，通过监督学习方法并进行静态场景识别。
由于采用所述通过监督学习方法进行特征融合并进行静态场景识别包括将 采集到的Wi-Fi信号特征、蓝牙设备的信号特征、光照强度特征和加速度传感器 等传感器特征进行特征融合，通过监督学习方法并进行静态场景识别，由于在对 场景进行动静态区分后，本方法需要对动静态场景做进一步的细分，这部分主要 工作是融合Wi-Fi、蓝牙、传感器特征对静态场景进行细分，本方法描述的场景 为公交、地铁、公园、居民区这四种常见的动态场景以及办公室、图书馆、电影 院、医院这四种常见的静态场景，由于采集静态场景数据比较方便，数据量较大， 本方法采用传统的监督学习方法对其进行细分区别；对于动态场景采集数据比较 困难，获得标注数据的成本较大，本方法引入了半监督的思想对其进行分类，这 部分内容在下面的章节中详细描述，
在区分静态场景时，Wi-Fi、蓝牙、传感器数据的不同特征对不同场景的区分 度不同，为了筛选出对静态场景感知分类影响较大的信号特征，本方法按照相 关度大小对特征进行排序，实验分析得出，Wi-Fi信号强度均值、蓝牙设备的变 化率、光照强度均值是与静态场景分类识别最强相关的三个特征，从图5中可以 清晰的看出四种静态场景数据在三个特征下的分布；
本方法为了验证融合特征的有效性，选取与静态场景分类相关度最高的25 维特征，针对这25维特征，利用4种不同分类算法进行建模并采用十折交叉算 法来验证分析，然后在25维特征中取出属于传感器类特征共19维进行相同实 验，算法运行结果如实施例1的表2、表3中所示。
可见，基于融合特征的方法能够明显提高静态场景分类效果，四种分类算法 对静态场景的分类识别率都达到了80％以上，其中J48算法的精确度甚至接近 于95％，建模时间也在可接受范围内，因此，证明了本方法提出的融合特征进行 静态场景识别方法的有效性。
所述通过半监督学习方法进行模型训练并进行动态场景识别包括通过半监 督极速学习机基于采集到的Wi-Fi信号特征、光照强度特征、加速度传感器等传 感器特征，对动态场景模型进行模型训练并进行动态场景识别。
由于采用所述通过半监督学习方法进行模型训练并进行动态场景识别包括 通过半监督极速学习机基于采集到的Wi-Fi信号特征、光照强度特征和加速度传 感器等传感器特征，对动态场景模型进行模型训练并进行动态场景识别，由于为 了加快模型的训练以及解决动态场景下采集标定数据成本过高的问题，本发明先 后引入极速学习机模型以及半监督极速学习机，表述如下：
极速学习机(ELM)
ELM(Extreme Learning Machine)是由黄广斌教授于2004年提出的一种 单隐层的前馈神经网络，相对于传统神经网络算法而言，具有学习速度快并且泛 化性能好的特点，网络结构如图6，所示；
对于一个输入向量x∈Rn和具有L个隐层节点的输出表达为：
式中βi＝[βi1,βi2,…,βim]T表示第i个隐层节点与输出节点的连接权重， G(ai,bi,x)表示第i个隐层节点的输出，ai＝[ai1,ai2,…,ain]T代表第i个输入节点 与隐层节点的连接权重，ai和bi是第i个隐层节点的偏置，对于每一个隐藏节点， 引入激励函数g(x)，则第i个隐藏节点的输出为：
G(ai,bi,x)＝g(ai·x+bi)
对于一个有N个训练样本数据集{(xj,tj)|j＝1,2,…,N}， xj＝[xj1,xj2,…,xjn]T，其中xi∈Rn表示输入信号特征值，ti∈Rm表示分类标签， 因此，可以用矩阵表示如下：
根据文献可知，ai和bi只需在训练初始阶段随机给定，而不需在训练过程中 进行训练得到，因此，上述式子中，H和T是已知参数，只需要求解参数β，对 于β的求解，可以将上述模型看成是一个线性模型，从而利用最小均方误差进行 求解：
目标函数为：
求解得：
其中是H的广义逆矩阵，
综合可得Hβ＝T，上述模型将会以接近零误差训练模型参数β，
半监督极速学习机(SS-ELM)
SS-ELM是ELM的一种延伸，思想是将标注样本和未标注样本结合起来进 行训练提升学习的性能，主要的目的是因为人工采集标注样本数据的成本过高， 未标注的样本获取非常容易，从而通过利用少量的标注样本和大量的未标注样本 来达到良好的识别精度，
根据结构风险最小化理论，为了达到好的泛化能力，学习方法需要平衡学习 函数f与经验风险，本发明引入拉普拉斯算子作流形约束，使用图的平滑度函数 S(f)来描述模型的复杂度，定义为：
其中“i～j”表示顶点i是顶点j的邻居之一，fi和fj分别是顶点i和j上观 察到的函数值，L是图的拉普拉斯算子，根据文献；
为了考虑经验风险和控制模型的复杂度，损失函数可以转换为：
式中后半部分为流形约束项，为了简便计算，由Hβ＝f可得：
上式对β进行求导可得：
β＝(I+HTJH+λHTLH)-1HTJT
其中λ为0时，未标定数据将会被忽略，上式会退化成式；
实验验证与分析
本发明采集数据的终端是魅族Pro5，操作系统为Android 5.1.6，利用自主开 发的Wi-Fi、蓝牙、传感器同步采集器，对室外四个场景(公园、地铁、公交车、 居民区)采集数据，总共采集有效数据4100条，其中公园1098条、地铁976 条、公交1036、居民区990条，训练数据和测试数据为1:1；
融合特征的有效性证明：
上文中提到了在某些动态场景下(如公园等空旷场地)，蓝牙由于信源不足导 致蓝牙信号在此场景中整体缺失，所以这部分主要是融合Wi-Fi、加速度传感器 的特征，利用半监督的方法对动态场景进行细分识别。图6为Wi-Fi、传感器、 Wi-Fi+传感器三种特征组合在不同的动态场景下利用SS-ELM进行模型训练和 分类识别的结果；
从图6中可以看出在只使用Wi-Fi特征进行场景的分类识别时，难以达到高 的识别效果，因为在动态场景下，Wi-Fi的覆盖范围有限，不同动态场景下区分 度不明显，而在不同场景下由于不同终端的运动差异性导致传感器信号的差异性 较大，所以单纯利用传感器特征的分类效果优于单纯使用Wi-Fi特征的分类效果， 另外，将Wi-Fi特征和传感器特征融合后的分类效果最佳，每种场景都有较明显 的提升，融合特征充分利用了Wi-Fi和传感器特征的互相关特征，从而使得分类 效果有明显的提升，证明了融合特征策略的有效性；
标定数据量对分类识别效果影响：
为了验证标定数据量对SS-ELM分类精度的影响，保持测试样本的个数不变， 将训练样本分为标注样本Trainl和未标注样本Trainu，未标注样本不包含场景标 签，在Trainl为200、400、600时，将u/l分别取值为0、0，5、1、1，5、2和 2，5，对模型进行训练，然后测试分类识别效果；
如图7分析可知，当标定数据与未标定数据比例固定时，随着标定数据的 增加，分类识别率逐步上升，表明标定数据量越多，分类模型效果越好；当标定 数据一定的情况，分类识别率随着未标定的数据增加先上升然后下降，出现这种 情况的原因是当未标定数据量比例低的情况下，未标定数据和标定数据相互结合 提升了模型的效果，当未标定数据量比例过高时，训练模型的效果由未标定数据 控制，训练数据会偏离标定数据所处的分布，从而使得模型的分类效果下降，从 上图中可知，当标定数据：未标定数据为1:1时，模型的分类识别最佳，当标定 数据量为400时，识别效果达到了90％以上，证明了提出的半监督方法能够充 分利用未标定的数据来提升模型的分类效果；
半监督与其他分类算法比较：
为了验证不同算法的分类识别效果，本发明选取了贝叶斯网络(Bayesiannetwork，BN)、k近邻中的IBK、决策树算法中的J48、ELM与本发明引入的 SSELM算法相比较，保持测试数据不变，将训练数据中标定数据量取值为400， u/l＝1:1，其中Naive Bayes、IBK、J48、ELM不能用于半监督学习中，因此只 能用标定数据进行训练，利用上述几种算法对模型进行训练以及类别预测，对比 不同算法下的训练、预测时间、分类识别率，最终结果如实施例1表4所示。
分析可以，本发明引入的SS-ELM和ELM算法在分类效果上优于其他算法， 且SS-ELM优于ELM，因为SS-ELM是基于ELM的基础上，充分利用了未标 定数据对模型进行训练，既保留了ELM的优势又体现了未标定数据的作用，在 训练时耗方面，由于SS-ELM引入了未标定数据进行训练，增加了训练时常，但 对于模型训练好后，在测试阶段的时间仅次于ELM，综上所述，SS-ELM在保 证训练时间接受的范围内大幅度的提升了分类识别率，证明了引入的半监督分类 方法能够充分利用未标定数据提升模型的识别率；
如实施例1中表5所示，为融合Wi-Fi、加速度传感器特征后SS-ELM分类 算法结果的混淆矩阵。
所述根据第一输入中基于特征融合的相应的信号源，采用机器学习方法判定 当前场景为静态场景或动态场景S1021包括：
采用二分类机器学习方法，根据第一输入中基于特征融合的信号源的特征， 进行模型训练和场景识别，可得出所述场景为动态场景或者为静态场景。
由于采用所述根据第一输入中基于特征融合的相应的信号源，采用机器学习 方法判定当前场景为静态场景或动态场景包括：采用二分类机器学习方法，根据 第一输入中基于特征融合的信号源的特征，进行模型训练和场景识别，可得出所 述场景为动态场景或者为静态场景。
，由于经过第一部分的信号预处理和特征提取后，第二部分工作主要是融合Wi-Fi、蓝牙、传感器特征对动静态场景区分，在以往的研究中，主要是基于利用单 模的传感器(例如加速度传感器等)或者无线信号进行动静态场景区分，这种方 法虽然能可以完成区分的任务，因为传感器的数据与手机放置位置有很大的关系 以及无线信号存在波动性较大的问题，所以本方法充分利用Wi-Fi、蓝牙、传感 器特征的互补优势，进而对动静态场景做二类区分，这种方法增加了系统的普适 性和分类精度。
为了验证Wi-Fi和蓝牙mac的变化率对于区分动静态场景有很大的作用， 如图3所示，本方法分析了在办公室、图书馆两种静态场景及公交车、地铁两种 动态场景下Wi-Fi、蓝牙mac的变化率，实验结果如下图所示，从图中可以看出， 在公交车和地铁这类动态场景中，Wi-Fi和蓝牙mac的变化波动非常大，而在办 公室和图书馆这类静态场景中，Wi-Fi和蓝牙mac几乎保持不变，因此可以将 Wi-Fi和蓝牙mac变化率特征作为动态和静态场景的分类，模型的输入。
如图4所示，由于Wi-Fi和蓝牙的变化特征以及传感器的数据有较大的相关 性，因此本方法融合Wi-Fi、蓝牙变化特征和传感器的特征，进而对动静态场景 进行分类识别，为了验证融合特征的正确性，本方法观察几种不同的特征组合(传 感器、传感器+Wi-Fi、传感器+蓝牙、传感器+Wi-Fi+蓝牙)在几种经典算法下(J48、 IBK、NaiveBayes、LibSVM)下的实验效果，如图所示，从图中可以得知，在不 同算法下，进行特征融合的效果都要优于单模传感器的分类识别效果，将Wi-Fi、 蓝牙、传感器三类特征进行融合时，识别率最高，几种算法的平均提升幅度在10％ 左右，对于NaiveBayes算法而言提升了25％，融合特征充分利用了Wi-Fi、蓝 牙、传感器所包含的信息，从而分类识别效果最好，证明了本方法所提出的融合特征方法的有效性。
所述异常数据处理包括假定同一环境对信号源的影响近似为高斯分布，然后 通过高斯滤波的方法过滤掉异常的数据包。
所述假定同一环境对信号源的影响近似为高斯分布，然后通过高斯滤波的方 法过滤掉异常的数据包括：
若采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异 常的Wi-Fi数据；
若采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常 的蓝牙数据；
若采集的传感器的原始信号数据服从高斯分布，则通过高斯滤波的方法过滤 掉异常的传感器数据。
所述通过高斯滤波的方法过滤掉异常的数据包括对在同一环境下近似为高 斯分布的信号源建立高斯模型，设定信号源的高斯模型概率阈值范围，过滤掉不 在阈值范围内的信号。
由于采用所述异常数据处理包括假定同一环境对信号源的影响近似为高斯 分布，然后通过高斯滤波的方法过滤掉异常的数据包，所述假定同一环境对信号 源的影响近似为高斯分布，然后通过高斯滤波的方法过滤掉异常的数据包括：若 采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常的 Wi-Fi数据；若采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法过 滤掉异常的蓝牙数据；若采集的传感器的原始信号数据服从高斯分布，则通过高 斯滤波的方法过滤掉异常的加速度传感器数据，所述通过高斯滤波的方法过滤掉 异常的数据包括对在同一环境下近似为高斯分布的信号源建立高斯模型，设定信 号源的高斯模型概率阈值范围，过滤掉不在阈值范围内的信号，由于在复杂的环 境中，Wi-Fi、蓝牙信号由于信源不足、多径传播、其他电子设备信号以及建筑物 的干扰，导致手机接收到的信号强度值存在随机性和不稳定性，同样传感器信号 也由于手机的电量、网络延迟等因素不可避免使得采集的数据存在异常数据或者 数据缺失的情况，另采集到的原始数据无法直接放入模型中进行训练以及分类， 因此需要进行数据预处理和特征提取，异常数据处理是指在真实环境中，由于 Wi-Fi、蓝牙、传感器信号的波动较大，因此在采集的数据中难免会出现一些异常 的数据，即噪声，针对这个问题，本方法采取了高斯滤波的方法过滤掉异常的数 据，假定同一环境对信号源的影响近似为高斯分布，对于Wi-Fi、蓝牙信号而言， 其信号强度服从高斯分布；而对于传感器数据来说，其采集到的原始信号数据服 从高斯分布(如温度传感器，其采集到的温度服从高斯分布)，假定某个信号源序 列
为：X＝{x1,x2,…,xn}，其均值μ、标准差σ和概率密度函数f(x)表示为：
根据公式(1)对信号源建立高斯模型后，设定概率阈值范围，过滤掉不在阈值 范围内的信号。
所述缺失数据处理包括：
若信号源整体缺失，则不从信号源中提取特征；
若信号源随机缺失，则使用滑动窗口提取平均特征。
所述滑动窗口提取平均特征包括：
若随机缺失的信号源的滑动窗口大小为设定的窗口时间且相邻窗口之间没 有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并对其进 行分类识别。
由于采用所述缺失数据处理包括：若信号源整体缺失，则不从信号源中提取 特征；若信号源随机缺失，则使用滑动窗口提取平均特征，所述滑动窗口提取平 均特征包括：若随机缺失的信号源的滑动窗口大小为设定的窗口时间且相邻窗口 之间没有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并 对其进行分类识别，由于从现实环境中采集到的数据观察得，缺失数据的情况分 为两种，一种是在某些场景下信号源整体缺失，如在上文提到的某些动态场景下， 由于蓝牙信源不足，导致蓝牙信号在这个场景下整体缺失，本方法处理的方式是 在对动态场景进行细分识别时，为了提高算法的普适性，不会从蓝牙信号中提出 特征，这部分将在下文体现出来，另外一种是信号随机缺失，本方法针对这种情 况使用滑动窗口提取平均特征的方法消除缺失值带来的影响，滑动窗口示意图如 图9所示；
本方法设置的滑动窗口大小为60s，相邻窗口之间没有重叠部分，当滑动窗 口进行更新时，在当前的滑动窗口里提取特征并对其进行分类识别。
在一具体的实施方式中，该方法所述通过特征提取作为模型的输入包括将采 集的信号源分别进行异常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数 据分别进行窗口时间设定，在滑动窗口中选取与分类相关度较高的特征作为模型 的输入；
将采集的信号源进行异常数据处理和缺失数据处理后，通过相关性分析提取 加速度(三轴)、温度、光照强度等传感器特征的平均值、极差、标准差和中值 等强特征。
由于采用所述通过特征提取作为模型的输入包括将采集的信号源分别进行 异常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数据分别进行窗口时间 设定，在滑动窗口中选取与分类相关度较高的特征作为模型的输入；将采集的信 号源进行异常数据处理和缺失数据处理后，通过相关性分析提取加速度(三轴)、 温度、光照强度等传感器特征的平均值、极差、标准差和中值等强特征，由于为 了能够有效的体现出设备所处的环境特征，需要在上文提到的滑动窗口中进行特 征提取，本方法选取与分类相关度较高的特征作为模型的输入，本方法共提取44 维信号特征，其中Wi-Fi信号特征4维、蓝牙信号特征4维、加速度传感器信号 特征36维，提取特征的方式如下：
对于Wi-Fi信号，本方法中基本符号的定义参见实施例1中表1。
说明：在经过了数据预处理后，一个时间窗口内不会出现没有扫描到Wi-Fi mac的数据，即就是无论在训练数据还是测试数据中，||A||≠0；
根据上表的符号定义，本方法针对Wi-Fi信号提取了如下4个特征：
1、Wi-Fi mac的个数
在一个时间窗口内，Wi-Fi mac的个数||A||反映了环境中的Wi-Fi mac的个 数，
上文中提到的在不同环境中，由于建筑物等的阻挡影响了Wi-Fi信号的传播， 从而使得不同环境下Wi-Fi信号值有着明显的差异，所以本方法提取在一个时间 窗口内的Wi-Fi信号强度的均值和方差：
2、Wi-Fi信号强度均值：
3、Wi-Fi信号强度的标准差：
4、Wi-Fi mac的变化率
由于人在不同环境中的运动情况不同，通过判断Wi-Fi mac的变化率可以知 道用户处于动态环境还是静态环境，变化率的定义如下：
对于蓝牙信号，提取特征的方法与提取Wi-Fi特征相同，本方法不再详细介 绍，对于加速度传感器，本方法通过相关性分析，提取加速度三轴、方向三轴、 温度、湿度、光照强度的平均值(mean)、极差(range)、标准差(standard deviation) 和中值(median)这四类强特征。
针对利用单模信号数据通过传统机器学习方法识别用户终端场景时存在难 以胜任多场景、复杂环境的问题，提出了一种基于多模融合的半监督场景分类识 别方法，该方法首先对采集的Wi-Fi、蓝牙、传感器信号数据进行预处理，然后 提取融合特征并利用传统机器学习方法对动静态场景进行大类区分以及静态场 景的细类区分，同时引入半监督方法充分利用动态场景中未标定的数据训练模型 进而实现动态场景的细类区分，实验表明，提取Wi-Fi、蓝牙、传感器的融合特 征能够大大的提升区分度，引入的半监督学习方法减少了标定数据带来的成本， 也提升了动态场景的区分度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是 可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可 读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中， 所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM) 或随机存储记忆体(RandomAccess Memory，RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理 解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术 特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发 明实施例技术方案的精神和范围。
Claims (25)
1.一种基于多模融合的半监督场景分类识别方法，其特征在于，包括：
数据预处理：从环境中采集智能设备的相应信号源，将采集的信号源分别进行异常数据处理和缺失数据处理后提取特征并作为第一输入；
基于特征融合的动、静态场景二分类：根据所述第一输入中基于特征融合的相应信号源，判定当前场景为静态场景或动态场景；
以及基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别：
若判定当前场景为静态场景，则进行特征融合，然后通过监督学习进行静态场景识别；
若判定当前场景为动态场景，则进行特征融合，然后通过半监督学习进行模型训练并进行动态场景识别。
2.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述相应的信号源包括Wi-Fi、蓝牙、传感器。
3.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述进行特征融合，然后通过监督学习进行静态场景识别包括：将采集到的多个所述信号源的特征进行特征融合，通过监督学习进行静态场景识别；
所述多个信号源的特征包括以下特征：Wi-Fi信号特征、蓝牙设备的信号特征、传感器特征。
4.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述通过半监督学习进行模型训练并进行动态场景识别包括：通过半监督极速学习机，基于多个所述信号源的特征，对动态场景模型进行模型训练并进行动态场景识别；
所述多个信号源的特征包括以下特征：Wi-Fi信号特征、光照强度特征、传感器特征。
5.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述根据第一输入中基于特征融合的相应的信号源特征判定当前场景为静态场景或动态场景包括：
采用二分类机器学习方法，根据第一输入中基于特征融合的信号源特征，进行模型训练和场景识别，可得出所述场景为动态场景或者为静态场景。
6.根据权利要求2所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述异常数据处理包括假定同一环境对信号源的影响近似为高斯分布，然后通过高斯滤波的方法过滤掉异常的数据包。
7.根据权利要求6所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述假定同一环境对信号源的影响近似为高斯分布，然后通过高斯滤波的方法过滤掉异常的数据包括：
若采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常的Wi-Fi数据；
若采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常的蓝牙数据；
若采集的传感器的原始信号数据服从高斯分布，则通过高斯滤波的方法过滤掉异常的加速度传感器数据。
8.根据权利要求6所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述通过高斯滤波的方法过滤掉异常的数据包括：对在同一环境下近似为高斯分布的信号源建立高斯模型，设定信号源的高斯模型概率阈值范围，过滤掉不在阈值范围内的信号。
9.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述缺失数据处理包括：
若信号源整体缺失，则不从信号源中提取特征；
若信号源随机缺失，则使用滑动窗口提取平均特征。
10.根据权利要求9所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述滑动窗口提取平均特征包括：
若随机缺失的信号源的滑动窗口大小为设定的窗口时间，且相邻窗口之间没有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并对其进行分类识别。
11.根据权利要求2所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述通过特征提取作为模型的输入包括：将采集的信号源分别进行异常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数据，分别进行窗口时间设定，在滑动窗口中选取与分类相关度较高的特征作为模型的输入；
将采集的信号源进行异常数据处理和缺失数据处理后的传感器数据，通过相关性分析，分别提取传感器特征的一个或多个强特征；
所述强特征包括以下特征中的至少一种：平均值、极差、标准差、中值。
12.根据权利要求11所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述传感器相应参数包括加速度三轴、方向三轴、温度、湿度、光照强度。
13.一种基于多模融合的半监督场景分类识别系统，其特征在于，包括场景分类识别平台；
所述场景分类识别平台用于：
数据预处理：从环境中采集智能设备的相应信号源，将采集的信号源分别进行异常数据处理和缺失数据处理后提取特征并作为第一输入；
基于特征融合的动、静态场景二分类：根据第一输入中基于特征融合的相应的信号源特征，判定当前场景为静态场景或动态场景；
基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别：
若判定当前场景为静态场景，则进行特征融合，通过监督学习方法进行静态场景识别；
若判定当前场景为动态场景，则进行特征融合，然后通过半监督学习方法进行模型训练并进行动态场景识别。
14.根据权利要求13所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述相应的信号源包括Wi-Fi、蓝牙、传感器。
15.根据权利要求13所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述进行特征融合，通过监督学习进行静态场景识别包括：将采集到的多个所述信号源的特征进行特征融合，通过监督学习进行静态场景识别；
所述多个信号源的特征包括以下特征：Wi-Fi信号特征、蓝牙设备的信号特征、传感器特征。
16.根据权利要求13所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述通过半监督学习进行模型训练并进行动态场景识别包括：通过半监督极速学习机，基于多个所述信号源的特征，对动态场景模型进行模型训练并进行动态场景识别；
所述多个信号源的特征包括以下特征：Wi-Fi信号特征、传感器特征。
17.根据权利要求14所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述根据第一输入中基于特征融合的相应的信号源特征判定当前场景为静态场景或动态场景包括：
采用二分类集器学习方法，根据第一输入中基于特征融合的信号源的特征，进行模型训练和场景识别，可得出所述场景为动态场景或者为静态场景。
18.根据权利要求14所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述异常数据处理包括：对同一环境影响近似为高斯分布的信号源通过高斯滤波的方法过滤掉异常的数据包。
19.根据权利要求18所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述假定同一环境对信号源的影响近似为高斯分布，然后通过高斯滤波的方法过滤掉异常的数据包括：
若采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常的Wi-Fi数据；
若采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常的蓝牙数据；
若采集的传感器的原始信号数据服从高斯分布，则通过高斯滤波的方法过滤掉异常的传感器数据。
20.根据权利要求18所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述通过高斯滤波的方法过滤掉异常的数据包括：对在同一环境下近似为高斯分布的信号源建立高斯模型，设定信号源的高斯模型概率阈值范围，过滤掉不在阈值范围内的信号。
21.根据权利要求13所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述缺失数据处理包括：
若信号源整体缺失，则不从信号源中提取特征；
若信号源随机缺失，则使用滑动窗口提取平均特征。
22.根据权利要求21所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述滑动窗口提取平均特征包括：
若随机缺失的信号源的滑动窗口大小为设定的窗口时间，且相邻窗口之间没有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并对其进行分类识别。
23.根据权利要求14所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述通过特征提取作为模型的输入包括：将采集的信号源分别进行异常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数据分别进行窗口时间设定，在滑动窗口中选取与分类相关度较高的特征作为模型的输入；
将采集的信号源进行异常数据处理和缺失数据处理后的传感器数据，通过相关性分析，分别提取传感器特征的一个或多个强特征；
所述强特征包括以下特征中的至少一种：平均值、极差、标准差、中值。
24.根据权利要求23所述的一种基于多模融合的半监督场景分类识别系统，其特征在于，所述传感器相应参数包括加速度三轴、方向三轴、温度、湿度。
25.一种基于多模融合的半监督场景分类识别装置，其特征在于，所述装置包括一个或多个处理单元；以及
内存单元，其中存储有可由处理器单元调用并进行运算的计算机指令；
所述计算机指令执行权利要求1-12任一所述的基于多模融合的半监督场景分类识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811161936.7A CN109697453A (zh) | 2018-09-30 | 2018-09-30 | 基于多模融合的半监督场景分类识别方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811161936.7A CN109697453A (zh) | 2018-09-30 | 2018-09-30 | 基于多模融合的半监督场景分类识别方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109697453A true CN109697453A (zh) | 2019-04-30 |
Family
ID=66229707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811161936.7A Pending CN109697453A (zh) | 2018-09-30 | 2018-09-30 | 基于多模融合的半监督场景分类识别方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109697453A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363384A (zh) * | 2019-06-03 | 2019-10-22 | 杭州电子科技大学 | 基于深度加权神经网络的异常用电检测方法 |
| CN112880672A (zh) * | 2021-01-14 | 2021-06-01 | 武汉元生创新科技有限公司 | 基于ai的惯性传感器融合策略自适应方法及装置 |
| CN114494979A (zh) * | 2022-03-29 | 2022-05-13 | 杭州定川信息技术有限公司 | 一种视频识别生态流量泄放的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040120572A1 (en) * | 2002-10-31 | 2004-06-24 | Eastman Kodak Company | Method for using effective spatio-temporal image recomposition to improve scene classification |
| US20160042250A1 (en) * | 2014-07-03 | 2016-02-11 | Oim Squared Inc. | Interactive content generation |
| CN106599907A (zh) * | 2016-11-29 | 2017-04-26 | 北京航空航天大学 | 多特征融合的动态场景分类方法与装置 |
| CN107339990A (zh) * | 2017-06-27 | 2017-11-10 | 北京邮电大学 | 多模式融合定位系统及方法 |
| CN107423547A (zh) * | 2017-04-19 | 2017-12-01 | 江南大学 | 基于半监督超限学习机的增量式定位算法 |
-
2018
- 2018-09-30 CN CN201811161936.7A patent/CN109697453A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040120572A1 (en) * | 2002-10-31 | 2004-06-24 | Eastman Kodak Company | Method for using effective spatio-temporal image recomposition to improve scene classification |
| US20160042250A1 (en) * | 2014-07-03 | 2016-02-11 | Oim Squared Inc. | Interactive content generation |
| CN106599907A (zh) * | 2016-11-29 | 2017-04-26 | 北京航空航天大学 | 多特征融合的动态场景分类方法与装置 |
| CN107423547A (zh) * | 2017-04-19 | 2017-12-01 | 江南大学 | 基于半监督超限学习机的增量式定位算法 |
| CN107339990A (zh) * | 2017-06-27 | 2017-11-10 | 北京邮电大学 | 多模式融合定位系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| GAO HUANG等: "Semi-Supervised and Unsupervised Extreme Learning Machines", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
| 叶舒雁等: "一种基于传感器与用户行为数据分析的移动学习场景感知分类方法", 《计算机研究与发展》 * |
| 黄正宇等: "基于融合特征的半监督流形约束定位方法", 《浙江大学学报(工学版)》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363384A (zh) * | 2019-06-03 | 2019-10-22 | 杭州电子科技大学 | 基于深度加权神经网络的异常用电检测方法 |
| CN112880672A (zh) * | 2021-01-14 | 2021-06-01 | 武汉元生创新科技有限公司 | 基于ai的惯性传感器融合策略自适应方法及装置 |
| CN114494979A (zh) * | 2022-03-29 | 2022-05-13 | 杭州定川信息技术有限公司 | 一种视频识别生态流量泄放的方法 |
| CN114494979B (zh) * | 2022-03-29 | 2022-07-22 | 杭州定川信息技术有限公司 | 一种视频识别生态流量泄放的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106897738B (zh) | 一种基于半监督学习的行人检测方法 | |
| CN109948447B (zh) | 基于视频图像识别的人物网络关系发现及演化呈现方法 | |
| CN106650693B (zh) | 一种用于人脸比对的多特征融合识别算法 | |
| CN108334849A (zh) | 一种基于黎曼流形的行人重识别方法 | |
| CN110287439A (zh) | 一种基于lstm的网络行为异常检测方法 | |
| CN109697453A (zh) | 基于多模融合的半监督场景分类识别方法、系统及装置 | |
| CN105590099B (zh) | 一种基于改进卷积神经网络的多人行为识别方法 | |
| CN104657718A (zh) | 一种基于人脸图像特征极限学习机的人脸识别方法 | |
| CN102156885A (zh) | 基于级联式码本生成的图像分类方法 | |
| CN110309875A (zh) | 一种基于伪样本特征合成的零样本目标分类方法 | |
| CN107644218B (zh) | 基于图像采集功能实现人流密集区域行为分析判断的工作方法 | |
| CN109767312A (zh) | 一种信用评估模型训练、评估方法与装置 | |
| CN110688888B (zh) | 一种基于深度学习的行人属性识别方法和系统 | |
| CN108416314A (zh) | 图片重要人脸检测方法 | |
| CN106874825A (zh) | 人脸检测的训练方法、检测方法和装置 | |
| CN111586728B (zh) | 一种面向小样本特征的异构无线网络故障检测与诊断方法 | |
| CN110287856A (zh) | 一种执勤人员行为分析系统、方法及装置 | |
| CN110264454A (zh) | 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法 | |
| CN110110586A (zh) | 基于深度学习的遥感机场飞机检测的方法及装置 | |
| CN104978569A (zh) | 一种基于稀疏表示的增量人脸识别方法 | |
| CN110348516A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN110533072A (zh) | Web环境下基于Bigraph结构的SOAP服务相似度计算与聚类方法 | |
| CN109523514A (zh) | 对逆合成孔径雷达isar的批量成像质量评估方法 | |
| CN109800854A (zh) | 一种基于概率神经网络的复合绝缘子憎水性等级判定方法 | |
| CN116311357A (zh) | 基于MBN-Transformer模型的不平衡牛身数据的双边识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |