CN110969216A - 基于多模态传感器数据的移动设备后台应用预测方法 - Google Patents
基于多模态传感器数据的移动设备后台应用预测方法 Download PDFInfo
- Publication number
- CN110969216A CN110969216A CN201911324653.4A CN201911324653A CN110969216A CN 110969216 A CN110969216 A CN 110969216A CN 201911324653 A CN201911324653 A CN 201911324653A CN 110969216 A CN110969216 A CN 110969216A
- Authority
- CN
- China
- Prior art keywords
- data
- mobile device
- background application
- method based
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 238000011176 pooling Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于多模态传感器数据的移动设备后台应用预测方法，首先利用移动设备的多种传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类和识别。本发明实施过程中利用不对齐多模态数据，可以处理模态不完全和不一致的情况，利用标记之间的相关性，分类性能优越。
Description
技术领域
本发明涉及多模态多示例多标记分类技术，特别涉及一种利用多模态传感器信息进行移动设备后台应用预测，比如GPS位置传感器，运动传感器，后台应用使用记录，系统信息：如网络、电量和基站。
背景技术
目前，随着数据采集方式技术的提升，通过多种传感器我们可以获得多种模态的数据，比如GPS信息，运动传感器，后台应用使用记录，系统信息：如网络、电量和基站。基于这些数据，我们可以对后台应用进行管理，预测哪些应用应该被关闭，哪些应该被加载至内存。考虑到在实际使用过程中，不同传感器收集数据存在延时和频率不同，难以得到对齐的多模态数据，导致现有的多模态学习方法难以应用。
发明内容
发明目的：移动设备里有各式各样的应用，每个应用会用到移动设备多种传感器信息，例如地图传感器应用会利用GPS位置传感器、地磁传感器、加速传感器等；同时每个应用也会有多个标签信息，例如地图应用属于路线导航、景点查询、POI推荐等标记。考虑到在实际使用过程中，不同传感器收集数据存在延时和频率不同，难以得到对齐的多模态数据。导致现有的多模态学习方法难以应用。目前的多标记技术往往只能利用一种模态的数据，无法利用不对齐多模态的数据，由于一种模态的数据信息输入少，造成性能较差，基于多模态数据可以获得更多的信息，从而提升分类性能。本发明提供一种基于多模态传感器数据的移动设备后台应用预测方法，本发明提出的模型利用多示例学习的思想，考虑包级别的消歧学习，利用包级别的表示形式代替样本级别的表示形式，同时本模型利用最优传输理论将标记相似性作为学习度量，学习适应当前任务的标记矩阵。相比以往的技术，适应性强，分类性能优越。
技术方案：一种基于多模态传感器数据的移动设备后台应用预测方法，首先利用移动设备的多种传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类，根据分类结果提前加载应用。本发明的方法实施过程中适用性强，可以处理多模态数据不完全不一致的情形，并且可以利用标记之间的相关关系。
所述利用移动设备的多种传感器进行数据收集时，初始化移动设备，在使用移动设备过程中采集样本；
数据进行融合处理包括，将移动设备采集的样本进行数据标记，将移动设备采集的样本进行数据预处理；
分类学习为，利用预处理后的数据和标记训练识别模型M；
利用训练完毕的分类器对采集到的多种传感数据进行分类，首先初始化移动设备，通过移动设备内置传感器在线采集信息，将移动设备内置传感器在线采集的信息进行数据预处理，使用识别模型M对进行数据预处理后的信息对用户下一个将使用的应用加以预测，输出分类结果，根据分类结果提前加载应用。
所述移动设备内置传感器包括GPS位置传感器，运动传感器，后台应用使用记录，以及系统信息：如网络、电量和基站等。
所述在移动设备内置传感器在线采集信息之前，还包括检测移动设备内置传感器是否能正常工作的步骤，如果正常工作，则采集信息；如果出现故障，则提示用户。
所述移动设备采集的一条样本为一个数据包，在后台应用管理任务中，一条样本包含一段时间的GPS位置数据，运动传感器数据，以及后台应用使用记录和系统信息等，每条样本对应的标记有多个，比如关闭某个后台应用，加载某个后台应用。
所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补的处理。
所述识别模型M(分类模型)训练所用loss使用最优传输理论，利用标记之间的相关性计算loss，将标记相似性作为学习度量，学习适应当前任务的度量矩阵。对于有标记数据，计算每个模态的预测与真实标记的loss，对于未标记数据，计算不同模态的预测之间的loss。
使用深度神经网络训练识别模型M，首先对多模态数据分别进行特征提取，然后对每个模态的多示例进行预测，得到预测的二维矩阵，其中矩阵的每一列为每个示例的预测结果，接下来使用最大池化融合每个模态的预测结果，最终融合多模态的预测结果，融合方法包括但不限于最大池化，平均池化，加权等方式。有益效果：与现有技术相比，基于多模态传感器数据的移动设备后台应用预测方法，实施过程中利用不对齐多模态数据，可以处理模态不完全和不一致的情况，利用标记之间的相关性，分类性能优越。
附图说明
图1为本发明实施例的分类模型训练工作流程图；
图2为本发明实施例的分类模型识别工作流程图；
图3为本发明实施例的分类模型M结构图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
分类模型的训练阶段工作流程如图1所示。分类模型在训练阶段需要收集一定数量的带标记(也可以附加一部分不带标记)的样本用于训练，具体来说，首先初始化移动设备(指移动设备加电至加载操作系统和后台系统服务完成的全部过程)(步骤10)；然后使用移动设备收集数据(步骤11)；判断移动设备内置传感器是否正常(步骤12)；如果工作正常，则分别提取GPS位置数据，运动传感器，后台应用使用记录多种类型的信息(步骤13a，13b，13c)，对数据进行滤波，去噪，补充缺失值等预处理(步骤14)，对数据进行人工标注(步骤15)，如果已经取得足够多的样本，则进行学习器训练取得分类模型M(步骤17)。注：分类模型M的训练过程会消耗大量的计算资源，本发明中可以在高性能计算机上使用导出的多种内置传感器信号数据对模型M加以训练。
后台应用管理装置的预测阶段工作流程如图2所示。首先初始化移动设备(步骤20)；然后使用移动设备收集数据(步骤21)；判断移动设备内置传感器工作是否正常(步骤22)；如果工作正常，则分别提取GPS位置数据，运动传感器，后台应用使用记录等多种类型的信息(步骤23a，23b，23c)；对收集的数据进行预处理(步骤24)，使用识别模型M对多类传感器信息加以预测(步骤25)，判断后输出应用管理的结果(步骤26)。注：后台应用管理装置的预测阶段，分类模型M可以选择内置在移动设备或者存放在高性能计算机内。
分类模型M训练工作流程如图3所示。模型M的结构如图三所示，对于图片模态使用CNN提取特征，如果是文本模态，则使用预训练好的词向量提取特征，对于其他模态，使用全连接层提取特征，特征提取之后，对每个模态的多示例进行预测，得到预测的二维矩阵，其中矩阵的每一列为每个示例的预测结果，接下来使用最大池化融合每个模态的预测结果，多模态数据的融合使用池化方法，融合方法包括但不限于最大池化，平均池化，加权等方式，训练所用loss为：
其中，m为模态数量，N为样本数量，
为第i个样本的第v个模态，
为模型在第v个模态的预测结果，<Pv,M>为
与yi的传输距离，目标函数优化每个模态的预测结果与真实标记之间的最优传输距离。
Claims (10)
1.一种基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：首先利用移动设备的多种传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类，根据分类结果提前加载应用。
2.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：所述利用移动设备的多种传感器进行数据收集时，初始化移动设备，在使用移动设备过程中采集样本。
3.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：数据进行融合处理包括，将移动设备采集的样本进行数据标记，将移动设备采集的样本进行数据预处理；
分类学习为，利用预处理后的数据和标记训练识别模型M。
4.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：利用训练完毕的分类器对采集到的多种传感数据进行分类和识别，首先初始化移动设备，通过移动设备内置传感器在线采集信息，将移动设备内置传感器在线采集的信息进行数据预处理，使用识别模型M对进行数据预处理后的信息加以预测，输出分类结果。
5.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：所述移动设备内置传感器包括GPS位置传感器，运动传感器，后台应用使用记录，以及系统信息。
6.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：所述在移动设备内置传感器在线采集信息之前，还包括检测移动设备内置传感器是否能正常工作的步骤，如果正常工作，则采集信息；如果出现故障，则提示用户。
7.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：所述移动设备采集的一条样本为一个数据包，在后台应用管理任务中，一条样本包含一段时间的GPS位置数据，运动传感器数据，以及后台应用使用记录和系统信息，每条样本对应的标记有多个。
8.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补的处理。
9.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：所述识别模型M（分类模型）训练所用loss使用最优传输理论，利用标记之间的相关性计算loss，将标记相似性作为学习度量，学习适应当前任务的度量矩阵；
对于有标记数据，计算每个模态的预测与真实标记的loss，对于未标记数据，计算不同模态的预测之间的loss。
10.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：使用深度神经网络训练识别模型M，首先对多模态数据分别进行特征提取，然后对每个模态的多示例进行预测，得到预测的二维矩阵，其中矩阵的每一列为每个示例的预测结果，接下来融合每个模态的预测结果，最终融合多模态的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324653.4A CN110969216A (zh) | 2019-12-20 | 2019-12-20 | 基于多模态传感器数据的移动设备后台应用预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324653.4A CN110969216A (zh) | 2019-12-20 | 2019-12-20 | 基于多模态传感器数据的移动设备后台应用预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110969216A true CN110969216A (zh) | 2020-04-07 |
Family
ID=70035406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911324653.4A Pending CN110969216A (zh) | 2019-12-20 | 2019-12-20 | 基于多模态传感器数据的移动设备后台应用预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969216A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867190A (zh) * | 2012-08-30 | 2013-01-09 | 南京大学 | 一种利用移动设备内置传感器进行行为识别的方法 |
| CN104318459A (zh) * | 2014-11-11 | 2015-01-28 | 苏州晨川通信科技有限公司 | 一种基于多模态学习的自动化市场分析方法 |
| CN108628645A (zh) * | 2018-04-28 | 2018-10-09 | Oppo广东移动通信有限公司 | 应用程序预加载方法、装置、存储介质及终端 |
| CN108647059A (zh) * | 2018-05-21 | 2018-10-12 | Oppo广东移动通信有限公司 | 应用程序预测方法、装置、存储介质及移动终端 |
-
2019
- 2019-12-20 CN CN201911324653.4A patent/CN110969216A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867190A (zh) * | 2012-08-30 | 2013-01-09 | 南京大学 | 一种利用移动设备内置传感器进行行为识别的方法 |
| CN104318459A (zh) * | 2014-11-11 | 2015-01-28 | 苏州晨川通信科技有限公司 | 一种基于多模态学习的自动化市场分析方法 |
| CN108628645A (zh) * | 2018-04-28 | 2018-10-09 | Oppo广东移动通信有限公司 | 应用程序预加载方法、装置、存储介质及终端 |
| CN108647059A (zh) * | 2018-05-21 | 2018-10-12 | Oppo广东移动通信有限公司 | 应用程序预测方法、装置、存储介质及移动终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dwivedi et al. | Deep learning-based car damage classification and detection | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN104094287A (zh) | 用于情境识别的方法、装置以及计算机软件 | |
| WO2020155790A1 (zh) | 理赔信息提取方法和装置、电子设备 | |
| CN112541372B (zh) | 一种困难样本筛选方法及装置 | |
| EP4170605A1 (en) | Multi-level transferable region-based domain adaptive object detection apparatus and method | |
| CN112749738B (zh) | 一种融合上下文进行超类推理的零样本对象检测方法 | |
| CN102867190A (zh) | 一种利用移动设备内置传感器进行行为识别的方法 | |
| Tsintotas et al. | Appearance-based loop closure detection with scale-restrictive visual features | |
| CN114157829A (zh) | 模型训练优化方法、装置、计算机设备及存储介质 | |
| Lu et al. | Survey of weakly supervised semantic segmentation methods | |
| CN115482436B (zh) | 图像筛选模型的训练方法、装置以及图像筛选方法 | |
| Katsamenis et al. | Evaluating YOLO transferability limitation for road infrastructures monitoring | |
| CN110969216A (zh) | 基于多模态传感器数据的移动设备后台应用预测方法 | |
| Bewley et al. | From imagenet to mining: Adapting visual object detection with minimal supervision | |
| Nag et al. | CNN based approach for post disaster damage assessment | |
| Meena Deshpande | License plate detection and recognition using yolo v4 | |
| CN111144454A (zh) | 一种基于图像标记特定特征的延迟多标记学习方法 | |
| CN112052824A (zh) | 基于YOLOv3算法的煤气管道特定物体目标检测告警方法、装置、系统及存储介质 | |
| Zhou et al. | An improved convolutional neural network model with adversarial net for multi-label image classification | |
| Singh et al. | Evaluating the Performance of Ensembled YOLOv8 Variants in Smart Parking Applications for Vehicle Detection and License Plate Recognition under Varying Lighting Conditions | |
| Ogawa et al. | Identifying Parking Lot Occupancy with YOLOv5 | |
| CN110245564B (zh) | 一种行人检测方法、系统及终端设备 | |
| CN112070093B (zh) | 生成图像分类模型的方法、图像分类方法、装置和设备 | |
| Sujini | Automatic Logo Detection with Deep Region-based Convolutional Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |