CN112817587B - 一种基于注意力机制的移动应用行为识别方法 - Google Patents

一种基于注意力机制的移动应用行为识别方法 Download PDF

Info

Publication number
CN112817587B
CN112817587B CN202110179927.6A CN202110179927A CN112817587B CN 112817587 B CN112817587 B CN 112817587B CN 202110179927 A CN202110179927 A CN 202110179927A CN 112817587 B CN112817587 B CN 112817587B
Authority
CN
China
Prior art keywords
attention
representing
mobile application
channel
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110179927.6A
Other languages
English (en)
Other versions
CN112817587A (zh
Inventor
张文君
陈丹伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110179927.6A priority Critical patent/CN112817587B/zh
Publication of CN112817587A publication Critical patent/CN112817587A/zh
Application granted granted Critical
Publication of CN112817587B publication Critical patent/CN112817587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/36—Software reuse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本文发明公开了一种基于注意力机制的移动应用行为识别方法。包括以下步骤：设计自动化测试脚本；使用appium作为自动化测试平台，在真机上运行自动化脚本；使用抓包软件进行流量获取；将流量进行清洗、切割后，生成灰度图；用深度可分离卷积神经网络对灰度图进行初步的特征提取，并扩展图片通道数；将特征图经由注意力机制进一步进行特征提取；重复深度可分离卷积和注意力机制的步骤，最后输出流量的所属的应用行为分类。本发明实现了高效且准确的移动应用识别方法。

Description

一种基于注意力机制的移动应用行为识别方法
技术领域
本发明涉及一种基于注意力机制的移动应用行为识别方法，属于深度学习技术领域。
背景技术
随着移动设备越来越智能，我们将越来越多的功能从电脑移到了手机上实现。与此同时，5G已经开始渐渐进入我们的生活，网络性能的大幅提升将能够对更多的业务提供支持，我们可以预料到5G将对移动端应用市场蓬勃发展起到极大的促进作用。
我们在使用每个移动端的应用时会产生各种各样的网络流量，而通过分析这些流量可以给我们带来很多信息，比如我们通过分析这些流量的应用时别，那么我们可以对用户的行为作出分析，或者是对某个地区某个年龄的用户的行为作出分析，从而实现更好的推荐，此外通过对移动端流量的分析，我们还可以利用这个分类模型，对一些有恶性行为的应用尽早发现并进行区分，从而及时避免出现安全问题，例如个人信息泄漏或者恶意监听等情况，尽早采取措施，保障网络的安全。
目前大部分的流量识别还是依赖于手动提取特征，但是这样的分类方法的可扩展性和自动化能力还是不够。随着深度学习这几年的蓬勃发展，深度学习也渐渐被应用于移动端的应用分类。用深度学习来进行分类，可以在特征的选择方面更加灵活，同时，在面对新的分类任务时可以更快的适应和调整。网络流量识别作为网络安全的基础工作，在网络资源管理和异常流量检测中起着重要的作用，而一些异常的网络行为都是偶发的，对于不同环境异常行为的定义也不一样，面对类似的小样本问题，且这些对于网络的安全或者是管理又是至关重要的，那么将深度学习中用于处理小样本问题的元学习与流量分类相结合的研究方向是具有实际意义的。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于注意力机制的移动应用行为识别方法，本方法采用深度可分离卷积结合注意力机制，并提出了一种新型融合了通道注意力和空间注意力的机制，实现了高效且准确的移动应用识别方法。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于注意力机制的移动应用行为识别方法，设计自动化测试脚本；使用appium作为自动化测试平台，在真机上运行自动化脚本；使用抓包软件进行流量获取；将流量进行清洗、切割后，生成灰度图；用深度可分离卷积神经网络对灰度图进行初步的特征提取，并扩展图片通道数；将特征图经由注意力机制进一步进行特征提取；重复深度可分离卷积和注意力机制的步骤，最后输出流量的所属的应用行为分类。具体有以下步骤：
步骤1:数据集采集阶段：采集移动应用种类及移动应用行为得到数据流量；
步骤2:数据流量预处理阶段
步骤2-1:首先进行数据流量的清洗和筛选，这一步是为了清除掉一些无关的流量数据包，其中包括了超时重传的数据包、用于建立接连的三次确认和断开连接的四次确认数据包，和无关的ARP、DHCP等数据包；
步骤2-2:进行数据流量切分得到单个行为的流量数据；
步骤2-3:为了解决在使用机器学习时存在的，如何选择特征的问题，对单个行为的流量数据采用直接生成灰度图的方式，同时采用图片的方式扩大对行为数据整体的感受和对空间信息的掌握。
步骤3:行为识别阶段
步骤3-1:首先采用32个3*3的卷积核，对流量灰度图进行初步的特征提取得到初步特征图，扩大图片的通道数量，输出多通道的Feature Map；
步骤3-2:采用深度可分离卷积网络对初步特征图进行进一步的特征提取得到进一步特征图；步骤3-2中在深度可分离卷积网络，首先是逐通道进行卷积，而后逐点卷积，在保持识别效果的情况下，减少了计算量；
步骤3-3：对3-2中得到的特征图进一步提取该特征图通道方向的注意力，提取通道注意力的方式是先计算DCT频域参数作为预处理，再经由全连接层、sigmoid激活函数，输出各通道的权重，即各通道对于分类任务的贡献程度，将该权重同3-2输出的特征图进行相乘；
步骤3-3中通道注意力要先进行DCT的频域分析计算，计算公式为：
Figure BDA0002941150250000031
其中，
Figure BDA0002941150250000032
表示二维DCT的频谱，h和w分别表示输入分量的高度和宽度，2d表示二维输入，
Figure BDA0002941150250000033
表示(i，j)位置的二维输入，i和j表示二维数据中的行和列；
相应地，我们可以写出它的逆变换：
Figure BDA0002941150250000034
其中，
Figure BDA0002941150250000035
表示二维DCT的频谱，h和w分别表示输入分量的高度和宽度，2d表示二维输入，
Figure BDA0002941150250000036
表示(i，j)位置的二维输入，i和j表示二维数据中的行和列；从该公式可以看出通道注意力最常使用的全局最大池化做特征图的预处理会丢失很多重要信息，因可以将全局最大池化视作当i＝0，j＝0时的最简单的频谱，而使用DCT作为预处理，避免了丢失重要信息的问题。
将输入3-2输出特征图按照通道进行切分，Xi表示第i个通道的特征图，n表示总通道数，则该特征图的频域注意力的预处理结果Freqi可以表示为：
Freqi＝2DDCT(Xi)i∈{0，1，…，n-1}
其中，2D表示计算的是二维频域，DCT表示将Xi作为输入使用本步骤的第二个公式进行计算，则n个通道的注意力预处理结果进行拼接后可以表示为：
Freq＝cat([Freq0，Freq1，…，Freqn-1])
通道注意力的计算公式为：
Mapc(F)＝σ(W0(Freq))
其中，Mapc(F)表示待生成的通道注意力，Freq表示输入的待生成注意力的Feature Map的预处理结果，σ表示Sigmoid激活函数，W0表示通道注意力中神经网络的参数，W0是需要进行学习的；
步骤3-4：对3-3输出的特征图进一步提取空间方向的注意力，取空间方向的注意力的方式是将特征图进行最大池化和平均池化后进行拼接，再使用二维卷积核卷积得到空间域注意力，再将该attention map与特征图相乘；
步骤3-4空间方向的注意力的计算公式为：
Maps(F)＝σ(f7*7([AvgPool(F)；MaxPool(F)]))
其中，Maps(F)表示待生成的空间注意力，F表示3-3输出的特征图，σ表示Sigmoid激活函数，AvgPool(F)表示对特征图F做平均池化，MaxPool(F)表示对特征图F做最大池化，f7*7表示大小为7*7的卷积核，“；”表示将AvgPool(F)与MaxPool(F)进行concat。
步骤3-5；重复步骤3-2至步骤3-4，最后经由最大池化和激活函数后进行行为识别结果的输出。
优选的：步骤1中采集的移动应用种类包括微信、QQ和微博，移动应用行为种类包括点赞、发文字消息、发图片消息、发红包、转账、评论。
优选的：步骤1：数据集采集阶段包括以下步骤：
步骤1-1：设计自动化脚本，用于执行既定移动应用的行为；
步骤1-2：利用Appium自动化测试平台，与手机连接，在手机上运行设计好的自动化脚本；
步骤1-3：手机自动执行自动化脚本的命令，完成既定移动应用的相关行为，如发文字，发图片等；
步骤1-4：用Wireshark采集手机在执行自动化脚本时产生的网络数据流，保存为pcap文件。
优选的：步骤1-2中采用的Appium自动化测试脚本在ios和/或安卓平台使用，提高了代码的复用性。
优选的：步骤1-3中在手机执行既定移动应用的相关行为时，对行为的开始时间和结束时间进行输出，方便对于后续的流量切割。
优选的：步骤2-2:进行数据流量切分的方法：原始的pcap文件是很大的，不方便进行后续的处理，因此采用Wireshark自带的editcap工具，对步骤1得到数据流量按时间进行切割，切割后为单个行为的流量数据。
优选的：步骤2-3中生成灰度图的方法，采用截取每个行为流量数据的前1024字符生成32*32的灰度图，一个字符对应一个灰度值。
优选的：步骤3-5中重复步骤3-2至步骤3-4三次。
本发明相比现有技术，具有以下有益效果：
1、采用了深度可分离卷积取代常规的卷积神经网络，极大的减少了计算量。
2、采用了通道注意力和空间注意力相结合的方式，以一个嵌入式模块的形式，在特征提取的过程过抑制了无效信息，强化了对识别结果贡献大的信息。
3、设计了数据集采集的方法，并且可以跨平台使用，增强了代码复用性、移植性。
4、提高了对于移动应用行为识别的准确率，具有实用性
附图说明
图1是本发明中为了便于流量切分的脚本设计方式。
图2是本发明中的深度可分离卷积的逐通道卷积部分示意图。
图3是本发明中深度可分离卷积的逐点卷积部分示意图。
图4是本文注意力机制的示意图。
图5是通道注意力的示意图。
图6是本发明的流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于注意力机制的移动应用行为识别方法，如图1是数据采集中为了便于流量切分的脚本设计方式，如图图2是本发明中的深度可分离卷积的逐通道卷积部分示意图，图3是本发明中深度可分离卷积的逐点卷积部分示意图，图4是本文注意力机制的示意图，图5是通道注意力的示意图，图6是本发明的流程图。
整个行为识别的过程主要由三个部分组成：数据集采集部分，流量预处理部分和基于注意力机制的识别部分。
一、数据集采集阶段
步骤1-1:设计自动化脚本，用于执行既定移动应用的行为，在编写脚本的逻辑方面，本文研究的对象是移动应用在使用时产生的网络数据，重点在于应用行为，在参考了很多文献资料后，发现一般情况下都是在采集连续的流量后对行为流量进行切分，本文的自动化测试脚本是自行编写的，因此可以完成将单个行为进行分离，操作的步骤示意图如1。
步骤1-2:利用Appium自动化测试平台，与手机连接，在手机上运行设好的自动化脚本，本文选取appium作为最大的好处是可以它可以实现跨平台，即在ios和安卓系统的真机操作脚本中使用同一套API来编写，大大增加了代码的复用性。与其他自动化测试平台一样，能够通过代码实现对手机的点击、滑动、输入等真实操作。
步骤1-3:手机自动执行脚本的命令，完成既定移动应用的相关行为，如发文字，发图片等；
步骤1-4:用Wireshark采集手机在执行脚本时产生的网络数据流。ireshark可以将当前系统所有网卡列出，所以我们直接选择特定网卡就能监听流经该网卡的所有网络数据流，但是由于不能直接识别到手机的网卡，因此在连接到电脑后，依据手机UDID使用wireshark连接设备，就可以查找到对应的虚拟网络接口，名字一般是rvi0开始，选择后就可以获取到手机的网络数据包。同样的行为重复大约5000次左右，保存为pcap文件。
二、流量预处理阶段
步骤2-1:首先进行流量的清洗和筛选，这一步是为了清除掉一些无关的流量数据包，其中包括了超时重传的数据包、用于建立接连的三次确认和断开连接的四次确认数据包，和无关的ARP、DHCP等数据包，当然，考虑到同一无线网下会存在其他设备访问网络产生流量，因此还需要依据ip地址对无关设备产生的流量进行过滤。
步骤2-2:进行流量切分，原始的pcap文件是很大的，不方便进行后续的处理，因此采用Wireshark自带的editcap工具，对原始流量按时间进行切割，使用语句为editcap-a-b<原始PCAP文件名><目的文件名>，其中a和b分别表示行为开始时间和结束时间，切割后为单个行为的流量数据。
步骤2-3:为了解决在使用机器学习时存在的，如何选择特征的问题，采用直接生成灰度图的方式，同时采用图片的方式可以扩大对行为数据整体的感受和对空间信息的掌握。
三、行为识别阶段
步骤3-1:首先采用32个3*3的卷积核，对流量灰度图进行初步的特征提取，扩大图片的通道数量，输出多通道的Feature Map；
步骤3-2:采用深度可分离卷积网络进行进一步的特征提取，在深度可分离卷积部分，首先是逐通道进行卷积，而后逐点卷积，在保持识别效果的情况下，减少了计算量；深度可分离卷积主要由深度卷积和逐点卷积两个部分组成。深度卷积(DepthwiseConvolution)是作用于通道层面，例如对于shape为H*W*C的输入，那么在深度卷积这一部分，卷积核对应就是h*w*1，有C个对应每一个通道。逐点卷积(Pointwise Convolution)与常规的卷积类似，如图5所示展示的是以三个通道数举例的模型.但是在这里它的尺寸是1*1*C，C为通道数并假设个数为N，其实就是将上一步得到的特征图在深度上进行加权组合，那么相比于标准的卷积操作，深度可分离卷积需要计算到的参数数量是要少很多的，如下公式计算：
Figure BDA0002941150250000081
步骤3-3：对特征图提取通道方向的注意力，提取通道注意力的方式是先计算DCT频域参数作为预处理，再经由全连接层，sigmoid激活函数，输出各通道的权重，即各通道对于分类任务的贡献程度，将该权重同原始特征图进行相乘。在通道注意力机制方面是可以引入其它频域信息的，再结合下述公式，可以发现当x作为完整的输入时，如果选择使用全局最大池化作为预处理，就会丢失掉很多很多其它频域的信息，因此，对通道注意力的一个改动就是将预处理部分的GAP改为频域成份的组合的形式，具体的操作流程如图4所示。
步骤3-3中通道注意力要先进行DCT的频域分析计算，计算公式为：
Figure BDA0002941150250000082
其中，
Figure BDA0002941150250000083
表示二维DCT的频谱，h和w分别表示输入分量的高度和宽度，2d表示二维输入，
Figure BDA0002941150250000084
表示(i，j)位置的二维输入，i和j表示二维数据中的行和列；
相应地，我们可以写出它的逆变换：
Figure BDA0002941150250000085
其中，
Figure BDA0002941150250000086
表示二维DCT的频谱，h和w分别表示输入分量的高度和宽度，2d表示二维输入，
Figure BDA0002941150250000087
表示(i，j)位置的二维输入，i和j表示二维数据中的行和列；从该公式可以看出通道注意力最常使用的全局最大池化做特征图的预处理会丢失很多重要信息，因可以将全局最大池化视作当i＝0，j＝0时的最简单的频谱，而使用DCT作为预处理，避免了丢失重要信息的问题。
将输入3-2输出特征图按照通道进行切分，Xi表示第i个通道的特征图，n表示总通道数，则该特征图的频域注意力的预处理结果Freqi可以表示为：
Freqi＝2DDCT(Xi)i∈{0，1，…，n-1}
其中，2D表示计算的是二维频域，DCT表示将Xi作为输入使用本步骤的第二个公式进行计算，则n个通道的注意力预处理结果进行拼接后可以表示为：
Freq＝cat([Freq0，Freq1，…，Freqn-1])
通道注意力的计算公式为：
Mapc(F)＝σ(W0(Freq))
其中，Mapc(F)表示待生成的通道注意力，Freq表示输入的待生成注意力的Feature Map的预处理结果，σ表示Sigmoid激活函数，W0表示通道注意力中神经网络的参数，W0是需要进行学习的；
步骤3-4：对特征图提取空间方向的注意力，那么在这一部分中首先将输入的特征图在基于通道的基础上进行global max pooling和global average pooling，再将这两个得到的结果进行拼接，经过一个卷积操作后降维到一个通道宽度的特征图，在sigmoid后生成空间注意力特征图，再与输入的特征图相乘，得到最后生成的特征图。计算公式如下所示：
Maps(F)＝σ(f7*7([AvgPool(F)；MaxPool(F)]))
其中，Maps(F)表示待生成的空间注意力，F表示3-3输出的特征图，σ表示Sigmoid激活函数，AvgPool(F)表示对特征图F做平均池化，MaxPool(F)表示对特征图F做最大池化，f7*7表示大小为7*7的卷积核，“；”操作表示将AvgPool(F)与MaxPool(F)进行concat。
步骤3-5；重复3-2至3-4的步骤三次，最后经由最大池化和激活函数后进行行为识别结果的输出。整个流程如图6.
本发明在自行采集的微信、QQ和微博的数据集上，按照8∶2的比例划分训练集和测试集。经过神经网络的超参数调优，最终得到的分类结果中发文字行为和点赞行为的检测率最高，分别为99.66％和99.34％，在微信的行为识别中，转账和发红包的准确率相对较低，分别为96.3％和94.6％，总体精度达到98％，总体检测率92％。以上分析可知，本发明基于注意力机制的移动应用行为识别方法取得了良好的分类效果。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于注意力机制的移动应用行为识别方法，其特征在于，包括以下步骤：
步骤1：数据集采集阶段：采集移动应用种类及移动应用行为得到数据流量；
步骤2：数据流量预处理阶段
步骤2-1：首先进行数据流量的清洗和筛选；
步骤2-2：进行数据流量切分得到单个行为的流量数据；
步骤2-3：对单个行为的流量数据采用直接生成灰度图的方式，同时采用图片的方式扩大对行为数据整体的感受和对空间信息的掌握；
步骤3：行为识别阶段
步骤3-1：首先采用32个3*3的卷积核，对流量灰度图进行初步的特征提取得到初步特征图；
步骤3-2：采用深度可分离卷积网络对初步特征图进行进一步的特征提取得到进一步特征图；步骤3-2中在深度可分离卷积网络，首先是逐通道进行卷积，而后逐点卷积；
步骤3-3：对3-2中得到的特征图进一步提取该特征图通道方向的注意力，提取通道注意力的方式是先计算DCT频域参数作为预处理，再经由全连接层、sigmoid激活函数，输出各通道的权重，即各通道对于分类任务的贡献程度，将该权重同3-2输出的特征图进行相乘；
步骤3-3中通道注意力要先进行DCT的频域分析计算，计算公式为：
Figure FDA0003756621970000011
h∈{0，1，…，H-1}，w∈{0，1，…，W-1}
其中，
Figure FDA0003756621970000012
表示二维DCT的频谱，h和w分别表示输入分量的高度和宽度，2d表示二维输入，
Figure FDA0003756621970000013
表示(i，j)位置的二维输入，i和j表示二维数据中的行和列；
相应地，上述公式的逆变换：
Figure FDA0003756621970000014
h∈{0，1，…，H-1}，w∈{0，1，…，W-1}
其中，
Figure FDA0003756621970000021
表示二维DCT的频谱；
将输入3-2输出特征图按照通道进行切分，Xi表示第i个通道的特征图，n表示总通道数，则该特征图的频域注意力的预处理结果Freqi表示为：
Freqi＝2D(DCT(Xi))，i∈{0，1，…，n一1}
其中，2D表示计算的是二维频域，DCT表示将Xi作为输入特征图的频域注意力的预处理结果Freqi公式进行计算，则n个通道的注意力预处理结果进行拼接后表示为：
Freq＝cat([Freq0，Freq1，…，Freqn-1])
通道注意力的计算公式为：
Mapc(F)＝σ(W0(Freq))
其中，Mapc(F)表示待生成的通道注意力，Freq表示输入的待生成注意力的Feature Map的预处理结果，σ表示Sigmoid激活函数，W0表示通道注意力中神经网络的参数，W0是需要进行学习的；
步骤3-4：对3-3输出的特征图进一步提取空间方向的注意力，取空间方向的注意力的方式是将特征图进行最大池化和平均池化后进行拼接，再使用二维卷积核卷积得到空间域注意力，再将该空间域注意力与特征图相乘；
步骤3-4空间方向的注意力的计算公式为：
Maps(F)＝σ(f7*7([AvgPool(F)；MaxPool(F)]))
其中，Maps(F)表示待生成的空间注意力，F表示3-3输出的特征图，σ表示Sigmoid激活函数，AvgPool(F)表示对特征图F做平均池化，MaxPool(F)表示对特征图F做最大池化，f7*7表示大小为7*7的卷积核，“；”表示将AvgPool(F)与MaxPool(F)进行concat；
步骤3-5；重复步骤3-2至步骤3-4，最后经由最大池化和激活函数后进行行为识别结果的输出。
2.根据权利要求1所述基于注意力机制的移动应用行为识别方法，其特征在于：步骤1中采集的移动应用种类包括微信、QQ和微博，移动应用行为种类包括点赞、发文字消息、发图片消息、发红包、转账、评论。
3.根据权利要求2所述基于注意力机制的移动应用行为识别方法，其特征在于：步骤1：数据集采集阶段包括以下步骤：
步骤1-1：设计自动化脚本，用于执行既定移动应用的行为；
步骤1-2：利用Appium自动化测试平台，与手机连接，在手机上运行设计好的自动化脚本；
步骤1-3：手机自动执行自动化脚本的命令，完成既定移动应用的相关行为；
步骤1-4：用Wireshark采集手机在执行自动化脚本时产生的网络数据流，保存为pcap文件。
4.根据权利要求3所述基于注意力机制的移动应用行为识别方法，其特征在于：步骤1-2中采用的Appium自动化测试脚本在ios和/或安卓平台使用。
5.根据权利要求4所述基于注意力机制的移动应用行为识别方法，其特征在于：步骤1-3中在手机执行既定移动应用的相关行为时，对行为的开始时间和结束时间进行输出。
6.根据权利要求5所述基于注意力机制的移动应用行为识别方法，其特征在于：步骤2-2：进行数据流量切分的方法：采用Wireshark自带的editcap工具，对步骤1得到数据流量按时间进行切割，切割后为单个行为的流量数据。
7.根据权利要求6所述基于注意力机制的移动应用行为识别方法，其特征在于：步骤2-3中生成灰度图的方法，采用截取每个行为流量数据的前1024字符生成32*32的灰度图，一个字符对应一个灰度值。
8.根据权利要求7所述基于注意力机制的移动应用行为识别方法，其特征在于：步骤3-5中重复步骤3-2至步骤3-4三次。
CN202110179927.6A 2021-02-08 2021-02-08 一种基于注意力机制的移动应用行为识别方法 Active CN112817587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110179927.6A CN112817587B (zh) 2021-02-08 2021-02-08 一种基于注意力机制的移动应用行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110179927.6A CN112817587B (zh) 2021-02-08 2021-02-08 一种基于注意力机制的移动应用行为识别方法

Publications (2)

Publication Number Publication Date
CN112817587A CN112817587A (zh) 2021-05-18
CN112817587B true CN112817587B (zh) 2022-09-30

Family

ID=75864892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110179927.6A Active CN112817587B (zh) 2021-02-08 2021-02-08 一种基于注意力机制的移动应用行为识别方法

Country Status (1)

Country Link
CN (1) CN112817587B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN111429948A (zh) * 2020-03-27 2020-07-17 南京工业大学 一种基于注意力卷积神经网络的语音情绪识别模型及方法
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN111429948A (zh) * 2020-03-27 2020-07-17 南京工业大学 一种基于注意力卷积神经网络的语音情绪识别模型及方法
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Attention-Based Convolutional Neural Network for Weakly Labeled Human Activities’ Recognition With Wearable Sensors;Kun Wang 等;《IEEE SENSORS JOURNAL》;20190901;全文 *
基于时空注意力深度网络的视角无关性骨架行为识别;丰艳等;《计算机辅助设计与图形学学报》;20181215(第12期);全文 *

Also Published As

Publication number Publication date
CN112817587A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN108595583B (zh) 动态图表类页面数据爬取方法、装置、终端及存储介质
CN108205674B (zh) 社交app的内容识别方法、电子设备、存储介质及系统
CN107967475A (zh) 一种基于窗口滑动和卷积神经网络的验证码识别方法
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN109960980B (zh) 动态手势识别方法及装置
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN112597495B (zh) 一种恶意代码检测方法、系统、设备及存储介质
CN106778851B (zh) 基于手机取证数据的社交关系预测系统及其方法
WO2021129466A1 (zh) 检测水印的方法、装置、终端及存储介质
CN112163488B (zh) 一种视频虚假人脸检测方法及电子装置
CN104750791A (zh) 一种图像检索方法及装置
CN116311214B (zh) 车牌识别方法和装置
CN113781510A (zh) 边缘检测方法、装置及电子设备
CN110807548A (zh) 基于风电竞价用户的数据采集方法、装置、设备及介质
CN110222795A (zh) 基于卷积神经网络的p2p流量的识别方法及相关装置
CN109754024B (zh) 图像分类方法和装置
CN115062186A (zh) 一种视频内容检索方法、装置、设备以及存储介质
CN111355628A (zh) 一种模型训练方法、业务识别方法、装置和电子装置
CN115240203A (zh) 业务数据处理方法、装置、设备及存储介质
CN112580616B (zh) 人群数量确定方法、装置、设备及存储介质
CN112347976B (zh) 遥感卫星影像的区域提取方法、装置、电子设备和介质
CN111368602A (zh) 人脸图像模糊程度评价方法、装置、可读存储介质及设备
CN112817587B (zh) 一种基于注意力机制的移动应用行为识别方法
CN113420295A (zh) 恶意软件的检测方法及装置
KR20210001890A (ko) 고문서 이미지 광학 문자 판독 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant