CN109426830B - 一种自动识别移动终端场景的方法和装置 - Google Patents

一种自动识别移动终端场景的方法和装置 Download PDF

Info

Publication number
CN109426830B
CN109426830B CN201710758744.3A CN201710758744A CN109426830B CN 109426830 B CN109426830 B CN 109426830B CN 201710758744 A CN201710758744 A CN 201710758744A CN 109426830 B CN109426830 B CN 109426830B
Authority
CN
China
Prior art keywords
interface
scene
classifier
predefined specific
specific scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710758744.3A
Other languages
English (en)
Other versions
CN109426830A (zh
Inventor
张超
陈柱
陈相如
潘宣辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Antiy Mobile Security Co ltd
Original Assignee
Wuhan Antiy Mobile Security Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Antiy Mobile Security Co ltd filed Critical Wuhan Antiy Mobile Security Co ltd
Priority to CN201710758744.3A priority Critical patent/CN109426830B/zh
Publication of CN109426830A publication Critical patent/CN109426830A/zh
Application granted granted Critical
Publication of CN109426830B publication Critical patent/CN109426830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种自动识别移动终端场景的方法，包括以下步骤：收集预定义特定场景下各显示界面的布局特征；通过统计分析预定义特定场景布局特征的情况得到第一分类器；当移动终端上产生待识别的界面时，用第一分类器判断待识别界面是否为预定义特定场景。本发明不需要参考当前程序和界面名称，仅根据终端显示图像内容即可快速识别到用户终端当前使用场景。由于不需要参考当前程序和界面名称，还能适用于未知应用和恶意应用伪造程序和界面名称的情况，通用性强，使用方便。本发明还公开了一种自动识别移动终端场景的装置。

Description

一种自动识别移动终端场景的方法和装置
技术领域
本发明属于信息安全技术领域，尤其涉及一种自动识别移动终端场景的方法和装置。
背景技术
在智能移动终端上有不同的用户使用场景，如金融支付场景、游戏场景、办公场景等，对于不同的使用场景用户有不同程度的安全保护需求，安全软件需要根据不同的场景对用户提供合适的保护机制。
目前在移动端上对使用场景检测基于人工分析，对于每一种用户使用场景需要实现找到此类别的应用和其中关键界面的名称，做成列表(例如对于金融支付场景，需要找到微信、支付宝、各大银行的应用，提取出其中的登录界面、支付界面的包名)，在系统运行过程中，每当应用有新的界面启动时，获取此应用程序和界面名称在特定场景的界面列表中查询已确定是否符合特定场景。
这一类方法的缺陷在于对于每一类场景都需要人工整理出关键界面名单并且需要随着应用的升级同步更新名单，更重要的是，采取这种查询界面列表确定使用场景的方式不能对未知应用场景进行识别，对于恶意应用伪造程序和界面名称的情况也没有办法区分。
发明内容
本发明的目的在于提出一种自动识别移动终端场景的方法和装置，不需要参考当前程序和界面名称，仅根据终端显示图像内容即可快速识别到用户终端当前使用场景，还能适用于未知应用和恶意应用伪造程序和界面名称的情况，通用性强，使用方便。
本发明公开了一种自动识别移动终端场景的方法，包括以下步骤：
收集预定义特定场景下各显示界面的布局特征；
通过统计分析预定义特定场景布局特征的情况得到第一分类器；
当移动终端上产生待识别的界面时，用第一分类器判断待识别界面是否为预定义特定场景。
进一步的，还收集预定义特定场景及普通场景下各显示界面位图的纹理特征；
分别利用特定场景各显示界面的纹理特征和普通场景显示界面的纹理特征作为正、负样本，采用有监督的机器学习方法进行训练，得到第二分类器；
当移动终端上产生待识别的画面时，用第一分类器判断待识别界面是否为预定义特定场景，若不是则使用第二分类器判断待识别界面是否为预定义特定场景。
进一步的，布局特征包括输入框、按钮、输入法界面的形状、位置，输入法界面是否有展示，顶部状态栏是否可见。
进一步的，预定义特定场景包括用户登录场景、金融支付场景、游戏场景、办公场景。
进一步的，移动终端内还设置有与预定义特定场景对应的执行程序，如果待识别界面为预定义特定场景界面，则会触发相应的执行程序，以提高用户体验或者保护用户安全。
本发明还公开了一种自动识别移动终端场景的装置，包括布局特征收集模块、第一分类器生成模块、判断模块，其中：
布局特征收集模块，用于收集预定义特定场景下各显示界面的布局特征；
第一分类器生成模块，用于通过统计分析预定义特定场景布局特征的情况得到第一分类器；
判断模块，用于当移动终端上产生待识别的界面时，用第一分类器判断待识别界面是否为预定义特定场景。
进一步的，布局特征包括输入框、按钮、输入法界面的形状、位置，输入法界面是否有展示，顶部状态栏是否可见。
进一步的，预定义特定场景包括用户登录场景、金融支付场景、游戏场景、办公场景。
进一步的，所述自动识别移动终端场景的装置还包括预设执行程序模块，用于存储与预定义特定场景对应的执行程序，如果判断模块判断出待识别界面为预定义特定场景界面，则会触发预设执行程序模块中相应的执行程序，以提高用户体验或者保护用户安全。
本发明也公开了另一种自动识别移动终端场景的装置，包括布局特征收集模块、第一分类器生成模块、纹理特征收集模块、第二分类器生成模块、判断模块，其中：
布局特征收集模块，用于收集预定义特定场景下各显示界面的布局特征；
第一分类器生成模块，用于通过统计分析预定义特定场景布局特征的情况得到第一分类器；
纹理特征收集模块，用于收集预定义特定场景及普通场景下各显示界面位图的纹理特征；
第二分类器生成模块，用于分别利用特定场景各显示界面的纹理特征和普通场景显示界面的纹理特征作为正、负样本，采用有监督的机器学习方法进行训练，得到第二分类器；
判断模块，用于当移动终端上产生待识别的画面时，用第一分类器判断待识别界面是否为预定义特定场景，若不是则使用第二分类器判断待识别界面是否为预定义特定场景。
本发明相比于现有技术的有益效果在于：本发明收集预定义特定场景下各显示界面的布局特征；通过统计分析预定义特定场景布局特征的情况得到第一分类器；用第一分类器判断待识别界面是否为预定义特定场景。本发明不需要参考当前程序和界面名称，仅根据终端显示图像内容即可快速识别到用户终端当前使用场景。由于不需要参考当前程序和界面名称，还能适用于未知应用和恶意应用伪造程序和界面名称的情况，通用性强，使用方便。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一示例性实施例示出的自动识别移动终端场景的方法的流程图。
图2为本发明示出的多种登录界面情况。
图3为本发明另一示例性实施例示出的自动识别移动终端场景的方法的流程图。
图4为本发明一示例性实施例示出的自动识别移动终端场景的装置的流程图。
图5为本发明另一示例性实施例示出的自动识别移动终端场景的装置的流程图。
具体实施方式
为了使本发明的目的、技术方案及优节点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在一些实施例中，如图1所示，一种自动识别移动终端场景的方法包括以下步骤：
S101，收集预定义特定场景下各显示界面的布局特征。
预定义特定场景为用户关注度比较高的场景，如用户登录场景、金融支付场景、游戏场景、办公场景等，场景的定义与应用正在进行的功能有关，同一个应用在不同的时间可能会处在不同场景之下，例如对于一个游戏应用，在登录游戏时处于登录场景、登录完成开始游戏时处于游戏场景。
以收集登录场景为例，如图2所示，对多个应用的录界面进行截图，统计分析登录界面上的账号/密码输入框的形状、位置特征，提交按钮的形状、位置特征，账号/密码输入框和提交按钮的位置关系等等。例如对于用户登录界面，通常会有两个上下关系的矩形区域用来填写账号和密码，在矩形框下方有一个用于提交按钮的矩形区域，其宽度与上方输入区域相同或者只有上方输入区域1/3左右；或者是在矩形框右侧有一个用于提交的圆形按钮，其直径与左边两个矩形框的高度接近等情况。受限于移动终端的屏幕尺寸和用户的使用习惯，应用程序用户登录场景的登录界面UI布局只有有限数量的几种情况，通过对大批量样本的登录界面进行分析，可以得到登录场景界面的一些共同布局特征。
又比如通过对多个游戏应用的统计分析，可以发现对于游戏场景，有如下布局特征：处于全屏状态、屏幕左上角有角色头像区域、左下方有方向控制区域、右下方有多个圆形操作按钮等；通过对多个办公应用的统计分析，可以发现对于办公场景，布局特征可能包括：屏幕下方有输入法界面、界面中可编辑区域被大矩形包围等。
可以理解的，可以利用现有技术中基于图像处理的技术获取界面布局特征。
S102，通过统计分析预定义特定场景布局特征的情况得到第一分类器。
将得到的用户登录场景、金融支付场景、游戏场景、办公场景等布局特征生成第一分类器，用于对待识别的界面进行场景判断。
S103，当移动终端上产生待识别的界面时，用第一分类器判断待识别界面是否为预定义特定场景。
当产生待识别界面时，对当前界面进行截图，然后输入到第一分类器，判断待识别界面是否为预定义特定场景。如果待识别界面不属于预定义的各种特定场景，则判断其为关注度不高的场景，即普通场景。
优选的，移动终端内还设置有与预定义特定场景对应的执行程序，如果待识别界面为预定义特定场景界面，则会触发相应的执行程序，以提高用户体验或者保护用户安全。比如，对于游戏场景，对应的执行程序包括暂停CPU等内存资源耗费较多的操作，同时避免弹出提示框等操作，以免打断用户游戏。对于办公场景，对应的执行程序包括对用户设备的安全性进行检测，确保无可疑应用正在运行，防止用户当前编辑、查看的文档等重要数据泄露。对于用户登录场景，对应的执行程序包括获取当前前台程序的名称，如果为银行、支付宝、微信等应用则需要通过清场或者对正在运行的APP进行扫描来加强保护；如果检测到当前前台应用为非著名应用，则需要对此应用本身进行扫描检查是否为恶意应用，并提醒用户注意不要使用通用账号密码，以免泄露到不可信的第三方。
本发明的自动识别移动终端场景的方法不需要参考当前程序和界面名称，仅根据终端显示图像内容即可快速识别到用户终端当前使用场景。由于不需要参考当前程序和界面名称，还能适用于未知应用和恶意应用伪造程序和界面名称的情况，通用性强，使用方便。
在另一些实施例中，如图3所示，为了提高场景识别的准确率，避免一些遗漏，自动识别移动终端场景的方法还包括以下步骤：
S201，收集预定义特定场景下各显示界面的布局特征。
预定义特定场景为用户关注度比较高的场景，如用户登录场景、金融支付场景、游戏场景、办公场景等。布局特征包括输入框、按钮、输入法界面的形状、位置，输入法界面是否有展示，顶部状态栏是否可见等等。
S202，通过统计分析预定义特定场景布局特征的情况得到第一分类器。
S203，收集预定义特定场景及普通场景下各显示界面位图的纹理特征。
纹理是一种反映图像中同质现象的视觉特征，体现了物体表面共有的内在属性，包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系。分别对多个应用的预定义特定场景、普通场景下的各显示界面进行截图，收集预定义特定场景显示界面位图的纹理特征、普通场景下的显示界面位图的纹理特征。优选的，可以用Gabor滤波器等特征提取方法提取界面位图的特征向量。例如，对于每一张图像，使用Gabor滤波器提取其在多个尺度和多个方向上的响应值作为此图像的特征。
S204，分别利用特定场景各显示界面的纹理特征和普通场景显示界面的纹理特征作为正、负样本，采用有监督的机器学习方法进行训练，得到第二分类器。
特定场景显示界面的纹理特征是正样本，普通场景显示界面的纹理特征是是负样本，采用有监督的机器学习方法如决策树、支持向量机等对这些正、负样本进行训练，能够训练出基于纹理的分类，即得到第二分类器。
S205，当移动终端上产生待识别的画面时，用第一分类器判断待识别界面是否为预定义特定场景，若不是则使用第二分类器判断待识别界面是否为预定义特定场景。
当产生待识别界面时，对当前界面进行截图，然后输入到第一分类器，判断待识别界面是否为预定义特定场景。如果待识别界面不属于预定义的各种特定场景，则再使用第二分类器判断待识别界面是否为预定义特定场景。
优选的，移动终端内还设置有与预定义特定场景对应的执行程序，如果待识别界面为预定义特定场景界面，则会触发相应的执行程序，以提高用户体验或者保护用户安全。比如，对于游戏场景，对应的执行程序包括暂停CPU等内存资源耗费较多的操作，同时避免弹出提示框等操作，以免打断用户游戏。对于办公场景，对应的执行程序包括对用户设备的安全性进行检测，确保无可疑应用正在运行，防止用户当前编辑、查看的文档等重要数据泄露。对于用于登录场景，对应的执行程序包括获取当前前台程序的名称，如果为银行、支付宝、微信等应用则需要通过清场或者对正在运行的APP进行扫描来加强保护；如果检测到当前前台应用为非著名应用，则需要对此应用本身进行扫描检查是否为恶意应用，并提醒用户注意不要使用通用账号密码，以免泄露到不可信的第三方。
由于第一级分类器识别快速同时检测出来的识别结果误报率会比较低，对于第一级就可以识别到的场景，可以实现快速识别。
在另一些实施例中，一种自动识别移动终端场景的装置，如图4所示，包括布局特征收集模块10、第一分类器生成模块20、判断模块30，其中：
布局特征收集模块10，用于收集预定义特定场景下各显示界面的布局特征。
预定义特定场景为用户关注度比较高的场景，如用户登录场景、金融支付场景、游戏场景、办公场景等，场景的定义与应用正在进行的功能有关，同一个应用在不同的时间可能会处在不同场景之下，例如对于一个游戏应用，在登录游戏时处于登录场景、登录完成开始游戏时处于游戏场景。
以收集登录场景为例，如图2所示，对多个应用的录界面进行截图，统计分析登录界面上的账号/密码输入框的形状、位置特征，提交按钮的形状、位置特征，账号/密码输入框和提交按钮的位置关系等等。例如对于用户登录界面，通常会有两个上下关系的矩形区域用来填写账号和密码，在矩形框下方有一个用于提交按钮的矩形区域，其宽度与上方输入区域相同或者只有上方输入区域1/3左右；或者是在矩形框右侧有一个用于提交的圆形按钮，其直径与左边两个矩形框的高度接近等情况。受限于移动终端的屏幕尺寸和用户的使用习惯，应用程序用户登录场景的登录界面UI布局只有有限数量的几种情况，通过对大批量样本的登录界面进行分析，可以得到登录场景界面的一些共同布局特征。
又比如通过对多个游戏应用的统计分析，可以发现对于游戏场景，有如下布局特征：处于全屏状态、屏幕左上角有角色头像区域、左下方有方向控制区域、右下方有多个圆形操作按钮等；通过对多个办公应用的统计分析，可以发现对于办公场景，布局特征可能包括：屏幕下方有输入法界面、界面中可编辑区域被大矩形包围等。
第一分类器生成模块20，用于通过统计分析预定义特定场景布局特征的情况得到第一分类器。
将得到的用户登录场景、金融支付场景、游戏场景、办公场景等布局特征生成第一分类器，用于对待识别的界面进行场景判断。
判断模块30，用于当移动终端上产生待识别的界面时，用第一分类器判断待识别界面是否为预定义特定场景。
当产生待识别界面时，对当前界面进行截图，然后输入到第一分类器，判断待识别界面是否为预定义特定场景。如果待识别界面不属于预定义的各种特定场景，则判断其为关注度不高的场景，即普通场景。
优选的，所述自动识别移动终端场景的装置还包括预设执行程序模块40，用于存储与预定义特定场景对应的执行程序，如果判断模块30判断出待识别界面为预定义特定场景界面，则会触发预设执行程序模块中相应的执行程序，以提高用户体验或者保护用户安全。比如，对于游戏场景，对应的执行程序包括暂停CPU等内存资源耗费较多的操作，同时避免弹出提示框等操作，以免打断用户游戏。对于办公场景，对应的执行程序包括对用户设备的安全性进行检测，确保无可疑应用正在运行，防止用户当前编辑、查看的文档等重要数据泄露。对于用户登录场景，对应的执行程序包括获取当前前台程序的名称，如果为银行、支付宝、微信等应用则需要通过清场或者对正在运行的APP进行扫描来加强保护；如果检测到当前前台应用为非著名应用，则需要对此应用本身进行扫描检查是否为恶意应用，并提醒用户注意不要使用通用账号密码，以免泄露到不可信的第三方。
本发明的自动识别移动终端场景的装置不需要参考当前程序和界面名称，仅根据终端显示图像内容即可快速识别到用户终端当前使用场景。由于不需要参考当前程序和界面名称，还能适用于未知应用和恶意应用伪造程序和界面名称的情况，通用性强，使用方便。
在另一些实施例中，一种自动识别移动终端场景的装置，如图5所示，包括布局特征收集模块10’、第一分类器生成模块20’、纹理特征收集模块30’、第二分类器生成模块40’、判断模块50’，其中：
布局特征收集模块10’，用于收集预定义特定场景下各显示界面的布局特征。
预定义特定场景为用户关注度比较高的场景，如用户登录场景、金融支付场景、游戏场景、办公场景等，场景的定义与应用正在进行的功能有关，同一个应用在不同的时间可能会处在不同场景之下，例如对于一个游戏应用，在登录游戏时处于登录场景、登录完成开始游戏时处于游戏场景。
第一分类器生成模块20’，用于通过统计分析预定义特定场景布局特征的情况得到第一分类器。
将得到的用户登录场景、金融支付场景、游戏场景、办公场景等布局特征生成第一分类器，用于对待识别的界面进行场景判断。
纹理特征收集模块30’，用于收集预定义特定场景及普通场景下各显示界面位图的纹理特征。
纹理是一种反映图像中同质现象的视觉特征，体现了物体表面共有的内在属性，包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系。分别对多个应用的预定义特定场景、普通场景下的各显示界面进行截图，收集预定义特定场景显示界面位图的纹理特征、普通场景下的显示界面位图的纹理特征。优选的，可以用Gabor滤波器等特征提取方法提取界面位图的特征向量。例如，对于每一张图像，使用Gabor滤波器提取其在多个尺度和多个方向上的响应值作为此图像的特征。
第二分类器生成模块40’，用于分别利用特定场景各显示界面的纹理特征和普通场景显示界面的纹理特征作为正、负样本，采用有监督的机器学习方法进行训练，得到第二分类器。
特定场景显示界面的纹理特征是正样本，普通场景显示界面的纹理特征是是负样本，采用有监督的机器学习方法如决策树、支持向量机等对这些正、负样本进行训练，能够训练出基于纹理的分类，即得到第二分类器。
判断模块50’，用于当移动终端上产生待识别的画面时，用第一分类器判断待识别界面是否为预定义特定场景，若不是则使用第二分类器判断待识别界面是否为预定义特定场景。
当产生待识别界面时，对当前界面进行截图，然后输入到第一分类器，判断待识别界面是否为预定义特定场景。如果待识别界面不属于预定义的各种特定场景，则再使用第二分类器判断待识别界面是否为预定义特定场景。
优选的，所述自动识别移动终端场景的装置还包括预设执行程序模块60’，用于存储与预定义特定场景对应的执行程序，如果判断模块50’判断出待识别界面为预定义特定场景界面，则会触发预设执行程序模块中相应的执行程序，以提高用户体验或者保护用户安全。比如，对于游戏场景，对应的执行程序包括暂停CPU等内存资源耗费较多的操作，同时避免弹出提示框等操作，以免打断用户游戏。对于办公场景，对应的执行程序包括对用户设备的安全性进行检测，确保无可疑应用正在运行，防止用户当前编辑、查看的文档等重要数据泄露。对于用户登录场景，对应的执行程序包括获取当前前台程序的名称，如果为银行、支付宝、微信等应用则需要通过清场或者对正在运行的APP进行扫描来加强保护；如果检测到当前前台应用为非著名应用，则需要对此应用本身进行扫描检查是否为恶意应用，并提醒用户注意不要使用通用账号密码，以免泄露到不可信的第三方。
本领域普通技术人员可以理解为上述实施例所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种自动识别移动终端场景的方法，其特征在于，包括以下步骤：
收集预定义特定场景下各显示界面的布局特征；
通过统计分析预定义特定场景布局特征的情况得到第一分类器；
收集预定义特定场景及普通场景下各显示界面位图的纹理特征；
分别利用特定场景各显示界面的纹理特征和普通场景显示界面的纹理特征作为正、负样本，采用有监督的机器学习方法进行训练，得到第二分类器；
当移动终端上产生待识别的画面时，用第一分类器判断待识别界面是否为预定义特定场景，若不是则使用第二分类器判断待识别界面是否为预定义特定场景。
2.如权利要求1所述的方法，其特征在于，布局特征包括输入框、按钮、输入法界面的形状、位置，输入法界面是否有展示，顶部状态栏是否可见。
3.如权利要求1所述的方法，其特征在于，预定义特定场景包括用户登录场景、金融支付场景、游戏场景、办公场景。
4.如权利要求1所述的方法，其特征在于，移动终端内还设置有与预定义特定场景对应的执行程序，如果待识别界面为预定义特定场景界面，则会触发相应的执行程序，以提高用户体验或者保护用户安全。
5.一种自动识别移动终端场景的装置，其特征在于，所述装置包括布局特征收集模块、第一分类器生成模块、纹理特征收集模块、第二分类器生成模块、判断模块，其中：
布局特征收集模块，用于收集预定义特定场景下各显示界面的布局特征；
第一分类器生成模块，用于通过统计分析预定义特定场景布局特征的情况得到第一分类器；
纹理特征收集模块，用于收集预定义特定场景及普通场景下各显示界面位图的纹理特征；
第二分类器生成模块，用于分别利用特定场景各显示界面的纹理特征和普通场景显示界面的纹理特征作为正、负样本，采用有监督的机器学习方法进行训练，得到第二分类器；
判断模块，用于当移动终端上产生待识别的画面时，用第一分类器判断待识别界面是否为预定义特定场景，若不是则使用第二分类器判断待识别界面是否为预定义特定场景。
6.如权利要求5所述的装置，其特征在于，布局特征包括输入框、按钮、输入法界面的形状、位置，输入法界面是否有展示，顶部状态栏是否可见。
7.如权利要求5所述的装置，其特征在于，预定义特定场景包括用户登录场景、金融支付场景、游戏场景、办公场景。
8.如权利要求5所述的装置，其特征在于，所述自动识别移动终端场景的装置还包括预设执行程序模块，用于存储与预定义特定场景对应的执行程序，如果判断模块判断出待识别界面为预定义特定场景界面，则会触发预设执行程序模块中相应的执行程序，以提高用户体验或者保护用户安全。
CN201710758744.3A 2017-08-29 2017-08-29 一种自动识别移动终端场景的方法和装置 Active CN109426830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710758744.3A CN109426830B (zh) 2017-08-29 2017-08-29 一种自动识别移动终端场景的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710758744.3A CN109426830B (zh) 2017-08-29 2017-08-29 一种自动识别移动终端场景的方法和装置

Publications (2)

Publication Number Publication Date
CN109426830A CN109426830A (zh) 2019-03-05
CN109426830B true CN109426830B (zh) 2022-05-17

Family

ID=65503657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710758744.3A Active CN109426830B (zh) 2017-08-29 2017-08-29 一种自动识别移动终端场景的方法和装置

Country Status (1)

Country Link
CN (1) CN109426830B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427929B (zh) * 2019-07-19 2023-04-28 易诚高科（大连）科技有限公司 一种基于多级元素融合的app界面模式识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657694B2 (en) * 2012-10-15 2020-05-19 Tangible Play, Inc. Activity surface detection, display and enhancement of a virtual scene
US9684834B1 (en) * 2013-04-01 2017-06-20 Surround.IO Trainable versatile monitoring device and system of devices
CN104376274B (zh) * 2014-11-21 2017-08-25 北京奇虎科技有限公司 移动终端支付界面保护方法及装置
CN106815522A (zh) * 2015-11-27 2017-06-09 中兴通讯股份有限公司 移动终端软件假界面识别方法及装置
CN106485147A (zh) * 2016-09-13 2017-03-08 四川长虹电器股份有限公司 基于智能移动终端界面图像变化的安全保护方法
CN106529943A (zh) * 2016-10-21 2017-03-22 维沃移动通信有限公司 一种保障支付安全的方法和移动终端
CN106919400A (zh) * 2017-03-10 2017-07-04 广东欧珀移动通信有限公司 一种移动终端的显示场景识别方法、装置及移动终端
CN106874017B (zh) * 2017-03-10 2019-10-15 Oppo广东移动通信有限公司 一种移动终端的显示场景识别方法、装置及移动终端

Also Published As

Publication number Publication date
CN109426830A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
US11468225B2 (en) Determining functional and descriptive elements of application images for intelligent screen automation
US10805346B2 (en) Phishing attack detection
CN109214821B (zh) 身份远程认证方法及终端设备
CN108664364B (zh) 一种终端测试方法及装置
CN113366487A (zh) 基于表情组别的操作确定方法、装置及电子设备
CN113793336B (zh) 一种检测血细胞的方法、装置、设备及可读存储介质
CN108563963A (zh) 网页篡改检测方法、装置、设备及计算机可读存储介质
CN107256357A (zh) 基于深度学习的安卓恶意应用的检测和分析方法
CN112612911A (zh) 一种图像处理方法、系统、设备及介质、程序产品
CN106815522A (zh) 移动终端软件假界面识别方法及装置
CN115186303B (zh) 一种基于大数据云平台的金融签章安全管理方法及系统
CN110619239A (zh) 应用界面处理方法、装置、存储介质及终端
CN114445768A (zh) 目标识别方法、装置、电子设备及存储介质
CN109426830B (zh) 一种自动识别移动终端场景的方法和装置
CN108108618B (zh) 伪造攻击的应用界面检测方法及装置
CN112750038B (zh) 交易风险的确定方法、装置和服务器
CN111738252A (zh) 图像中的文本行检测方法、装置及计算机系统
CN115688107B (zh) 一种涉诈app检测系统和方法
CN108268778A (zh) 数据处理方法、装置及存储介质
CN109345186B (zh) 基于物联网的业务办理方法及终端设备
CN113095272B (zh) 活体检测方法、设备、介质及计算机程序产品
KR102629848B1 (ko) 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치
CN114639058A (zh) 火灾烟雾图像检测方法、装置、设备及存储介质
Dinh et al. Text localization using image cues and text line information
CN114092986A (zh) 活体人脸的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant