CN113434825A - 基于计算机视觉的应用程序造假识别方法、装置和电子设备 - Google Patents

Abstract

本申请提供一种基于计算机视觉的应用程序造假识别方法、装置和电子设备，通过获取用户操作应用程序的画面的待处理视频，对待处理视频进行分帧处理，获得多帧视频帧，再将各个视频帧导入预先训练得到的识别模型进行识别处理，根据多帧视频帧的识别结果，判断用户操作的应用程序是否存在造假现象。该方案，通过预先训练识别模型的方式，可对包含用户操作应用程序的画面的视频帧进行异常判断，通过计算机视觉处理以及深度学习模型，快速、准确地对用户所操作的应用程序进行异常判断，在保障判别准确性的基础上，节省时间和人力成本。

Description

基于计算机视觉的应用程序造假识别方法、装置和电子设备

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种基于计算机视觉的应用程序造假识别方法、装置和电子设备。

背景技术

互联网蓬勃发展背景下，金融与互联网融合进入互联网金融时代。现如今，互联网金融从快速发展阶段转入规范发展阶段。随着风险专项整治工作深入开展，互联网金融风险整体水平在下降，互联网金融风险案件高发频发势头得到初步遏制，行业监管规则和要求进一步明确，行业发展环境得到进一步净化。

对于用户的关于金融方面的应用程序的真实性的判断，例如用户的个税APP的真实性的判断，该个税APP可能不是用户本人真实的个税APP，或者存在被编辑、篡改、造假等情况。现有处理方式中，检测、判断还停留在需要依赖人工进行检测判断。这种方式存在大量人力成本、时间成本的投入，并且检测判断的效率很低。

发明内容

本申请的目的包括，例如，提供了一种基于计算机视觉的应用程序造假识别方法、装置和电子设备，其能够通过计算机视觉处理和深度学习方式，快速且准确地对应用程序进行异常判断。

本申请的实施例可以这样实现：

第一方面，本申请提供一种基于计算机视觉的应用程序造假识别方法，所述方法包括：

获取包含用户操作应用程序的画面的待处理视频；

对所述待处理视频进行分帧处理，获得多帧视频帧；

将各所述视频帧导入预先训练得到的识别模型进行识别处理，并根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象。

在可选的实施方式中，所述将各所述视频帧导入预先训练得到的识别模型进行识别处理的步骤，包括：

针对每个视频帧，计算所述视频帧与相邻的视频帧之间的帧差；

抽取所述多帧视频帧中帧差大于预设阈值的视频帧；

将抽取出的视频帧导入预先训练得到的识别模型进行识别处理。

在可选的实施方式中，所述将各所述视频帧导入预先训练得到的识别模型进行识别处理，并根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象的步骤，包括：

将各所述视频帧导入预先训练得到的识别模型进行识别处理，获得各所述视频帧包含的应用程序页面图像和背景图像；

获得所述应用程序页面图像的第一识别结果，以及所述背景图像的第二识别结果；

根据所述第一识别结果和/或所述第二识别结果，判断所述用户操作的应用程序是否存在造假现象。

在可选的实施方式中，所述获得所述应用程序页面图像的第一识别结果的步骤，包括：

识别出所述应用程序页面图像中包含的页面详情；

检测所述页面详情中是否包含异常信息，并基于检测结果得到所述应用程序页面图像的第一识别结果。

在可选的实施方式中，所述获得所述应用程序页面图像的第一识别结果的步骤，包括：

对多个应用程序页面图像进行识别得到用户操作所述应用程序时的操作信息；

检测所述操作信息是否存在操作异常，并基于检测结果得到所述应用程序页面图像的第一识别结果。

在可选的实施方式中，获得所述背景图像的第二识别结果的步骤，包括：

检测所述背景图像中是否包含特定物体图像，并基于检测结果获得所述背景图像的第二识别结果。

在可选的实施方式中，各所述视频帧的识别结果包括模型分值，所述根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象的步骤，包括：

在所述多帧视频帧中存在模型分值大于预设值的视频帧时，判定所述用户操作的应用程序存在造假现象；

在所述多帧视频帧中不存在模型分值大于预设值的视频帧时，判定所述用户操作的应用程序不存在造假现象。

在可选的实施方式中，所述将各所述视频帧导入预先训练得到的识别模型进行识别处理的步骤之前，所述方法还包括：

对多帧视频帧中的部分视频帧进行旋转处理，以使多帧视频帧的方向一致。

第二方面，本申请提供一种基于计算机视觉的应用程序造假识别装置，所述装置包括：

获取模块，用于获取包含用户操作应用程序的画面的待处理视频；

分帧模块，用于对所述待处理视频进行分帧处理，获得多帧视频帧；

识别模块，用于将各所述视频帧导入预先训练得到的识别模型进行识别处理，并根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象。

第三方面，本申请提供一种电子设备，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行前述实施方式中任意一项所述的方法步骤。

本申请实施例的有益效果包括，例如：

本申请提供一种基于计算机视觉的应用程序造假识别方法、装置和电子设备，通过获取用户操作应用程序的画面的待处理视频，对待处理视频进行分帧处理，获得多帧视频帧，再将各个视频帧导入预先训练得到的识别模型进行识别处理，根据多帧视频帧的识别结果，判断用户操作的应用程序是否存在造假现象。该方案，通过预先训练识别模型的方式，可对包含用户操作应用程序的画面的视频帧进行异常判断，通过计算机视觉处理以及深度学习模型，快速、准确地对用户所操作的应用程序进行异常判断，在保障判别准确性的基础上，节省时间和人力成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的基于计算机视觉的应用程序造假识别方法的应用场景示意图；

图2为本申请实施例提供的基于计算机视觉的应用程序造假识别方法的流程图；

图3为图2中步骤S130包含的子步骤的流程图；

图4为本申请实施例提供的识别模块的网络结构示意图；

图5为本申请实施例提供的卷积层的示意图；

图6为本申请实施例提供的识别模型中基本结构层的示意图；

图7为图2中步骤S130包含的子步骤的另一流程图；

图8为图7中步骤S135包含的子步骤的流程图；

图9为图7中步骤S135包含的子步骤的另一流程图；

图10为本申请实施例提供的电子设备的结构框图；

图11为本申请实施例提供的基于计算机视觉的应用程序造假识别装置的功能模块框图。

图标：100-服务器；110-存储介质；120-处理器；130-基于计算机视觉的应用程序造假识别装置；131-获取模块；132-分帧模块；133-识别模块；140-通信接口；200-第一终端设备；300-第二终端设备。

具体实施方式

计算机视觉作为一门让机器学会如何去“看”的科学学科，具体地说，就是让机器去识别摄像机拍摄的图片或视频中的物体，检测出物体所在的位置，并对目标物体进行跟踪。从而理解并描述出图片或视频中的场景和故事，以此来模拟人脑视觉系统。因此，计算机视觉也通常被叫做机器视觉，其目的是建立能够从图像或视频中“感知”信息的人工系统。

与金融相关的应用程序，涉及到重要的个人信息和金融相关信息，例如对于个税APP而言，涉及很重要的个人信息证明材料，实际应用场景中，不乏存在应用程序造假的现象。目前对于造假应用程序的识别还主要是基于人工经验来进行判断，最终决策输出由人工决定。这种方式需要依赖工作人员经验，存在较大的主观因素，并且在人力成本和时间成本上消耗较大。

基于上述研究发现，本申请提供一种应用程序异常识别方案，通过获取包含用户操作应用程序的画面的待处理视频，对待处理视频进行分帧处理，获得多帧视频帧，再将各个视频帧导入预先训练得到的识别模型进行识别处理，根据多帧视频帧的识别结果，判断用户操作的应用程序是否存在造假现象。该方案，通过预先训练识别模型的方式，可对包含用户操作应用程序的画面的视频帧进行异常判断，通过计算机视觉处理以及深度学习模型，快速、准确地对用户所操作的应用程序进行异常判断，在保障判别准确性的基础上，节省时间和人力成本。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

请参阅图1，为本申请提供的基于计算机视觉的应用程序造假识别方法的应用场景示意图，该应用场景中包括第一终端设备200、第二终端设备300和服务器100。其中，第一终端设备200可以是用于登录应用程序并显示应用程序相关信息，并且，可供用户对应用程序进行相关操作的终端设备。第二终端设备300可为具有视频、图像采集功能的终端设备，可对第一终端设备200上显示的信息以及周围环境进行拍摄的终端设备。

第二终端设备300可与服务器100建立通信连接，第二终端设备300可与服务器100之间实现信息通信和数据交互。服务器100可以是对相关信息进行识别检测的后台服务器。

本实施例中，第一终端设备200、第二终端设备300可包括，但不限于智能手机、平板电脑等终端设备。服务器100可以是单独的服务器，或者是多台服务器100构成的服务器集群等，具体地本实施例不作限制。

请参阅图2，为本申请实施例提供的一种应用于电子设备的基于计算机视觉的应用程序造假识别方法的流程示意图，该电子设备可为上述的服务器100。应当理解，在其它实施例中，本实施例所述的造假识别方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该造假识别方法的详细步骤介绍如下。

步骤S110，获取包含用户操作应用程序的画面的待处理视频。

步骤S120，对所述待处理视频进行分帧处理，获得多帧视频帧。

步骤S130，将各所述视频帧导入预先训练得到的识别模型进行识别处理，并根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象。

在实际应用中，用户可以利用终端设备开启应用程序并进行相关的操作，其中，终端设备可如上述的第一终端设备200，应用程序可以是例如个税APP等。在用户操作应用程序的过程中，第二终端设备300可采集用户操作应用程序的视频，该视频可包括第一终端设备200上应用程序的画面，还可包含第一终端设备200周围的环境画面等。

为了便于对采集到的视频进行准确地识别处理，可将待处理视频进行分帧得到该待处理视频包含的多帧视频帧。如此，可将复杂的判断视频是否的问题转变为较为简单的判断视频帧是否异常的问题。

本实施例中，可预先训练得到识别模型，该识别模型可预先基于采集的训练样本进行训练获得。其中，训练样本可以是历史时段内服务器100所接收到的图像样本，图像样本中包含有用户操作应用程序的画面。工作人员可对各个训练样本进行判别，并将其中应用程序存在造假现象的训练样本标记为负样本，将其中应用程序不存在造假现象的训练样本标记为正样本。

为了丰富训练样本的多样性，其中，训练样本可包含对应应用程序的各个页面画面的样本、从不同拍摄距离采集的样本、从不同拍摄角度采集的样本等。此外，考虑到应用程序界面在终端设备不同设置条件下可能显示方式不同，因此，采集到的训练样本还可包含对应不同设置条件下的不同页面间距、不同文本格式或不同数字格式等的样本。

如此，可以尽可能地采集获得多样性的训练样本，以丰富的训练样本训练得到识别模型，提高识别模型可识别的多样性。

本实施例中，利用预先采集并标记好的正样本和负样本对构建的神经网络模型进行训练，在满足一定要求时可得到训练好的识别模型。其中，所述的满足一定要求可以是如识别准确率达到设定阈值时，或者是训练次数达到预设次数等。得到的识别模型可用于后续对视频帧进行异常性判别。

本实施例中，在实际应用时，可将上述得到的待识别的多针视频帧导入预先训练好的识别模型，利用识别模型对视频帧进行识别处理。根据识别模型的识别结果可以判断用户操作的应用程序是否存在造假现象。其中，用户操作的应用程序存在造假现象的原因可能是用户造假的应用程序，或者是用户对上传至服务器100的待处理视频进行修改造成的应用程序异常等。

其中，各视频帧的识别结果可包括模型分值，模型分值的大小可表征视频帧是否为异常帧的可能性，例如，模型分值越高则视频帧为异常的可能性越大，相反，模型分值越低则视频帧为异常的可能性越小。

本实施例中，通过识别模型可以得到每一帧视频帧的识别结果，在确定所有视频帧均识别完成之后，读取所有视频帧的识别结果。在多帧视频帧中存在模型分值大于预设值的视频帧时，则可以判定用户操作的应用程序存在造假现象，而在多帧视频帧中不存在模型分值大于预设值的视频帧时，可判定用户操作的应用程序不存在造假现象。

本实施例所提供的应用程序造假识别方案，通过预先利用标记好的训练样本训练得到识别模型的方式，通过计算机视觉处理以及深度学习模型，可对包含用户操作应用程序的画面的视频帧进行异常判断，从而快速、准确地对用户所操作的应用程序进行异常性判断，在保障判别准确性的基础上，节省时间和人力成本。

本实施例中，在采集用户操作应用程序的画面时，可能由于用户存在方位移动，或者拍摄设备拍摄角度改变等，导致采集到的多帧视频帧并不能保持相同的方向。如此，将影响到识别模型的识别处理效果。

基于上述考虑，本实施例中，可对多帧视频帧中的部分视频帧进行旋转处理，以使多帧视频帧的方向一致。其中，可以是识别出大多数的保持相同方向的视频帧，将少数的未与之具有相同方向的部分视频帧进行旋转处理，从而使所有的视频帧均保持相同的方向。将保持相同方向的视频帧导入识别模型进行识别处理，可以提高识别模型的识别准确率，使识别模型可以更专注于更细粒度的判断。

待处理视频是采集到的用户操作应用程序的一段时间段内的视频，用户在操作应用程序时有可能出现较长时间停留在同一页面上的现象，在周围环境并未变化且用户一段时间内停留在同一页面上时，该时间段内的多帧视频帧并没有变化。这种情形下，若还是对每一帧视频帧均执行识别处理，将导致一些不必要的重复的工作量。

基于上述考虑，在一种可能的实现方式中，可以从多帧视频帧中抽取部分视频帧执行识别处理，以避免重复的工作量。详细地，请参阅图3，可以通过以下方式抽取部分视频帧。

步骤S131，针对每个视频帧，计算所述视频帧与相邻的视频帧之间的帧差。

步骤S132，抽取所述多帧视频帧中帧差大于预设阈值的视频帧。

步骤S133，将抽取出的视频帧导入预先训练得到的识别模型进行识别处理。

本实施例中，针对两两相邻的视频帧，可以获得该相邻视频帧中各个视频帧包含的各个像素点的像素值。针对相邻视频帧的对应位置处的像素值进行差值计算，得到该相邻的视频帧的对应位置的像素值的差值，作为该相邻视频帧的帧差。可检测该相邻视频帧的帧差是否大于预设阈值，若大于预设阈值，则表明该相邻视频帧的画面之间存在较大的变动，若两个相邻的视频帧之间的帧差小于预设阈值，则表明该两个相邻的视频帧之间无明显变化。

针对与相邻视频帧之间画面无明显变化的视频帧，即与相邻视频帧的帧差小于预设阈值的视频帧，可做丢弃处理，仅将与相邻的视频帧的帧差大于预设阈值的视频帧抽取出来，并导入识别模型进行识别处理即可。

如此，既可以保留待处理视频中完整的信息，以保障识别的准确性和完整性，又可以避免一些重复的画面造成的不必要的加大工作量的问题。

由上述可知，识别模型由构建的神经网络模型训练得到，其中，采用的神经网络模型可以是，但不限于MobileNetV3模型。请结合参阅图4，MobileNetV3模型的网络块结构中依次包括卷积层(conv)、基本结构层(bneck)、平均池化层(avg_pool)、激活函数层(h-swish)和全连接层(FC)。

其中，请结合参阅图5，模型使用通道可分离卷积，包括3*3的卷积(深度卷积)和1*1的卷积(逐点卷积)，可用于提取视频帧的图像特征。SE通道注意力机制，利用近似操作模拟swish和relu，公式如下：

采用h-swish激活函数代替原有的swish函数，可减少运算量、提高性能，利用rule6(x+3)/6替代原有的sigmoid，可以实现速度的优化。

bneck模块是网络的基本模块。主要实现了通道可分离卷积+SE通道注意力机制+残差连接，结构如图6中所示。其中，网络模型移除了之前的瓶颈层连接，进一步降低简化了网络参数。

由上述可知，拍摄得到的视频中可包括应用程序的界面的相关信息，也可包含用户操作应用程序的背景的相关信息。应用程序的界面的信息可直接体现应用程序是否存在造假的问题，而用户操作应用程序的背景可体现用户当时操作应用程序的环境，可通过识别具体的环境情况从而从侧面辅助判断应用程序是否存在造假的问题。

因此，在本实施例中，请结合参阅图7，在判断用户操作的应用程序是否存在造假现象时，可以通过以下方式实现。

步骤S134，将各所述视频帧导入预先训练得到的识别模型进行识别处理，获得各所述视频帧包含的应用程序页面图像和背景图像。

步骤S135，获得所述应用程序页面图像的第一识别结果，以及所述背景图像的第二识别结果。

步骤S136，根据所述第一识别结果和/或所述第二识别结果，判断所述用户操作的应用程序是否存在造假现象。

本实施例中，利用识别模型进行识别处理可获得视频帧中包含的应用程序页面图像和背景图像。可选地，可通过识别第一终端设备200的设备边界从而确定第一终端设备200在视频帧中的位置，可基于第一终端设备200的设备边界框定出视频帧中的应用程序页面图像。而视频帧中除应用程序页面图像之外的其他区域即为背景图像。

识别模型对视频帧的识别处理可以是基于整个图像进行识别，也可以是就应用程序页面图像和背景图像进行分别分析处理。在采用分别针对应用程序页面图像和背景图像进行分析处理时，可以分别获得应用程序页面图像的第一识别结果，和背景图像的第二识别结果。

从而，可以单独基于第一识别结果来判断用户操作的应用程序是否存在造假现象，也可以单独基于第二识别结果来判断用户操作的应用程序是否存在造假现象，或者也可以结合第一识别结果和第二识别结果来综合判断用户操作的应用程序是否存在造假现象。

本实施例中，请参阅图8，在获得应用程序页面图像的第一识别结果的步骤中，作为一种可能的实现方式，可以通过以下方式实现：

步骤S1351A，识别出所述应用程序页面图像中包含的页面详情。

步骤S1352A，检测所述页面详情中是否包含异常信息，并基于检测结果得到所述应用程序页面图像的第一识别结果。

应用程序的各个页面会显示相关的信息，例如，若应用程序为个税APP，则应用程序的页面上会显示用户的个人信息、个税相关信息、应用程序本身的一些提示信息等。若为正常的应用程序，则相关信息是按照规范标准进行设置并显示，若为异常的应用程序，则其页面上的一些信息可能和规范的信息存在差异。

因此，本实施例中，可以识别应用程序页面图像中包含的页面详情，通过检测页面详情是否包含异常信息，从而得到相应的第一识别结果。例如，若页面详情存在造假现象信息，而第一识别结果为模型分值时，相应的模型分值应当较高，从而表征页面详情存在造假现象。反之，若页面详情不存在造假现象信息，则第一识别结果中模型分值应当较低。

除了应用程序页面上的详情可体现出应用程序是否存在造假现象之外，用户在操作应用程序时的操作情况也可从侧面表征是否存在造假现象。例如，以个税APP为例，若操作的用户为一些特殊人群，例如中介，则这些特殊人群执行的操作可能大概率存在造假现象的情况。因此，基于此考虑，在一种可能的实现方式中，还可通过以下方式得到应用程序页面图像的第一识别结果，请结合参阅图9：

步骤S1351B，对多个应用程序页面图像进行识别得到用户操作所述应用程序时的操作信息。

步骤S1352B，检测所述操作信息是否存在操作异常，并基于检测结果得到所述应用程序页面图像的第一识别结果。

本实施例中，在一种实现方式中，可以识别用户操作应用程序时的操作信息，例如页面回退情况。页面回退情况可以通过页面是否重复出现来体现，例如可以对多帧视频帧中应用程序页面图像进行识别，如应用程序页面是否存在每隔几帧跳转回之前的页面的现象。若存在这类现象表明用户对于应用程序的操作可能并不娴熟，极大可能是正常的用户，即应用程序的登录用户。

而若在整个操作过程中，不存在跳转回的页面，则表征用户对于应用程序的操作非常娴熟，则极大可能是上述的特殊群体执行的操作。这种情况下，所操作的应用程序可能存在造假现象，相应地第一识别结果包含的模型分值可能较大，从而表征应用程序存在造假现象。

此外，在另一种实现方式中，还可以通过结合多帧视频帧以获得用户操作应用程序时的操作速度。在用户操作应用程序时的操作速度处于一定范围内时，则表征用户可能为正常用户，而若用户操作应用程序时的操作速度较快，则表征执行操作的用户可能为上述的特殊群体，此时，得到的第一识别结果可能较大，从而表征应用程序可能存在造假现象。

本实施例中，可通过上述任意一种对应用程序页面图像进行识别的方式得到第一识别结果，也可以结合上述多种方式得到综合的第一识别结果。通过对应用程序页面图像进行识别，可以得到可直观体现应用程序是否异常的识别结果。

由上述可知，视频帧中的背景情况可侧面体现应用程序是否可能存在造假现象，本实施例中，可以通过以下方式得到背景图像的第二识别结果：

检测背景图像中是否包含特定物体图像，并基于检测结果获得背景图像的第二识别结果。

本实施例中，所述的特定物体图像可以根据所需判定的应用程序进行设置，例如，针对个税APP，则可能需要判断是否是在中介场景下操作的应用程序，而中介场景则可能会出现中介公司的标志、中介公司的办公室场景等特定物体。其中，中介公司的办公室场景如可能包含办公桌图像、大片白色墙面图像等。

因此，若背景图像中包含特定物体图像，则操作应用程序的场景可能是异常的场景，则相应地第二识别结果包含的模型分值可能较大，从而表征应用程序可能存在造假现象。

本实施例中，通过识别背景图像，从而从侧面辅助进行应用程序是否异常的判断。进一步地提高对应用程序异常性判断的准确性。

本实施例中利用识别模型得到的应用程序是否异常的判断结果可以提供给工作人员，辅助人工进行最终的决策，防止由于人工的疏忽而漏掉的造假案例。可以减轻人工审批的压力，提高后续流程的效率。

本实施例所提供的基于计算机视觉的应用程序造假识别方法，通过拍摄设备主动采集用户操作应用程序画面的视频的方式，结合计算机视觉计算和深度学习方法，对视频帧进行分析处理，从而判别视频中应用程序是否存在造假现象。减轻了人工审批的压力，并且提高了识别的准确性，大大降低人力成本和时间成本。

请参阅图10，本申请实施例还提供了一种电子设备，以用于执行上述的基于计算机视觉的应用程序造假识别方法。该电子设备可包括存储介质110、处理器120、基于计算机视觉的应用程序造假识别装置130及通信接口140。本实施例中，存储介质110与处理器120均位于电子设备中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于电子设备之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

基于计算机视觉的应用程序造假识别装置130可以理解为上述电子设备，或电子设备的处理器120，也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述基于计算机视觉的应用程序造假识别方法的软件功能模块。

如图11所示，上述基于计算机视觉的应用程序造假识别装置130可以包括获取模块131、分帧模块132和识别模块133。下面分别对该基于计算机视觉的应用程序造假识别装置130的各个功能模块的功能进行详细阐述。

获取模块131，用于获取包含用户操作应用程序的画面的待处理视频；

可以理解，该获取模块131可以用于执行上述步骤S110，关于该获取模块131的详细实现方式可以参照上述对步骤S110有关的内容。

分帧模块132，用于对所述待处理视频进行分帧处理，获得多帧视频帧；

可以理解，该分帧模块132可以用于执行上述步骤S120，关于该分帧模块132的详细实现方式可以参照上述对步骤S120有关的内容。

识别模块133，用于将各所述视频帧导入预先训练得到的识别模型进行识别处理，并根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象。

可以理解，该识别模块133可以用于执行上述步骤S130，关于该识别模块133的详细实现方式可以参照上述对步骤S130有关的内容。

在一种可能的实现方式中，所述识别模块133具体可以用于：

针对每个视频帧，计算所述视频帧与相邻的视频帧之间的帧差；

抽取所述多帧视频帧中帧差大于预设阈值的视频帧；

将抽取出的视频帧导入预先训练得到的识别模型进行识别处理。

在一种可能的实现方式中，所述识别模块133具体可以用于：

将各所述视频帧导入预先训练得到的识别模型进行识别处理，获得各所述视频帧包含的应用程序页面图像和背景图像；

获得所述应用程序页面图像的第一识别结果，以及所述背景图像的第二识别结果；

根据所述第一识别结果和/或所述第二识别结果，判断所述用户操作的应用程序是否存在造假现象。

在一种可能的实现方式中，所述识别模块133可以通过以下方式获得第一识别结果：

识别出所述应用程序页面图像中包含的页面详情；

检测所述页面详情中是否包含异常信息，并基于检测结果得到所述应用程序页面图像的第一识别结果。

在一种可能的实现方式中，所述识别模块133可以通过以下方式获得第一识别结果：

对多个应用程序页面图像进行识别得到用户操作所述应用程序时的操作信息；

检测所述操作信息是否存在操作异常，并基于检测结果得到所述应用程序页面图像的第一识别结果。

在一种可能的实现方式中，所述识别模块133可以通过以下方式获得第二识别结果：

检测所述背景图像中是否包含特定物体图像，并基于检测结果获得所述背景图像的第二识别结果。

在一种可能的实现方式中，各所述视频帧的识别结果包括模型分值，所述识别模块133具体可以用于：

在所述多帧视频帧中存在模型分值大于预设值的视频帧时，判定所述用户操作的应用程序存在造假现象；

在所述多帧视频帧中不存在模型分值大于预设值的视频帧时，判定所述用户操作的应用程序不存在造假现象。

在一种可能的实现方式中，所述基于计算机视觉的应用程序造假识别装置130还包括旋转模块，该模块可以用于：

对多帧视频帧中的部分视频帧进行旋转处理，以使多帧视频帧的方向一致。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的基于计算机视觉的应用程序造假识别方法。

具体地，该计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上的计算机程序被运行时，能够执行上述基于计算机视觉的应用程序造假识别方法。关于计算机可读存储介质中的及其可执行指令被运行时，所涉及的过程，可以参照上述方法实施例中的相关说明，这里不再详述。

综上所述，本申请实施例提供的基于计算机视觉的应用程序造假识别方法、装置和电子设备，通过获取用户操作应用程序的画面的待处理视频，对待处理视频进行分帧处理，获得多帧视频帧，再将各个视频帧导入预先训练得到的识别模型进行识别处理，根据多帧视频帧的识别结果，判断用户操作的应用程序是否存在造假现象。该方案，通过预先训练识别模型的方式，可对包含用户操作应用程序的画面的视频帧进行异常判断，通过计算机视觉处理以及深度学习模型，快速、准确地对用户所操作的应用程序进行异常判断，在保障判别准确性的基础上，节省时间和人力成本。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于计算机视觉的应用程序造假识别方法，其特征在于，所述方法包括：

获取包含用户操作应用程序的画面的待处理视频；

对所述待处理视频进行分帧处理，获得多帧视频帧；

将各所述视频帧导入预先训练得到的识别模型进行识别处理，并根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象。

2.根据权利要求1所述的基于计算机视觉的应用程序造假识别方法，其特征在于，所述将各所述视频帧导入预先训练得到的识别模型进行识别处理的步骤，包括：

针对每个视频帧，计算所述视频帧与相邻的视频帧之间的帧差；

抽取所述多帧视频帧中帧差大于预设阈值的视频帧；

将抽取出的视频帧导入预先训练得到的识别模型进行识别处理。

3.根据权利要求1所述的基于计算机视觉的应用程序造假识别方法，其特征在于，所述将各所述视频帧导入预先训练得到的识别模型进行识别处理，并根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象的步骤，包括：

将各所述视频帧导入预先训练得到的识别模型进行识别处理，获得各所述视频帧包含的应用程序页面图像和背景图像；

获得所述应用程序页面图像的第一识别结果，以及所述背景图像的第二识别结果；

根据所述第一识别结果和/或所述第二识别结果，判断所述用户操作的应用程序是否存在造假现象。

4.根据权利要求3所述的基于计算机视觉的应用程序造假识别方法，其特征在于，所述获得所述应用程序页面图像的第一识别结果的步骤，包括：

识别出所述应用程序页面图像中包含的页面详情；

检测所述页面详情中是否包含异常信息，并基于检测结果得到所述应用程序页面图像的第一识别结果。

5.根据权利要求3所述的基于计算机视觉的应用程序造假识别方法，其特征在于，所述获得所述应用程序页面图像的第一识别结果的步骤，包括：

对多个应用程序页面图像进行识别得到用户操作所述应用程序时的操作信息；

检测所述操作信息是否存在操作异常，并基于检测结果得到所述应用程序页面图像的第一识别结果。

6.根据权利要求3所述的基于计算机视觉的应用程序造假识别方法，其特征在于，获得所述背景图像的第二识别结果的步骤，包括：

检测所述背景图像中是否包含特定物体图像，并基于检测结果获得所述背景图像的第二识别结果。

7.根据权利要求1所述的基于计算机视觉的应用程序造假识别方法，其特征在于，各所述视频帧的识别结果包括模型分值，所述根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象的步骤，包括：

在所述多帧视频帧中存在模型分值大于预设值的视频帧时，判定所述用户操作的应用程序存在造假现象；

在所述多帧视频帧中不存在模型分值大于预设值的视频帧时，判定所述用户操作的应用程序不存在造假现象。

8.根据权利要求1-7任意一项所述的基于计算机视觉的应用程序造假识别方法，其特征在于，所述将各所述视频帧导入预先训练得到的识别模型进行识别处理的步骤之前，所述方法还包括：

对多帧视频帧中的部分视频帧进行旋转处理，以使多帧视频帧的方向一致。

9.一种基于计算机视觉的应用程序造假识别装置，其特征在于，所述装置包括：

获取模块，用于获取包含用户操作应用程序的画面的待处理视频；

分帧模块，用于对所述待处理视频进行分帧处理，获得多帧视频帧；

识别模块，用于将各所述视频帧导入预先训练得到的识别模型进行识别处理，并根据所述多帧视频帧的识别结果，判断所述用户操作的应用程序是否存在造假现象。

10.一种电子设备，其特征在于，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行权利要求1-8中任意一项所述的方法步骤。

Images