CN111191207A - 电子文件的控制方法、装置、计算机设备及存储介质 - Google Patents

电子文件的控制方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111191207A
CN111191207A CN201911339761.9A CN201911339761A CN111191207A CN 111191207 A CN111191207 A CN 111191207A CN 201911339761 A CN201911339761 A CN 201911339761A CN 111191207 A CN111191207 A CN 111191207A
Authority
CN
China
Prior art keywords
action
image
frame
video stream
electronic file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911339761.9A
Other languages
English (en)
Inventor
卢宁
徐国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201911339761.9A priority Critical patent/CN111191207A/zh
Publication of CN111191207A publication Critical patent/CN111191207A/zh
Priority to PCT/CN2020/105759 priority patent/WO2021128846A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种电子文件的控制方法、装置、计算机设备及存储介质，所述方法包括：通过采集实时视频流，进而从实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从实时视频流中获取动作帧集合，再将图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果，在每次进行电子文件的控制之前，快速校验电子文件控制的安全性，在权限校验结果为校验通过时，通过训练好的AU检测网络，对动作帧集合进行动作识别，得到目标动作，并确定目标动作对应的指令，作为目标指令，进而对电子文件执行目标指令，这种将获取到的帧图像同时进行权限校验和动作确认的方式，实现快速进行电子文件的控制，提高了电子文件控制的效率。

Description

电子文件的控制方法、装置、计算机设备及存储介质
技术领域
本发明涉及信息安全领域，尤其涉及一种电子文件的控制方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的发展和智能终端的普及，人们能够通过智能设备完成的工作和生活事项越来越多。一些原本需要进行线下处理的文件，慢慢也通过智能设备进行完成。
在当前，人们主要通过触屏或者通过智能设备上的实体按钮，对电子文件进行操作，但这种操作极为不便，使得电子文件的控制效率较低，与此同时，在一些领域，涉及到一些对安全性较高的电子文件，比如电子合约、财务报表、用户隐私数据等，为确保安全，对这些电子文件进行处理往往需要进行权限验证，通过触屏(触屏输入密码或者图案解锁)或者智能设备上的实体按钮进行操作，有可能被记住解锁密码，使得安全性得不到保障，如何寻找一个在智能设备上，能够进行高效的电子文件控制方法，成了一个亟待解决的难题。
发明内容
本发明实施例提供一种电子文件的控制方法、装置、计算机设备和存储介质，以提高当前电子文件的控制效率。
为了解决上述技术问题，本申请实施例提供一种电子文件的控制方法，包括：
采集实时视频流；
从所述实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从所述实时视频流中获取动作帧集合；
将所述图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；
若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作；
从预设的指令集中，获取所述目标动作对应的指令，作为目标指令；
对电子文件执行所述目标指令。
进一步地，所述从所述实时视频流中，获取包含当前用户的面部图像的图像集合包括：
按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；
将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的图像集合。
进一步地，所述按照预设方式，从所述实时视频流中获取动作帧集合包括：
按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
按照所述帧图像集合中每个帧图像在所述实时视频流中的出现的先后顺序，对所述帧图像进行排序，得到排序后的帧图像序列；
对所述帧图像序列中的每个帧图像进行标注，得到所述动作帧集合。
进一步地，所述若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作包括：
若所述权限校验结果为校验通过，则将获取到的所述动作帧集合中的每一个帧图像输入到所述训练好的AU检测网络中；
按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容；
通过所述训练好的AU检测网络的卷积层，依次对所述差异内容进行特征提取，得到对应的特征变化内容；
将每个所述特征变化内容输入到AU动作识别层，并根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作。
进一步地，所述按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容包括：
采用帧差法计算相邻帧之间的灰度差分，得到所述差异内容。
进一步地，所述AU动作识别层包括n个预设的AU分类器，其中，n为大于1的正整数，所述根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作包括：
使用所述AU动作识别层的n个AU分类器对所述特征变化内容进行相似度计算，得到所述特征变化内容属于该AU分类器对应的动作类别的概率，共得到n个所述概率，其中，每个AU分类器对应一种动作类别；
从n个所述概率中，选取概率最大的动作类别作为所述特征变化内容对应的目标动作。
为了解决上述技术问题，本申请实施例还提供一种电子文件的控制装置，包括：
数据采集模块，用于采集实时视频流；
图像获取模块，用于从所述实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从所述实时视频流中获取动作帧集合；
权限校验模块，用于将所述图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；
动作检测模块，用于若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作；
指令确定模块，用于从预设的指令集中，获取所述目标动作对应的指令，作为目标指令；
文件控制模块，用于对电子文件执行所述目标指令。
进一步地，所述图像获取模块包括：
帧图像选取单元，用于按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
人脸检测单元，用于采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；
面部图像确定单元，用于将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的图像集合。
进一步地，所述图像获取模块还包括：
帧图像选取单元，按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
图像排序单元，用于按照所述帧图像集合中每个帧图像在所述实时视频流中的出现的先后顺序，对所述帧图像进行排序，得到排序后的帧图像序列；
图像标注单元，用于对所述帧图像序列中的每个帧图像进行标注，得到所述动作帧集合。
进一步地，所述动作检测模块包括：
数据输入单元，用于若所述权限校验结果为校验通过，则将获取到的所述动作帧集合中的每一个帧图像输入到所述训练好的AU检测网络中；
差异内容获取单元，用于按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容；
差异特征提取单元，用于通过所述训练好的AU检测网络的卷积层，依次对所述差异内容进行特征提取，得到对应的特征变化内容；
动作识别单元，用于将每个所述特征变化内容输入到AU动作识别层，并根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作。
进一步地，所述差异内容获取单元包括：
帧差法计算子单元，用于采用帧差法计算相邻帧之间的灰度差分，得到所述差异内容。
进一步地，所述动作识别单元包括：
概率计算子单元，用于使用所述AU动作识别层的n个AU分类器对所述特征变化内容进行相似度计算，得到所述特征变化内容属于该AU分类器对应的动作类别的概率，共得到n个所述概率，其中，每个AU分类器对应一种动作类别；
目标动作确定子单元，用于从n个所述概率中，选取概率最大的动作类别作为所述特征变化内容对应的目标动作。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述电子文件的控制方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述电子文件的控制方法的步骤。
本发明实施例提供的电子文件的控制方法、装置、计算机设备及存储介质，一方面，通过采集实时视频流，进而从实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从实时视频流中获取动作帧集合，再将图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果，在每次进行电子文件的控制之前，快速校验电子文件控制的安全性，另一方面，在权限校验结果为校验通过时，通过训练好的AU检测网络，对动作帧集合进行动作识别，得到目标动作，并确定目标动作对应的指令，作为目标指令，进而对电子文件执行目标指令，这种将获取到的帧图像同时进行权限校验和动作确认的方式，实现快速进行电子文件的控制，提高了电子文件控制的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的电子文件的控制方法的一个实施例的流程图；
图3是根据本申请的电子文件的控制装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureE界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的电子文件的控制方法由服务器执行，相应地，电子文件的控制装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
请参阅图2，图2示出本发明实施例提供的一种电子文件的控制方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S201：采集实时视频流。
具体地，在检测到对安全性要求比较高的电子文件进行操作时，自动开启摄像设备进行数据采集，得到当前用户的实时视频流。
例如，在一具体实施方式中，检测到一电子合同文件的查看请求，此时，启动电子设备的摄像头，在电子设备上提示用户开启电子合同文件的动作，并开始拍摄预设时间的实时视频流。
S202：从实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从实时视频流中获取动作帧集合。
具体地，从实时视频流中，获取包含当前用户的面部图像的图像集合，以便后续通过图像集合中的面部图像，判断用户是否具有操作该电子合同的权限，同时，按照预设的方式，从该实时视频流中获取动作视频帧集合。
其中，图像集合包含当前用户的一个或多个面部图像，从实时视频流中获取包含当前用户的面部图像的基础图像集合具体可以是通过从实时视频流中获取多个视频帧图像，进而对每个视频帧图像进行人脸检测，将包含完整人脸的视频帧图像作为一个当前用户的面部图像，得到包含当前用户的面部图像的图像集合。
其中，动作帧集合是指包含多个具有时间序列的视频帧图像的集合。
S203：将图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果。
具体地，本实施例中，将具有电子文件操作权限的人脸图像，预先存储在终端，在步骤S202中获取到图像集合后，先将图像集合中的面部图像与终端预设的人脸图像进行对比，判断图像集合中的面部图像是否为终端预设的人脸图像之一，在图像集合中的面部图像与终端预设的任一人脸图像匹配成功时，确定当前用户具有电子文件的操作权限，此时，权限校验结果为校验通过。
可以理解地，若图像集合中的面部图像与终端预设的人脸图像均匹配失败时，说明当前用户不具备该电子文件的操作权限，此时，拒绝此次操作记录，并将当前图像集合进行保存，并生成相关日志。
其中，人脸匹配的方法包括但不限于：基于Gabor引擎的人脸匹配算法、局部特征分析方法(Local Face Analysis)、基于几何特征的方法和特定人脸子空间(FSS)算法等。
S204：若权限校验结果为校验通过，则通过训练好的AU检测网络，对动作帧集合进行动作识别，得到目标动作。
具体地，在权限校验结果为校验通过后，确认当前用户具有电子文件的操作权限，通过训练好的AU检测网络，对步骤S20中得到的动作帧集合进行动作识别，得到动作帧集合对应的目标动作。
其中，AU检测网络是一种用于进行AU检测的卷积神经网络模型，在本实施例中，采用预先训练好的AU检测网络对动作帧集合进行动作识别，有利于提高动作识别的速度，确保电子文件操作的流畅性。
其中，AU是动作单元(Facial Action Unit)的简称，AU是指行为人的面部用以表达行为人的表情的表情单元。
其中，卷积神经网(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，可以快速高效进行图像处理，在本实施例中，采用预先训练好的卷积神经网络，可以快速地识别出基础图像中包含的AU。
需要说明的是，在权限校验结果为校验不通过时，返回步骤S201，重新进行视频采集，并重新校验，在连续校验不通过的次数达到预设次数时，将文件进行锁定，其中，预设次数可以根据实际需要进行设定。
S205：从预设的指令集中，获取目标动作对应的指令，作为目标指令。
具体地，终端预设有预设指令集和预设个数的AU动作，每个预设的AU动作对应预设指令集中的一个预设指令，在得到目标动作之后，获取目标动作对应的预设指令，将该预设指令作为目标指令。
其中，预设AU动作在本实施例中，具体是指用于进行电子文件操作的动作，例如：左摇头、右摇头、眨眼等，每个预设AU动作对应一个预设的电子文件的操作指令，例如：左摇头对应合同左翻页指令，右摇头对应右翻页指令，眨眼对应暂停指令等，具体可以根据实际需要进行设定，此处不做限制。
S206：对电子文件执行目标指令。
具体地，对电子文件执行目标指令，以使所述电子文件根据所述目标指令进行对应的操作。
在本实施例中，通过采集实时视频流，进而从实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从实时视频流中获取动作帧集合，再将图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果，在每次进行电子文件的控制之前，快速校验电子文件控制的安全性，同时，在权限校验结果为校验通过时，通过训练好的AU检测网络，对动作帧集合进行动作识别，得到目标动作，并确定目标动作对应的指令，作为目标指令，进而对电子文件执行目标指令，这种将获取到的帧图像同时进行权限校验和动作确认的方式，实现快速进行电子文件的控制，提高了电子文件控制的效率。
在本实施例的一些可选的实现方式中，步骤S202中，从实时视频流中，获取包含当前用户的面部图像的图像集合包括：
按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
采用人脸检测算法，对帧图像集合中的帧图像进行人脸检测，得到检测结果；
将检测结果中，包含完整人脸特征的每个帧图像均作为一个面部图像，得到包含至少一个面部图像的图像集合。
具体地，终端按照预设的时间间隔，从接收到的实时视频流中抽取视频帧，得到包含多个帧图像的帧图像集合，进而通过人脸检测技术，对获取到的帧图像集合中的每个帧图像进行人脸检测，在本实施例中，获取实时视频流中的帧图像是为了进行电子文件的操作权限验证，因而，对人脸进行检测，主要是检测帧图像中是否包括清晰完整的人脸图像，因而，检测结果包括两种情况：包含完整的人脸特征和不包含完整人脸特征，将检测结果为包含完整的人脸特征的帧图像作为当前用户的面部图像，当前用户的面部图像可以是一个，也可以是多个。
例如，在一具体实施方式中，预设的时间间隔为8个连续视频帧对应的时间，在接收到客户端发送的实时视频流后，终端将获取到的包含128个连续视频帧的实时视频流中，将8个视频帧作为一个视频帧集合，并获取每个视频帧集合中的最后一个视频帧图像，一共得到128/8＝16个视频帧图像，将这16个帧图像作为帧图像集合。
其中，人脸检测技术主要是用于检测帧图像中面部五官、轮廓及重要面部弧线是否清晰完整，其具体实现方式包括但不限于：Adaboost算法、人脸特征点的识别算法(Feature-based recognition algorithms)、神经网络进行识别的算法(Recognitionalgorithms using neural network)和基于主成分分析(Principal ComponentAnalysis，PCA)的特征脸算法等。
值得说明的是，获取到的当前用户的面部图像至少为一个，若未获取到当前用户的面部图像，则认为当前用户的状态获取异常，此时，向电子设备的显示界面发送相应提示信息，并进行实时视频流的重新获取。
在本实施例中，按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合，再采用人脸检测算法，对帧图像集合中的帧图像进行人脸检测，得到检测结果，将检测结果中完整人脸特征的每个帧图像均作为一个面部图像，得到包含至少一个面部图像的图像集合，实现通过采集到的视频流来进行快速权限认证，同时避免使用传统的密码验证可能存在的泄露破解风险，提高权限验证的安全性和效率。
在本实施例的一些可选的实现方式中，步骤S202中，按照预设方式，从实时视频流中获取动作帧集合包括：
按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
按照帧图像集合中每个帧图像在实时视频流中的出现的先后顺序，对帧图像进行排序，得到排序后的帧图像序列；
对帧图像序列中的每个帧图像进行标注，得到动作帧集合。
具体地，终端按照预设的时间间隔，从接收到的实时视频流中抽取视频帧，得到包含多个帧图像的帧图像集合，并根据帧图像对应的时序关系，对帧图像进行排序并标注，得到具有标注信息的动作帧集合。
其中，标注是指为每个帧图像赋予顺序标识，在后续根据标注可以确定图像之间的关联，标注具体可以是数字、字母，或数字字母的组合等，可根据实际需要进行设置，此处不做限制。
在本实施例中，按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合，进而按照帧图像集合中每个帧图像在实时视频流中的出现的先后顺序，对帧图像进行排序，得到排序后的帧图像序列，并对帧图像序列中的每个帧图像进行标注，得到动作帧集合，使得后续可以通过这些有标注的动作帧集合确定帧图像的变化内容，采用变化内容进行动作的识别，不仅可以提高动作识别的准确度，还可以提高动作识别的效率。
在本实施例的一些可选的实现方式中，步骤S204中，若权限校验结果为校验通过，则通过训练好的AU检测网络，对动作帧集合进行动作识别，得到目标动作包括：
若权限校验结果为校验通过，则将获取到的动作帧集合中的每一个帧图像输入到训练好的AU检测网络中；
按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容；
通过训练好的AU检测网络的卷积层，依次对差异内容进行特征提取，得到对应的特征变化内容；
将每个特征变化内容输入到AU动作识别层，并根据AU动作识别层对特征变化内容进行分类识别，得到目标动作。
具体地，在权限校验通过时，将获取到的动作帧集合中的每一个帧图像均作为输入数据，输入到训练好的AU检测网络中，并根据帧图像的标注，确定上一个帧图像和下一个帧图像之间的差异内容，再通过AU检测网络提取差异内容的特征信息，并将特征信息传递到AU动作识别层进行动作识别。
需要说明的是，在本实施例中，通过特征变化内容来进行动作识别，相对于传统方式直接对帧图像进行识别，减少了大量特征，能有效提高识别效率，同时，变化内容更能反映动作的一些过程，有利于提高动作识别的准确率。
其中，确定上一个帧图像和下一个帧图像之间的差异内容，具体可采用的方式包括但不限于：光流法检测，帧差法、边缘检测法和运动矢量检测法等。
优选地，本实施例采用帧差法进行差异内容的确定。
通过AU动作识别层对特征变化内容进行分类识别，得到目标动作的具体过程可参考后续实施例的描述，为避免重复，此处不再赘述。
在本实施例中，在权限校验结果为校验通过时，将获取到的动作帧集合中的每一个帧图像输入到训练好的AU检测网络中并获取相邻帧之间的差异内容，再通过训练好的AU检测网络的卷积层，依次对差异内容进行特征提取，得到对应的特征变化内容，进而将每个特征变化内容输入到AU动作识别层，并根据AU动作识别层对特征变化内容进行分类识别，得到目标动作。有利于提高动作识别的效率和准确率。
在本实施例的一些可选的实现方式中，将每个特征变化内容输入到AU动作识别层，并根据AU动作识别层对特征变化内容进行分类识别，得到目标动作包括：
使用AU动作识别层的n个AU分类器对特征变化内容进行相似度计算，得到特征变化内容属于该AU分类器对应的动作类别的概率，共得到n个概率，其中，每个AU分类器对应一种动作类别；
从n个概率中，选取概率最大的动作类别作为特征变化内容对应的目标动作。
具体地，AU检测网络模型包括但不限于：输入层、卷积层和AU动作识别层等，在AU动作识别层有n个训练好的AU分类器，将每个AU分类器均与特征变化内容进行相似度计算，得到特征变化内容属于该AU分类器对应的动作类别的概率，共得到n个概率，从n个概率中，选取概率最大的动作类别作为特征变化内容对应的目标动作。
其中，AU分类器对应的行为类别可根据实际需要进行训练，例如上翻页、下翻页、自动翻页、放大和暂停等。AU分类器的数量n也可根据需要进行设置，此处不作具体限制，例如，n设置为14。
其中，AU分类器实现方法包括但不限于：逻辑回归(Logistic Regression，LR)、支持向量机((Support Vector Machine，SVM)、交叉熵(Corss Entropy)和softmax回归等。
优选地，本发明实施例采用softmax回归来实现多个AU分类器的分类识别。
在本实施例中，通过使用AU动作识别层的n个AU分类器对特征变化内容进行相似度计算，得到特征变化内容属于该AU分类器对应的动作类别的概率，选取概率最大的动作类别作为特征变化内容对应的目标动作，提高了目标动作的识别准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3示出与上述实施例电子文件的控制方法一一对应的电子文件的控制装置的原理框图。如图3所示，该电子文件的控制装置包括数据采集模块31、图像获取模块32、权限校验模块33、动作检测模块34、指令确定模块35和文件控制模块36。各功能模块详细说明如下：
数据采集模块10，用于采集实时视频流；
图像获取模块20，用于从实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从实时视频流中获取动作帧集合；
权限校验模块30，用于将图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；
动作检测模块40，用于若权限校验结果为校验通过，则通过训练好的AU检测网络，对动作帧集合进行动作识别，得到目标动作；
指令确定模块50，用于从预设的指令集中，获取目标动作对应的指令，作为目标指令；
文件控制模块60，用于对电子文件执行目标指令。
进一步地，图像获取模块包括：
帧图像选取单元，用于按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
人脸检测单元，用于采用人脸检测算法，对帧图像集合中的帧图像进行人脸检测，得到检测结果；
面部图像确定单元，用于将检测结果中，包含完整人脸特征的每个帧图像均作为一个面部图像，得到包含至少一个面部图像的图像集合。
进一步地，图像获取模块还包括：
帧图像选取单元，按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
图像排序单元，用于按照帧图像集合中每个帧图像在实时视频流中的出现的先后顺序，对帧图像进行排序，得到排序后的帧图像序列；
图像标注单元，用于对帧图像序列中的每个帧图像进行标注，得到动作帧集合。
进一步地，动作检测模块包括：
数据输入单元，用于若权限校验结果为校验通过，则将获取到的动作帧集合中的每一个帧图像输入到训练好的AU检测网络中；
差异内容获取单元，用于按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容；
差异特征提取单元，用于通过训练好的AU检测网络的卷积层，依次对差异内容进行特征提取，得到对应的特征变化内容；
动作识别单元，用于将每个特征变化内容输入到AU动作识别层，并根据AU动作识别层对特征变化内容进行分类识别，得到目标动作。
进一步地，差异内容获取单元包括：
帧差法计算子单元，用于采用帧差法计算相邻帧之间的灰度差分，得到差异内容。
进一步地，动作识别单元包括：
概率计算子单元，用于使用AU动作识别层的n个AU分类器对特征变化内容进行相似度计算，得到特征变化内容属于该AU分类器对应的动作类别的概率，共得到n个概率，其中，每个AU分类器对应一种动作类别；
目标动作确定子单元，用于从n个概率中，选取概率最大的动作类别作为特征变化内容对应的目标动作。
关于电子文件的控制装置的具体限定可以参见上文中对于电子文件的控制方法的限定，在此不再赘述。上述电子文件的控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的电子文件的控制方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种电子文件的控制方法，其特征在于，所述电子文件的控制方法包括：
采集实时视频流；
从所述实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从所述实时视频流中获取动作帧集合；
将所述图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；
若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作；
从预设的指令集中，获取所述目标动作对应的指令，作为目标指令；
对电子文件执行所述目标指令。
2.如权利要求1所述的电子文件的控制方法，其特征在于，所述从所述实时视频流中，获取包含当前用户的面部图像的图像集合包括：
按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；
将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的图像集合。
3.如权利要求1或2所述的电子文件的控制方法，其特征在于，所述按照预设方式，从所述实时视频流中获取动作帧集合包括：
按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
按照所述帧图像集合中每个帧图像在所述实时视频流中的出现的先后顺序，对所述帧图像进行排序，得到排序后的帧图像序列；
对所述帧图像序列中的每个帧图像进行标注，得到所述动作帧集合。
4.如权利要求3所述的电子文件的控制方法，其特征在于，所述若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作包括：
若所述权限校验结果为校验通过，则将获取到的所述动作帧集合中的每一个帧图像输入到所述训练好的AU检测网络中；
按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容；
通过所述训练好的AU检测网络的卷积层，依次对所述差异内容进行特征提取，得到对应的特征变化内容；
将每个所述特征变化内容输入到AU动作识别层，并根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作。
5.如权利要求4所述的电子文件的控制方法，其特征在于，所述按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容包括：
采用帧差法计算相邻帧之间的灰度差分，得到所述差异内容。
6.如权利要求4所述的电子文件的控制方法，其特征在于，所述AU动作识别层包括n个预设的AU分类器，其中，n为大于1的正整数，所述根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作包括：
使用所述AU动作识别层的n个AU分类器对所述特征变化内容进行相似度计算，得到所述特征变化内容属于该AU分类器对应的动作类别的概率，共得到n个所述概率，其中，每个AU分类器对应一种动作类别；
从n个所述概率中，选取概率最大的动作类别作为所述特征变化内容对应的目标动作。
7.一种电子文件的控制装置，其特征在于，所述电子文件的控制装置包括：
数据采集模块，用于采集实时视频流；
图像获取模块，用于从所述实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从所述实时视频流中获取动作帧集合；
权限校验模块，用于将所述图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；
动作检测模块，用于若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作；
指令确定模块，用于从预设的指令集中，获取所述目标动作对应的指令，作为目标指令；
文件控制模块，用于对电子文件执行所述目标指令。
8.如权利要求7所述的电子文件的控制装置，其特征在于，所述图像获取模块包括：
帧图像选取单元，用于按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
人脸检测单元，用于采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；
面部图像确定单元，用于将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的图像集合。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的电子文件的控制方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的电子文件的控制方法。
CN201911339761.9A 2019-12-23 2019-12-23 电子文件的控制方法、装置、计算机设备及存储介质 Pending CN111191207A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911339761.9A CN111191207A (zh) 2019-12-23 2019-12-23 电子文件的控制方法、装置、计算机设备及存储介质
PCT/CN2020/105759 WO2021128846A1 (zh) 2019-12-23 2020-07-30 电子文件的控制方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911339761.9A CN111191207A (zh) 2019-12-23 2019-12-23 电子文件的控制方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111191207A true CN111191207A (zh) 2020-05-22

Family

ID=70709335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911339761.9A Pending CN111191207A (zh) 2019-12-23 2019-12-23 电子文件的控制方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN111191207A (zh)
WO (1) WO2021128846A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183185A (zh) * 2020-08-13 2021-01-05 天津大学 基于光流法和cnn-svm的液体泄漏检测方法
WO2021128846A1 (zh) * 2019-12-23 2021-07-01 深圳壹账通智能科技有限公司 电子文件的控制方法、装置、计算机设备及存储介质
CN114282882A (zh) * 2021-11-15 2022-04-05 深圳市东信时代信息技术有限公司 素材工单审核方法、装置、设备及存储介质
CN115630387A (zh) * 2022-12-08 2023-01-20 爱集微咨询(厦门)有限公司 数据处理方法、装置、电子设备以及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116033259A (zh) * 2022-12-20 2023-04-28 浙江力石科技股份有限公司 生成短视频方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018192406A1 (zh) * 2017-04-20 2018-10-25 腾讯科技（深圳）有限公司 身份验证方法及装置、存储介质
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质
CN109685611A (zh) * 2018-12-15 2019-04-26 深圳壹账通智能科技有限公司 一种产品推荐方法、装置、计算机设备及存储介质
CN109829359A (zh) * 2018-12-15 2019-05-31 深圳壹账通智能科技有限公司 无人商店的监控方法、装置、计算机设备及存储介质
CN110210194A (zh) * 2019-04-18 2019-09-06 深圳壹账通智能科技有限公司 电子合同显示方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3071438C (en) * 2017-07-28 2023-10-03 Alclear, Llc Intelligent gallery management for biometrics
CN108363999A (zh) * 2018-03-22 2018-08-03 百度在线网络技术（北京）有限公司 基于人脸识别的操作执行方法和装置
CN109711357A (zh) * 2018-12-28 2019-05-03 北京旷视科技有限公司 一种人脸识别方法及装置
CN111191207A (zh) * 2019-12-23 2020-05-22 深圳壹账通智能科技有限公司 电子文件的控制方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018192406A1 (zh) * 2017-04-20 2018-10-25 腾讯科技（深圳）有限公司 身份验证方法及装置、存储介质
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质
CN109685611A (zh) * 2018-12-15 2019-04-26 深圳壹账通智能科技有限公司 一种产品推荐方法、装置、计算机设备及存储介质
CN109829359A (zh) * 2018-12-15 2019-05-31 深圳壹账通智能科技有限公司 无人商店的监控方法、装置、计算机设备及存储介质
CN110210194A (zh) * 2019-04-18 2019-09-06 深圳壹账通智能科技有限公司 电子合同显示方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021128846A1 (zh) * 2019-12-23 2021-07-01 深圳壹账通智能科技有限公司 电子文件的控制方法、装置、计算机设备及存储介质
CN112183185A (zh) * 2020-08-13 2021-01-05 天津大学 基于光流法和cnn-svm的液体泄漏检测方法
CN114282882A (zh) * 2021-11-15 2022-04-05 深圳市东信时代信息技术有限公司 素材工单审核方法、装置、设备及存储介质
CN115630387A (zh) * 2022-12-08 2023-01-20 爱集微咨询(厦门)有限公司 数据处理方法、装置、电子设备以及可读存储介质
CN115630387B (zh) * 2022-12-08 2024-02-20 爱集微咨询(厦门)有限公司 数据处理方法、装置、电子设备以及可读存储介质

Also Published As

Publication number Publication date
WO2021128846A1 (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
CN111191207A (zh) 电子文件的控制方法、装置、计算机设备及存储介质
CN109509021B (zh) 基于行为轨迹的异常识别方法、装置、服务器及存储介质
US20190012450A1 (en) Biometric-based authentication method, apparatus and system
WO2018166116A1 (zh) 车损识别方法、电子装置及计算机可读存储介质
CN109194689B (zh) 异常行为识别方法、装置、服务器及存储介质
CN110795714A (zh) 一种身份验证方法、装置、计算机设备及存储介质
CN111626371A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN108108711B (zh) 人脸布控方法、电子设备及存储介质
CN112330331A (zh) 基于人脸识别的身份验证方法、装置、设备及存储介质
CN114386013A (zh) 学籍自动认证方法、装置、计算机设备及存储介质
CN110874570A (zh) 面部识别方法、装置、设备及计算机可读存储介质
CN110363187B (zh) 一种人脸识别方法、装置、机器可读介质及设备
CN117251228A (zh) 功能管理方法、装置、计算机设备及存储介质
CN115700845B (zh) 人脸识别模型训练方法、人脸识别方法、装置及相关设备
CN111709851A (zh) 基于rfid及面部识别的酒店安全入住的方法、装置及设备
WO2022111688A1 (zh) 人脸活体检测方法、装置及存储介质
CN115373634A (zh) 随机码生成方法、装置、计算机设备及存储介质
CN111339829B (zh) 用户身份鉴定方法、装置、计算机设备和存储介质
CN112733645A (zh) 手写签名校验方法、装置、计算机设备及存储介质
Moshayedi et al. Fingerprint Identification Banking (FIB); Affordable and Secure Biometric IOT Design
Halim et al. Face recognition-based door locking system with two-factor authentication using opencv
CN112395450A (zh) 图片文字检测方法、装置、计算机设备及存储介质
CN112417886A (zh) 意图实体信息抽取方法、装置、计算机设备及存储介质
CN112487885A (zh) 支付方法、装置、电子设备及可读存储介质
Kakran et al. Identification and Recognition of face and number Plate for Autonomous and Secure Car Parking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200522