CN111476095A - 一种表情属性识别方法、装置、计算机设备及存储介质 - Google Patents
一种表情属性识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111476095A CN111476095A CN202010150181.1A CN202010150181A CN111476095A CN 111476095 A CN111476095 A CN 111476095A CN 202010150181 A CN202010150181 A CN 202010150181A CN 111476095 A CN111476095 A CN 111476095A
- Authority
- CN
- China
- Prior art keywords
- frame data
- face
- image information
- player
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000008921 facial expression Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例属于人工智能领域，涉及应用于VLC播放器的表情属性识别方法，当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；提取所述VLC播放器开始播放的待播帧数据；对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；对所述人脸图像信息进行特征识别操作，获得表情属性数据；基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；将所述目标帧数据传输至所述VLC播放器进行视频播放。本申请还提供应用于VLC播放器的表情属性识别装置、计算机设备及存储介质。本申请实现方式简便，有效提升人脸表情识别的分析效率，极大降低耗费的成本。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种表情属性识别方法、装置、计算机设备及存储介质。
背景技术
Vlc播放器是世界范围内流行的视频播放器软件，具有多种平台的实现方案，可以在个人电脑、智能手机等平台上流畅的播放视频。Vlc播放器的设计思想是通过插件方式的组合，得到一个具有多种功能的播放器软件，比如，可以通过插件实现多种编解码，通过插件实现视频帧的后处理(即各种过滤器，缩放，色彩转换等等)。Vlc提供了插件开发的方式，使得开发者可以开发自己领域内的不同插件集成到vlc播放器中。随着技术的发展，基于视频图像的人脸表情识别应用的范围越来越广泛。
现有一种基于视频图像的人脸表情识别方法，通过获取待播放的视频图像文件，并依据与该视频图像文件相对应的独立算法库进行模型训练，从而实现针对该视频图像的人脸表情识别。
然而，传统的基于视频图像的人脸表情识别方法普遍不智能，当用户需要获取实时采集到的视频内容中人物的表情信息时，按照传统的人脸表情识别方法，需要将采集到的视频文件发送至相对应的独立算法库进行模型训练，待独立算法库完成模型训练后，才能获取该视频内容的人物表情信息，实现方式较为繁琐，分析效率验证滞后，而且，不同的视频文件需要配置不同的算法模型，需要耗费大量成本。
发明内容
本申请实施例的目的在于提出一种应用于VLC播放器的表情属性识别方法，旨在解决传统的人脸表情识别方法实现方式较为繁琐，分析效率验证滞后，需要耗费大量成本的问题。
为了解决上述技术问题，本申请实施例提供一种应用于VLC播放器的表情属性识别方法，采用了如下所述的技术方案：
当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；
提取所述VLC播放器开始播放的待播帧数据；
对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；
对所述人脸图像信息进行特征识别操作，获得表情属性数据；
基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；
将所述目标帧数据传输至所述VLC播放器进行视频播放。
为了解决上述技术问题，本申请实施例还提供一种应用于VLC播放器的表情属性识别装置，采用了如下所述的技术方案：
脚本启动模块，用于当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；
待播帧提取模块，用于提取所述VLC播放器开始播放的待播帧数据；
人脸识别模块，用于对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；
特征识别模块，用于对所述人脸图像信息进行特征识别操作，获得表情属性数据；
目标帧获取模块，用于基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；
目标帧传输模块，用于将所述目标帧数据传输至所述VLC播放器进行视频播放。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
包括存储器和处理器；
所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述应用于VLC播放器的表情属性识别方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述应用于VLC播放器的表情属性识别方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本发明申请提供了一种应用于VLC播放器的表情属性识别方法，当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；提取所述VLC播放器开始播放的待播帧数据；对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；对所述人脸图像信息进行特征识别操作，获得表情属性数据；基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；将所述目标帧数据传输至所述VLC播放器进行视频播放。通过提取VLC播放器开始播放的待播帧数据，对该待播帧数据进行人脸识别操作以获取携带有人脸图像信息的人脸帧数据，并对该人脸图像信息进行特征识别操作以获取表情属性数据，最后将该表情属性数据融合至原待播帧数据中，从而实现对视频图像的人脸表情识别目的，实现方式简便，有效提升人脸表情识别的分析效率，而且，不需要分别配置算法模型，极大降低耗费的成本。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种应用于VLC播放器的表情属性识别方法的实现流程图；
图2是本发明实施例一提供的待播帧数据格式的矫正方法的流程示意图；
图3是图1中步骤S103的实现流程图；
图4是本发明实施例一提供的人脸图像信息尺寸的矫正方法的流程示意图；
图5是图4中步骤S403的实现流程图；
图6是图5中步骤S502的实现流程图；
图7是本发明实施例二提供的一种应用于VLC播放器的表情属性识别装置的结构示意图；
图8是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供的应用于VLC播放器的表情属性识别方法，通过提取VLC播放器开始播放的待播帧数据，对该待播帧数据进行人脸识别操作以获取携带有人脸图像信息的人脸帧数据，并对该人脸图像信息进行特征识别操作以获取表情属性数据，最后将该表情属性数据融合至原待播帧数据中，从而实现对视频图像的人脸表情识别目的，实现方式简便，有效提升人脸表情识别的分析效率，而且，不需要分别配置算法模型，极大降低耗费的成本。
实施例一
图1示出了本发明实施例一提供的一种应用于VLC播放器的表情属性识别方法的实现流程图，为了便于说明，仅示出与本发明相关的部分。
在步骤S101中，当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本。
在本发明实施例中，预先配置的视频提取脚本用于提取VLC播放器即将播放的视频帧数据。
在本发明实施例中，VLC播放器开始播放视频文件时，会将视频文件数据进行视频编解码得到即将播放的视频帧，当检测到该即将播放的视频帧时，则会启动视频提取脚本提取该即将播放的视频帧数据。
在步骤S102中，提取所述VLC播放器开始播放的待播帧数据。
在本发明实施例中，待播帧数据指的是上述VLC播放器播放的视频数据在经过视频解码后得到的以帧为单位生成的图像数据。
在步骤S103中，对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据。
在本发明实施例中，人脸识别操作指的是将上述视频编解码得到的每一帧视频帧进行人脸检测的过程，具体的，在上述待播帧数据中检测是否存在人脸，当检测到人脸时通过框图的形式将主要的人脸区域标注出来，从而获取人脸图像信息。人脸识别操作主要集中在二维图像方面，二维人脸识别主要利用分布在人脸上从低到高80个节点或标点，通过测量眼睛、颧骨、下巴等之间的间距来进行身份认证。该人脸识别算法主要有：1.基于模板匹配的方法：模板分为二维模板和三维模板，核心思想:利用人的脸部特征规律建立一个立体可调的模型框架，在定位出人的脸部位置后用模型框架定位和调整人的脸部特征部位，解决人脸识别过程中的观察角度、遮挡和表情变化等因素影响；2.基于奇异值特征方法：人脸图像矩阵的奇异值特征反映了图像的本质属性，可以利用它来进行分类识别；3.子空间分析法：因其具有描述性强、计算代价小、易实现及可分性好等特点，被广泛地应用于人脸特征提取，成为了当前人脸识别的主流方法之一；4.局部保持投影(Locality PreservingProjections，LPP)是一种新的子空间分析方法，它是非线性方法Laplacian Eigenmap的线性近似，既解决了PCA等传统线性方法难以保持原始数据非线性流形的缺点，又解决了非线性方法难以获得新样本点低维投影的缺点；5.主成分分析(PCA)，PCA模式识别领域一种重要的方法，已被广泛地应用于人脸识别算法中，基于PCA人脸识别系统在应用中面临着一个重要障碍：增量学习问题。增量PCA算法由新增样本重构最为重要PCS，但该方法随着样本的增加，需要不断舍弃一些不重要PC，以维持子空间维数不变，因而该方法精度稍差；6.其他方法：弹性匹配方法、特征脸法(基于KL变换)、人工神经网络法、支持向量机法、基于积分图像特征法(adaboost学习)、基于概率模型法。在本技术方案中，没有对人脸识别算法进行具体的限定，可实现人脸的检测即可。
在本发明实施例中，人脸图像信息指的是经过人脸识别操作检测到的图像信息，该图像信息为二维矩阵形式，该图像信息的维度是h*w，其中h是视频帧高度，w是视频帧宽度。
在本发明实施例中，人脸帧数据指的是上述待播帧数据中经过人脸识别操作检测到图像信息的视频帧图像，其中，人脸帧数据还携带有该人脸帧数据与上述待播帧数据的位置对应关系。
在步骤S104中，对所述人脸图像信息进行特征识别操作，获得表情属性数据。
在本发明实施例中，特征识别操作指的是基于上述人脸图像信息对人脸特征进行提取，并依据提取到的人脸特征在数据库中进行分类判别的方法，作为示例，该特征识别操作可以是基于稀疏表示、Gabor变换、主成分分析和线性判别、支持向量机、光流法对运动特征提取、图像匹配法、隐马尔可夫模型、矩阵分解法等方法实现，此处对特征识别操作的举例仅方便理解，不用于限定本技术方案。
在本发明实施例中，特征识别操作具体包括：
(1)表情库的建立：
目前，研究中比较常用的表情库主要有:
①美国CMU机器人研究所和心理学系共同建立的Cohn-Kanade AU-Coded FacialExpression Image Database(简称CKACFEID)人脸表情数据库；
②日本ATR建立的日本女性表情数据库(JAFFE)，研究亚洲人表情的重要测试库；
③fer2013人脸数据集。
(2)表情识别:
①特征提取:将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理；
②分类判别:在表情识别的分类器设计和选择，主要有以下方法：用线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型等分类识别方法。
最终获取基于识别人脸代表的6种表情的概率信息，并将最大概率的表情类别信息作为该人脸图像的表情属性信息。
在本发明实施例中，表情属性信息指的是识别人脸的6中表情，具体的，包括：愤怒(anger)、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)。
在步骤S105中，基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据。
在本发明实施例中，通过上述特征识别操作后获得上述待播帧数据中携带有人脸图像信息的人脸帧数据的表情属性数据，通过将该表情属性数据按照人脸帧数据与待播帧数据的对应关系标注至上述待播帧数据中，从而实现将所述表情属性数据融合至所述待播帧数据的过程。
在本发明实施例中，在本发明实施例中，目标帧数据指的是在上述待播帧数据中标注有上述表情属性数据的视频帧数据。
在步骤S106中，将所述目标帧数据传输至所述VLC播放器进行视频播放。
在本发明实施例中，当VLC播放器播放该目标帧数据时，会在出现人脸图像的图像帧中显示与该人脸图像相对应的上述表情属性数据。
本发明申请提供了一种应用于VLC播放器的表情属性识别方法，当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；提取所述VLC播放器开始播放的待播帧数据；对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；对所述人脸图像信息进行特征识别操作，获得表情属性数据；基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；将所述目标帧数据传输至所述VLC播放器进行视频播放。通过提取VLC播放器开始播放的待播帧数据，对该待播帧数据进行人脸识别操作以获取携带有人脸图像信息的人脸帧数据，并对该人脸图像信息进行特征识别操作以获取表情属性数据，最后将该表情属性数据融合至原待播帧数据中，从而实现对视频图像的人脸表情识别目的，实现方式简便，有效提升人脸表情识别的分析效率，而且，不需要分别配置算法模型，极大降低耗费的成本。
继续参考图2，示出了待播帧数据格式的矫正方法的流程示意图，为了便于说明，仅示出与本发明相关的部分。
作为实施例一的一些可选实现方式中，在上述步骤S102之后，包括：步骤S201、步骤S202以及步骤S203，上述步骤S103具体包括：步骤S204。
在步骤S201中，判断所述待播帧数据是否符合预设的格式条件。
在本发明实施例中，预设的格式条件用于限定适用于人脸识别操作的数据格式，作为示例，该预设的格式条件可以是rgb，该预设的格式条件可以根据实际情况进行设置，在本技术方案对预设格式条件的举例用于方便理解，不用于限定本技术方案。
在步骤S202中，若所述待播帧数据符合所述预设的格式条件，则执行所述对所述待播帧数据进行人脸识别操作的步骤。
在步骤S203中，若所述待播帧数据不符合所述预设的格式条件，则对所述待播帧数据进行格式转换操作，得到标准帧数据；
在本发明实施例中，格式转换操作用于规范人脸识别操作的对象格式，作为示例，格式转换操作可以是将色彩模式为“cmyk”的图片转换为“rgb”模式；格式转换操作还可以是图像灰度的归一化，头部姿态的矫正，图像分割等操作，具体不作限定。
在本发明实施例中，标准帧数据指的是满足上述预设格式条件的待播帧数据。
在步骤S204中，对所述标准帧数据进行人脸识别操作，获得携带有所述人脸图像信息的所述人脸帧数据。
在本发明实施例中，提取到待播帧数据之后，由于存在格式不规范的问题影响表情属性识别的处理效率，通过对不满足预设格式条件的待播帧数据进行格式转换操作能有效改善图像质量，消除噪声，统一图像灰度值，为后序特征提取和分类识别打好基础，有效提高表情属性识别的处理效率。
继续参考图3，示出图1中步骤S103的实现流程图，为了便于说明，仅示出与本发明相关的部分。
作为实施例一的一些可选实现方式中，上述步骤S103具体包括：步骤S301、步骤S302、步骤S303以及步骤S304。
在步骤S301中，提取所述待播帧数据中的所有个别帧数据。
在本发明实施例中，个别帧数据指的是上述待播帧数据的每一帧视频图像。
在步骤S302中，基于局部特征SIFT分别判断所述个别帧数据是否携带人脸属性信息。
在本发明实施例中，局部特征SIFT是一种对图像尺度、图像旋转以及部分仿射变换具有不变性的一种局部特征描述算子。
在步骤S303中，若所述个别帧数据携带人脸属性信息，则将所述个别帧数据作为所述人脸帧数据。
在步骤S304中，若所述个别帧数据不携带人脸属性信息，则将所述个别帧数据作为无脸帧数据。
在本发明实施例中，无脸帧数据指的是上述待播帧数据中不具备人脸图像信息的帧视频图像，后续不做任何处理。
在本发明实施例中，通过基于局部特征SIFT判断帧视频图像中的每一帧视频图像是否携带人脸属性信息，可以有效保证人脸识别性能的准确性。
继续参考图4，示出了人脸图像信息尺寸的矫正方法的实现流程图，为了便于说明，仅示出与本发明相关的部分。
作为实施例一的一些可选实现方式中，上述步骤S103之后，包括：步骤S401、步骤S402以及步骤S403，上述步骤S104具体包括：步骤S404。
在步骤S401中,判断所述人脸图像信息是否符合识别尺寸条件。
在本发明实施例中，人脸图像信息的尺寸指的是上述人脸识别算法中检测到的通过框图的形式将主要的人脸区域标注出来尺寸。
在本发明实施例中，识别尺寸条件用于限定适用于特征识别操作的尺寸大小，作为示例，该识别尺寸可以是固定尺寸，例如28*28、56*56、80*80等；该识别尺寸还可以是范围尺寸，例如(28-56)*(28-56)、(28-80)*(28-80)等，应当理解的是，此处对识别尺寸条件的举例仅方便理解，不用于限定本技术方案。
在步骤S402中，若所述人脸图像信息符合所述识别尺寸条件，则执行所述对所述人脸帧数据进行特征识别操作的步骤。
在步骤S403中，若所述人脸图像信息不符合所述识别尺寸条件，则对所述人脸图像信息进行缩放操作，得到标准图像信息。
在本发明实施例中，缩放操作指的是将不符合识别尺寸条件的人脸图像信息进行缩小或者放大的操作。
在本发明实施例中，标准图像信息指的是满足上述识别尺寸条件的人脸图像。
在步骤S404中，对所述标准图像信息进行特征识别操作，获得所述表情属性数据。
在本发明实施例中，由于视频数据中人脸的尺寸大小是动态变化的，因此其所检测到的人脸尺寸大小也是不规范的，在对人脸图像信息进行特征识别操作之前，通过统一人脸图像信息的尺寸大小，可以为后续特征识别操作打好基础，有效提高表情属性识别的处理效率。
继续参考图5，示出了图4中步骤S403的实现流程图，为了便于说明，仅示出与本发明相关的部分。
作为实施例一的一些可选实现方式中，上述步骤S403具体包括：步骤S501、步骤S502以及步骤S503。
在步骤S501中，判断所述人脸图像信息的尺寸是否大于所述识别尺寸条件。
在步骤S502中，若所述人脸图像信息的尺寸大于所述识别尺寸条件，则基于所述识别尺寸条件缩小所述人脸图像信息的尺寸，得到所述标准图像信息。
在本发明实施例中，为了满足特征识别操作的识别尺寸，需要将大于识别尺寸条件的人脸图像信息的尺寸进行压缩处理，具体的，压缩的宽度和高度比例保持一致。
在步骤S503中，若所述人脸图像信息的尺寸小于所述识别尺寸条件，则基于所述识别尺寸条件对所述人脸图像信息进行超分辨率操作，得到所述标准图像信息。
在本发明实施例中，超分辨率操作(Super-Resolution,SR)是指通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
继续参考图6，示出了图5中步骤S502的实现流程图，为了便于说明，仅示出与本发明相关的部分。
作为实施例一的一些可选实现方式中，上述步骤S502具体包括：步骤S601以及步骤S602。
在步骤S601中，通过锐化工具锐化所述人脸图像信息，得到特定图像信息。
在本发明实施例中，锐化工具用于提高像素的对比度，使得看上去清晰，用的时候一般用在事物的边缘。
在本发明实施例中，锐化指的是应用上述锐化工具可以快速聚焦模糊边缘，提高图像中某一部位的清晰度或者焦距程度，使图像特定区域的色彩更加鲜明。
在步骤S602中，基于所述识别尺寸条件缩小所述特定图像信息的尺寸，得到所述标准图像信息。
在本发明实施例中，由于将尺寸大于识别尺寸条件的人脸图像信息进行压缩处理会导致丢失特征点，从而在进行压缩处理之前，先对该尺寸小于识别尺寸条件的人脸图像信息进行锐化处理，使得使得特征点更容易表征提取。
作为实施例一的一些可选实现方式中，上述步骤S503具体包括如下步骤：
将所述人脸图像信息输入至超分对抗模型，得到所述标准图像信息；
所述超分对抗模型使用的代价函数为：
其中，第一部分是基于内容的代价函数，第二部分是基于对抗学习的代价函数。
在本发明实施例中，超分对抗模型指的是生成式对抗网络(GAN,GenerativeAdversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
在本发明实施例中，基于内容的代价函数包含像素空间的最小均方差以及基于特征空间的最小均方差，该特征是利用VGG网络提取的图像高层次特征：
对抗学习的代价函数是基于判别器输出的概率：
其中DθD()是一个图像属于真实的高分辨率图像的概率。GθG(ILR)是重建的高分辨率图像。
在本发明实施例中，通过将尺寸小于所述识别尺寸条件的人脸图像信息输入至超分对抗模型进行模型训练，使得标准图像信息的分辨率更高，特征点更容易表征提取。
综上所述，本发明申请提供了一种应用于VLC播放器的表情属性识别方法，当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；提取所述VLC播放器开始播放的待播帧数据；对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；对所述人脸图像信息进行特征识别操作，获得表情属性数据；基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；将所述目标帧数据传输至所述VLC播放器进行视频播放。通过提取VLC播放器开始播放的待播帧数据，对该待播帧数据进行人脸识别操作以获取携带有人脸图像信息的人脸帧数据，并对该人脸图像信息进行特征识别操作以获取表情属性数据，最后将该表情属性数据融合至原待播帧数据中，从而实现对视频图像的人脸表情识别目的，实现方式简便，有效提升人脸表情识别的分析效率，而且，不需要分别配置算法模型，极大降低耗费的成本。同时，通过对不满足预设格式条件的待播帧数据进行格式转换操作能有效改善图像质量，消除噪声，统一图像灰度值，为后序特征提取和分类识别打好基础，有效提高表情属性识别的处理效率；通过基于局部特征SIFT判断帧视频图像中的每一帧视频图像是否携带人脸属性信息，可以有效保证人脸识别性能的准确性；在对人脸图像信息进行特征识别操作之前，通过统一人脸图像信息的尺寸大小，可以为后续特征识别操作打好基础，有效提高表情属性识别的处理效率；从而在进行压缩处理之前，先对该尺寸小于识别尺寸条件的人脸图像信息进行锐化处理，使得使得特征点更容易表征提取；通过将尺寸小于所述识别尺寸条件的人脸图像信息输入至超分对抗模型进行模型训练，使得标准图像信息的分辨率更高，特征点更容易表征提取。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图7，作为上述图1所示方法的实现，本申请提供了一种应用于VLC播放器的表情属性识别装置，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本发明实施例二所提供的应用于VLC播放器的表情属性识别装置100包括：脚本启动模块101、待播帧提取模块102、人脸识别模块103、特征识别模块104、目标帧获取模块105以及目标帧传输模块106。其中：
脚本启动模块101，用于当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；
待播帧提取模块102，用于提取所述VLC播放器开始播放的待播帧数据；
人脸识别模块103，用于对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；
特征识别模块104，用于对所述人脸图像信息进行特征识别操作，获得表情属性数据；
目标帧获取模块105，用于基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；
目标帧传输模块106，用于将所述目标帧数据传输至所述VLC播放器进行视频播放。
在本发明实施例中，预先配置的视频提取脚本用于提取VLC播放器即将播放的视频帧数据。
在本发明实施例中，VLC播放器开始播放视频文件时，会将视频文件数据进行视频编解码得到即将播放的视频帧，当检测到该即将播放的视频帧时，则会启动视频提取脚本提取该即将播放的视频帧数据。
在本发明实施例中，待播帧数据指的是上述VLC播放器播放的视频数据在经过视频解码后得到的以帧为单位生成的图像数据。
在本发明实施例中，人脸识别操作指的是将上述视频编解码得到的每一帧视频帧进行人脸检测的过程，具体的，在上述待播帧数据中检测是否存在人脸，当检测到人脸时通过框图的形式将主要的人脸区域标注出来，从而获取人脸图像信息。人脸识别操作主要集中在二维图像方面，二维人脸识别主要利用分布在人脸上从低到高80个节点或标点，通过测量眼睛、颧骨、下巴等之间的间距来进行身份认证。该人脸识别算法主要有：1.基于模板匹配的方法：模板分为二维模板和三维模板，核心思想:利用人的脸部特征规律建立一个立体可调的模型框架，在定位出人的脸部位置后用模型框架定位和调整人的脸部特征部位，解决人脸识别过程中的观察角度、遮挡和表情变化等因素影响；2.基于奇异值特征方法：人脸图像矩阵的奇异值特征反映了图像的本质属性，可以利用它来进行分类识别；3.子空间分析法：因其具有描述性强、计算代价小、易实现及可分性好等特点，被广泛地应用于人脸特征提取，成为了当前人脸识别的主流方法之一；4.局部保持投影(Locality PreservingProjections，LPP)是一种新的子空间分析方法，它是非线性方法Laplacian Eigenmap的线性近似，既解决了PCA等传统线性方法难以保持原始数据非线性流形的缺点，又解决了非线性方法难以获得新样本点低维投影的缺点；5.主成分分析(PCA)，PCA模式识别领域一种重要的方法，已被广泛地应用于人脸识别算法中，基于PCA人脸识别系统在应用中面临着一个重要障碍：增量学习问题。增量PCA算法由新增样本重构最为重要PCS，但该方法随着样本的增加，需要不断舍弃一些不重要PC，以维持子空间维数不变，因而该方法精度稍差；6.其他方法：弹性匹配方法、特征脸法(基于KL变换)、人工神经网络法、支持向量机法、基于积分图像特征法(adaboost学习)、基于概率模型法。在本技术方案中，没有对人脸识别算法进行具体的限定，可实现人脸的检测即可。
在本发明实施例中，人脸图像信息指的是经过人脸识别操作检测到的图像信息，该图像信息为二维矩阵形式，该图像信息的维度是h*w，其中h是视频帧高度，w是视频帧宽度。
在本发明实施例中，人脸帧数据指的是上述待播帧数据中经过人脸识别操作检测到图像信息的视频帧图像，其中，人脸帧数据还携带有该人脸帧数据与上述待播帧数据的位置对应关系。
在本发明实施例中，特征识别操作指的是基于上述人脸图像信息对人脸特征进行提取，并依据提取到的人脸特征在数据库中进行分类判别的方法，作为示例，该特征识别操作可以是基于稀疏表示、Gabor变换、主成分分析和线性判别、支持向量机、光流法对运动特征提取、图像匹配法、隐马尔可夫模型、矩阵分解法等方法实现，此处对特征识别操作的举例仅方便理解，不用于限定本技术方案。
在本发明实施例中，特征识别操作具体包括：
(1)表情库的建立：
目前，研究中比较常用的表情库主要有:
①美国CMU机器人研究所和心理学系共同建立的Cohn-Kanade AU-Coded FacialExpression Image Database(简称CKACFEID)人脸表情数据库；
②日本ATR建立的日本女性表情数据库(JAFFE)，研究亚洲人表情的重要测试库；
③fer2013人脸数据集。
(2)表情识别:
①特征提取:将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理；
②分类判别:在表情识别的分类器设计和选择，主要有以下方法：用线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型等分类识别方法。
最终获取基于识别人脸代表的6种表情的概率信息，并将最大概率的表情类别信息作为该人脸图像的表情属性信息。
在本发明实施例中，表情属性信息指的是识别人脸的6中表情，具体的，包括：愤怒(anger)、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)。
在本发明实施例中，通过上述特征识别操作后获得上述待播帧数据中携带有人脸图像信息的人脸帧数据的表情属性数据，通过将该表情属性数据按照人脸帧数据与待播帧数据的对应关系标注至上述待播帧数据中，从而实现将所述表情属性数据融合至所述待播帧数据的过程。
在本发明实施例中，在本发明实施例中，目标帧数据指的是在上述待播帧数据中标注有上述表情属性数据的视频帧数据。
在本发明实施例中，当VLC播放器播放该目标帧数据时，会在出现人脸图像的图像帧中显示与该人脸图像相对应的上述表情属性数据。
本发明申请提供了一种应用于VLC播放器的表情属性识别装置，包括:脚本启动模块，用于当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；待播帧提取模块，用于提取所述VLC播放器开始播放的待播帧数据；人脸识别模块，用于对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；特征识别模块，用于对所述人脸图像信息进行特征识别操作，获得表情属性数据；目标帧获取模块，用于基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；目标帧传输模块，用于将所述目标帧数据传输至所述VLC播放器进行视频播放。通过提取VLC播放器开始播放的待播帧数据，对该待播帧数据进行人脸识别操作以获取携带有人脸图像信息的人脸帧数据，并对该人脸图像信息进行特征识别操作以获取表情属性数据，最后将该表情属性数据融合至原待播帧数据中，从而实现对视频图像的人脸表情识别目的，实现方式简便，有效提升人脸表情识别的分析效率，而且，不需要分别配置算法模型，极大降低耗费的成本。
在本发明实施例二的一些可选的实现方式中，上述应用于VLC播放器的表情属性识别装置100还包括：格式判断子模块、第一人脸识别子模块以及格式转换子模块，上述人脸识别模块103包括：第二人脸识别子模块。其中：
格式判断子模块，用于判断所述待播帧数据是否符合预设的格式条件；
第一人脸识别子模块，用于若所述待播帧数据符合所述预设的格式条件，则执行所述对所述待播帧数据进行人脸识别操作的步骤；
格式转换子模块，用于若所述待播帧数据不符合所述预设的格式条件，则对所述待播帧数据进行格式转换操作，得到标准帧数据；
第二人脸识别子模块，用于对所述标准帧数据进行人脸识别操作，获得携带有所述人脸图像信息的所述人脸帧数据。
在本发明实施例中，提取到待播帧数据之后，由于存在格式不规范的问题影响表情属性识别的处理效率，通过对不满足预设格式条件的待播帧数据进行格式转换操作能有效改善图像质量，消除噪声，统一图像灰度值，为后序特征提取和分类识别打好基础，有效提高表情属性识别的处理效率。
在本发明实施例二的一些可选的实现方式中，上述人脸识别模块103包括：个别帧提取子模块、人脸属性判断子模块、人脸帧确定子模块以及无脸帧确定子模块。其中：
个别帧提取子模块，用于提取所述待播帧数据中的所有个别帧数据；
人脸属性判断子模块，用于基于局部特征SIFT分别判断所述个别帧数据是否携带人脸属性信息；
人脸帧确定子模块，用于若所述个别帧数据携带人脸属性信息，则将所述个别帧数据作为所述人脸帧数据；
无脸帧确定子模块，用于若所述个别帧数据不携带人脸属性信息，则将所述个别帧数据作为无脸帧数据。
在本发明实施例中，通过基于局部特征SIFT判断帧视频图像中的每一帧视频图像是否携带人脸属性信息，可以有效保证人脸识别性能的准确性。
在本发明实施例二的一些可选的实现方式中，上述应用于VLC播放器的表情属性识别装置100还包括：识别尺寸判断子模块、第一特征识别子模块以及缩放操作子模块，上述特征识别模块104包括：第二特征识别子模块。
其中：
识别尺寸判断子模块，用于判断所述人脸图像信息是否符合识别尺寸条件；
第一特征识别子模块，用于若所述人脸图像信息符合所述识别尺寸条件，则执行所述对所述人脸帧数据进行特征识别操作的步骤；
缩放操作子模块，用于若所述人脸图像信息不符合所述识别尺寸条件，则对所述人脸图像信息进行缩放操作，得到标准图像信息；
第二特征识别子模块，用于对所述标准图像信息进行特征识别操作，获得所述表情属性数据。
在本发明实施例中，由于视频数据中人脸的尺寸大小是动态变化的，因此其所检测到的人脸尺寸大小也是不规范的，在对人脸图像信息进行特征识别操作之前，通过统一人脸图像信息的尺寸大小，可以为后续特征识别操作打好基础，有效提高表情属性识别的处理效率。
在本发明实施例二的一些可选的实现方式中，上述缩放操作子模块包括：尺寸比较子模块、第一缩小操作子模块以及超分辨率操作子模块。其中：
尺寸比较子模块，用于判断所述人脸图像信息的尺寸是否大于所述识别尺寸条件；
第一缩小操作子模块，用于若所述人脸图像信息的尺寸大于所述识别尺寸条件，则基于所述识别尺寸条件缩小所述人脸图像信息的尺寸，得到所述标准图像信息；
超分辨率操作子模块，用于若所述人脸图像信息的尺寸小于所述识别尺寸条件，则基于所述识别尺寸条件对所述人脸图像信息进行超分辨率操作，得到所述标准图像信息。
在本发明实施例中，超分辨率操作(Super-Resolution,SR)是指通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
在本发明实施例二的一些可选的实现方式中，上述缩小操作子模块包括：锐化操作子模块以及第二缩小操作子模块。其中：
锐化操作子模块，用于对所述人脸图像信息进行锐化操作。
第二缩小操作子模块，用于基于所述识别尺寸条件缩小所述特定图像信息的尺寸，得到所述标准图像信息。
在本发明实施例中，由于将尺寸大于识别尺寸条件的人脸图像信息进行压缩处理会导致丢失特征点，从而在进行压缩处理之前，先对该尺寸小于识别尺寸条件的人脸图像信息进行锐化处理，使得使得特征点更容易表征提取。
在本发明实施例二的一些可选的实现方式中，上述超分辨率操作子模块包括：
模型输入子模块，用于将所述人脸图像信息输入至超分对抗模型，得到所述标准图像信息。
所述超分对抗模型使用的代价函数为：
其中，第一部分是基于内容的代价函数，第二部分是基于对抗学习的代价函数
在本发明实施例中，超分对抗模型指的是生成式对抗网络(GAN,GenerativeAdversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
在本发明实施例中，基于内容的代价函数包含像素空间的最小均方差以及基于特征空间的最小均方差，该特征是利用VGG网络提取的图像高层次特征：
对抗学习的代价函数是基于判别器输出的概率：
其中DθD()是一个图像属于真实的高分辨率图像的概率。GθG(ILR)是重建的高分辨率图像。
在本发明实施例中，通过将尺寸小于所述识别尺寸条件的人脸图像信息输入至超分对抗模型进行模型训练，使得标准图像信息的分辨率更高，特征点更容易表征提取。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。
所述计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是，图中仅示出了具有组件81-83的计算机设备8，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器81至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器81可以是所述计算机设备8的内部存储单元，例如该计算机设备8的硬盘或内存。在另一些实施例中，所述存储器81也可以是所述计算机设备8的外部存储设备，例如该计算机设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器81还可以既包括所述计算机设备8的内部存储单元也包括其外部存储设备。本实施例中，所述存储器81通常用于存储安装于所述计算机设备8的操作系统和各类应用软件，例如应用于VLC播放器的表情属性识别方法的程序代码等。此外，所述存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器82在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制所述计算机设备8的总体操作。本实施例中，所述处理器82用于运行所述存储器81中存储的程序代码或者处理数据，例如运行所述应用于VLC播放器的表情属性识别方法的程序代码。
所述网络接口83可包括无线网络接口或有线网络接口，该网络接口83通常用于在所述计算机设备8与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有应用于VLC播放器的表情属性识别程序，所述应用于VLC播放器的表情属性识别程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的应用于VLC播放器的表情属性识别方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种应用于VLC播放器的表情属性识别方法，其特征在于，所述方法包括如下步骤：
当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；
提取所述VLC播放器开始播放的待播帧数据；
对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；
对所述人脸图像信息进行特征识别操作，获得表情属性数据；
基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；
将所述目标帧数据传输至所述VLC播放器进行视频播放。
2.如权利要求1所述的应用于VLC播放器的表情属性识别方法，其特征在于，在所述提取所述VLC播放器开始播放的待播帧数据的步骤之后，包括如下步骤：
判断所述待播帧数据是否符合预设的格式条件；
若所述待播帧数据符合所述预设的格式条件，则执行所述对所述待播帧数据进行人脸识别操作的步骤；
若所述待播帧数据不符合所述预设的格式条件，则对所述待播帧数据进行格式转换操作，得到标准帧数据；
所述对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据的步骤，具体包括如下步骤：
对所述标准帧数据进行人脸识别操作，获得携带有所述人脸图像信息的所述人脸帧数据。
3.如权利要求1所述的应用于VLC播放器的表情属性识别方法，其特征在于，所述对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据的步骤，具体包括如下步骤：
提取所述待播帧数据中的所有个别帧数据；
基于局部特征SIFT分别判断所述个别帧数据是否携带人脸属性信息；
若所述个别帧数据携带人脸属性信息，则将所述个别帧数据作为所述人脸帧数据；
若所述个别帧数据不携带人脸属性信息，则将所述个别帧数据作为无脸帧数据。
4.如权利要求1所述的应用于VLC播放器的表情属性识别方法，其特征在于，在所述对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据的步骤之后，包括如下步骤：
判断所述人脸图像信息是否符合识别尺寸条件；
若所述人脸图像信息符合所述识别尺寸条件，则执行所述对所述人脸帧数据进行特征识别操作的步骤；
若所述人脸图像信息不符合所述识别尺寸条件，则对所述人脸图像信息进行缩放操作，得到标准图像信息；
所述对所述人脸图像信息进行特征识别操作，获得表情属性数据的步骤，具体包括如下步骤：
对所述标准图像信息进行特征识别操作，获得所述表情属性数据。
5.如权利要求4所述的应用于VLC播放器的表情属性识别方法，其特征在于，所述对所述人脸图像信息进行缩放操作，得到标准图像信息的步骤，具体包括如下步骤：
判断所述人脸图像信息的尺寸是否大于所述识别尺寸条件；
若所述人脸图像信息的尺寸大于所述识别尺寸条件，则基于所述识别尺寸条件缩小所述人脸图像信息的尺寸，得到所述标准图像信息；
若所述人脸图像信息的尺寸小于所述识别尺寸条件，则基于所述识别尺寸条件对所述人脸图像信息进行超分辨率操作，得到所述标准图像信息。
6.如权利要求5所述的应用于VLC播放器的表情属性识别方法，其特征在于，所述基于所述识别尺寸条件缩小所述人脸图像信息的尺寸，得到所述标准图像信息的步骤，具体包括如下步骤：
通过锐化工具锐化所述人脸图像信息，得到特定图像信息；
基于所述识别尺寸条件缩小所述特定图像信息的尺寸，得到所述标准图像信息。
7.如权利要求5所述的应用于VLC播放器的表情属性识别方法，其特征在于，所述基于所述识别尺寸条件对所述人脸图像信息进行超分辨率操作，得到所述标准图像信息的步骤，具体包括如下步骤：
将所述人脸图像信息输入至超分对抗模型，得到所述标准图像信息；
所述超分对抗模型使用的代价函数为：
其中，第一部分是基于内容的代价函数，第二部分是基于对抗学习的代价函数。
8.一种应用于VLC播放器的表情属性识别装置，其特征在于，所述装置包括：
脚本启动模块，用于当检测到VLC播放器开始播放视频时，启动预先配置的视频提取脚本；
待播帧提取模块，用于提取所述VLC播放器开始播放的待播帧数据；
人脸识别模块，用于对所述待播帧数据进行人脸识别操作，获得携带有人脸图像信息的人脸帧数据；
特征识别模块，用于对所述人脸图像信息进行特征识别操作，获得表情属性数据；
目标帧获取模块，用于基于所述人脸帧数据与所述待播帧数据的对应关系将所述表情属性数据融合至所述待播帧数据中，得到携带有表情属性数据的目标帧数据；
目标帧传输模块，用于将所述目标帧数据传输至所述VLC播放器进行视频播放。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的应用于VLC播放器的表情属性识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的应用于VLC播放器的表情属性识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010150181.1A CN111476095A (zh) | 2020-03-05 | 2020-03-05 | 一种表情属性识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010150181.1A CN111476095A (zh) | 2020-03-05 | 2020-03-05 | 一种表情属性识别方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111476095A true CN111476095A (zh) | 2020-07-31 |
Family
ID=71747331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010150181.1A Pending CN111476095A (zh) | 2020-03-05 | 2020-03-05 | 一种表情属性识别方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476095A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931692A (zh) * | 2020-08-31 | 2020-11-13 | 青岛聚看云科技有限公司 | 显示设备及图像识别方法 |
| CN113792672A (zh) * | 2021-09-16 | 2021-12-14 | 平安科技（深圳）有限公司 | 公共场所健康码获取方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377459A (zh) * | 2018-09-30 | 2019-02-22 | 国网山东省电力公司电力科学研究院 | 一种生成式对抗网络的超分辨率去模糊方法 |
| CN109522818A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN109858958A (zh) * | 2019-01-17 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于微表情的目标客户定位方法、装置、设备及存储介质 |
| CN110084119A (zh) * | 2019-03-26 | 2019-08-02 | 安徽艾睿思智能科技有限公司 | 基于深度学习的低分辨率人脸图像识别方法 |
| CN110363792A (zh) * | 2019-07-19 | 2019-10-22 | 广东工业大学 | 一种基于光照不变性特征提取的遥感图像变化检测方法 |
| CN110443115A (zh) * | 2019-06-19 | 2019-11-12 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备及可读存储介质 |
-
2020
- 2020-03-05 CN CN202010150181.1A patent/CN111476095A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377459A (zh) * | 2018-09-30 | 2019-02-22 | 国网山东省电力公司电力科学研究院 | 一种生成式对抗网络的超分辨率去模糊方法 |
| CN109522818A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN109858958A (zh) * | 2019-01-17 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于微表情的目标客户定位方法、装置、设备及存储介质 |
| CN110084119A (zh) * | 2019-03-26 | 2019-08-02 | 安徽艾睿思智能科技有限公司 | 基于深度学习的低分辨率人脸图像识别方法 |
| CN110443115A (zh) * | 2019-06-19 | 2019-11-12 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备及可读存储介质 |
| CN110363792A (zh) * | 2019-07-19 | 2019-10-22 | 广东工业大学 | 一种基于光照不变性特征提取的遥感图像变化检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931692A (zh) * | 2020-08-31 | 2020-11-13 | 青岛聚看云科技有限公司 | 显示设备及图像识别方法 |
| CN113792672A (zh) * | 2021-09-16 | 2021-12-14 | 平安科技（深圳）有限公司 | 公共场所健康码获取方法、装置、设备及介质 |
| CN113792672B (zh) * | 2021-09-16 | 2024-05-28 | 平安科技（深圳）有限公司 | 公共场所健康码获取方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| US10783354B2 (en) | Facial image processing method and apparatus, and storage medium | |
| CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
| CN111476709B (zh) | 人脸图像处理方法、装置及电子设备 | |
| WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| Agarwal et al. | Anubhav: recognizing emotions through facial expression | |
| CN107911643B (zh) | 一种视频通信中展现场景特效的方法和装置 | |
| JP2019117577A (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
| JP4803214B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
| CN110991258B (zh) | 一种人脸融合特征提取方法及系统 | |
| US20220207913A1 (en) | Method and device for training multi-task recognition model and computer-readable storage medium | |
| CN111476095A (zh) | 一种表情属性识别方法、装置、计算机设备及存储介质 | |
| WO2024051480A1 (zh) | 图像处理方法、装置及计算机设备、存储介质 | |
| CN111667556A (zh) | 表格矫正方法及装置 | |
| CN110619334A (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
| CN114463805B (zh) | 深度伪造检测方法、装置、存储介质及计算机设备 | |
| CN108174141A (zh) | 一种视频通信的方法和一种移动装置 | |
| CN113378764B (zh) | 基于聚类算法的视频人脸采集方法、装置、设备及介质 | |
| CN112614110B (zh) | 评估图像质量的方法、装置及终端设备 | |
| CN116665695B (zh) | 虚拟对象口型驱动方法、相关装置和介质 | |
| CN113689527B (zh) | 一种人脸转换模型的训练方法、人脸图像转换方法 | |
| US20220207917A1 (en) | Facial expression image processing method and apparatus, and electronic device | |
| CN114862716A (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 | |
| WO2020124390A1 (zh) | 一种面部属性的识别方法及电子设备 | |
| CN112149598A (zh) | 一种侧脸评估方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |