CN111079472A - 图像对比方法和装置 - Google Patents

图像对比方法和装置 Download PDF

Info

Publication number
CN111079472A
CN111079472A CN201811223678.0A CN201811223678A CN111079472A CN 111079472 A CN111079472 A CN 111079472A CN 201811223678 A CN201811223678 A CN 201811223678A CN 111079472 A CN111079472 A CN 111079472A
Authority
CN
China
Prior art keywords
expression
current
image
standard
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811223678.0A
Other languages
English (en)
Inventor
杨辉
胡博远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Microlive Vision Technology Co Ltd
Original Assignee
Beijing Microlive Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Microlive Vision Technology Co Ltd filed Critical Beijing Microlive Vision Technology Co Ltd
Priority to CN201811223678.0A priority Critical patent/CN111079472A/zh
Publication of CN111079472A publication Critical patent/CN111079472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种图像对比方法、装置、电子设备和计算机可读存储介质。其中该图像对比方法包括:获取人脸图像;识别所述人脸图像中的当前人脸表情;获取标准表情数据,其中所述标准表情数据随时间变化而变化;根据所述当前人脸表情和所述标准表情数据,得到所述当前人脸表情和所述标准表情数据的相似度。本公开实施例通过比较当前人脸表情和当前的标准表情数据,得到人脸表情的相似度,解决了如何快速获得当前人脸表情与标准表情的匹配度的技术问题。

Description

图像对比方法和装置
技术领域
本公开涉及图像处理领域,尤其涉及一种图像对比方法、装置、电子设备及计算机可读存储介质。
背景技术
随着计算机技术的发展,智能终端的应用范围得到了广泛的提高,例如可以通过智能终端听音乐、玩游戏、上网聊天和拍照等。对于智能终端的拍照技术来说,其拍照像素已经达到千万像素以上,具有较高的清晰度和媲美专业相机的拍照效果。
目前在采用智能终端进行拍照时,不仅可以使用出厂时内置的拍照软件实现传统功能的拍照效果,还可以通过从网络端下载应用程序(Application,简称为:APP)来实现具有附加功能的人脸识别效果,如对用户的身份进行验证或者对客户的面部与预定的图像进行匹配,比如判断用户与另外一个用户的长相的相似程度等等。
然而目前的匹配功能,只能对比静态情况下的图像相似度,如在对比用户长相时,要求用户不作出太多的表情,否则匹配的准确度会降低。另外,用户有时候需要练习某种表情,比如微笑,但是无法快速得知自己表情练习的是否到位。
发明内容
第一方面,本公开实施例提供一种图像对比方法,包括:获取人脸图像;识别所述人脸图像中的当前人脸表情;获取标准表情数据,其中所述标准表情数据随时间变化而变化;根据所述当前人脸表情和所述标准表情数据,得到所述当前人脸表情和所述标准表情数据的相似度。
进一步的,在所述根据当前人脸表情和标准表情数据,得到当前人脸表情和标准表情数据的相似度之后,还包括:获取多个时间段中的所述相似度,得到多个相似度;计算所述多个相似度的平均相似度,将所述平均相似度作为所述多个时间段中的相似度。
进一步的,所述识别所述人脸图像中的当前人脸表情,包括:对人脸图像中当前图像帧中的人脸表情进行分类识别,得到所述当前图像帧中的人脸表情的第一分类值。
进一步的,所述获取标准表情数据,其中所述标准表情数据随时间变化而变化,包括:获取标准表情数据中表示当前时段的表情的第二分类值。
进一步的,所述根据当前人脸表情和标准表情数据,得到当前人脸表情和标准表情数据的相似度,包括:根据当前图像帧中的人脸表情的第一分类值和表示当前时间的表情的第二分类值,计算当前人脸表情和标准表情数据的匹配度。
进一步的,其中所述对人脸图像中当前图像帧中的人脸表情进行分类识别,得到所述当前图像帧中的人脸表情的第一分类值,包括:检测当前图像帧中的人脸表情种类,对每个表情种类给出对应的第一分类值,得到表示当前人脸表情的分类值矩阵[A1,A2,···,AN],其中所述N为可检测的人脸表情的种类个数。
进一步的,所述获取标准表情数据中表示当前时间的表情的第二分类值包括:从M*N矩阵中的标准表情数据中查找表示当前时间段的标准表情的第二分类值,得到表示当前时间段的标准表情的分类值矩阵[B1,B2,···,BN]其中M≥1表示标准时间段的数量。
进一步的,所述根据当前图像帧中的人脸表情的第一分类值和表示当前时间的表情的第二分类值,计算当前人脸表情和标准表情数据的匹配度,包括:计算当前人脸表情的分类值矩阵与当前时间段的标准表情的分类值矩阵的距离D,其中
Figure BDA0001835414950000021
其中1≤i≤N,将所述距离D作为所述匹配度。
进一步的,在所述获取人脸图像之前,还包括:读取配置文件,所述配置文件中至少包括标准表情的视频文件以及标准表情数据。
进一步的,在所述获取人脸图像之后,还包括:将所述人脸图像和所述标准表情的视频文件嵌入同一画面中,并播放所述标准表情的视频文件。
第二方面,本公开实施例提供一种图像对比装置,包括:
人脸图像获取模块,用于获取人脸图像;
表情识别模块,用于识别所述人脸图像中的当前人脸表情;
标准表述数据获取模块,用于获取标准表情数据,其中所述标准表情数据随时间变化而变化;
相似度获取模块,用于根据当前人脸表情和标准表情数据,得到当前人脸表情和标准表情数据的相似度。
进一步的,所述相似度获取模块包括:
第一相似度获取模块,用于获取多个时间段中的所述相似度,得到多个相似度;
平均相似度计算模块,用于计算所述多个相似度的平均相似度,将所述平均相似度作为所述多个时间段中的相似度。
进一步的,所述表情识别模块,用于对人脸图像中当前图像帧中的人脸表情进行分类识别,得到所述当前图像帧中的人脸表情的第一分类值。
进一步的,所述标准表述数据获取模块,用于获取标准表情数据中表示当前时段的表情的第二分类值。
进一步的,所述相似度获取模块,用于根据当前图像帧中的人脸表情的第一分类值和表示当前时间的表情的第二分类值,计算当前人脸表情和标准表情数据的匹配度。
进一步的,所述表情识别模块,用于检测当前图像帧中的人脸表情种类,对每个表情种类给出对应的第一分类值,得到表示当前人脸表情的分类值矩阵[A1,A2,···,AN],其中所述N为可检测的人脸表情的种类个数。
进一步的,所述标准表述数据获取模块,用于从M*N矩阵中的标准表情数据中查找表示当前时间段的标准表情的第二分类值,得到表示当前时间段的标准表情的分类值矩阵[B1,B2,···,BN]其中M≥1表示标准时间段的数量。
进一步的,所述相似度获取模块,用于计算当前人脸表情的分类值矩阵与当前时间段的标准表情的分类值矩阵的距离D,其中
Figure BDA0001835414950000041
其中1≤i≤N,将所述距离D作为所述匹配度。
进一步的,所述图像对比装置还包括:配置文件读取模块,用于读取配置文件,所述配置文件中至少包括标准表情的视频文件以及标准表情数据。
进一步的,所述图像对比装置300还包括:播放模块402,用于将所述人脸图像和所述标准表情的视频文件嵌入同一画面中,并播放所述标准表情的视频文件。
第三方面,本公开实施例提供一种电子设备,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面中的任一所述图像对比方法。
第四方面,本公开实施例提供一种非暂态计算机可读存储介质,其特征在于,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行前述第一方面中的任一所述图像对比方法。
本公开公开了一种图像对比方法、装置、电子设备和计算机可读存储介质。其中该图像对比方法包括:获取人脸图像;识别所述人脸图像中的当前人脸表情;获取标准表情数据,其中所述标准表情数据随时间变化而变化;根据所述当前人脸表情和所述标准表情数据,得到所述当前人脸表情和所述标准表情数据的相似度。本公开实施例通过比较当前人脸表情和当前的标准表情数据,得到人脸表情的相似度,解决了如何快速获得当前人脸表情与标准表情的匹配度的技术问题。
上述说明仅是本公开技术方案的概述,为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的图像对比方法实施例一的流程图;
图2为本公开实施例提供的图像对比方法实施例二的流程图;
图3为本公开实施例提供的图像对比装置实施例一的结构示意图;
图4为本公开实施例提供的图像对比装置实施例二的结构示意图;
图5为根据本公开实施例提供的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
图1为本公开实施例提供的图像对比方法实施例一的流程图,本实施例提供的该图像对比方法可以由一图像对比装置来执行,该图像对比装置可以实现为软件,或者实现为软件和硬件的组合,该图像对比装置可以集成设置在图像处理系统中的某设备中,比如图像处理服务器或者图像处理终端设备中。如图1所示,该方法包括如下步骤:
步骤S101,获取人脸图像;
在该步骤中,获取人脸图像,获取人脸图像需要在图像中识别出人脸,识别人脸,主要是在图像中检测出人脸,人脸检测是任意给定一个图像或者一组图像序列,采用一定策略对其进行搜索,以确定所有人脸的位置和区域的一个过程,从各种不同图像或图像序列中确定人脸是否存在,并确定人脸数量和空间分布的过程。通常人脸检测的方法可以分为4类:(1)基于先验知识的方法,该方法将典型的人脸形成规则库对人脸进行编码,通过面部特征之间的关系进行人脸定位;(2)特征不变方法,该方法在姿态、视角或光照条件改变的情况下找到稳定的特征,然后使用这些特征确定人脸;(3)模板匹配方法,该方法存储几种标准的人脸模式,用来分别描述整个人脸和面部特征,然后计算输入图像和存储的模式间的相互关系并用于检测;(4)基于外观的方法,该方法与模板匹配方法相反,从训练图像集中进行学习从而获得模型,并将这些模型用于检测。在此可以使用第(4)种方法中的一个实现方式来说明人脸检测的过程:首先需要提取特征完成建模,本实施例使用Haar特征作为判断人脸的关键特征,Haar特征是一种简单的矩形特征,提取速度快,一般Haar特征的计算所使用的特征模板采用简单的矩形组合由两个或多个全等的矩形组成,其中特征模板内有黑色和白色两种矩形;之后,使用AdaBoost算法从大量的Haar特征中找到起关键作用的一部分特征,并用这些特征产生有效的分类器,通过构建出的分类器可以对图像中的人脸进行检测。
总之,对目标图像的识别,需要检测目标图像的特征点,根据所述特征点识别出所述目标图像。在以人脸为例的实施例中,所述特征点可以是106个、68个等等,在此不做限制,在识别出人脸图像之后,所述的特征点的位置也确定了,并且按照识别顺序编号。特征点可以由编号和位置表示,比如0(0,0),表示0号特征点默认位置在坐标点(0,0)处。
可以理解的是,由于每种人脸检测算法各有优点,适应范围也不同,因此可以设置多个不同的检测算法,针对不同的环境自动切换不同的算法,比如在背景环境比较简单的图像中,可以使用检出率较差但是速度较快的算法;在背景环境比较复杂的图像中,可以使用检出率较高但是速度较慢的算法;对于同一图像,也可以使用多种算法多次检测以提高检出率。
步骤S102,识别所述人脸图像中的当前人脸表情;
识别人脸图像中的人脸表情,一般分为一下几个步骤:(1)图像预处理;(2)特征提取;(3)表情分类。对于(1)图像预处理,可以包括去处原图的复杂背景以及图像归一化处理,其中去处背景可以通过阈值在HSV色彩空间中对人体肤色区域进行肤色分割,并采用相对重要性滤波及自适应区域归并,最终将人脸从复杂背景中提取出来,由于图像采集的方式不同,所产生的图像格式及大小有所差异,为了图像在利用过程中的方便性,通常需要对原始图像进行归一化处理,归一化可以包括尺度归一化和灰度归一化等处理,在此不再赘述。对于(2)特征提取,一般分为三个步骤:首先是原始特征的生成,即提取图像中所包含的所有信息,之后是特征降维和提取以及特征分界,常用的几种特征提取方法包括:主成分分析法,其主要是通过协方差矩阵分析各个属性之间的相关性,选取出该图像的主成分来排除这些冗余信息,并形成一个变换矩阵;再通过该矩阵实现正交变换,将原有的高维图向所形成的向量进行降维;局部二值模式法,通过计算图像中所包含的每个像素与其局部邻域的点在亮度上的序关系,然后对二值序关系进行编码形成局部二值模式,最后采用多区域直方图作为图像的特征描述。对于(3)表情分类,可以使用神经网络或者K-最近邻学习法来进行表情的分类。
在一个实施例中,使用分类值的方式对人脸图像中的人脸表情进行识别,在该实施例中,人脸表情被分为多个基础表情,典型的基础表情包括但不限于左右眼睛分别张开程度、左右眉毛分别上挑程度、左右嘴角分别上翘程度、嘴巴张开程度、笑的程度、哭的程度等等,任何一个人脸表情可以表示为多个基础表情的混合表情,可以使用基础表情加权重的形式来表示,人脸表情相对于每个基础表情有一个分类值,所述分类值表示当前的人脸与该基础表情的相似程度。在一个实施例中,对当前图像帧中的人脸表情进行分类识别得到所述当前图像帧中的人脸表情的第一分类值。在一个实施例中,检测当前图像帧中的人脸表情种类,对每个表情种类给出对应的第一分类值,得到表示当前人脸表情的分类值矩阵[A1,A2,···,AN],其中所述N为可检测的人脸表情的种类个数,具体来说在该实施例中,可以包括5种基础表情,当前识别到的人脸表情相对于5中基础表情的分类值分别为0.1、0.3、0.6、0.2、0.9,则可以得到第一分类值的矩阵为[0.1 0.3 0.6 0.2 0.9],上述分类过程可以使用深度学习网络,输入当前的人脸图像直接输出基于当前表情识别模型的第一分类值的矩阵。可以理解的是,上述分类结果的获取过程不限于该实施例中所记载的方法,任何可以对人脸表情进行分类识别的方法均可以用于本公开中。
在另一个实施例中,也可以记录人脸关键位置的特征点的位置,如记录人眼特征点、嘴巴特征点、眉毛特征点以及脸颊特征点等于表情相关的特征点的位置,计算这些特征点与无表情的人脸之间的相关度作为当前表情识别的结果,在此不再赘述。
步骤S103,获取标准表情数据,其中所述标准表情数据随时间变化而变化;
在该步骤中,获取标准表情数据,该标准表情数据是预先设置的用于与当前人脸表情做对比的数据,且所述的标准表情数据随时间的变化而变化,也就是说时间t0时刻的标准表情数据与时间t1时刻的标准表情数据可以不同。需要注意的是,此处的标准表情数据不是对当前人脸表情做分类的依据,而是作为对比的依据。在一个实施例中,在该步骤中,获取标准表情数据中表示当前时段的表情的第二分类值,进一步的,从M*N矩阵中的标准表情数据中查找表示当前时间段的标准表情的第二分类值,得到表示当前时间段的标准表情的分类值矩阵[B1,B2,···,BN]其中M≥1表示标准时间段的数量。具体来说,在一个实施例中,该标准表情数据为标准表情的分类值,该标准表情分类值可以是一个二维矩阵M*N,其中M为标准时间段的个数,其中M≥1,在一个实施例中,所述M=4,N=5,可以得到标准表情数据为:
Figure BDA0001835414950000091
表示标准表情数据对应4个时间段的表情分类值,每个时间段的表情分类值可以用一个1*5的一维向量表示。对于上述实施例,当第1时段时,标准表情的分类值为[0.1 0.30.5 0.3 0.7],当第2时段时,标准表情的分类值为[0.2 0.4 0.6 0.9 0.1],当第3时段时,标准表情的分类值为[0.3 0.5 0.9 0.8 0.6],当第4时段时,标准表情的分类值为[0.60.7 0.1 0.2 0.3]。
该步骤的中获取标准表情数据,可以是直接获取完整的标准表情数据,也可以是根据当前的时段获取与获取标准表情数据中表示当前时段表情的第二分类值。
步骤S104,根据所述当前人脸表情和所述标准表情数据,得到所述当前人脸表情和所述标准表情数据的相似度。
在该步骤中,比较步骤S104得到的当前人脸表情与步骤S103获得的标准表情数据,得到当前人脸表情与标准表情数据的相似度。具体的,在一个实施例中,根据当前图像帧中的人脸表情的第一分类值和表示当前时间的表情的第二分类值,计算当前人脸表情和标准表情数据的匹配度,进一步的,计算当前人脸表情的分类值矩阵与当前时间段的标准表情的分类值矩阵的距离D,其中
Figure BDA0001835414950000101
其中1≤i≤N,将所述距离D作为所述匹配度,在一个实施例中,还可以使用1/(1+D)表示所述匹配度。在一个实施例中,在步骤S102中识别出当前时段的人脸表情的分类值为[0.1 0.3 0.6 0.2 0.9],当前时段为第1时段,在步骤S103中得到当前的标准表情分类值为[0.1 0.3 0.5 0.3 0.7],则可以计算两个一维向量之间的距离
Figure BDA0001835414950000102
45,则可以记为当前的人脸表情与标准表情的相似度为0.245,或者计算1/(1+D)=0.8,则可以记为当前的人脸表情与标准表情的相似度为0.8,实际上由于D为两个一维向量之间的距离,因此D的值越小,所述相似度越高,为了符合习惯,可以使用1/(1+D)的值作为相似度,此时当两个一维向量之间的距离为0也就是完全相同时,1/(1+D)的值为1,也就是完全相同,当D值越大,该值越小,也就是相似度越小。
在一个实施例中,在所述根据当前人脸表情和标准表情数据,得到当前人脸表情和标准表情数据的相似度之后,还包括:获取多个时间段中的所述相似度,得到多个相似度;计算所述多个相似度的平均相似度,将所述平均相似度作为所述多个时间段中的相似度。具体的,如上述实施例中所记载,可以分别计算4个时段中,人脸表情与标准表情的相似度,得到4个相似度,计算这4个相似度的平均相似度作为多个时段的平均相似度,所述平均相似度可以是绝对平均相似度也可以是加权相似度,本公开中不做具体限制。该实施例中的一个典型应用是,用户模仿视频中一段动态的表情,如以视频中的一段由喜悦转愤怒再转悲伤的表情为标准表情,用户可以对着图像传感器做出一整段的表情,之后可以评价出用户所做的整段表情与视频中的表情的相似度。
本公开公开了一种图像对比方法、装置、电子设备和计算机可读存储介质。其中该图像对比方法包括:获取人脸图像;识别所述人脸图像中的当前人脸表情;获取标准表情数据,其中所述标准表情数据随时间变化而变化;根据所述当前人脸表情和所述标准表情数据,得到所述当前人脸表情和所述标准表情数据的相似度。本公开实施例通过比较当前人脸表情和当前的标准表情数据,得到人脸表情的相似度,解决了如何快速获得当前人脸表情与标准表情的匹配度的技术问题。
如图2所示,在本公开的图像对比方法的另一个实施例中,在所述步骤S101:获取人脸图像之前,还包括:
步骤S201,读取配置文件,所述配置文件中至少包括标准表情的视频文件以及标准表情数据;
在步骤S101:获取人脸图像之后,还包括:
步骤S202,将所述人脸图像和所述标准表情的视频文件嵌入同一画面中,并播放所述标准表情的视频文件。
在该实施例中,包括了读取配置文件的步骤,所述配置文件中包括标准表情的视频文件以及标准表情数据,可以理解的是,所述配置文件中可以仅仅包括标准表情的视频文件的存储位置以及标准表情数据的存储数据,而不必包含其本身。在该实施例中,当获取到标准表情的视频文件之后,可以将人脸图像和所述标准的视频文件嵌入到同一画面中,并播放所述标准表情的视频文件,在一个典型的应用中,通过图像传感器采集用户的人脸表情,在屏幕上显示标准表情,并将采集到的人脸表情嵌入到屏幕的标准表情画面中,当标准表情视频文件播放之后,标准表情随时间而变化,用户可以观看并模仿标准表情视频中的表情。
在该实施例中,所述配置文件中还可以包括其他配置项,如为了增加观赏性,可以将相似度转化为分数,显示在屏幕上,还可以显示引导动画引导用户做标准表情视频文件中的表情。所述配置文件中还可以包括基本画面资源,用于渲染屏幕的背景画面;得分动画资源,用于对不同的得分在屏幕中渲染出不同的动画效果;背景音乐资源,用于背景音乐的播放;音效资源,用于出现特定画面时播放音效,如当用户的表情相似度达到90分以上,播放对应的音效,低于60以下,播放对应的音效。
所述配置文件中还可以包括资源的加载和混合的模式等,如一个典型的应用中,当运行本公开的图像对比方法时,首选读取配置文件,从配置文件中获取各项资源以及资源的加载顺序、触发条件等,比如首选渲染出新手引导动画资源、背景音乐资源,之后通过用户的触发,加载标准表情的视频文件并开始播放所述视频文件,对比用户当前的人脸表情和当前时间段的标准表情的相似度,并触发得分动画资源的渲染以及相对应的音效资源加载,最终当标准表情视频文件播放完毕之后,显示结算动画资源给用户总结其表现。
该实施例在实施例一的基础上,加入了配置文件,用户可以通过设置该配置文件,实现不同的图像对比动画效果。
图3为本公开实施例提供的图像对比装置30实施例一的结构示意图,如图3所示,该装置包括:人脸图像获取模块301、表情识别模块302、标准表述数据获取模块303和相似度获取模块304。其中,
人脸图像获取模块301,用于获取人脸图像;
表情识别模块302,用于识别所述人脸图像中的当前人脸表情;
标准表述数据获取模块303,用于获取标准表情数据,其中所述标准表情数据随时间变化而变化;
相似度获取模块304,用于根据当前人脸表情和标准表情数据,得到当前人脸表情和标准表情数据的相似度。
进一步的,所述相似度获取模块304包括:
第一相似度获取模块,用于获取多个时间段中的所述相似度,得到多个相似度;
平均相似度计算模块,用于计算所述多个相似度的平均相似度,将所述平均相似度作为所述多个时间段中的相似度。
进一步的,所述表情识别模块302,用于对人脸图像中当前图像帧中的人脸表情进行分类识别,得到所述当前图像帧中的人脸表情的第一分类值。
进一步的,所述标准表述数据获取模块303,用于获取标准表情数据中表示当前时段的表情的第二分类值。
进一步的,所述相似度获取模块304,用于根据当前图像帧中的人脸表情的第一分类值和表示当前时间的表情的第二分类值,计算当前人脸表情和标准表情数据的匹配度。
进一步的,所述表情识别模块302,用于检测当前图像帧中的人脸表情种类,对每个表情种类给出对应的第一分类值,得到表示当前人脸表情的分类值矩阵[A1,A2,···,AN],其中所述N为可检测的人脸表情的种类个数。
进一步的,所述标准表述数据获取模块303,用于从M*N矩阵中的标准表情数据中查找表示当前时间段的标准表情的第二分类值,得到表示当前时间段的标准表情的分类值矩阵[B1,B2,···,BN]其中M≥1表示标准时间段的数量。
进一步的,所述相似度获取模块304,用于计算当前人脸表情的分类值矩阵与当前时间段的标准表情的分类值矩阵的距离D,其中
Figure BDA0001835414950000131
其中1≤i≤N,将所述距离D作为所述匹配度。
图3所示装置可以执行图1所示实施例的方法,本实施例未详细描述的部分,可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述,在此不再赘述。
在本公开实施例提供的图像对比装置实施例二中,如图4所示,所述图像对比装置300还包括:
配置文件读取模块401,用于读取配置文件,所述配置文件中至少包括标准表情的视频文件以及标准表情数据。
进一步的,所述图像对比装置300还包括:
播放模块402,用于将所述人脸图像和所述标准表情的视频文件嵌入同一画面中,并播放所述标准表情的视频文件。
上述实施例二中的装置可以执行图2所示实施例的方法,本实施例未详细描述的部分,可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述,在此不再赘述。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求,其中,所述节点评价设备从所述至少两个网际协议地址中,选取网际协议地址并返回;接收所述节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从所述至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种图像对比方法,其特征在于,包括:
获取人脸图像;
识别所述人脸图像中的当前人脸表情;
获取标准表情数据,其中所述标准表情数据随时间变化而变化;
根据所述当前人脸表情和所述标准表情数据,得到所述当前人脸表情和所述标准表情数据的相似度。
2.如权利要求1所述的图像对比方法,其特征在于,在所述根据当前人脸表情和标准表情数据,得到当前人脸表情和标准表情数据的相似度之后,还包括:
获取多个时间段中的所述相似度,得到多个相似度;
计算所述多个相似度的平均相似度,将所述平均相似度作为所述多个时间段中的相似度。
3.如权利要求1所述的图像对比方法,其特征在于,所述识别所述人脸图像中的当前人脸表情,包括:
对人脸图像中当前图像帧中的人脸表情进行分类识别,得到所述当前图像帧中的人脸表情的第一分类值。
4.如权利要求3中所述的图像对比方法,其特征在于,所述获取标准表情数据,其中所述标准表情数据随时间变化而变化,包括:
获取标准表情数据中表示当前时段的表情的第二分类值。
5.如权利要求4中所述的图像对比方法,其特征在于,所述根据当前人脸表情和标准表情数据,得到当前人脸表情和标准表情数据的相似度,包括:
根据当前图像帧中的人脸表情的第一分类值和表示当前时间的表情的第二分类值,计算当前人脸表情和标准表情数据的匹配度。
6.如权利要求3所述的图像对比方法,其特征在于,其中所述对人脸图像中当前图像帧中的人脸表情进行分类识别,得到所述当前图像帧中的人脸表情的第一分类值,包括:
检测当前图像帧中的人脸表情种类,对每个表情种类给出对应的第一分类值,得到表示当前人脸表情的分类值矩阵[A1,A2,···,AN],其中所述N为可检测的人脸表情的种类个数。
7.如权利要求6中所述的图像对比方法,其特征在于,所述获取标准表情数据中表示当前时间的表情的第二分类值包括:
从M*N矩阵中的标准表情数据中查找表示当前时间段的标准表情的第二分类值,得到表示当前时间段的标准表情的分类值矩阵[B1,B2,···,BN]其中M≥1表示标准时间段的数量。
8.如权利要求7中所述的图像对比方法,其特征在于,所述根据当前图像帧中的人脸表情的第一分类值和表示当前时间的表情的第二分类值,计算当前人脸表情和标准表情数据的匹配度,包括:
计算当前人脸表情的分类值矩阵与当前时间段的标准表情的分类值矩阵的距离D,其中
Figure FDA0001835414940000021
其中1≤i≤N,将所述距离D作为所述匹配度。
9.如权利要求1-8中的任一项所述的图像对比方法,其特征在于,在所述获取人脸图像之前,还包括:
读取配置文件,所述配置文件中至少包括标准表情的视频文件以及标准表情数据。
10.如权利要求9中的所述的图像对比方法,其特征在于,在所述获取人脸图像之后,还包括:
将所述人脸图像和所述标准表情的视频文件嵌入同一画面中,并播放所述标准表情的视频文件。
11.一种图像对比装置,其特征在于,包括:
人脸图像获取模块,用于获取人脸图像;
表情识别模块,用于识别所述人脸图像中的当前人脸表情;
标准表述数据获取模块,用于获取标准表情数据,其中所述标准表情数据随时间变化而变化;
相似度获取模块,用于根据当前人脸表情和标准表情数据,得到当前人脸表情和标准表情数据的相似度。
12.一种电子设备,包括:
存储器,用于存储非暂时性计算机可读指令;以及
处理器,用于运行所述计算机可读指令,使得所述处理器执行时实现根据权利要求1-10中任意一项所述的图像对比方法。
13.一种计算机可读存储介质,用于存储非暂时性计算机可读指令,当所述非暂时性计算机可读指令由计算机执行时,使得所述计算机执行权利要求1-10中任意一项所述的图像对比方法。
CN201811223678.0A 2018-10-19 2018-10-19 图像对比方法和装置 Pending CN111079472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811223678.0A CN111079472A (zh) 2018-10-19 2018-10-19 图像对比方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811223678.0A CN111079472A (zh) 2018-10-19 2018-10-19 图像对比方法和装置

Publications (1)

Publication Number Publication Date
CN111079472A true CN111079472A (zh) 2020-04-28

Family

ID=70309436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811223678.0A Pending CN111079472A (zh) 2018-10-19 2018-10-19 图像对比方法和装置

Country Status (1)

Country Link
CN (1) CN111079472A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966855A (zh) * 2020-08-04 2020-11-20 深圳追一科技有限公司 数字人训练数据采集方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105050247A (zh) * 2015-06-24 2015-11-11 河北工业大学 基于表情模型识别的灯光智能调节系统及其方法
CN106228145A (zh) * 2016-08-04 2016-12-14 网易有道信息技术(北京)有限公司 一种人脸表情识别方法和设备
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股(北京)有限公司 表情识别方法及系统
CN106485567A (zh) * 2016-09-14 2017-03-08 北京小米移动软件有限公司 物品推荐方法及装置
US20180114057A1 (en) * 2016-10-21 2018-04-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing facial expression
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、系统及移动终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105050247A (zh) * 2015-06-24 2015-11-11 河北工业大学 基于表情模型识别的灯光智能调节系统及其方法
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股(北京)有限公司 表情识别方法及系统
CN106228145A (zh) * 2016-08-04 2016-12-14 网易有道信息技术(北京)有限公司 一种人脸表情识别方法和设备
CN106485567A (zh) * 2016-09-14 2017-03-08 北京小米移动软件有限公司 物品推荐方法及装置
US20180114057A1 (en) * 2016-10-21 2018-04-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing facial expression
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、系统及移动终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966855A (zh) * 2020-08-04 2020-11-20 深圳追一科技有限公司 数字人训练数据采集方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11436739B2 (en) Method, apparatus, and storage medium for processing video image
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
US9436883B2 (en) Collaborative text detection and recognition
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN111696176B (zh) 图像处理方法、装置、电子设备及计算机可读介质
WO2020024484A1 (zh) 用于输出数据的方法和装置
CN113395542B (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN111275784B (zh) 生成图像的方法和装置
CN110072047B (zh) 图像形变的控制方法、装置和硬件装置
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
US11017253B2 (en) Liveness detection method and apparatus, and storage medium
JP2020507159A (ja) ピクチャプッシュの方法、移動端末および記憶媒体
CN110619656A (zh) 基于双目摄像头的人脸检测跟踪方法、装置及电子设备
CN111199169A (zh) 图像处理方法和装置
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN110363187B (zh) 一种人脸识别方法、装置、机器可读介质及设备
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN111079472A (zh) 图像对比方法和装置
CN111507143B (zh) 表情图像效果生成方法、装置和电子设备
CN110942033B (zh) 用于推送信息的方法、装置、电子设备和计算机介质
CN114511877A (zh) 一种行为识别方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination