CN116386118A - 一种基于人像识别的粤剧匹配化妆系统及其方法 - Google Patents
一种基于人像识别的粤剧匹配化妆系统及其方法 Download PDFInfo
- Publication number
- CN116386118A CN116386118A CN202310407932.7A CN202310407932A CN116386118A CN 116386118 A CN116386118 A CN 116386118A CN 202310407932 A CN202310407932 A CN 202310407932A CN 116386118 A CN116386118 A CN 116386118A
- Authority
- CN
- China
- Prior art keywords
- gray
- value
- image
- matching
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000002537 cosmetic Substances 0.000 title claims description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 73
- 230000006870 function Effects 0.000 claims description 83
- 210000001508 eye Anatomy 0.000 claims description 50
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000003064 k means clustering Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 42
- 239000000758 substrate Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001569750 Leucorrhinia dubia Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002199 base oil Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及识别图形技术领域,具体涉及一种基于人像识别的粤剧匹配化妆系统及其方法,该方法采集粤剧戏妆演员化妆后的灰度图像,构成训练集;将交叉熵损失函数作为第一损失函数;对于训练集中的灰度图像,获取灰度图像对应的模板图像,将灰度图像与对应的模板图像进行匹配得到匹配可能值,根据匹配可能值获取第二损失函数;结合第一损失函数和第二损失函数得到人像识别神经网络的损失函数;基于损失函数,利用训练集对人像识别神经网络进行训练,得到训练好的人像识别神经网络;将采集的实时人像图像的灰度图像输入到训练好的人像识别神经网络得到对应的角色类型;训练好的人像识别神经网络获取的角色类型更准确。
Description
技术领域
本发明涉及识别图形技术领域,具体涉及一种基于人像识别的粤剧匹配化妆系统及其方法。
背景技术
粤剧演员化妆的步骤为:涂底油、上底色、打腮红、画鼻侧影、勾画眼晴、画咀唇、修整化妆各部位;其次,演员亦应把手也涂上底色,务求协调。俊扮又称为素面、洁面或白面,特点是用脂粉以达到美化的效果。传统俊扮指生角的一种化妆方式,有别于净、丑的花面、挂须及小白面的化妆。因此对于不熟悉粤剧的人来说,对于各式各样的粤剧妆容很难知道其对应的角色,所以需要一种可以自动化将演员所化妆容即表演的角色识别出来的方法,以便观众了解,可以更好地观看表演。
现有技术是通过采集粤剧演员化妆后的图像,将图像输入人像识别神经网络来确认粤剧演员化妆后的角色,但是由于人像识别神经网络需要大量的训练集,即需要大量的同一个角色的粤剧演员化妆后的图像数量来训练人像识别神经网络,而现实中扮演同一个角色的演员化妆后的图像数量太少,进而使得人像识别神经网络的训练结果较差,从而会导致人像识别神经网络在识别角色时出现较大的误识率,使得人像识别神经网络获取的角色与实际角色不对应。
发明内容
为了解决现有人像识别神经网络的训练结果较差而导致不能准确获取粤剧演员化妆后扮演的角色的问题,本发明的目的在于提供一种基于人像识别的粤剧匹配化妆系统及其方法,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种基于人像识别的粤剧匹配化妆方法,该方法包括以下步骤:
采集粤剧戏妆演员化妆后的人像图像的灰度图像,构成训练集;
构建人像识别神经网络的损失函数,基于损失函数,利用训练集对人像识别神经网络进行训练,得到训练好的人像识别神经网络;
将采集的实时人像图像的灰度图像输入到训练好的人像识别神经网络得到对应的角色类型;
其中,人像识别神经网络的损失函数的构建方法,包括:
将交叉熵损失函数作为第一损失函数;
对于训练集中的任意一张灰度图像,获取灰度图像对应角色类型的模板图像,根据灰度图像与模板图像之间的灰度分布差异获取灰度图像与模板图像的灰度不相似值;分别对灰度图像与模板图像进行边缘检测获取边缘线,根据灰度图像与模板图像中的边缘线之间的分布差异获得边缘线相似值;根据边缘线相似值与灰度不相似值获得匹配可能值,根据匹配可能值获取第二损失函数;
结合第一损失函数和第二损失函数得到人像识别神经网络的损失函数。
进一步的,所述根据灰度图像与模板图像之间的灰度分布差异获取灰度图像与模板图像的灰度不相似值的方法,包括:
获取模板图像的灰度直方图,根据灰度直方图获取模板图像的模板聚类簇,根据模板聚类簇确定灰度图像的目标聚类簇,获取每个目标聚类簇中的最大灰度值、最小灰度值以及目标聚类簇中的像素点总数量,获取每个模板聚类簇中的最大灰度值、最小灰度值以及模板聚类簇中的像素点总数量;
基于灰度值从小到大的顺序,将第i个目标聚类簇与第i个模板聚类簇作为第i个匹配对,获取第i个匹配对之间的最大灰度值差值绝对值与最小灰度值差值绝对值的相加结果作为第二结果,将第二结果的相反数代入以自然常数e为底数的指数函数所得的结果作为第三结果,计算第i个匹配对之间对应的像素点总数量的差值绝对值与第三结果的比值作为第四结果,将所有匹配对的第四结果相加的结果作为灰度图像与模板图像的灰度不相似值。
进一步的,所述根据模板聚类簇确定灰度图像的目标聚类簇的方法,包括:
获取模板聚类簇的数量,将模板聚类簇的数量作为K-means聚类算法中的K值,利用K-means聚类算法根据灰度图像中的灰度值获取灰度图像的目标聚类簇。
进一步的,所述根据灰度图像与模板图像中的边缘线之间的分布差异获得边缘线相似值的方法,包括:
分别对灰度图像与模板图像进行边缘检测获取边缘线,分别对灰度图像与模板图像的眼睛设定预设大小的区域,根据灰度图像和模板图像中的边缘线上的像素点在区域中的分布差异,分别获取左眼边缘线不相似值与右眼边缘线不相似值;
计算左眼边缘线不相似值与右眼边缘线不相似值相加结果作为第一结果,将第一结果的相反数代入以自然常数e为底数的指数函数所得的值作为边缘线相似值。
进一步的,所述获取左眼边缘线不相似值的方法,包括:
分别以灰度图像与模板图像中的左眼中心为原点设定预设大小的区域,对区域建立相同的极坐标,在两个极坐标上将每个区域划分为相同的至少两个子区域,将两个区域中对应的相同位置的两个子区域作为一个匹配对,统计每个子区域中包含的边缘线上的像素点的数量作为第一数量,计算每个匹配对所对应的两个子区域的第一数量的差值绝对值,将所有匹配对的差值绝对值相加的结果作为左眼边缘线不相似值。
进一步的,所述获取右眼边缘线不相似值的方法,包括:
分别以灰度图像与模板图像中的右眼中心为原点设定预设大小的区域,对区域建立相同的极坐标,在两个极坐标上将每个区域划分为相同的至少两个子区域,将两个区域中对应的相同位置的两个子区域作为一个匹配对,统计每个子区域中包含的边缘线上的像素点的数量作为第二数量,计算每个匹配对所对应的两个子区域的第二数量的差值绝对值,将所有匹配对的差值绝对值相加的结果作为右眼边缘线不相似值。
进一步的,所述根据边缘线相似值与灰度不相似值获得匹配可能值的方法,包括:
计算边缘线相似值与灰度不相似值的比值作为匹配可能值。
进一步的,所述根据匹配可能值获取第二损失函数的方法,包括:
将匹配可能值进行归一化,获取归一化后的匹配可能值,将常数1与归一化后的匹配可能值相减的结果作为第二损失函数。
进一步的,所述结合第一损失函数和第二损失函数得到人像识别神经网络的损失函数的方法,包括:
将第一损失函数与第二损失函数相加的结果作为人像识别神经网络的损失函数。
第二方面,本发明另一个实施例提供了一种基于人像识别的粤剧匹配化妆系统,该系统包括:存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序,处理器执行所述计算机程序时,实现上述任意一项方法的步骤。
本发明具有如下有益效果:获取粤剧戏妆演员化妆后的人像图像的灰度图像,去除了背景的干扰,确保后续分析的灰度图像一定是粤剧戏妆的人像图像;考虑到利用单一的交叉熵损失函数训练的人像识别神经网络存在训练效果较差的问题,所以本方案首先将灰度图像构成训练集,将交叉熵损失函数作为第一损失函数,然后对于训练集中的任意一张灰度图像,获取灰度图像对应角色类型的模板图像,以通过对比分析灰度图像和模板图像之间的灰度信息差异,实现灰度图像和模板图像的灰度匹配,即根据灰度图像与模板图像之间的灰度分布差异获取灰度图像与模板图像的灰度不相似值;其次,分别对灰度图像与模板图像进行边缘检测获取边缘线,根据灰度图像与模板图像中的边缘线之间的分布差异获得边缘线相似值,利用图像中的边缘线来表征人像的轮廓信息,通过对比灰度图像和模板图像的轮廓信息实现轮廓匹配,进而根据边缘线相似值与灰度不相似值获得匹配可能值,使得灰度图像和模板图像的匹配结果分析更加准确严谨,同时根据匹配可能值获取第二损失函数,保证了网络在识别人像时的准确度,增强网络的鲁棒性,最终结合第一损失函数和第二损失函数得到人像识别神经网络的损失函数,利用模板图像对训练集的损失进行进一步限定,能够减少人像识别神经网络的输入和输出的差异,进而使得基于损失函数,且利用训练集训练的人像识别神经网络的训练效果更加严谨,提高了人像识别神经网络的识别准确性,得到训练好的人像识别神经网络;将采集的实时人像图像的灰度图像输入到训练好的人像识别神经网络输出对应的角色类型,确保输出的角色类型是灰度图像的实际角色类型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人像识别的粤剧匹配化妆方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于人像识别的粤剧匹配化妆系统及其方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人像识别的粤剧匹配化妆系统及其方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于人像识别的粤剧匹配化妆方法的流程图,该方法包括以下步骤:
步骤S1:采集粤剧戏妆演员化妆后的人像图像的灰度图像,构成训练集。
具体的,使用相机或摄像头拍摄粤剧戏妆演员化妆后的人像,获得拍摄后的人像图像,通过加权平均值法对拍摄的人像图像进行灰度化处理,得到灰度图像,使用高斯滤波算法对灰度图像进行去噪,使得灰度图像更加清晰,避免噪声点对灰度图像的干扰。其中,加权平均值法以及高斯滤波算法都是公知技术,这里不再进行过多赘述。
在进行拍摄粤剧戏妆演员化妆后的人像时,还可能拍摄到了其他人员的面部信息,因此需要对拍摄的人像图像进行分析,只获取粤剧戏妆演员化妆后的人像区域部分的灰度图像。本方案使用神经网络对灰度图像进行语义分割,获取灰度图像中的粤剧戏妆演员化妆后的人像图像,具体过程如下:
使用Resnet神经网络对灰度图像进行语义分割,Resnet神经网络的输入为拍摄人像图像的灰度图像,输出为只有粤剧戏妆演员化妆后的人像图像的灰度图像。
其中,Resnet神经网络训练打标签方式为:在Resnet神经网络训练过程中将粤剧戏妆演员化妆后的人像图像的灰度图像的区域标记为1,其它区域标记为0;Resnet神经网络损失函数是交叉熵损失函数。
其中,Resnet神经网络是公知技术,这里不再进行过多赘述。
将获得的粤剧戏妆演员化妆后的人像图像的灰度图像,构成训练集。
步骤S2:构建人像识别神经网络的损失函数,基于损失函数,利用训练集对人像识别神经网络进行训练,得到训练好的人像识别神经网络;
具体的,在运用人像识别神经网络识别角色时,需要大量的训练集先对人像识别神经网络进行训练,使得人像识别神经网络识别人像准确,本方案中人像识别神经网络就是Resnet神经网络;但现实情况中,对于同一角色难以获取大量不同的粤剧表演人员所化戏妆的人像图像,使得训练集所包含的图像类型不完整,进而导致人像识别神经网络很难达到较好的训练效果,使得人像识别神经网络识别人像不准确;因此本方案通过在训练过程中引入与模板图像进行比较的一个辅助模块,从而加快人像识别神经网络的训练,也减少了对训练样本数量的需求,达到了准确识别粤剧演员所化戏妆对应角色类型的目的,其中,将每个角色类型的脸谱图像的灰度图像作为模板图像并进行标记。
对模板图像的特征进行分析,获得的特征为以下几个方面,包括颜色,面部的形状信息等;如有的模板图像全黑,有的模板图像全白,因此可以通过统计模板图像中各个灰度值的分布情况进行判断分析;根据模板图像中的五官等面部轮廓形成形状信息,如有的模板图像在表达角色类型高兴时眉角上调等;本发明通过灰度信息与轮廓形状信息对采集的灰度图像与模板图像进行匹配,从而获取人像识别神经网络的损失函数。
其中,人像识别神经网络的损失函数的构建方法,包括:
将交叉熵损失函数作为第一损失函数;对于训练集中的任意一张灰度图像,获取灰度图像对应角色类型的模板图像,根据灰度图像与模板图像之间的灰度分布差异获取灰度图像与模板图像的灰度不相似值;分别对灰度图像与模板图像进行边缘检测获取边缘线,根据灰度图像与模板图像中的边缘线之间的分布差异获得边缘线相似值;根据边缘线相似值与灰度不相似值获得匹配可能值,根据匹配可能值获取第二损失函数;结合第一损失函数和第二损失函数得到人像识别神经网络的损失函数。
获取人像识别神经网络的损失函数的具体过程如下:
(1)将灰度图像与模板图像进行匹配,得到匹配可能值。获取匹配可能值的方法如下:
1-1.根据灰度信息,将灰度图像与模板图像进行匹配,获取灰度图像与模板图像的灰度不相似值的具体过程如下:
获取模板图像的灰度直方图,根据灰度直方图获取模板图像的模板聚类簇,根据模板聚类簇确定灰度图像的目标聚类簇,获取每个目标聚类簇中的最大灰度值、最小灰度值以及目标聚类簇中的像素点总数量,获取每个模板聚类簇中的最大灰度值、最小灰度值以及模板聚类簇中的像素点总数量;基于灰度值从小到大的顺序,将第i个目标聚类簇与第i个模板聚类簇作为第i个匹配对,获取第i个匹配对之间的最大灰度值差值绝对值与最小灰度值差值绝对值的相加结果作为第二结果,将第二结果的相反数代入以自然常数e为底数的指数函数所得的结果作为第三结果,计算第i个匹配对之间对应的像素点总数量的差值绝对值与第三结果的比值作为第四结果,将所有匹配对的第四结果相加的结果作为灰度图像与模板图像的灰度不相似值。
根据模板聚类簇确定灰度图像的目标聚类簇的方法为:获取模板聚类簇的数量,将模板聚类簇的数量作为K-means聚类算法中的K值,利用K-means聚类算法根据灰度图像中的灰度值获取灰度图像的目标聚类簇。
作为一个示例,根据模板图像中像素点的灰度值,获取模板图像中不同灰度值对
应的像素点数量作为频数,以模板图像中像素点的灰度值为横轴,不同灰度值的频数为纵
轴,构建模板图像的灰度直方图;根据灰度图像中像素点的灰度值,获取灰度图像中不同灰
度值对应的像素点数量作为频数,以灰度图像中像素点的灰度值为横轴,不同灰度值的频
数为纵轴,构建灰度图像的灰度直方图;利用DBSCAN密度聚类算法根据灰度值对模板图像
的灰度直方图进行聚类,获取F个模板聚类簇;利用K-means聚类算法根据灰度值对灰度图
像的灰度直方图进行聚类获得目标聚类簇,其中K-means聚类算法中的K值为模板聚类簇数
量F,因此模板聚类簇的数量与目标聚类簇的数量相同且均为F;基于灰度值从小到大的顺
序,将第i个目标聚类簇与第i个模板聚类簇作为第i个匹配对,根据第i个匹配对之间的灰
度差异获取第i个匹配对的相似参数,相似参数的公式为:
其中,为第i个目标聚类簇中的最大灰度值;第i个目标聚类簇中的最小
灰度值;为第i个模板聚类簇中的最大灰度值;第i个模板聚类簇中的最小灰度值;为第i个匹配对的相似参数也即是第三结果;为绝对值函数;为以自然常数e为底数
的指数函数。
需要说明的是,第二结果越小,第i个目标聚类簇与
第i个模板聚类簇之间的灰度差值越小,第i个目标聚类簇与第i个模板聚类簇越相似,相似
参数越大;第二结果越大,第i个目标聚类簇与第i个模板
聚类簇之间的灰度差值越大,第i个目标聚类簇与第i个模板聚类簇越不相似,相似参数
越小。因此相似参数与第二结果为负相关的关系。
其中,DBSCAN密度聚类算法以及K-means聚类算法是公知技术,这里不再进行过多的赘述。
根据获取第i个匹配对的相似参数的方法,获取所有匹配对的相似参数。
需要说明的是,越大,第i个目标聚类簇与第i个模板聚类簇之间的灰度差
异越大,第i个目标聚类簇与第i个模板聚类簇越不相似,灰度不相似值越大,因此,与Q为正相关的关系;越大,第i个目标聚类簇与第i个模板聚类簇越相似,灰度不
相似值越小,因此,与Q为负相关的关系。
1-2.根据轮廓信息,将灰度图像与模板图像进行匹配,获取灰度图像与模板图像的边缘线相似值的具体过程如下:
分别对灰度图像与模板图像进行边缘检测获取边缘线,分别对灰度图像与模板图像的眼睛设定预设大小的区域,根据灰度图像和模板图像中的边缘线上的像素点在区域中的分布差异,分别获取左眼边缘线不相似值与右眼边缘线不相似值;计算左眼边缘线不相似值与右眼边缘线不相似值相加结果作为第一结果,将第一结果的相反数代入以自然常数e为底数的指数函数所得的值作为边缘线相似值。
不同粤剧演员在演绎同一个角色时,即便同样的妆容也会产生一些的差异,故本方案使用canny边缘检测算法获取灰度图像与模板图像的边缘线,通过手动将模板图像与灰度图像中人眼的中心点位置作为原点,确定完全覆盖模板图像与灰度图像的区域,根据区域内边缘线上的像素点数量的差异,获取灰度图像与模板图像之间的轮廓匹配程度。
其中,canny边缘检测算法是公知技术,这里不再进行过多赘述。
获取左眼边缘线不相似值的方法:分别以灰度图像与模板图像中的左眼中心为原点设定预设大小的区域,对区域建立相同的极坐标,在两个极坐标上将每个区域划分为相同的至少两个子区域,将两个区域中对应的相同位置的两个子区域作为一个匹配对,统计每个子区域中包含的边缘线上的像素点的数量作为第一数量,计算每个匹配对所对应的两个子区域的第一数量的差值绝对值,将所有匹配对的差值绝对值相加的结果作为左眼边缘线不相似值。
作为一个示例,分别以灰度图像与模板图像的左眼中心点作为原点,水平向右为
正方向,在模板图像和灰度图像的区域内建立极坐标系,本方案从正方向开始,每间隔相同
的角度在极坐标上划分N个角度区间,在构成角度区间的极轴上从原点开始每间隔相同的
距离标记为一个间隔点,每条极轴上获得M个间隔段。将距离原点相同距离的间隔点连接起
来,构成N*M个子区域,获取每个子区域中包含的边缘线上的像素点的数量作为第一数量,
将两个极坐标上表示相同位置的子区域作为一个匹配对,根据匹配对所对应的两个子区域
的第一数量的差值绝对值,获取左眼边缘线不相似值。左眼边缘线不相似值的公式为:
其中,N为极坐标上划分的角度区间的数量;M为每条极轴上划分的间隔段的数量;为灰度图像对应的区域中第j个角度区间的第k个间隔段对应的子区域的第一数
量;为模板图像对应的区域中第j个角度区间的第k个间隔段对应的子区域的第
一数量;为左眼边缘线不相似值;为绝对值函数。
需要说明的是,越大,灰度图像与模板图像对应的第j个角度区间的
第k个间隔段对应的子区域之间的边缘线区别越大,灰度图像与模板图像的轮廓越不
相似,灰度图像与模板图像越不匹配,左眼边缘线不相似值越大;越小,灰
度图像与模板图像对应的第j个角度区间的第k个间隔段对应的子区域之间的边缘线
区别越小,灰度图像与模板图像的轮廓越相似,灰度图像与模板图像越匹配,左眼边缘线不
相似值越小;因此,与为正相关的关系。
获取右眼边缘线不相似值的方法:分别以灰度图像与模板图像中的右眼中心为原点设定预设大小的区域,对区域建立相同的极坐标,在两个极坐标上将每个区域划分为相同的至少两个子区域,将两个区域中对应的相同位置的两个子区域作为一个匹配对,统计每个子区域中包含的边缘线上的像素点的数量作为第二数量,计算每个匹配对所对应的两个子区域的第二数量的差值绝对值,将所有匹配对的差值绝对值相加的结果作为右眼边缘线不相似值。
作为一个示例,分别以灰度图像与模板图像的右眼中心点作为原点,水平向右为
正方向,在模板图像和灰度图像的区域内建立极坐标系,本方案从正方向开始,每间隔相同
的角度在极坐标上划分N个角度区间,在构成角度区间的极轴上从原点开始每间隔相同的
距离标记为一个间隔点,每条极轴上获得M个间隔段。将距离原点相同距离的间隔点连接起
来,构成N*M个子区域,获取每个子区域中包含的边缘线上的像素点的数量作为第二数量,
将两个极坐标上表示相同位置的子区域作为一个匹配对,根据匹配对所对应的两个子区域
的第二数量的差值绝对值,获取右眼边缘线不相似值。右眼边缘线不相似值的公式为:
其中,N为极坐标上划分的角度区间的数量;M为每条极轴上划分的间隔段的数量;为灰度图像对应的区域中第j个角度区间的第k个间隔段对应的子区域的第二数
量;为模板图像对应的区域中第j个角度区间的第k个间隔段对应的子区域的第
二数量;为右眼边缘线不相似值;为绝对值函数。
需要说明的是,越大,灰度图像与模板图像对应的第j个角度区间
的第k个间隔段对应的子区域之间的边缘线区别越大,灰度图像与模板图像的轮廓越
不相似,灰度图像与模板图像越不匹配,右眼边缘线不相似值越大;越
小,灰度图像与模板图像对应的第j个角度区间的第k个间隔段对应的子区域之间的边
缘线区别越小,灰度图像与模板图像的轮廓越相似,灰度图像与模板图像越匹配,右眼边缘
线不相似值越小;因此,与为正相关的关系。
需要说明的是,当第一结果越大,说明灰度图像与模板图像的轮廓越
不相似,灰度图像与模板图像越不相似,越小;当第一结果越小,说明灰度图
像与模板图像的轮廓越相似,灰度图像与模板图像越相似,越大;因此,第一结果与为负相关的关系。
需要说明的是,越大,说明灰度图像与模板图像的轮廓越相似,灰度图像与模
板图像越匹配,越大,与为成正相关的关系;越小,说明灰度图像与模板图像的灰度
差异越小,灰度图像与模板图像越匹配,越大,与为负相关的关系;因此,越大,灰度图
像与模板图像越相似,灰度图像与模板图像越匹配。
(2)根据匹配可能值获取第二损失函数。获取第二损失函数的方法如下:
(3)结合第一损失函数和第二损失函数得到人像识别神经网络的损失函数。获取人像识别神经网络的损失函数的方法如下:
需要说明的是,越小,说明人像识别神经网络的输入与输出差异越小,越小,
与为正相关的关系;越小,说明灰度图像与模板图像越相似,越小,与为正相关的关
系;因此,越小,人像识别神经网络的训练效果越好,识别人像越准确。
基于人像识别神经网络的损失函数,利用训练集中的灰度图像对人像识别神经
网络进行训练:人像识别神经网络的输入为灰度图像,人像识别神经网络的输出为角色类
型;对输入的灰度图像设置角色类型的标签,如将花旦对应的角色类型标记为a、青衣对应
的角色类型标记为b等设置角色类型的标签;利用损失函数,对人像识别神经网络进行迭
代训练得到训练好的人像识别神经网络。
步骤S3:将采集的实时人像图像的灰度图像输入到训练好的人像识别神经网络得到对应的角色类型。
将采集的实时粤剧戏妆演员化妆后的人像图像的灰度图像输入到训练好的人像识别神经网络中,训练好的人像识别神经网络输出为实时粤剧戏妆演员所化妆容对应的角色类型。
基于与上述方法实施例相同的发明构思,本发明实施例还提供了一种基于人像识别的粤剧匹配化妆系统,该系统包括:存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序,处理器执行所述计算机程序时实现上述一种基于人像识别的粤剧匹配化妆方法实施例中的步骤,例如图1所示的步骤。该一种基于人像识别的粤剧匹配化妆方法在上述实施例中已经详细说明,不再赘述。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人像识别的粤剧匹配化妆方法,其特征在于,该方法包括以下步骤:
采集粤剧戏妆演员化妆后的人像图像的灰度图像,构成训练集;
构建人像识别神经网络的损失函数,基于损失函数,利用训练集对人像识别神经网络进行训练,得到训练好的人像识别神经网络;
将采集的实时人像图像的灰度图像输入到训练好的人像识别神经网络得到对应的角色类型;
其中,人像识别神经网络的损失函数的构建方法,包括:
将交叉熵损失函数作为第一损失函数;
对于训练集中的任意一张灰度图像,获取灰度图像对应角色类型的模板图像,根据灰度图像与模板图像之间的灰度分布差异获取灰度图像与模板图像的灰度不相似值;分别对灰度图像与模板图像进行边缘检测获取边缘线,根据灰度图像与模板图像中的边缘线之间的分布差异获得边缘线相似值;根据边缘线相似值与灰度不相似值获得匹配可能值,根据匹配可能值获取第二损失函数;
结合第一损失函数和第二损失函数得到人像识别神经网络的损失函数。
2.如权利要求1所述的一种基于人像识别的粤剧匹配化妆方法,其特征在于,所述根据灰度图像与模板图像之间的灰度分布差异获取灰度图像与模板图像的灰度不相似值的方法,包括:
获取模板图像的灰度直方图,根据灰度直方图获取模板图像的模板聚类簇,根据模板聚类簇确定灰度图像的目标聚类簇,获取每个目标聚类簇中的最大灰度值、最小灰度值以及目标聚类簇中的像素点总数量,获取每个模板聚类簇中的最大灰度值、最小灰度值以及模板聚类簇中的像素点总数量;
基于灰度值从小到大的顺序,将第i个目标聚类簇与第i个模板聚类簇作为第i个匹配对,获取第i个匹配对之间的最大灰度值差值绝对值与最小灰度值差值绝对值的相加结果作为第二结果,将第二结果的相反数代入以自然常数e为底数的指数函数所得的结果作为第三结果,计算第i个匹配对之间对应的像素点总数量的差值绝对值与第三结果的比值作为第四结果,将所有匹配对的第四结果相加的结果作为灰度图像与模板图像的灰度不相似值。
3.如权利要求2所述的一种基于人像识别的粤剧匹配化妆方法,其特征在于,所述根据模板聚类簇确定灰度图像的目标聚类簇的方法,包括:
获取模板聚类簇的数量,将模板聚类簇的数量作为K-means聚类算法中的K值,利用K-means聚类算法根据灰度图像中的灰度值获取灰度图像的目标聚类簇。
4.如权利要求1所述的一种基于人像识别的粤剧匹配化妆方法,其特征在于,所述根据灰度图像与模板图像中的边缘线之间的分布差异获得边缘线相似值的方法,包括:
分别对灰度图像与模板图像进行边缘检测获取边缘线,分别对灰度图像与模板图像的眼睛设定预设大小的区域,根据灰度图像和模板图像中的边缘线上的像素点在区域中的分布差异,分别获取左眼边缘线不相似值与右眼边缘线不相似值;
计算左眼边缘线不相似值与右眼边缘线不相似值相加结果作为第一结果,将第一结果的相反数代入以自然常数e为底数的指数函数所得的值作为边缘线相似值。
5.如权利要求4所述的一种基于人像识别的粤剧匹配化妆方法,其特征在于,所述获取左眼边缘线不相似值的方法,包括:
分别以灰度图像与模板图像中的左眼中心为原点设定预设大小的区域,对区域建立相同的极坐标,在两个极坐标上将每个区域划分为相同的至少两个子区域,将两个区域中对应的相同位置的两个子区域作为一个匹配对,统计每个子区域中包含的边缘线上的像素点的数量作为第一数量,计算每个匹配对所对应的两个子区域的第一数量的差值绝对值,将所有匹配对的差值绝对值相加的结果作为左眼边缘线不相似值。
6.如权利要求4所述的一种基于人像识别的粤剧匹配化妆方法,其特征在于,所述获取右眼边缘线不相似值的方法,包括:
分别以灰度图像与模板图像中的右眼中心为原点设定预设大小的区域,对区域建立相同的极坐标,在两个极坐标上将每个区域划分为相同的至少两个子区域,将两个区域中对应的相同位置的两个子区域作为一个匹配对,统计每个子区域中包含的边缘线上的像素点的数量作为第二数量,计算每个匹配对所对应的两个子区域的第二数量的差值绝对值,将所有匹配对的差值绝对值相加的结果作为右眼边缘线不相似值。
7.如权利要求1所述的一种基于人像识别的粤剧匹配化妆方法,其特征在于,所述根据边缘线相似值与灰度不相似值获得匹配可能值的方法,包括:
计算边缘线相似值与灰度不相似值的比值作为匹配可能值。
8.如权利要求1所述的一种基于人像识别的粤剧匹配化妆方法,其特征在于,所述根据匹配可能值获取第二损失函数的方法,包括:
将匹配可能值进行归一化,获取归一化后的匹配可能值,将常数1与归一化后的匹配可能值相减的结果作为第二损失函数。
9.如权利要求1所述的一种基于人像识别的粤剧匹配化妆方法,其特征在于,所述结合第一损失函数和第二损失函数得到人像识别神经网络的损失函数的方法,包括:
将第一损失函数与第二损失函数相加的结果作为人像识别神经网络的损失函数。
10.一种基于人像识别的粤剧匹配化妆系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器在执行所述计算机程序时,实现上述权利要求1-9任意一项所述一种基于人像识别的粤剧匹配化妆方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310407932.7A CN116386118B (zh) | 2023-04-17 | 2023-04-17 | 一种基于人像识别的粤剧匹配化妆系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310407932.7A CN116386118B (zh) | 2023-04-17 | 2023-04-17 | 一种基于人像识别的粤剧匹配化妆系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116386118A true CN116386118A (zh) | 2023-07-04 |
CN116386118B CN116386118B (zh) | 2024-04-05 |
Family
ID=86965462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310407932.7A Active CN116386118B (zh) | 2023-04-17 | 2023-04-17 | 一种基于人像识别的粤剧匹配化妆系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116386118B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117611752A (zh) * | 2024-01-22 | 2024-02-27 | 卓世未来(成都)科技有限公司 | 一种数字人的3d模型生成方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101635031A (zh) * | 2009-08-27 | 2010-01-27 | 上海交通大学 | 小样本人物轮廓特征提取与识别方法 |
CN110458751A (zh) * | 2019-06-28 | 2019-11-15 | 广东智媒云图科技股份有限公司 | 一种基于粤剧图片的面部替换方法、设备及介质 |
CN111709890A (zh) * | 2020-06-12 | 2020-09-25 | 北京小米松果电子有限公司 | 一种图像增强模型的训练方法、装置及存储介质 |
WO2020258120A1 (zh) * | 2019-06-27 | 2020-12-30 | 深圳市汇顶科技股份有限公司 | 人脸识别的方法、装置和电子设备 |
US11099275B1 (en) * | 2020-04-29 | 2021-08-24 | Tsinghua University | LiDAR point cloud reflection intensity complementation method and system |
CN114863189A (zh) * | 2022-07-06 | 2022-08-05 | 青岛场外市场清算中心有限公司 | 一种基于大数据的图像智能识别方法 |
CN115049641A (zh) * | 2022-08-10 | 2022-09-13 | 启东普力马机械有限公司 | 一种用于机械零件异常检测的电数据处理方法及系统 |
CN115272339A (zh) * | 2022-09-29 | 2022-11-01 | 江苏浚荣升新材料科技有限公司 | 一种金属模具的污浊清理方法 |
-
2023
- 2023-04-17 CN CN202310407932.7A patent/CN116386118B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101635031A (zh) * | 2009-08-27 | 2010-01-27 | 上海交通大学 | 小样本人物轮廓特征提取与识别方法 |
WO2020258120A1 (zh) * | 2019-06-27 | 2020-12-30 | 深圳市汇顶科技股份有限公司 | 人脸识别的方法、装置和电子设备 |
CN110458751A (zh) * | 2019-06-28 | 2019-11-15 | 广东智媒云图科技股份有限公司 | 一种基于粤剧图片的面部替换方法、设备及介质 |
US11099275B1 (en) * | 2020-04-29 | 2021-08-24 | Tsinghua University | LiDAR point cloud reflection intensity complementation method and system |
CN111709890A (zh) * | 2020-06-12 | 2020-09-25 | 北京小米松果电子有限公司 | 一种图像增强模型的训练方法、装置及存储介质 |
CN114863189A (zh) * | 2022-07-06 | 2022-08-05 | 青岛场外市场清算中心有限公司 | 一种基于大数据的图像智能识别方法 |
CN115049641A (zh) * | 2022-08-10 | 2022-09-13 | 启东普力马机械有限公司 | 一种用于机械零件异常检测的电数据处理方法及系统 |
CN115272339A (zh) * | 2022-09-29 | 2022-11-01 | 江苏浚荣升新材料科技有限公司 | 一种金属模具的污浊清理方法 |
Non-Patent Citations (4)
Title |
---|
THIAGO CAVALCANTE等: "sympatric frugivorous Neotropical primates: improving ecological niche models using closely-related taxa", BIODIVERSITY AND CONSERVATION, 27 May 2020 (2020-05-27) * |
李炬;: "基于生成对抗网络的人脸灰度图上色", 电脑知识与技术, no. 11, 15 April 2018 (2018-04-15) * |
杨俊东;杨崇;: "基于BP神经网络的图像异常辩识算法设计", 辽宁工程技术大学学报, no. 05, 15 October 2007 (2007-10-15) * |
王家海;张宇;: "基于BP-神经网络零件装配图像检测研究", 南方农机, no. 17, 15 September 2018 (2018-09-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117611752A (zh) * | 2024-01-22 | 2024-02-27 | 卓世未来(成都)科技有限公司 | 一种数字人的3d模型生成方法及系统 |
CN117611752B (zh) * | 2024-01-22 | 2024-04-02 | 卓世未来(成都)科技有限公司 | 一种数字人的3d模型生成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116386118B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Online dynamic gesture recognition for human robot interaction | |
CN109389074B (zh) | 一种基于人脸特征点提取的表情识别方法 | |
CN104268583B (zh) | 基于颜色区域特征的行人重识别方法及系统 | |
CN108256421A (zh) | 一种动态手势序列实时识别方法、系统及装置 | |
CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
CN107330371A (zh) | 3d脸部模型的脸部表情的获取方法、装置和存储装置 | |
CN108563999A (zh) | 一种面向低质量视频图像的人物身份识别方法与装置 | |
CN102103690A (zh) | 一种自动的头发区域分割方法 | |
CN107944431A (zh) | 一种基于运动变化的智能识别方法 | |
Rao et al. | Sign Language Recognition System Simulated for Video Captured with Smart Phone Front Camera. | |
CN110717896A (zh) | 基于显著性标签信息传播模型的板带钢表面缺陷检测方法 | |
US20100111375A1 (en) | Method for Determining Atributes of Faces in Images | |
CN104598888B (zh) | 一种人脸性别的识别方法 | |
CN101131728A (zh) | 一种基于Shape Context的人脸形状匹配方法 | |
CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
CN109325408A (zh) | 一种手势判断方法及存储介质 | |
CN111460884A (zh) | 基于人体跟踪的多人脸识别方法 | |
CN116386118B (zh) | 一种基于人像识别的粤剧匹配化妆系统及其方法 | |
CN111108508A (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
CN108830222A (zh) | 一种基于信息性和代表性主动学习的微表情识别方法 | |
CN110516638A (zh) | 一种基于轨迹和随机森林的手语识别方法 | |
Jindal et al. | Sign Language Detection using Convolutional Neural Network (CNN) | |
Curran et al. | The use of neural networks in real-time face detection | |
Riaz et al. | A model based approach for expressions invariant face recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |