CN110135230B - 表情辨识训练系统及表情辨识训练方法 - Google Patents
表情辨识训练系统及表情辨识训练方法 Download PDFInfo
- Publication number
- CN110135230B CN110135230B CN201811465767.6A CN201811465767A CN110135230B CN 110135230 B CN110135230 B CN 110135230B CN 201811465767 A CN201811465767 A CN 201811465767A CN 110135230 B CN110135230 B CN 110135230B
- Authority
- CN
- China
- Prior art keywords
- expression
- feature
- module
- features
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 306
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000001815 facial effect Effects 0.000 claims abstract description 125
- 238000000605 extraction Methods 0.000 claims abstract description 66
- 239000013598 vector Substances 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 210000000697 sensory organ Anatomy 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 210000004709 eyebrow Anatomy 0.000 description 19
- 206010063659 Aversion Diseases 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 5
- 230000000630 rising effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种表情辨识训练系统及方法。该系统包含训练模块、特征数据库、撷取模块、辨识模块及调整模块。训练模块根据已知脸部影像训练表情特征撷取模型。特征数据库储存已知脸部影像的已知表情特征。撷取模块连续撷取第一脸部影像,表情特征撷取模型根据第一脸部影像输出表情特征。辨识模块比对表情特征与已知表情特征,并据此将表情特征对应到已知表情特征。调整模块调整表情特征撷取模型,以缩小表情特征与对应表情特征征的已知表情特征之间的差值。本揭示的技术在每一次对未标记的脸部影像进行表情特征辨识时,会相应地调整表情特征撷取模型的参数,以使得表情特征撷取模型持续被训练,据此,即可提升表情特征辨识能力,而达到适应性、个人化的目的。
Description
技术领域
本揭示文件是关于一种训练系统及训练方法,尤指一种表情辨识训练系统及表情辨识训练方法。
背景技术
随着科技的进步,脸部辨识的技术已经进展到表情辨识,也就是透过表情辨识系统可以辨识出脸部影像的各种表情,例如高兴、吃惊、悲伤、愤怒、厌恶、惊喜及悲愤等。
习知表情辨识系统是透过机器学习,并利用大量的有标记的影像数据来训练此表情辨识系统,借以使此表情辨识系统能够辨识出脸部影像的各种表情。换言之,此表情辨识系统在训练好之后,除非再次给予有标记的影像数据来做训练,基本上此表情辨识系统的参数不会再变动,因此若有未标记的影像数据输入至此表情辨识系统,则此表情辨识系统有相当大的机率辨识错误。
发明内容
本揭示文件是揭示一种表情辨识训练系统以及表情辨识训练方法。
本揭示文件的一种表情辨识训练包含训练模块、特征数据库、撷取模块、辨识模块及调整模块。训练模块根据已知脸部影像训练表情特征撷取模型。特征数据库储存已知脸部影像的已知表情特征。撷取模块撷取第一脸部影像,表情特征撷取模型根据第一脸部影像输出第一脸部影像的表情特征。辨识模块比对表情特征与已知表情特征,并据此将表情特征对应到已知表情特征其中一种已知表情特征。调整模块调整表情特征撷取模型,以缩小表情特征与已知表情特征之间的差值。
根据本揭示文件的一实施例,表情辨识训练系统还包含影像校准模块,用以调正第一脸部影像以形成第二脸部影像,并锐利化第二脸部影像。表情特征撷取模型根据经锐利化的第二脸部影像辨识表情特征并输出至辨识模块。辨识模块是基于影像校准模块处理后的表情特征与已知表情特征比对。
根据本揭示文件的一实施例,影像校准模块用以让每张人脸影像的五官可以对齐。
根据本揭示文件的一实施例,影像校准模块用以相对于基准面平移第一脸部影像以使得第一脸部影像的鼻尖特征点与基准面的中心点对齐,旋转经平移的第一脸部影像以使得经平移的第一脸部影像的双眼连线与基准面的水平线平行,以形成第二脸部影像。
根据本揭示文件的一实施例,表情特征撷取模型为卷积神经网络(convolutionalneural network)或神经网络(neural network)。
本揭示文件的一种表情辨识训练方法包含根据已知脸部影像训练表情特征撷取模型。储存已知脸部影像的已知表情特征。撷取第一脸部影像,表情特征撷取模型根据第一脸部影像输出第一脸部影像的表情特征。比对表情特征与已知表情特征,并据此将表情特征对应到已知表情特征其中一种已知表情特征。调整表情特征撷取模型,以缩小表情特征与已知表情特征之间的差值。
根据本揭示文件的一实施例,根据第一脸部影像输出表情特征的步骤包含:相对于基准面而调正第一脸部影像以形成第二脸部影像。锐利化第二脸部影像。根据经锐利化的第二脸部影像辨识表情特征。
根据本揭示文件的一实施例,在相对于基准面而调正第一脸部影像以形成第二脸部影像的步骤包含:相对于基准面平移第一脸部影像以使得第一脸部影像的鼻尖特征点与基准面的中心点对齐。旋转经平移的第一脸部影像以使得经平移的第一脸部影像的双眼连线与基准面的水平线平行,以形成第二脸部影像。
根据本揭示文件的一实施例,锐利化第二脸部影像的步骤包含:利用邻近-中心差分影像法(neighbor-center difference images,NCDIs)锐利化第二脸部影像。
根据本揭示文件的一实施例,表情特征撷取模型为卷积神经网络(convolutionalneural network)或神经网络(neural network)。
本揭示文件的技术在每一次对未标记的脸部影像进行表情特征辨识时,会相应地调整表情特征撷取模型的参数,以使得表情特征撷取模型持续被训练,据此,即可提升表情特征辨识能力,而达到适应性、个人化的目的。
附图说明
为让本揭示内容的上述和其他目的、特征、优点与实施例能更明显易懂,所附附图的说明如下:
图1为根据本揭示文件的一实施例所示的表情辨识训练系统的功能方块图;
图2为根据本揭示文件的一实施例所示的表情辨识训练方法的流程图;
图3A为根据本揭示文件的一实施例所示的第一脸部影像的示意图;
图3B为在图3A所示的第一脸部影像中标示关键点的示意图;
图3C为依据图3B所示的关键点在图3A所示的第一脸部影像中框选表情特征的示意图;
图4为根据本揭示文件的另一实施例所示的表情辨识训练系统的功能方块图;
图5为根据本揭示文件的另一实施例所示的表情辨识训练方法的流程图;
图6为图5所示的表情辨识训练方法的步骤S240的进一步步骤的流程图;
图7A为根据本揭示文件的一实施例所示的第一脸部影像与基准面的示意图;
图7B为平移图7A所示的第一脸部影像以使得第一脸部影像中的鼻尖特征点与基准面的中心点对齐的示意图;
图7C为旋转图7B所示的经平移的第一脸部影像以使得经平移的第一脸部影像的双眼连线与基准面的水平线平行而形成第二脸部影像的示意图;
图7D为在图7C所示的第二脸部影像中标示关键点的示意图;
图7E为依据图7D所示的关键点在图7C所示的第二脸部影像中框选表情特征的示意图。
具体实施方式
下文是举实施例配合所附附图作详细说明,以更好地理解本案的态样,但所供给的实施例并非用以限制本案所涵盖的范围,而结构操作的描述非用以限制其执行的顺序,任何由元件重新组合的结构,所产生具有均等功效的装置,皆为本案所涵盖的范围。
请参照图1,其为根据本揭示文件的一实施例所示的表情辨识训练系统100的功能方块图。
表情辨识训练系统100包含训练模块110、特征数据库120、撷取模块130、辨识模块140以及调整模块150。
训练模块110用以根据多个已知脸部影像KFI训练表情特征撷取模型111。
于一实施例中,已知脸部影像KFI可包含具有各种表情的脸部影像,例如高兴、吃惊、悲伤、愤怒、厌恶、惊喜及悲愤等。由于不同表情的已知脸部影像KFI具有不同的已知表情特征KFEF,因此训练模块110可依据不同的已知表情特征KFEF而对已知脸部影像KFI进行训练,进而得到相对应的表情特征撷取模型111。举例来说,若表情为高兴的已知脸部影像KFI,则训练模块110可根据已知脸部影像KFI的已知表情特征KFEF,例如嘴巴特征为嘴角上扬,而产生表情为高兴的表情特征撷取模型111;或者是,若表情为吃惊的已知脸部影像KFI,则训练模块110可根据已知脸部影像KFI的已知表情特征KFEF,例如嘴巴特征为嘴巴张开,而产生表情为吃惊的表情特征撷取模型111。
于一实施例中,表情特征撷取模型111可为卷积神经网络(convolutional neuralnetwork)或神经网络(neural network)。
特征数据库120用以储存已知脸部影像KFI的已知表情特征KFEF,其中已知表情特征KFEF可用特征向量来表示,且对应不同表情的已知表情特征KFEF具有不同的特征向量范围。举例来说,表情为高兴的已知表情特征KFEF具有第一特征向量范围,而表情为吃惊的已知表情特征KFEF具有第二特征向量范围,也就是说落在第一特征向量范围中的特征向量即表示对应此特征向量的已知脸部影像KFI的表情为高兴的,而落在第二特征向量范围中的特征向量即表示对应此特征向量的已知脸部影像KFI的表情为吃惊的。
撷取模块130用以连续撷取多个第一脸部影像FI1,这些第一脸部影像FI1可包含具有各种表情的脸部影像,例如高兴、吃惊、悲伤、愤怒、厌恶、惊喜及悲愤等。
于一实施例中,撷取模块130可为相机、摄影机或录影机等。
表情特征撷取模型111可根据第一脸部影像FI1输出表情特征FEF1,其中表情特征FEF1对应第一脸部影像FI1。换言之,第一脸部影像FI1经过表情特征辨识模型111的辨识之后,可输出第一脸部影像FI1的表情特征FEF1。举例来说,当高兴、吃惊、悲伤、愤怒、厌恶、惊喜及悲愤等的第一脸部影像FI1经过表情特征撷取模型111的辨识之后,表情特征撷取模型111可输出高兴、吃惊、悲伤、愤怒、厌恶、惊喜及悲愤等的表情特征FEF1。
辨识模块140用以比对表情特征FEF1与已知表情特征KFEF,并据此将表情特征FEF1对应到已知表情特征KFEF。以一个表情特征FEF1为例,辨识模块140从已知表情特征KFEF中找出与该表情特征FEF1的特征向量最接近的已知表情特征KFEF的特征向量,并求出该表情特征FEF1的特征向量与所找出的已知表情特征KFEF的特征向量之间的差值。因此,其余的表情特征FEF1亦可依照相同方式求出与其特征向量最接近的已知表情特征KFEF的特征向量,并分别求其余的表情特征FEF1与所找出的已知表情特征KFEF的特征向量之间的差值。进一步地,再将所求出的所有差值经过计算后并加总,即可得到一数值。再者,当该数值接近最小值时,表情特征撷取模型111即可被建立。
调整模块150用以调整表情特征撷取模型111,以缩小表情特征FEF1与已知表情特征KFEF1之间的差值。
应注意的是,训练模块110、特征数据库120、撷取模块130、辨识模块140以及调整模块150可用硬件、软件、固件或其组合来体现。
请一并参照图1及图2。图2为根据本揭示文件的一实施例所示的表情辨识训练方法M100的流程图。图2所示的表情辨识训练方法M100可应用于图1所示的表情辨识训练系统100中。
于步骤S110中,训练模块110根据多个已知脸部影像KFI训练表情特征撷取模型111。
于步骤S120中,特征数据库120储存已知脸部影像KFI的已知表情特征KFEF,例如表情为高兴或吃惊的已知表情特征KFEF。
于步骤S130中,撷取模块130撷取第一脸部影像FI1。具体来说,请一并参照图3A,其为根据本揭示文件的一实施例所示的第一脸部影像FI1的示意图。应注意的是,图3A仅以一个第一脸部影像FI1作为示例。
如图3A所示,第一脸部影像FI1是以表情为高兴的脸部影像作为示例。
于步骤S140中,表情特征撷取模型111可根据第一脸部影像FI1输出第一脸部影像FI1的表情特征FEF1。具体来说,请一并参照图3B及图3C,图3B为在图3A所示的第一脸部影像FI1中标示关键点KP的示意图,图3C为依据图3B所示的关键点KP在图3A所示的第一脸部影像FI1中框选表情特征FEF1的示意图。
如图3B所示,第一脸部影像FI1可通过脸部辨识技术而将左眉、右眉、左眼、右眼、嘴巴、额头、鼻子及脸部轮廓标示出对应的关键点KP;接着,由于第一脸部影像FI1并非正的,因此需要进一步根据鼻尖与双眼连线而将关键点KP进行旋转与平移的校准;最后,再利用椭圆回归来去除背景者或其他不需要的特征,借以将脸部切割出来,并在关键点KP中选定第一关键点KP1。具体来说,于本实施例中,第一关键点KP1的数量有十一个,左眉处与右眉处分别具有三个、左眼处与右眼处分别具有一个以及嘴巴处具有三个。应注意的是,图3B所示的关键点KP及第一关键点KP1的数量及位置仅为示例,并不以此为限。
此外,如图3C所示,可通过左眉、右眉、左眼、右眼及嘴巴的第一关键点KP1的标示,使得表情特征撷取模型111可根据第一关键点KP1而在第一脸部影像FI1中框选表情特征FEF1,其中表情特征FEF1包含左眉特征、右眉特征、左眼特征、右眼特征及嘴巴特征。
再者,由于第一脸部影像FI1为高兴表情,因此表情特征FEF1的左眉特征、右眉特征、左眼特征、右眼特征及嘴巴特征应符合高兴表情的特征,例如嘴巴特征为嘴角上扬状态。当嘴巴特征为嘴较上扬状态时,表示相较于无表情时标示于嘴巴嘴角处的第一关键点KP1的位置将向上移动。
于步骤S150中,辨识模块140比对表情特征FEF1与已知表情特征KFEF,并据此将表情特征FEF1对应到已知表情特征KFEF其中一种已知表情特征KFEF1。具体来说,由于表情特征FEF1为符合高兴表情的特征,因此辨识模块140将自特征数据库120的已知表情特征KFEF中选择符合高兴表情的特征的已知表情特征KFEF1,其中表情特征FEF1与已知表情特征KFEF1之间是具有差值而不完全相同。简言之,表情特征FEF1与已知表情特征KFEF1皆为符合高兴表情的特征,然两者具有些微的差值,例如表情特征FEF1与已知表情特征KFEF1的嘴巴特征皆为嘴角上扬状态,然上扬的幅度并不完全相同。
于步骤S160中,调整模块150调整表情特征撷取模型111,以缩小表情特征FEF1与已知表情特征KFEF1之间的差值。详言之,可通过随机梯度下降法(stochastic gradientdescent,SCD)调整表情特征撷取模型111的相关参数,以缩小表情特征FEF1与已知表情特征KFEF1之间的差值。
经过调整后的表情特征撷取模型111可将需要进行表情特征辨识的脸部影像进行更精确的表情辨识,借以让调整后的表情特征撷取模型111所撷取出来的表情特征FEF1可以和特征数据库120里的已知表情特征KFEF1越接近越好,以达成适应性的目的。
借此,表情特征撷取模型111在每一次对未标记的脸部影像进行表情特征辨识时,调整模块150将会相应地调整表情特征撷取模型111的参数,以使得表情特征撷取模型111持续被训练,进而提高表情特征撷取模型111的表情特征辨识能力,而达到适应性、个人化的目的;此外,更具有可线上调整表情特征撷取模型111的参数的功效;再者,也不易产生概念漂移的问题。
再请参阅图4,其为根据本揭示文件的另一实施例所示的表情辨识训练系统200的功能方块图。
表情辨识训练系统200包含训练模块210、特征数据库220、撷取模块230、辨识模块240、调整模块250以及影像校准模块260。
训练模块210用以根据多个已知脸部影像KFI训练表情特征撷取模型211。
于一实施例中,表情特征撷取模型211可为卷积神经网络(convolutional neuralnetwork)。
特征数据库220用以储存已知脸部影像KFI的已知表情特征KFEF。
撷取模块230用以撷取第一脸部影像FI1。
于一实施例中,撷取模块230可为相机、摄影机或录影机等。
影像校准模块260用以相对于基准面而调正及锐利化第一脸部影像FI1以形成第二脸部影像FI2。在部分实施例中,影像校准模块260用以让每张人脸影像(如:第一脸部影像FI1)的五官可以相互对齐。
表情特征撷取模型211可根据第二脸部影像FI2输出第二脸部影像FI2的表情特征FEF2。换言之,第二脸部影像FI2经过表情特征撷取模型211的辨识之后,可输出第二脸部影像FI2的表情特征FEF2。
辨识模块240用以比对表情特征FEF2与已知表情特征KFEF,并据此将表情特征FEF2对应到已知表情特征KFEF其中一种已知表情特征KFEF2。
调整模块250用以调整表情特征撷取模型211,以缩小第二脸部影像FI2的表情特征FEF2与已知表情特征KFEF2之间的差值。
应注意的是,训练模块210、特征数据库220、撷取模块230、辨识模块240、调整模块250以及影像校准模块260可用硬件、软件、固件或其组合来体现。
请一并参照图4及图5,图4为根据本揭示文件的另一实施例所示的表情辨识训练系统200的功能方块图。图5为根据本揭示文件的另一实施例所示的表情辨识训练方法M200的流程图。
表情辨识训练方法M200的步骤S210至步骤S230与表情辨识训练方法M100的步骤S110至步骤S130大致相同,故不另赘述。以下将仅说明步骤S240至步骤S280。
于步骤S240中,影像校准模块260相对于基准面RS而调正第一脸部影像FI1以形成第二脸部影像FI2。进一步地,请一并参照图6,其为图5所示的表情辨识训练方法M200的步骤S240的进一步步骤的流程图。
步骤S240包含步骤S241以及步骤S242。
于步骤S241中,影像校准模块260相对于基准面RS平移第一脸部影像FI1以使得第一脸部影像FI1的鼻尖特征点NTEP与基准面RS的中心点CP对齐。具体来说,请一并参照图7A及图7B,图7A为根据本揭示文件的一实施例所示的第一脸部影像FI1与基准面RS的示意图,图7B为平移图7A所示的第一脸部影像FI1以使得第一脸部影像FI1中的鼻尖特征点NTEP与基准面RS的中心点CP对齐的示意图。
如图7A所示,第一脸部影像FI1是以表情为高兴的脸部影像作为示例,且第一脸部影像FI1鼻尖特征点NTEP以及双眼连线EL,鼻尖特征点NTEP是位于鼻尖处,双眼连线EL为穿过双眼的线。基准面RS为与第一脸部影像FI1重迭的面,基准面RS具有中心点CP以及穿过中心点CP的水平线HL。
如图7B所示,影像校准模块260平移第一脸部影像FI1,以使得第一脸部影像FI1的鼻尖特征点NTEP与基准面RS的中心点CP对齐。
于步骤S242中,影像校准模块260旋转经平移的第一脸部影像FI1以使得经平移的第一脸部影像FI1的双眼连线EL与基准面RS的水平线HL平行。具体来说,请一并参照图7C,其为旋转图7B所示的经平移的第一脸部影像FI1以使得经平移的第一脸部影像FI1的双眼连线EL与基准面RS的水平线HL平行而形成第二脸部影像FI2的示意图。
如图7C所示,经平移及旋转的第一脸部影像FI1形成第二脸部影像FI2。
于步骤S250中,影像校准模块260利用邻近-中心差分影像法(neighbor-centerdifference images,NCDIs)锐利化第二脸部影像FI2。详言之,影像校准模块260将第二脸部影像FI2中的每一个像素对其周围的八个像素进行差运算而锐利化第二脸部影像FI2。
于步骤S260中,表情特征撷取模型211可根据经锐利化的第二脸部影像FI2输出表情特征FEF2。具体来说,请一并参照图7D及图7E,图7D为在图7C所示的第二脸部影像FI2(尤指经锐利化的第二脸部影像FI2)中标示关键点KP的示意图,图7E为依据图7D所示的关键点KP在图7C所示的第二脸部影像FI2中框选表情特征FEF2的示意图。
如图7D所示,表情特征撷取模型211可通过脸部的轮廓及五官的特性而在第二脸部影像FI2上标示出多个关键点KP,例如在第二脸部影像FI2的左眉、右眉、左眼、右眼、嘴巴、额头、鼻子及脸部轮廓等皆标示有对应的关键点KP,并利用椭圆回归在关键点KP中选定第一关键点KP1。进一步地,于本实施例中,第一关键点KP1的数量有十一个,左眉处与右眉处分别具有三个、左眼处与右眼处分别具有一个以及嘴巴处具有三个。应注意的是,图7D所示的关键点KP及第一关键点KP1的数量及位置仅为示例,并不以此为限。
此外,如图7D所示,可通过左眉、右眉、左眼、右眼及嘴巴的第一关键点KP1的标示,而在第二脸部影像FI2中框选表情特征FEF2,其中表情特征FEF2包含左眉特征、右眉特征、左眼特征、右眼特征及嘴巴特征。
再者,由于第二脸部影像FI2为高兴表情,因此表情特征FEF2的左眉特征、右眉特征、左眼特征、右眼特征及嘴巴特征应符合高兴表情的特征,例如嘴巴特征为嘴角上扬状态。当嘴巴特征为嘴较上扬状态时,表示相较于无表情时标示于嘴巴嘴角处的第一关键点KP1的位置将向上移动。
于步骤S270中,辨识模块240比对表情特征FEF2与已知表情特征KFEF,并据此将表情特征FEF2对应到已知表情特征KFEF其中一种已知表情特征KFEF2。具体来说,由于表情特征FEF2为符合高兴表情的特征,因此辨识模块240将自特征数据库220的已知表情特征KFEF中选择符合高兴表情的特征的已知表情特征KFEF2,其中表情特征FEF2与已知表情特征KFEF2之间是具有差值而不完全相同。简言之,表情特征FEF2与已知表情特征KFEF2皆为符合高兴表情的特征,然两者具有些微的差值,例如表情特征FEF2与已知表情特征KFEF2的嘴巴特征皆为嘴角上扬状态,然上扬的幅度并不完全相同。
于步骤S280中,调整模块250调整表情特征撷取模型211,以缩小表情特征FEF2与已知表情特征KFEF2之间的差值。详言之,可通过随机梯度下降法调整表情特征撷取模型211的相关参数,以缩小表情特征FEF2与已知表情特征KFEF2之间的差值。
经过调整后的表情特征撷取模型211可将需要进行表情特征辨识的脸部影像进行更精确的表情辨识,借以让调整后的表情特征撷取模型211所撷取出来的表情特征FEF2可以和特征数据库220里的已知表情特征KFEF2越接近越好,以达成适应性的目的。
借此,表情特征撷取模型211在每一次对未标记的脸部影像进行表情特征辨识时,调整模块250将会相应地调整表情特征撷取模型211的参数,以使得表情特征撷取模型211持续被训练,进而提高表情特征撷取模型211的表情特征辨识能力,而达到适应性、个人化的目的;此外,更具有可线上调整表情特征撷取模型211的参数的功效;再者,也不易产生概念漂移的问题。
综上所述,本揭示文件的表情辨识训练系统通过训练模块、特征数据库、撷取模块、辨识模块以及调整模块,而使得表情特征撷取模型可以持续被训练,进而提高表情特征撷取模型的表情特征辨识能力,而达到适应性、个人化的目的,更具有可线上调整表情特征撷取模型的参数的功效;再者,也不易产生概念漂移的问题。
虽然本案已以实施例揭露如上,然其并非用以限定本案,任何所属技术领域中具有通常知识者,在不脱离本案的精神和范围内,当可作些许的更动与润饰,故本案的保护范围当视所附的权利要求书所界定的范围为准。
Claims (10)
1.一种表情辨识训练系统,其特征在于,该表情辨识训练系统包含:
一训练模块,用以根据多个已知脸部影像的多个已知表情特征训练一表情特征撷取模型,形成一训练后的表情特征撷取模型;
一特征数据库,用以储存所述多个已知脸部影像的多个已知表情特征;
一撷取模块,用以连续撷取多个第一脸部影像,其中所述多个第一脸部影像均为还未确认脸部表情的脸部影像,该训练后的表情特征撷取模型辨识所述多个第一脸部影像以输出所述多个第一脸部影像的多个表情特征;
一辨识模块,用以比对所述多个第一脸部影像的多个表情特征与所述多个已知表情特征,以将所述多个第一脸部影像的多个表情特征分别对应到具有与所述多个第一脸部影像的多个表情特征的特征向量最接近的所述多个已知表情特征,并计算所述多个第一脸部影像的多个表情特征的特征向量和对应的所述多个已知表情特征的特征向量间的一特征向量差值;以及
一调整模块,用以根据该特征向量差值再次调整已完成训练的该表情特征撷取模型,以缩小所述多个表情特征与对应所述多个表情特征的所述多个已知表情特征之间的差值。
2.根据权利要求1所述的表情辨识训练系统,其特征在于,该表情辨识训练系统还包含:
一影像校准模块,用以调正所述多个第一脸部影像以形成一第二脸部影像,并锐利化该第二脸部影像,该表情特征撷取模型根据经锐利化的该第二脸部影像辨识该表情特征并输出至该辨识模块,该辨识模块是基于该影像校准模块处理后的该表情特征与所述多个已知表情特征比对。
3.根据权利要求2所述的表情辨识训练系统,其特征在于,该影像校准模块用以让每张人脸影像的五官相互对齐。
4.根据权利要求3所述的表情辨识训练系统,其特征在于,该影像校准模块用以相对于一基准面平移各该第一脸部影像以使得各该第一脸部影像的一鼻尖特征点与该基准面的一中心点对齐,旋转经平移的各该第一脸部影像以使得经平移的各该第一脸部影像的一双眼连线与该基准面的一水平线平行,以形成该第二脸部影像。
5.根据权利要求1所述的表情辨识训练系统,其特征在于,该表情特征撷取模型为卷积神经网络(convolutional neural network)或神经网络(neural network)。
6.一种表情辨识训练方法,用在一表情辨识训练系统,其特征在于,该表情辨识训练方法包含:
根据多个已知脸部影像的多个已知表情特征训练一表情特征撷取模型,形成一训练后的表情特征撷取模型;
储存所述多个已知脸部影像的多个已知表情特征;
撷取多个第一脸部影像,其中所述多个第一脸部影像均为还未确认脸部表情的脸部影像;
使用该训练后的表情特征撷取模型辨识所述多个第一脸部影像以输出所述多个第一脸部影像的多个表情特征;
比对所述多个第一脸部影像的多个表情特征与所述多个已知表情特征,以将所述多个第一脸部影像的多个表情特征分別对应到具有与所述多个第一脸部影像的多个表情特征的特征向量最接近的所述多个已知表情特征,并计算所述多个第一脸部影像的多个表情特征的特征向量和对应的所述多个已知表情特征的特征向量间的一特征向量差值;以及
根据该特征向量差值再次调整已完成训练的该表情特征撷取模型,以缩小所述多个表情特征与对应所述多个表情特征的所述多个已知表情特征之间的差值。
7.根据权利要求6所述的表情辨识训练方法,其特征在于,在根据所述多个第一脸部影像输出该表情特征的步骤包含:
相对于一基准面而调正各该第一脸部影像以形成一第二脸部影像;
锐利化该第二脸部影像;以及
根据经锐利化的该第二脸部影像辨识该表情特征。
8.根据权利要求7所述的表情辨识训练方法,其特征在于,在相对于该基准面而调正各该第一脸部影像以形成该第二脸部影像的步骤包含:
相对于该基准面平移各该第一脸部影像以使得各该第一脸部影像的一鼻尖特征点与该基准面的一中心点对齐;以及
旋转经平移的各该第一脸部影像以使得经平移的各该第一脸部影像的一双眼连线与该基准面的一水平线平行,以形成该第二脸部影像。
9.根据权利要求7所述的表情辨识训练方法,其特征在于,锐利化该第二脸部影像的步骤包含:
利用邻近-中心差分影像法(neighbor-center difference images,NCDIs)锐利化该第二脸部影像。
10.根据权利要求6所述的表情辨识训练方法,其特征在于,该表情特征撷取模型为卷积神经网络(convolutional neural network)或神经网络(neural network)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107104796 | 2018-02-09 | ||
TW107104796A TWI711980B (zh) | 2018-02-09 | 2018-02-09 | 表情辨識訓練系統及表情辨識訓練方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110135230A CN110135230A (zh) | 2019-08-16 |
CN110135230B true CN110135230B (zh) | 2024-01-12 |
Family
ID=67541748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811465767.6A Active CN110135230B (zh) | 2018-02-09 | 2018-12-03 | 表情辨识训练系统及表情辨识训练方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10776614B2 (zh) |
CN (1) | CN110135230B (zh) |
TW (1) | TWI711980B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6872742B2 (ja) * | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム |
US10860841B2 (en) * | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
US11106898B2 (en) * | 2018-03-19 | 2021-08-31 | Buglife, Inc. | Lossy facial expression training data pipeline |
CN111507143B (zh) * | 2019-01-31 | 2023-06-02 | 北京字节跳动网络技术有限公司 | 表情图像效果生成方法、装置和电子设备 |
CN111553189A (zh) * | 2020-03-30 | 2020-08-18 | 深圳壹账通智能科技有限公司 | 基于视频信息的数据验证方法、装置及存储介质 |
CN113313020B (zh) * | 2021-05-27 | 2023-04-07 | 成都威爱新经济技术研究院有限公司 | 一种基于虚拟人的无标记面部表情捕获方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1271135A2 (en) * | 2001-06-28 | 2003-01-02 | Waters Investments Limited | System and method for deconvoluting the effect of topography on scanning probe microscopy measurements |
JP2008097657A (ja) * | 2008-01-11 | 2008-04-24 | Canon Inc | 画像処理装置及び方法 |
CN102136069A (zh) * | 2010-01-25 | 2011-07-27 | 华晶科技股份有限公司 | 用于辨识的对象影像校正装置与其方法 |
JP2013196294A (ja) * | 2012-03-19 | 2013-09-30 | Toshiba Corp | 人物画像処理装置、及び人物画像処理方法 |
CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
WO2009128784A1 (en) | 2008-04-14 | 2009-10-22 | Xid Technologies Pte Ltd | Face expressions identification |
TWI430185B (zh) | 2010-06-17 | 2014-03-11 | Inst Information Industry | 臉部表情辨識系統及其辨識方法及其電腦程式產品 |
TWI457872B (zh) | 2011-11-15 | 2014-10-21 | Univ Nat Taiwan Normal | 具人臉表情辨識輔助之測驗系統及方法 |
US20140242560A1 (en) * | 2013-02-15 | 2014-08-28 | Emotient | Facial expression training using feedback from automatic facial expression recognition |
CN104463103B (zh) * | 2014-11-10 | 2018-09-04 | 小米科技有限责任公司 | 图像处理方法及装置 |
CN105654049B (zh) * | 2015-12-29 | 2019-08-16 | 中国科学院深圳先进技术研究院 | 人脸表情识别的方法及装置 |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
US10789456B2 (en) * | 2017-12-28 | 2020-09-29 | Adobe Inc. | Facial expression recognition utilizing unsupervised learning |
-
2018
- 2018-02-09 TW TW107104796A patent/TWI711980B/zh active
- 2018-12-03 CN CN201811465767.6A patent/CN110135230B/zh active Active
-
2019
- 2019-01-23 US US16/255,798 patent/US10776614B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1271135A2 (en) * | 2001-06-28 | 2003-01-02 | Waters Investments Limited | System and method for deconvoluting the effect of topography on scanning probe microscopy measurements |
JP2008097657A (ja) * | 2008-01-11 | 2008-04-24 | Canon Inc | 画像処理装置及び方法 |
CN102136069A (zh) * | 2010-01-25 | 2011-07-27 | 华晶科技股份有限公司 | 用于辨识的对象影像校正装置与其方法 |
JP2013196294A (ja) * | 2012-03-19 | 2013-09-30 | Toshiba Corp | 人物画像処理装置、及び人物画像処理方法 |
CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
Non-Patent Citations (1)
Title |
---|
A Contactless Sport Training Monitor Based on Facial Expression and Remote-PPG;Bing-Fei Wu,et al;《2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC)》;20171008;846-851 * |
Also Published As
Publication number | Publication date |
---|---|
US10776614B2 (en) | 2020-09-15 |
CN110135230A (zh) | 2019-08-16 |
US20190251336A1 (en) | 2019-08-15 |
TW201935317A (zh) | 2019-09-01 |
TWI711980B (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110135230B (zh) | 表情辨识训练系统及表情辨识训练方法 | |
KR102362544B1 (ko) | 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 | |
US11989859B2 (en) | Image generation device, image generation method, and storage medium storing program | |
US8515180B2 (en) | Image data correction apparatus and method using feature points vector data | |
US11836880B2 (en) | Adjusting a digital representation of a head region | |
CN113205040A (zh) | 人脸图像处理方法、装置和电子设备 | |
US20070292019A1 (en) | Learning method for detectors, face detection method, face detection apparatus, and face detection program | |
KR101980360B1 (ko) | 컨볼루션 신경망을 이용한 객체 인식 장치 및 방법 | |
CN109937434B (zh) | 图像处理方法、装置、终端和存储介质 | |
CN111222433B (zh) | 自动人脸稽核方法、系统、设备及可读存储介质 | |
CN112214773B (zh) | 基于隐私保护的图像处理方法、装置和电子设备 | |
CN110852310A (zh) | 三维人脸识别方法、装置、终端设备及计算机可读介质 | |
CN111582027B (zh) | 身份认证方法、装置、计算机设备和存储介质 | |
CN111898571A (zh) | 动作识别系统及方法 | |
CN114270417A (zh) | 能够更新注册人脸模板的人脸识别系统及方法 | |
CN110321778B (zh) | 一种人脸图像处理方法、装置和存储介质 | |
JP7421652B2 (ja) | オブジェクトの真正性を識別する方法 | |
JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
KR101484003B1 (ko) | 얼굴 분석 평가 시스템 | |
CN111860045A (zh) | 人脸换脸方法、装置、设备及计算机存储介质 | |
JP5051671B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2020248789A1 (en) | Method and system for facial landmark detection using facial component-specific local refinement | |
CN111241870A (zh) | 一种终端设备及其脸部图像的识别方法、识别系统 | |
CN113837020B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
KR101185229B1 (ko) | 입력 영상 변환을 이용한 얼굴 인식 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |