CN112597914A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN112597914A
CN112597914A CN202011569209.1A CN202011569209A CN112597914A CN 112597914 A CN112597914 A CN 112597914A CN 202011569209 A CN202011569209 A CN 202011569209A CN 112597914 A CN112597914 A CN 112597914A
Authority
CN
China
Prior art keywords
pixel point
facial expression
image
expression image
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011569209.1A
Other languages
English (en)
Other versions
CN112597914B (zh
Inventor
张津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202011569209.1A priority Critical patent/CN112597914B/zh
Publication of CN112597914A publication Critical patent/CN112597914A/zh
Application granted granted Critical
Publication of CN112597914B publication Critical patent/CN112597914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像处理方法及装置，旨在降低环境因素对识别结果的影响。该图像处理方法包括模型训练过程和图像识别过程，其中，模型训练过程包括：获取训练图像数据，训练图像数据包括至少一张人脸表情图像，和，与人脸表情图像对应的表情标签，表情标签表示人脸表情图像对应的表情，人脸表情图像包括至少一个像素点；提取至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合，灰度变化特征包集合包括至少一个像素点中每个像素点的灰度变化特征，灰度变化特征用于体现像素点沿各个方向的灰度变化趋势；依据至少一张人脸表情图像中每张人脸表情图像对应的表情标签和灰度变化特征集合进行训练，得到图像处理模型。

Description

一种图像处理方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法及装置。
背景技术
微表情是一种持续时间短且一闪而过的面部表情，持续时间约1/25秒至1/5秒，是人类试图压抑或者隐藏真实情感时泄露的不能自主且不易被观察到的面部表情。与人们有意识做出的表情相比，微表情可以体现出人们真实的情感和态度。通过对人们的微表情进行分析，可以准确分析出人们内心的真实情感，在临床心理学、医学、国家安全等许多领域都有广泛的应用。
为了准确地识别出人们的微表情，目前大多采用人脸识别技术进行识别。在进行微表情识别时，可以先采集人脸表情图像，并对人脸表情图像进行特征提取，再将提取到的特征输入模型，得到识别结果。
现有的微表情识别技术大多利用局部二值模式(Local Binary Pattern，LBP)特征或中心二值模式(centralized binary patterns，CBP)特征作为模型的输入，一定程度上可以体现人脸肌肉运动的趋势。但是LBP特征和CBP特征受光照、遮挡物或噪音等环境因素的影响较大，导致识别结果准确性较差。
发明内容
有鉴于此，本申请实施例提供了一种图像处理方法及装置，旨在降低环境因素对识别结果的影响。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括模型训练过程和图像识别过程，其中，
所述模型训练过程包括：
获取训练图像数据，所述训练图像数据包括至少一张人脸表情图像，和，与所述人脸表情图像对应的表情标签，所述表情标签表示所述人脸表情图像对应的表情，所述人脸表情图像包括至少一个像素点；
提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合，所述灰度变化特征包集合包括所述至少一个像素点中每个像素点的灰度变化特征，所述灰度变化特征用于体现所述像素点沿各个方向的灰度变化趋势；
依据所述至少一张人脸表情图像中每张人脸表情图像对应的表情标签和灰度变化特征集合进行训练，得到图像处理模型；
所述图像识别过程包括：
获取待识别的人脸表情图像；
提取所述待识别的人脸表情图像的灰度变化特征集合，所述灰度变化特征集合包括所述待识别的人脸表情图像中每个像素点的灰度变化特征；
利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。
可选地，所述至少一个像素点包括第一像素点，所述提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合包括提取第一像素点的灰度变化特征；
所述提取第一像素点的灰度变化特征包括：
获取第一像素点的灰度值；
根据所述灰度值计算所述第一像素点的对称幅值二值模式SMBP特征和中心二值模式CBP特征；
根据所述第一像素点的SMBP特征和CBP特征确定所述第一像素点的灰度变化特征。
可选地，所述第一像素点的SMBP特征是通过如下公式计算得到的：
Figure BDA0002862230850000021
Figure BDA0002862230850000022
Figure BDA0002862230850000023
其中，gc为第一像素点的灰度值，gi表示第i个近邻像素点的灰度值，n为近邻像素点的个数，所述近邻像素点为分布在以gc为中心点，半径为R的环上的像素点。
可选地，所述第一像素点的CBP特征是通过如下公式计算得到的：
Figure BDA0002862230850000031
其中，gc为第一像素点的灰度值，gi表示第i个近邻像素点的灰度值，n为近邻像素点的个数，所述近邻像素点为分布在以gc为中心点，半径为R的环上的像素点。
可选地，所述训练图像数据包括人脸表情图像序列，所述人脸表情图像序列包括多个按时间顺序排列的人脸表情图像。
可选地，所述近邻像素点包括第一近邻像素点和第二近邻像素点，所述第一近邻像素点为分布在第一平面上以第一像素点为中心点，半径为R的环上的像素点，所述第二近邻像素点为分布在第二平面上以第一像素点为中心点，半径为R的环上的像素点；
像素点在所述第一平面的横坐标对应所述像素点在所述人脸图像中的横坐标，像素点在所述第一平面的纵坐标对应所述像素点在所述人脸图像中的纵坐标；
像素点在所述第二平面的横坐标对应所述像素点在所述人脸图像中的横坐标，像素点在所述第二平面的纵坐标对应所述像素点所属的人脸表情图像在所述人脸表情图像序列中的顺序。
可选地，所述提取第一像素点的灰度变化特征包括：
提取所述第一像素点的第一SMBP特征和第二SMBP特征，所述第一像素点的第一SMBP特征是根据所述第一像素点的第一近邻像素点确定的，所述第一像素点的第二SMBP特征是根据所述第一像素点的第二近邻像素点确定的；
提取所述第一为像素点的第一CBP特征和第二CBP特征，所述第一像素点的第一CBP特征是根据所述第一像素点的第一近邻像素点确定的，所述第一像素点的第二CBP特征是根据所述第一像素点的第二近邻像素点确定的。
可选地，所述至少一张人脸表情图像包括第一人脸表情图像序列；所述第一人脸表情图像序列为相同对象的多个按时间顺序排列的人脸表情图像；
所述提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合包括提取所述第一人脸标签图像序列的灰度变化特征集合；
所述提取所述第一人脸表情图像序列的灰度变化特征集合包括：
提取所述第一人脸表情图像序列的第一SMBP特征集合和第二SMBP特征集合；所述第一SMBP特征集合包括至少一个第一SMBP特征，所述第二SMBP特征集合包括至少一个第二SMBP特征；
提取所述第一人脸表情图像序列的第一CBP特征集合和第二CBP特征集合；所述第一CBP特征集合包括至少一个第一CBP特征，所述第二CBP特征集合包括至少一个第二CBP特征；
根据所述第一SMBP特征集合确定第一SMBP特征矩阵，根据所述第二SMBP特征集合确定第二SMBP特征矩阵；
根据所述第一CBP特征集合确定第一CBP特征矩阵；根据所述第二CBP特征集合确定第二CBP特征矩阵；
对所述第一SMBP特征矩阵和所述第一CBP特征矩阵求和，得到第一参考矩阵；
对所述第二SMBP特征矩阵和所述第二CBP特征矩阵求和，得到第二参考矩阵；
将所述第一参考矩阵和所述第二参考矩阵合并，得到所述第一人脸表情图像序列的灰度变化特征集合。
可选地，所述将所述第一参考矩阵和所述第二参考矩阵合并包括：
获取第一修正系数和第二修正系数；
将所述第一参考矩阵与所述第一修正系数相乘，得到第三参考矩阵；
将所述第二参考矩阵与所述第二修正系数相乘，得到第四参考矩阵；
将所述第三参考矩阵和所述第四参考矩阵合并。
第二方面，本申请实施例提供了一种图像处理装置，所述方法模型训练单元和图像识别单元，其中，
所述模型训练单元包括：获取模块，用于获取训练图像数据，所述训练图像数据包括至少一张人脸表情图像，和，与所述人脸表情图像对应的表情标签，所述表情标签表示所述人脸表情图像对应的表情，所述人脸表情图像包括至少一个像素点；提取模块，用于提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合，所述灰度变化特征包集合包括所述至少一个像素点中每个像素点的灰度变化特征，所述灰度变化特征用于体现所述像素点沿各个方向的灰度变化趋势；训练模块，用于依据所述至少一张人脸表情图像中每张人脸表情图像对应的表情标签和灰度变化特征集合进行训练，得到图像处理模型；
所述图像识别单元包括：获取模块，用于获取待识别的人脸表情图像；提取模块，用于提取所述待识别的人脸表情图像的灰度变化特征集合，所述灰度变化特征集合包括所述待识别的人脸表情图像中每个像素点的灰度变化特征；处理模块，用于利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。
第三方面，本申请实施例提供了一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器，用于存储指令；所述处理器，用于运行存储于所述存储器的所述指令，以使所述设备执行前述第一方面所述的图像处理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，可以使得所述计算机执行前述第一方面所述的图像处理方法。
本申请实施例提供了一种图像处理方法及装置，包括模型训练过程和图像识别过程。其中，在进行模型训练时，可以先获取预设的训练图像集合，该集合中包括至少一个章人脸表情图像和对应的表情标签。该表情标签标识人脸表情图像对应的表情，人脸表情图像包括至少一个像素点。接着，可以训练图像集合中每张人脸表情图像的灰度变化特征集合。灰度变化特征集合包括至少一个灰度变化特征，表示该人脸表情图像中每个像素点沿各个方向的灰度变化趋势。根据每张人脸表情对应的表情标签和灰度变化特征集合进行训练，得到用于识别人脸微表情的图像处理模型。在进行图像识别时，可以先获取待识别的人脸表情图像。然后提取所述待识别的人脸表情图像的灰度变化特征集合，再利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。由于光照等环境因素大多会对整个图像进行影响，通过各个方向的灰度变化趋势可以有效地避免环境因素的影响。如此，相较于传统技术，利用人脸表情图像的灰度变化特征训练图像处理模型，避免了环境因素的影响。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法中模型训练过程的流程示意图；
图2为本申请实施例提供的图像处理方法中图像识别过程的流程示意图；
图3为本申请实施例提供的图像处理装置的一种结构示意图。
具体实施方式
目前，在识别人脸微表情时，可以提取人脸表情图像的CBP特征或LBP特征，并依据人脸表情图像的CBP特征或LBP特征对人脸表情图像的微表情进行识别。CBP特征和LBP特征可以体现人脸表情图像中各个像素点的具体细节，即人脸表情图像中包含的细节信息。通过对这些细节信息进行分析，可以相对准确地确定人脸表情图像的微表情，具有一定的识别精度。
但是，也正是因为由于LBP特征和CBP特征包括人脸表情图像的细节信息，CBP特征和LBP特征很容易受到光照等环境因素的影响，导致微表情识别精度下降。
为了减小环境因素对微表情识别结果的影响，本申请实施例提供了一种图像处理方法和装置。其中，该图像处理方法可以包括模型训练过程和图像识别过程，下面分别针对这两个过程进行介绍。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先以介绍本申请实施例提供的模型训练过程。参见图1，图1为本申请实施例提供的图像处理方法中模型训练过程的流程示意图，包括：
S101：获取训练图像数据。
在本申请实施例中，可以先从数据库中获取训练图像数据。其中，训练图像数据可以包括至少一张人脸表情图像和与该至少一张人脸表情图像中每张人脸表情图像对应的表情标签。其中，人脸表情图像由至少一个像素组成，可以是对人脸进行拍摄得到的，表情标签表示人脸图像对应的微表情，例如可以包括开心、愤怒等。
在本申请实施例中，还可以对人脸表情图像进行预处理，例如可以对人脸表情图像进行欧拉放大、去噪、尺寸归一化等操作。得到统一格式、统一大小的人脸表情图像，以便后续进行特征提取。
S102：提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合。
在本申请实施例中，可以对训练图像数据中每张人脸表情图像进行提取，得到每张人脸表情图像的灰度变化特征集合，表示该人脸表情图像中每个像素点的相邻像素点沿各个方向的灰度变化趋势。其中，灰度变化特征集合包括至少一个灰度变化特征，每个灰度变化特征对应人脸表情图像中一个像素点沿各个方向的变化趋势。例如，灰度变化特征可以包括像素点周围的像素点沿顺时针方向的变化特征。
假设前述至少一个像素点包括第一像素点，以提取第一像素点的灰度变化特征为例进行说明。
在提取第一像素点的灰度变化特征时，可以先获取第一像素点的灰度值。例如可以获取第一像素点的RGB色彩模式值，然后将第一像素点的R值、G值和B值相加，得到第一像素点的灰度值。在确定第一像素点的灰度值后，可以根据第一像素点的灰度值计算第一像素点的灰度变化特征。可选地，在本申请实施例中，可以根据第一像素点的对称幅值二值模式(Symmetry Magnitude Binary Patterns，SMBP)特征和第一像素点的中心二值模式(Centered Binary Patterns，CBP)特征计算第一像素的灰度变化特征。
具体地，该SMBP特征可以通过如下公式计算得到：
Figure BDA0002862230850000071
Figure BDA0002862230850000081
Figure BDA0002862230850000082
其中，gc为第一像素点的灰度值，gi表示第i个近邻像素点的灰度值，n为近邻像素点的个数，所述近邻像素点为分布在以gc为中心点，半径为R的环上的像素点。
通过对以上公式进行分析可知，计算SMBP特征的公式中包括第一像素点周边的像素点gi的灰度值与该像素点gi周边的像素点gi+n/2的灰度值之差，因此第一像素点的SMBP特征能够体现第一像素点周围的像素点的灰度值沿各个方向的变化趋势。
该CBP特征可以通过如下公式计算得到：
Figure BDA0002862230850000083
其中，gc为第一像素点的灰度值，gi表示第i个近邻像素点的灰度值，n为近邻像素点的个数，所述近邻像素点为分布在以gc为中心点，半径为R的环上的像素点。
通过对以上公式进行分析可知，计算CBP特征的公式中包括第一像素点周边的像素点gi的灰度值与第一像素点gc的灰度值之和，因此第一像素点的CBP特征能够体现第一像素点的灰度与第一像素点周围的像素点的灰度值的大小关系。
如此，根据第一像素点的CBP特征和第一像素点的SMBP特征计算第一像素点的灰度变化特征，得到的灰度变化特征可以体现出第一像素点沿各个方向的灰度值变化趋势。
需要说明的是，根据CBP特征和SMBP特征确定灰度变化特征仅仅是本申请实施例给出的一种实现方式。在一些其他的实现方式中，还可以将第一像素点的SMBP特征确定为第一像素点的灰度变化特征。
由于微表情是人脸在运动过程中做出的表情，在一些可能的实现方式中，前述训练图像数据可以包括人脸表情图像序列。该人脸表情图像包括多个按时间顺序排列的人脸表情图像。例如可以包括对同一模特的脸部表情连续拍摄的多帧图像。这样，根据人脸表情图像序列，可以更准确第确定人脸的运动方向，提高微表情识别的准确率。
当训练图像数据包括对同一模特的脸部表情连续拍摄得到的多帧图像时，前述第一像素点的相邻像素点可以是空间维度上与第一像素点相邻的像素点，也可以是时间维度上与第一像素点相邻的像素点。
人脸表情图像为二维图像，因此可以将人脸表情图像的横坐标作为X轴，纵坐标称为Y轴。显然，X轴与Y轴都对应像素点的空间维度。相应地，可以根据人脸表情图像序列与时间建立T轴，T轴表示人脸表情图像中某像素点的灰度在时间维度上的变化趋势。
举例说明，假设人脸表情图像序列中第一张人脸表情图像上第一像素点的灰度值为100，第一张人脸表情图像上第一像素点的灰度值为200。那么第一像素点在T轴上t＝1的位置对应的灰度值为100，t＝2的位置对应的灰度值为200。
在确定第一像素点的灰度变化特征时，可以依据人脸表情图像序列建立第一平面和第二平面。其中，第一平面为X轴和Y轴组成的平面。即，像素点在第一平面的横坐标对应该像素点在人脸图像中的横坐标；像素点在第一平面的纵坐标对应该素点在人脸图像中的纵坐标。第二平面为X轴和T轴组成的平面。像素点在第二平面的横坐标对应该像素点在人脸图像中的横坐标，像素点在第二平面的纵坐标对应该像素点所属的人脸表情图像在该人脸表情图像序列中的顺序。
相应地，在提取第一像素点的灰度变化特征时，可以分别提取第一像素点在XY平面上的SMBP特征和CBP特征，以及第一像素点在XT平面上的SMBP特征和CBP特征。第一像素点在XY平面上的SMBP特征和CBP特征可以被称为第一SMBP特征和第一CBP特征，在XT平面上的SMBP特征和CBP特征可以被称为第二SMBP特征和第二CBP特征。
在第一SMBP特征和第一CBP特征中，第一像素点gc的近邻像素点为分布在第一平面上以为gc为中心点，半径为R的环上的像素点。在第二SMBP特征和第二CBP特征中，第一像素点gc的近邻像素点为分布在第二平面上以为gc为中心点，半径为R的环上的像素点。
上面介绍了提取第一像素点的灰度变化特征的方法，下面介绍提取第一人脸表情图像序列的灰度变化特征集合的方法。其中，第一人脸表情图像序列为同一对象的多个按时间顺序排列的人脸表情图像，例如对同一模特进行拍摄得到的多帧图像。
在提取第一人脸表情图像序列的灰度变化特征集合时，可以分别提取第一人脸表情图像序列的第一SMBP特征集合、第一CBP特征集合、第二SMBP特征集合和第二CBP特征集合。其中，第一SMBP特征集合包括至少一个第一SMBP特征，表示第一人脸表情图像序列中每张人脸表情图像中各个像素点在XY平面上的SMBP特征；第一CBP特征集合包括至少一个第一CBP特征，表示第一人脸表情图像序列中每张人脸表情图像中各个像素点在XY平面上的CBP特征。第二SMBP特征集合包括至少一个第二SMBP特征，表示第一人脸表情图像序列中每行像素点在XT平面上的SMBP特征；第二CBP特征集合包括至少一个第二CBP特征，表示第一人脸表情图像序列中每行像素点在XT平面上的CBP特征。
接着，可以根据第一SMBP特征集合确定第一SMBP特征矩阵，根据第二SMBP特征集合确定第二SMBP特征矩阵，根据述第一CBP特征集合确定第一CBP特征矩阵；根据述第二CBP特征集合确定第二CBP特征矩阵。然后分别对第一SMBP特征矩阵和第一CBP特征矩阵求和，得到第一参考矩阵；对第二SMBP特征矩阵和第二CBP特征矩阵求和，得到第二参考矩阵。在确定将第一参考矩阵和第二参考矩阵后，可以将这两个矩阵合并，得到所述第一人脸表情图像序列的灰度变化特征集合。
举例说明，假设第一SMBP特征矩阵用Ha1表示，第二SMBP特征矩阵用Ha2表示，第一CBP特征矩阵用Hb1表示，第二CBP特征矩阵用Hb2表示，灰度变化特征集合用H表示。那么上述过程可以表示为：
H1＝Ha1+Hb1
H2＝Ha2+Hb2
H＝[H1,H2]
可选地，该灰度变化特征集合可以被称为基于对称幅值中心化二值模式的正交三平面算法(Symmetry Magnitude Centered Binary Pattern Three Orthogonal Planes，SMCBP-TOP)特征。
可选地，考虑到不同平面的特征能够体现微表情的程度不同，在一些可能的实现方式中，可以利用修正系数对矩阵进行调整。具体地，技术人员可以预先设置第一修正系数和第二修正系数，例如XY平面的权重和XT平面的权重。那么，在矩阵合并前，可以将第一参考矩阵与第一修正系数相乘，得到第三参考矩阵；将第二参考矩阵与第二修正系数相乘，得到第四参考矩阵，再将第三参考矩阵与第四参考矩阵合并，得到第一人脸表情图像速率的灰度变化特征集合。
举例说明，假设第一修正系数用a表示，第一修正系数用b表示。那么上述过程可以表示为：
H＝[a*H1,b*H2]
可选地，该灰度变化特征集合可以被称为基于对称幅值中心化二值模式的加权正交三平面算法(Symmetry Magnitude Centered Binary Patterns Weighted ThreeOrthogonal Planes，SMCBP-WTOP)特征。
需要说明的是，上述实施例中以XY和XT两个平面上的特征为例进行说明，并不代表本申请实施例只能应用于XY和XT这两个平面。可选地，还可以分别提取XY、XT和YT三个平面上的SMBP特征和CBP特征，本申请实施例对此不作限定。
S103：依据所述至少一张人脸表情图像中每张人脸表情图像对应的表情标签和灰度变化特征集合进行训练，得到图像处理模型。
在训练图像数据中每张人脸表情图像对应的灰度变化特征后，可以根据每张人脸表情图像的灰度变化特征和该人脸表情图像对应的表情标签进行训练，得到图像处理模型。可选地，可以使用支持向量机(Support Vector Machine,SVM)分类器对灰度变化特征和表情标签进行学习，得到图像处理模型。在一些可能的实现方式中，为了提升模型的准确性，还可以在得到图像处理模型后利用测试集对图像处理模型进行测试。测试机包括至少一个人脸表情图像和对应的表情标签。
上面介绍了图像处理模型的训练方法，下面介绍如何利用该图像处理模型进行人脸微表情识别。参见图2，图2为本申请实施例提供的图像处理方法中图像识别过程的流程示意图，包括：
S201：获取待识别的人脸表情图像。
在本申请实施例中，获取对待识别的人脸表情图像进行识别后，可以对待识别的人脸表情图像进行预处理。例如对待识别的人脸表情图像的尺寸进行裁剪，以使待识别的人脸表情图像的尺寸符合图像处理模型的需求。
S202：提取所述待识别的人脸表情图像的灰度变化特征集合。
在接收到待识别的人脸表情图像后，可以先提取待识别的人脸表情图像的灰度变化特征集合。具体提取方式可以参见步骤S102对应实施例的描述，这里不再赘述。
S203：利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。
在得到待识别的人脸表情图像的灰度变化特征集合后，可以将该灰度变化特征集合输入图像处理模型，从而利用图像处理模型识别待识别的人脸表情图像中的人脸微表情。
本申请实施例提供了一种图像处理方法，包括模型训练过程和图像识别过程。其中，在进行模型训练时，可以先获取预设的训练图像集合，该集合中包括至少一个章人脸表情图像和对应的表情标签。该表情标签标识人脸表情图像对应的表情，人脸表情图像包括至少一个像素点。接着，可以训练图像集合中每张人脸表情图像的灰度变化特征集合。灰度变化特征集合包括至少一个灰度变化特征，表示该人脸表情图像中每个像素点沿各个方向的灰度变化趋势。根据每张人脸表情对应的表情标签和灰度变化特征集合进行训练，得到用于识别人脸微表情的图像处理模型。在进行图像识别时，可以先获取待识别的人脸表情图像。然后提取所述待识别的人脸表情图像的灰度变化特征集合，再利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。由于光照等环境因素大多会对整个图像进行影响，通过各个方向的灰度变化趋势可以有效地避免环境因素的影响。如此，相较于传统技术，利用人脸表情图像的灰度变化特征训练图像处理模型，避免了环境因素的影响。
以上为本申请实施例提供图像处理方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的上述装置进行介绍。
参见图3所示的图像处理装置的结构示意图，该装置300包括模型训练单元310和图像识别单元320，其中，
所述模型训练单元310包括：
获取模块311，用于获取训练图像数据，所述训练图像数据包括至少一张人脸表情图像，和，与所述人脸表情图像对应的表情标签，所述表情标签表示所述人脸表情图像对应的表情，所述人脸表情图像包括至少一个像素点。
提取模块312，用于提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合，所述灰度变化特征包集合包括所述至少一个像素点中每个像素点的灰度变化特征，所述灰度变化特征用于体现所述像素点沿各个方向的灰度变化趋势。
训练模块313，用于依据所述至少一张人脸表情图像中每张人脸表情图像对应的表情标签和灰度变化特征集合进行训练，得到图像处理模型。
所述图像识别单元320包括：
获取模块321，用于获取待识别的人脸表情图像。
提取模块322，用于提取所述待识别的人脸表情图像的灰度变化特征集合，所述灰度变化特征集合包括所述待识别的人脸表情图像中每个像素点的灰度变化特征。
处理模块323，用于利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。
本申请实施例提供了一种图像处理装置，包括模型训练过程和图像识别过程。其中，在进行模型训练时，可以先获取预设的训练图像集合，该集合中包括至少一个章人脸表情图像和对应的表情标签。该表情标签标识人脸表情图像对应的表情，人脸表情图像包括至少一个像素点。接着，可以训练图像集合中每张人脸表情图像的灰度变化特征集合。灰度变化特征集合包括至少一个灰度变化特征，表示该人脸表情图像中每个像素点沿各个方向的灰度变化趋势。根据每张人脸表情对应的表情标签和灰度变化特征集合进行训练，得到用于识别人脸微表情的图像处理模型。在进行图像识别时，可以先获取待识别的人脸表情图像。然后提取所述待识别的人脸表情图像的灰度变化特征集合，再利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。由于光照等环境因素大多会对整个图像进行影响，通过各个方向的灰度变化趋势可以有效地避免环境因素的影响。如此，相较于传统技术，利用人脸表情图像的灰度变化特征训练图像处理模型，避免了环境因素的影响。
关于本申请实施例提供的图像处理装置300的其余描述可以参见前述方法实施例部分，这里不再赘述。
本申请实施例中提到的“第一图像”、“第二图像”等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括模型训练过程和图像识别过程，其中，
所述模型训练过程包括：
获取训练图像数据，所述训练图像数据包括至少一张人脸表情图像，和，与所述人脸表情图像对应的表情标签，所述表情标签表示所述人脸表情图像对应的表情，所述人脸表情图像包括至少一个像素点；
提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合，所述灰度变化特征包集合包括所述至少一个像素点中每个像素点的灰度变化特征，所述灰度变化特征用于体现所述像素点沿各个方向的灰度变化趋势；
依据所述至少一张人脸表情图像中每张人脸表情图像对应的表情标签和灰度变化特征集合进行训练，得到图像处理模型；
所述图像识别过程包括：
获取待识别的人脸表情图像；
提取所述待识别的人脸表情图像的灰度变化特征集合，所述灰度变化特征集合包括所述待识别的人脸表情图像中每个像素点的灰度变化特征；
利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。
2.根据权利要求1所述的方法，其特征在于，所述至少一个像素点包括第一像素点，所述提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合包括提取第一像素点的灰度变化特征；
所述提取第一像素点的灰度变化特征包括：
获取第一像素点的灰度值；
根据所述灰度值计算所述第一像素点的对称幅值二值模式SMBP特征和中心二值模式CBP特征；
根据所述第一像素点的SMBP特征和CBP特征确定所述第一像素点的灰度变化特征。
3.根据权利要求2所述的方法，其特征在于，所述第一像素点的SMBP特征是通过如下公式计算得到的：
Figure FDA0002862230840000021
Figure FDA0002862230840000022
Figure FDA0002862230840000023
其中，gc为第一像素点的灰度值，gi表示第i个近邻像素点的灰度值，n为近邻像素点的个数，所述近邻像素点为分布在以gc为中心点，半径为R的环上的像素点。
4.根据权利要求3所述的方法，其特征在于，所述第一像素点的CBP特征是通过如下公式计算得到的：
Figure FDA0002862230840000024
其中，gc为第一像素点的灰度值，gi表示第i个近邻像素点的灰度值，n为近邻像素点的个数，所述近邻像素点为分布在以gc为中心点，半径为R的环上的像素点。
5.根据权利要求4所述的方法，其特征在于，所述训练图像数据包括人脸表情图像序列，所述人脸表情图像序列包括多个按时间顺序排列的人脸表情图像。
6.根据权利要求5所述的方法，其特征在于，所述近邻像素点包括第一近邻像素点和第二近邻像素点，所述第一近邻像素点为分布在第一平面上以第一像素点为中心点，半径为R的环上的像素点，所述第二近邻像素点为分布在第二平面上以第一像素点为中心点，半径为R的环上的像素点；
像素点在所述第一平面的横坐标对应所述像素点在所述人脸图像中的横坐标，像素点在所述第一平面的纵坐标对应所述像素点在所述人脸图像中的纵坐标；
像素点在所述第二平面的横坐标对应所述像素点在所述人脸图像中的横坐标，像素点在所述第二平面的纵坐标对应所述像素点所属的人脸表情图像在所述人脸表情图像序列中的顺序。
7.根据权利要求6所述的方法，其特征在于，所述提取第一像素点的灰度变化特征包括：
提取所述第一像素点的第一SMBP特征和第二SMBP特征，所述第一像素点的第一SMBP特征是根据所述第一像素点的第一近邻像素点确定的，所述第一像素点的第二SMBP特征是根据所述第一像素点的第二近邻像素点确定的；
提取所述第一为像素点的第一CBP特征和第二CBP特征，所述第一像素点的第一CBP特征是根据所述第一像素点的第一近邻像素点确定的，所述第一像素点的第二CBP特征是根据所述第一像素点的第二近邻像素点确定的。
8.根据权利要求7所述方法，其特征在于，所述至少一张人脸表情图像包括第一人脸表情图像序列；所述第一人脸表情图像序列为相同对象的多个按时间顺序排列的人脸表情图像；
所述提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合包括提取所述第一人脸标签图像序列的灰度变化特征集合；
所述提取所述第一人脸表情图像序列的灰度变化特征集合包括：
提取所述第一人脸表情图像序列的第一SMBP特征集合和第二SMBP特征集合；所述第一SMBP特征集合包括至少一个第一SMBP特征，所述第二SMBP特征集合包括至少一个第二SMBP特征；
提取所述第一人脸表情图像序列的第一CBP特征集合和第二CBP特征集合；所述第一CBP特征集合包括至少一个第一CBP特征，所述第二CBP特征集合包括至少一个第二CBP特征；
根据所述第一SMBP特征集合确定第一SMBP特征矩阵，根据所述第二SMBP特征集合确定第二SMBP特征矩阵；
根据所述第一CBP特征集合确定第一CBP特征矩阵；根据所述第二CBP特征集合确定第二CBP特征矩阵；
对所述第一SMBP特征矩阵和所述第一CBP特征矩阵求和，得到第一参考矩阵；
对所述第二SMBP特征矩阵和所述第二CBP特征矩阵求和，得到第二参考矩阵；
将所述第一参考矩阵和所述第二参考矩阵合并，得到所述第一人脸表情图像序列的灰度变化特征集合。
9.根据权利要求8所述的方法，其特征在于，所述将所述第一参考矩阵和所述第二参考矩阵合并包括：
获取第一修正系数和第二修正系数；
将所述第一参考矩阵与所述第一修正系数相乘，得到第三参考矩阵；
将所述第二参考矩阵与所述第二修正系数相乘，得到第四参考矩阵；
将所述第三参考矩阵和所述第四参考矩阵合并。
10.一种图像处理装置，其特征在于，所述方法模型训练单元和图像识别单元，其中，
所述模型训练单元包括：
获取模块，用于获取训练图像数据，所述训练图像数据包括至少一张人脸表情图像，和，与所述人脸表情图像对应的表情标签，所述表情标签表示所述人脸表情图像对应的表情，所述人脸表情图像包括至少一个像素点；
提取模块，用于提取所述至少一张人脸表情图像中每张人脸表情图像的灰度变化特征集合，所述灰度变化特征包集合包括所述至少一个像素点中每个像素点的灰度变化特征，所述灰度变化特征用于体现所述像素点沿各个方向的灰度变化趋势；
训练模块，用于依据所述至少一张人脸表情图像中每张人脸表情图像对应的表情标签和灰度变化特征集合进行训练，得到图像处理模型；
所述图像识别单元包括：
获取模块，用于获取待识别的人脸表情图像；
提取模块，用于提取所述待识别的人脸表情图像的灰度变化特征集合，所述灰度变化特征集合包括所述待识别的人脸表情图像中每个像素点的灰度变化特征；
处理模块，用于利用训练得到的所述图像处理模型对所述灰度变化特征集合进行处理，得到所述待识别的人脸表情图像对应的表情标签。
CN202011569209.1A 2020-12-26 2020-12-26 一种图像处理方法及装置 Active CN112597914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011569209.1A CN112597914B (zh) 2020-12-26 2020-12-26 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011569209.1A CN112597914B (zh) 2020-12-26 2020-12-26 一种图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN112597914A true CN112597914A (zh) 2021-04-02
CN112597914B CN112597914B (zh) 2024-04-16

Family

ID=75202538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011569209.1A Active CN112597914B (zh) 2020-12-26 2020-12-26 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN112597914B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548149A (zh) * 2016-10-26 2017-03-29 河北工业大学 监控视频序列中人脸微表情图像序列的识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548149A (zh) * 2016-10-26 2017-03-29 河北工业大学 监控视频序列中人脸微表情图像序列的识别方法

Also Published As

Publication number Publication date
CN112597914B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US11487995B2 (en) Method and apparatus for determining image quality
CN109389069B (zh) 注视点判断方法和装置、电子设备和计算机存储介质
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
EP3885965B1 (en) Image recognition method based on micro facial expressions, apparatus and related device
CN110688874B (zh) 人脸表情识别方法及其装置、可读存储介质和电子设备
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN113343826B (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN111401324A (zh) 图像质量评估方法、装置、存储介质及电子设备
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN110348358B (zh) 一种肤色检测系统、方法、介质和计算设备
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN110751069A (zh) 一种人脸活体检测方法及装置
KR20220106842A (ko) 표정 인식 방법 및 장치, 기기, 컴퓨터 판독 가능한 저장 매체, 컴퓨터 프로그램 제품
KR20190061538A (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
CN115620384B (zh) 模型训练方法、眼底图像预测方法及装置
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN113221771A (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN115845350A (zh) 一种用于立定跳远自动测距的方法及系统
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN112329663B (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
CN113033305A (zh) 活体检测方法、装置、终端设备和存储介质
CN111611917A (zh) 模型训练方法、特征点检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant