CN110688874A - 人脸表情识别方法及其装置、可读存储介质和电子设备 - Google Patents

人脸表情识别方法及其装置、可读存储介质和电子设备 Download PDF

Info

Publication number
CN110688874A
CN110688874A CN201810726338.3A CN201810726338A CN110688874A CN 110688874 A CN110688874 A CN 110688874A CN 201810726338 A CN201810726338 A CN 201810726338A CN 110688874 A CN110688874 A CN 110688874A
Authority
CN
China
Prior art keywords
expression
current moment
recognized
value
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810726338.3A
Other languages
English (en)
Other versions
CN110688874B (zh
Inventor
韦立庆
钮毅
罗兵华
朱江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810726338.3A priority Critical patent/CN110688874B/zh
Publication of CN110688874A publication Critical patent/CN110688874A/zh
Application granted granted Critical
Publication of CN110688874B publication Critical patent/CN110688874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸表情识别方法及其装置、计算机可读存储介质和电子设备，该方法包括：获取当前时刻的待识别人脸图像；将所述当前时刻的待识别人脸图像输入到深度学习网络模型，由所述深度学习网络模型对所述待识别人脸图像进行表情特征的提取，基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果。该方法可以提升当前时刻的各表情类型的概率的准确度。

Description

人脸表情识别方法及其装置、可读存储介质和电子设备
技术领域
本发明涉及图像识别技术领域，尤其涉及人脸表情识别方法及其装置、计算机可读存储介质和电子设备。
背景技术
人脸表情识别技术指通过对人脸图像进行识别获取人脸表情类别，人脸表情类别包括愤怒、开心、伤心、恐惧和惊讶等。人脸表情识别技术在人机交互、临床诊断和侦查审讯等领域具有广阔的应用前景。
目前，人脸表情识别方法中有一种基于深度学习网络的识别方法，该方法中获取人脸图像视频帧序列中的各帧人脸图像，将各帧人脸图像输入到深度学习网络中，最后得到表情识别结果，该识别方法存在识别准确度较低的问题。
发明内容
本发明提供一种人脸表情识别方法及其装置、计算机可读存储介质和电子设备，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种人脸表情识别方法，包括：
获取当前时刻的待识别人脸图像；
将所述当前时刻的待识别人脸图像输入到深度学习网络模型，由所述深度学习网络模型对所述待识别人脸图像进行表情特征的提取，基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果。
可选的，所述深度学习网络模型包括级联的第一神经网络模型和第二神经网络模型；
所述将所述当前时刻的待识别人脸图像输入到深度学习网络模型，由所述深度学习网络模型对所述待识别人脸图像进行表情特征的提取，包括：
将所述待识别人脸图像输入到第一神经网络模型中进行特征提取，得到当前时刻的多个表情特征值；
所述基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果，包括：
将各个所述表情特征值输入到第二神经网络模型，由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值；以及根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
可选的，所述获取当前时刻的待识别人脸图像，包括：
从包括当前帧人脸图像的连续多帧历史人脸图像中每间隔预设帧提取一帧人脸图像；
将提取的各帧人脸图像拼接成当前时刻的待识别人脸图像。
可选的，所述第二神经网络模型包括卷积层和隐藏层；
所述由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值，包括：
所述卷积层根据所述隐藏层输出的输出值、当前时刻的各所述当前表情特征值和上一时刻的各表情特征值，输出当前时刻的各所述表情特征值的权重值。
可选的，所述第二神经网络还包括输出层，所述输出层用于基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果，具体包括：
所述输出层获取所述卷积层输出的当前时刻的各所述表情特征值的权重值，根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
可选的，在将各表情类型的概率中最大的表情类型作为当前时刻的表情识别结果之后，还包括：
判断当前时刻的表情类型是否为异常表情类型，所述异常表情类型为表示人脸异常情绪的表情类型；
若是，生成报警信号，所述报警信号用于提示发生驾驶员异常表情事件。
根据本发明实施例的第二方面，提供一种人脸表情识别装置，包括：
人脸图像获取单元，用于获取当前时刻的待识别人脸图像；
表情识别单元，用于将所述当前时刻的待识别人脸图像输入到深度学习网络模型，由所述深度学习网络模型对所述待识别人脸图像进行表情特征的提取，基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果。
可选的，所述人脸图像获取单元包括：
人脸图像提取子单元，用于从包括当前帧人脸图像的连续多帧历史人脸图像中每间隔预设帧提取一帧人脸图像；
人脸图像拼接子单元，用于将提取的各帧人脸图像拼接成当前时刻的待识别人脸图像。
可选的，所述表情识别单元具体用于：
将所述待识别人脸图像输入到第一神经网络模型中进行特征提取，得到当前时刻的多个表情特征值；
将各个所述表情特征值输入到第二神经网络模型，由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值；以及
根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
可选的，所述第二神经网络模型包括卷积层和隐藏层；
所述由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值，包括：
所述卷积层根据所述隐藏层输出的输出值、当前时刻的各所述当前表情特征值和上一时刻的各表情特征值，输出当前时刻的各所述表情特征值的权重值。
可选的，所述第二神经网络还包括输出层，所述输出层用于基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果，具体包括：
所述输出层获取所述卷积层输出的当前时刻的各所述表情特征值的权重值，根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
可选的，还包括：
异常表情类型判断单元，用于判断当前时刻的表情类型是否为异常表情类型，所述异常表情类型为表示人脸异常情绪的表情类型；
报警信号生成单元，用于在判断出当前时刻的表情类型是否为异常表情类型时，生成报警信号，所述报警信号用于提示发生驾驶员异常表情事件。
根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述一项所述方法。
根据本发明实施例的第四方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行上述任一项所述方法。
根据上述技术方案可知，该表情识别方法，利用学习到的表情特征加权值对得到的各表情特征值进行加权，可以根据表示人脸表情的各表情特征值在表情识别中的重要性分配不同权重值，通过加权计算后的表情特征值可以更加准确反应的人脸表情特征，并且，将上一时刻的各表情类型的概率输入到表情识别模型中，可以进一步提升当前时刻的各表情类型的概率的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明一实施例提供的人脸表情识别方法的工作流程图；
图2是根据本发明另一实施例提供的人脸表情识别方法的工作流程图；
图3是根据本发明一实施例提供的人脸表情识别逻辑架构的示意图；
图4是根据本发明又一实施例提供的人脸表情识别方法的工作流程图；
图5是根据本发明又一实施例提供的人脸表情识别装置的方框图；
图6是根据本发明一实施例提供的电子设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
针对现有表情识别方法中识别率低的问题，本发明实施例提供一种人脸表情识别方法，如图1所示，该方法包括以下步骤：
步骤S10、获取当前时刻的待识别人脸图像；
步骤S20、将当前时刻的待识别人脸图像输入到深度学习网络模型中，由深度学习网络模型对待识别人脸图像进行表情特征的提取，基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到待识别人脸图像的表情识别结果。
上述的人脸图像可以是获取的图像采集装置，例如摄像机、摄像头或者相机等，实时采集的图像，图像采集装置可以连续获取多帧人脸图像，多帧人脸图像可形状视频流输入到应用该人脸表情识别方法的设备中，例如服务器或者移动终端等设备。
上述当前时刻的待识别人脸图像可以是当前时刻的一帧人脸图像或者是由多帧人脸图像组成的一组人脸图像。
上述当前时刻并非严格意义上的与采集人脸图像同步的时刻，可能存在一定时间的延迟，当前时刻可以是相对于将待识别人眼图像输入到深度学习网络模型中的时间而言，指本次将待识别人脸图像输入深度学习网络模型中的时刻，上一时刻指上一次将待识别人脸图像输入深度学习网络模型中的时刻。
基于深度学习网络模型可对输入的当前时刻的待识别人脸图像进行深度特征提取，可以得到当前时刻的多个表情特征值，各表情特征值指能够表征人脸表情特征，可以为从人脸图像中提取的多种特征或者多个部位的特征，例如包括人脸中眼睛、鼻子、眉毛、嘴巴等对表情识别贡献较大的部位的各类型的特征值，具体而言，例如，包括眼睛部位、鼻子部分、眉毛部位、嘴巴部位的纹理特征、颜色特征、形状特征和空间关系特征等。
上述多个表情特征值可以为用一个多维的特征值矩阵表示，例如，特征值矩阵为一个三维矩阵Fc*h*w，其中，c表示通道数，指人眼图像中像素点包含颜色数量，以人脸图像中各像素点包括RGB三种颜色为例，则通道数c等于3；h表示该矩阵的高度；w表示该矩阵的宽度；h和w与采用的深度学习模型有关。
对于用三维矩阵Fc*h*w表示的特征值矩阵，还可以进一步的将该三维矩阵进行变换，将其变换成一个二维矩阵将其变换成F′(h*w)*c，后续根据该表示多个表情特征值的二维矩阵和各表情特征的权重值进行加权计算。
上述的深度学习网络模型可以采用已有的模型，可以由一个神经网络模型来执行，或者由多个不同类型的网络模型的组合而成的网络模型，例如，深度学习神经网络例如为卷积神经网络CNN(Convolutional Neural Network，简称CNN)模型，CNN模型是一种深度神经网络模型，可以提取图像中的深度特征，或者为循环神经网络RNN(Recurrent NeuralNetwork，简称RNN)模型，或者是由CNN+RNN组合成的网络模型。
将当前时刻的待识别人脸图像输入到深度学习网络模型提取的表情特征可以得到当前时刻的各个表情特征和各个表情特征的权重值。
上一时刻的待识别人脸图像的表情识别结果可以为上一时刻的各个表情特征和各个表情特征的权重值，通过当前时刻的各个表情特征、各个表情特征的权重值以及上一时刻的各个表情特征和各个表情特征的权重值可以得到当前时刻的待识别人脸图像的表情识别结果，由此可见，该表情识别结果不仅参考了当前时刻的待识别人脸图像的表情识别结果，还参考了上一时刻的表情识别结果，充分利用人脸表情在时间变化的相关性，降低人脸图像存在扭曲失真可能造成的识别误差，可以提升当前时刻的对待识别人脸图像进行表情识别的准确度。
在一个可选的实施方式中，上述的深度学习网络模型包括级联的第一神经网络模型和第二神经网络模型；
参照图2所示，所述将当前时刻的待识别人脸图像输入到深度学习网络模型，由深度学习网络模型对待识别人脸图像进行表情特征的提取，包括：
步骤S21、将待识别人脸图像输入到第一神经网络模型中进行特征提取，得到当前时刻的多个表情特征值；
所述基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到待识别人脸图像的表情识别结果，包括：
步骤S22、将各个所述表情特征值输入到第二神经网络模型，由第二神经网络模型获取当前时刻的各表情特征值的权重值；以及
步骤S23、根据各表情特征值的权重值对当前时刻的各表情特征值进行加权计算，得到当前时刻的表情特征加权值；
步骤S24、根据当前时刻的各表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
步骤S25、将各表情类型的概率中最大的表情类型作为当前时刻的表情识别结果。
本实施例中，通过第一神经网络模型对当前时刻的待识别人脸图像进行特征提取，可以得到当前时刻的多个表情特征值；再将各表情特征值输入到第二神经网络，得到当前时刻的各表情特征值的权重值。
上述的第一神经网络模型例如为CNN模型，上述的第二神经网络模型例如为RNN模型。
该当前时刻的各表情特征的权重值是通过第二神经网络模型得到的，该第二神经网络模型可以是经过训练后的，可以通过将大量的样本人脸图像输入到学习模型进行训练后得到的各表情特征的权重值，如果是首次使用该第二神经网络，当前时刻的各表情特征加权值可以是训练后的第二神经网络初始得到的权重值值；如果是非首次采用该第二神经网络模型，当前时刻的各表情特征值的权重可以是根据上一时刻和当前时刻的各表情特征值等进行进一步学习后得到的。
将当前时刻的各表情特征值的权重值和各表情特征值进行加权计算得到当前时刻的表情特征加权值，具体而言，当前时刻的各表情特征值包括由h1，h2，h3，....，hT组成的特征值序列，当前时刻的表情特征值的权重值为αt,j，其中，t表示当前时刻，j的取值为从1到T的正整数，则当前时刻的表情特征加权值其中，T等于h*w。
进一步的，第二神经网络模型根据各表情特征加权值和上一时刻的各表情类型的概率可得到当前时刻的表情类型的概率，第二神经网络模型可以学习到各种表情类型与表情特征值之间的关系，将表情特征加权值和上一时刻的各表情类型的概率输入到该第二神经网络模型中，该模型经过学习后可以得出当前时刻的各表情类型的概率。
需要说明的是，如果是首次采用第二神经网络模型，上一时刻的各表情类型的概率可以是初始的概率，该初始的概率可以是通过将样本人脸图像输入到学习模型进行训练后得到的概率；如果是非首次采用该第二神经网络模型，上一时刻的各表情类型的概率是上一次采用上述方法得到的各表情类型的概率。
该第二神经网络模型在学习时，不仅参考了当前时刻的表情特征加权值，还参考了上一时刻的各表情类型的概率，充分利用人脸表情在时间变化的相关性，降低人脸图像存在扭曲失真可能造成的识别误差，可以提升当前时刻的各表情类型的概率的准确度。
上述表情类型例如包括生气、惊讶、害怕、大笑、悲伤、高兴、愤怒、恐惧等，表情类型的概率也可称为各表情类型的权重，例如，生气的概率为0.05，惊讶的概率为0.1，害怕的概率为0.04，大笑的概率为0.06，悲伤的概率为0.7、高兴的概率为0、愤怒的概率为0.02、恐惧的概率为0.03等。
上述当前时刻的各表情类型的概率，包括该第二神经网络模型中预设的各种表情类型(例如生气、惊讶、害怕、大笑、悲伤、高兴、愤怒、恐惧等)的概率，各表情类型的概率中通常会有一个概率最大的，该概率最大的表示当前时刻可能性最大的表情类型，将其作为当前时刻的最终表情类型，可以直观的反应出当前时刻的人脸表情，便于用于快速判断。
由上述技术方案可知，该表情识别方法，利用表情特征加权值对得到的各表情特征值进行加权，可以根据表示人脸表情的各表情特征值在表情识别中的重要性分配不同权重值，通过加权计算后的表情特征值可以更加准确的人脸表情类型，并且，参考上一时刻的各表情类型的概率可以进一步提升当前时刻的各表情类型的概率的准确度。
在一个可选的实施方式中，如图2所示，上述步骤S10所述的获取当前时刻的待识别人脸图像，包括：
步骤S11、从包括当前帧人脸图像的连续多帧历史人脸图像中每间隔预设帧提取一帧人脸图像；
步骤S12、将提取的各帧人脸图像拼接成当前时刻的待识别人脸图像。
如果直接采用视频流中的各帧人脸图像进行表情识别，各帧人脸图像间隔时间较短，人脸的表情变化可能并不明显，因此，相邻的两帧或多帧人脸图像中某些表情特征变化不大，因此，若针对每帧人脸图像均进行表情识别，不仅计算量大，速度慢，并且，不利于表情特征的识别。
据此，本实施例中，采用隔帧选取的方式，每间隔预设帧，例如4帧或者8帧等，提取一帧人脸图像，然后将提取出的各帧历史人脸图像拼接成待识别人脸图像，采用隔帧选取的方式，可以降低计算量，提高计算速度，并且，隔帧提取的各帧历史人脸图像之间的差异较大，有利于识别出人脸表情的微笑变化，有利于提高表情识别的准确度。
由于输入到第二神经网络模型中的待识别图像由多帧时间上具有联系性的人脸图像拼接成的，模型可以自动学习各帧人脸图像在时间上的相关性，利用人脸表情变化的动态信息及不同表情之间的关系等，使提取的表情特征值更具有鲁棒性，可以较为准确的反应人脸表情特征。
本实施例中，采用隔帧选取人脸图像的方式，不仅可以降低计算量，提高计算速度，并且，有利于提高表情识别的准确度。
在一些例子中，第二神经网络模型包括卷积层和隐藏层；
上述所述的由第二神经网络获取当前时刻的各所述表情特征值的权重值，包括：
由卷积层根据隐藏层输出的输出值、当前时刻的各当前表情特征值和上一时刻的各表情特征值，输出当前时刻的各表情特征值的权重值。
第二神经网络模型中的隐藏层的功能可包括对各表情特征值的分类、对各表情特征值及各表情特征值的权重值进行学习等，隐藏层负责将所需的输出结果输出给最后的输出层，本实施例中进一步的将隐藏层的输出值输出到卷积层，再由卷积层根据当前时刻和上一时刻的各表情特征值以及其中隐藏层的输出值获取当前时刻的各表情特征值的权重值。
第二神经网络模型还可以包括输出层，该输出层用于基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到待识别人脸图像的表情识别结果，具体包括：
输出层获取卷积层输出的当前时刻的各表情特征值的权重值，根据各表情特征值的权重值对当前时刻的各表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
本实施例中，由第二神经网络模型的输出层根据卷积层的输出的当前时刻的各表情特征值的权重值，对当前时刻的各表情特征值进行加权计算，得到当前时刻的表情特征加权值，进而得到最后的当前时刻的表情识别结果。
当然，上述的第二神经网络模型还可以包括其他层，例如池化层等，本实施例对此并不限定。
本实施例中，第二神经网络模型可以根据实时输入的待识别人脸图像更新各表情特征值的权重值，各表情特征值的权重值能更具有针对性的反应出当前人脸图像中对象的表情变化特征，使权重值能更加真实的表示各表情特征在表情识别中的重要程度变化情况，使得到的表情类型的概率能更加准确的反应当前时刻的表情类型。
上述的第二神经网络模型可以为Attention(即注意力)模型，该模型可解决解决语义损失和信息稀释的问题，其模拟的是人脑的注意力，利用人的视觉注意机制，比如当人观赏一幅画时，虽然可以看到整幅画的全貌，但是当深入仔细地观察时，其实人眼聚焦的就只有很小的一块，此时人的大脑主要关注在这一小块图案上，也就是人脑对整幅图的关注并不是均衡的，是有一定的权重区分的，利用该模型可以更加准确的反应不同表情特征值的重要程度。
具体而言，本实施例中表情识别方法采用的逻辑架构可参照图3所示，通过第一神经网络模型输出当前时刻的各表情特征值：由h1，h2，h3，....，hT组成的特征值序列，上一时刻的各表情特征值：h11，h21，h31，....，hT1组成的特征值序列，以及第二神经网络模型中隐藏层上一时刻的输出值st-1均输入到第二神经网络模型中的卷积层，卷积层通过学习得到当前时刻的各表情特征值的权重值αt,1，αt,1，αt,1，...,αt,T。
进一步的，卷积层根据学习到的当前时刻的各表情特征值的权重值αt,1，αt,2，3，...,αt,T对当前时刻的各表情特征值h1，h2，h3，....，hT进行加权计算，得到当前时刻的表情权重特征加权值
再将当前时刻的表情权重特征加权值gt以及上一时刻的各表情类型的概率yt-1输入到第二神经网络模型中的隐藏层，通过隐藏层将得到的表情识别结果输出到输出层得到当前时刻的各表情类型的概率yt，上述各表情类型的概率y可以为一个多维的向量，向量中每个节点分别表示各表情类型的概率，例如生气的概率、惊讶的概率、害怕的概率、大笑的概率、悲伤的概率等。
在上述第二神经网络模型中，为了得到下一时刻的各表情特征值的权重值αt+1,1，αt+1,2，αt+1,3，...,αt+1,T，将当前时刻的特征值序列h1-hT，以及表情识别模型中隐藏层当前时刻的输出值st均输入到卷积层中，进而通过卷积层得到下一时刻的表情特征加权值gt+1，再将当前时刻的表情权重特征加权值gt以及上一时刻的各表情类型的概率yt输入到隐藏层，通过隐藏层将得到的表情识别结果输出到输出层，以得到下一时刻各表情类型的概率yt+1。
同样的，隐藏层下一时刻的输出值st+1会输入到卷积层中，以用于计算下下一时刻的各表情特征值的权重值。
需要说明的是，对于表情识别模型为RNN模型而言，模型的隐藏层的输出值st通常为一个向量，该向量st＝RNN(st-1,gt,yt-1)。
在一个可选的实施方式中，如图4所示，在上述步骤S25所述的将各表情类型的概率中最大的表情类型作为当前时刻的表情识别结果之后，还包括：
步骤S31、判断当前时刻的表情类型是否为异常表情类型，所述异常表情类型为表示人脸异常情绪的表情类型；
步骤S32、若是，生成报警信号，报警信号用于提示发生驾驶员异常表情事件。
本实施例中，进一步的，判断当前时刻的表情类型是否为异常表情类型，异常表情类型指在某种应用场景下，该表情类型可能具有某种安全上的意义，为表示人脸异常情绪的表情类型，此时可生成报警控制信息以控制报警装置报警。
举例而言，驾驶员在车辆驾驶时如果与其他乘坐人员交谈，容易注意力不集中，其表情类型可能大笑、愤怒或者惊讶等；或者驾驶员在驾驶车辆过程中发现异常情况时，其表情类型可能为恐惧等，这些表情类型不利对车辆的安全驾驶，可将这些表情类型设定为异常表情类型。
上述人脸表情识别方法可应用在车载设备中，并且在车辆中设置摄像头，实时的采集车辆驾驶员的人脸图像，车载设备可获取摄像头实时采集的人脸图像，通过对人脸图像进行表情识别可得到当前时刻的表情类型，当判断出该表情类型为异常表情类型时，例如上述的大小、愤怒、惊讶或者恐惧等，生成报警信号，报警信号可对驾驶员提到提示的作用，提请驾驶员集中注意力，安全驾驶，以保证行车安全。
上述报警信号具体形式可以有多种，例如，摄像头中的报警灯闪烁或者扬声器发出声音，或者通过车辆中的显示屏显示报警文字或者报警标识等。
本发明实施例还提供了一种人脸表情识别装置，如图5所示，该人脸表情识别装置05包括：
人脸图像获取单元51，用于获取当前时刻的待识别人脸图像；
表情识别单元52，用于将所述当前时刻的待识别人脸图像输入到深度学习网络模型，由所述深度学习网络模型对所述待识别人脸图像进行表情特征的提取，基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果。。
在一个可选的实施方式中，所述人脸图像获取单元包括：
人脸图像提取子单元，用于从包括当前帧人脸图像的连续多帧历史人脸图像中每间隔预设帧提取一帧人脸图像；
人脸图像拼接子单元，用于将提取的各帧人脸图像拼接成当前时刻的待识别人脸图像。
在一些例子中，
表情识别单元具体用于：
将所述待识别人脸图像输入到第一神经网络模型中进行特征提取，得到当前时刻的多个表情特征值；
将各个所述表情特征值输入到第二神经网络模型，由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值；以及
根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
在一些例子中，所述第二神经网络模型包括卷积层和隐藏层；
所述由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值，包括：
所述卷积层根据所述隐藏层输出的输出值、当前时刻的各所述当前表情特征值和上一时刻的各表情特征值，输出当前时刻的各所述表情特征值的权重值。
在一个可选的实施方式中，所述第二神经网络还包括输出层，所述输出层用于基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果，具体包括：
所述输出层获取所述卷积层输出的当前时刻的各所述表情特征值的权重值，根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
该人脸表情识别装置还可以包括：
异常表情类型判断单元，用于判断当前时刻的表情类型是否为异常表情类型，所述异常表情类型为表示人脸异常情绪的表情类型；
报警信号生成单元，用于在判断出当前时刻的表情类型是否为异常表情类型时，生成报警信号，所述报警信号用于提示发生驾驶员异常表情事件。
与前述人脸表情识别方法的实施例相对应，本发明提供的人脸表情识别装置，通过加权计算后的表情特征值可以更加准确反应的人脸表情特征，并且，将上一时刻的各表情类型的概率输入到表情识别模型中，可以进一步提升当前时刻的各表情类型的概率的准确度。
对于装置实施例而言，其中各个单元或子单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本实施例的装置可借助软件的方式实现，或者软件加必需的通用硬件的方式来实现，当然也可以通过硬件实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，以软件实现为例，作为一个逻辑意义上的装置，是通过应用该装置的设备所在的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述方法的步骤。
参见图6，本发明还提供一种电子设备的硬件架构图，该电子设备包括：通信接口101、处理器102、机器可读存储介质103和总线104；其中，通信接口101、处理器102和机器可读存储介质103通过总线104完成相互间的通信。处理器102通过读取并执行机器可读存储介质102中与人脸表情识别方法的控制逻辑对应的机器可执行指令，可执行上文描述的人脸表情识别方法。
本文中提到的机器可读存储介质103可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
此外，电子设备可以为各种终端设备或者后端设备，例如摄像机、服务器、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (14)

1.一种人脸表情识别方法，其特征在于，包括：
获取当前时刻的待识别人脸图像；
将所述当前时刻的待识别人脸图像输入到深度学习网络模型，由所述深度学习网络模型对所述待识别人脸图像进行表情特征的提取，基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果。
2.根据权利要求1所述的方法，其特征在于，所述深度学习网络模型包括级联的第一神经网络模型和第二神经网络模型；
所述将所述当前时刻的待识别人脸图像输入到深度学习网络模型，由所述深度学习网络模型对所述待识别人脸图像进行表情特征的提取，包括：
将所述待识别人脸图像输入到第一神经网络模型中进行特征提取，得到当前时刻的多个表情特征值；
所述基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果，包括：
将各个所述表情特征值输入到第二神经网络模型，由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值；以及根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
3.根据权利要求1所述的方法，其特征在于，所述获取当前时刻的待识别人脸图像，包括：
从包括当前帧人脸图像的连续多帧历史人脸图像中每间隔预设帧提取一帧人脸图像；
将提取的各帧人脸图像拼接成当前时刻的待识别人脸图像。
4.根据权利要求2所述的方法，其特征在于，所述第二神经网络模型包括卷积层和隐藏层；
所述由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值，包括：
所述卷积层根据所述隐藏层输出的输出值、当前时刻的各所述当前表情特征值和上一时刻的各表情特征值，输出当前时刻的各所述表情特征值的权重值。
5.根据权利要求4所述的方法，其特征在于，所述第二神经网络还包括输出层，所述输出层用于基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果，具体包括：
所述输出层获取所述卷积层输出的当前时刻的各所述表情特征值的权重值，根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
6.根据权利要求2所述的方法，其特征在于，在将各表情类型的概率中最大的表情类型作为当前时刻的表情识别结果之后，还包括：
判断当前时刻的表情类型是否为异常表情类型，所述异常表情类型为表示人脸异常情绪的表情类型；
若是，生成报警信号，所述报警信号用于提示发生驾驶员异常表情事件。
7.人脸表情识别装置，其特征在于，包括：
人脸图像获取单元，用于获取当前时刻的待识别人脸图像；
表情识别单元，用于将所述当前时刻的待识别人脸图像输入到深度学习网络模型，由所述深度学习网络模型对所述待识别人脸图像进行表情特征的提取，基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果。
8.根据权利要求7所述的装置，其特征在于，所述人脸图像获取单元包括：
人脸图像提取子单元，用于从包括当前帧人脸图像的连续多帧历史人脸图像中每间隔预设帧提取一帧人脸图像；
人脸图像拼接子单元，用于将提取的各帧人脸图像拼接成当前时刻的待识别人脸图像。
9.根据权利要求6所述的装置，其特征在于，所述表情识别单元具体用于：
将所述待识别人脸图像输入到第一神经网络模型中进行特征提取，得到当前时刻的多个表情特征值；
将各个所述表情特征值输入到第二神经网络模型，由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值；以及
根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
10.根据权利要求7-9任一项所述的装置，其特征在于，所述第二神经网络模型包括卷积层和隐藏层；
所述由所述第二神经网络模型获取当前时刻的各所述表情特征值的权重值，包括：
所述卷积层根据所述隐藏层输出的输出值、当前时刻的各所述当前表情特征值和上一时刻的各表情特征值，输出当前时刻的各所述表情特征值的权重值。
11.根据权利要求10所述的装置，其特征在于，所述第二神经网络还包括输出层，所述输出层用于基于提取的各个表情特征、各个表情特征的权重值以及上一时刻的待识别人脸图像的表情识别结果，得到所述待识别人脸图像的表情识别结果，具体包括：
所述输出层获取所述卷积层输出的当前时刻的各所述表情特征值的权重值，根据各所述表情特征值的权重值对当前时刻的各所述表情特征值进行加权计算，得到当前时刻的表情特征加权值；
根据当前时刻的各所述表情特征加权值和上一时刻的各表情类型的概率，得到当前时刻的各表情类型的概率；
将各表情类型的概率中最大的表情类型作为当前时刻的所述表情识别结果。
12.根据权利要求9所述的装置，其特征在于，还包括：
异常表情类型判断单元，用于判断当前时刻的表情类型是否为异常表情类型，所述异常表情类型为表示人脸异常情绪的表情类型；
报警信号生成单元，用于在判断出当前时刻的表情类型是否为异常表情类型时，生成报警信号，所述报警信号用于提示发生驾驶员异常表情事件。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-6任一项所述方法。
14.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行如权利要求1至6任一项所述方法。
CN201810726338.3A 2018-07-04 2018-07-04 人脸表情识别方法及其装置、可读存储介质和电子设备 Active CN110688874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810726338.3A CN110688874B (zh) 2018-07-04 2018-07-04 人脸表情识别方法及其装置、可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810726338.3A CN110688874B (zh) 2018-07-04 2018-07-04 人脸表情识别方法及其装置、可读存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN110688874A true CN110688874A (zh) 2020-01-14
CN110688874B CN110688874B (zh) 2022-09-30

Family

ID=69106526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810726338.3A Active CN110688874B (zh) 2018-07-04 2018-07-04 人脸表情识别方法及其装置、可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN110688874B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507241A (zh) * 2020-04-14 2020-08-07 四川聚阳科技集团有限公司 一种轻量级网络课堂表情监测方法
CN111523491A (zh) * 2020-04-26 2020-08-11 四川大学锦城学院 一种基于混合深度学习的视频序列表情识别方法及系统
CN111645695A (zh) * 2020-06-28 2020-09-11 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111967413A (zh) * 2020-08-21 2020-11-20 广州市微智联科技有限公司 一种猪脸识别方法
CN112200109A (zh) * 2020-10-16 2021-01-08 北京澎思科技有限公司 面部属性识别方法、电子设备以及计算机可读存储介质
CN112990119A (zh) * 2021-04-25 2021-06-18 之江实验室 一种视频多目标人脸表情识别方法和系统
CN113197573A (zh) * 2021-05-19 2021-08-03 哈尔滨工业大学 基于表情识别及脑电融合的观影印象检测方法
CN114120506A (zh) * 2021-09-30 2022-03-01 国网浙江省电力有限公司 一种基于5g网络架构的基建现场人员管控系统及方法
EP4047561A1 (en) * 2021-02-20 2022-08-24 Bayerische Motoren Werke Aktiengesellschaft Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258204A (zh) * 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN104200804A (zh) * 2014-09-19 2014-12-10 合肥工业大学 一种面向人机交互的多类信息耦合的情感识别方法
CN105913038A (zh) * 2016-04-26 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
CN106611151A (zh) * 2015-10-23 2017-05-03 杭州海康威视数字技术股份有限公司 一种人脸识别方法及装置
CN106650621A (zh) * 2016-11-18 2017-05-10 广东技术师范学院 一种基于深度学习的情绪识别方法及系统
CN106980811A (zh) * 2016-10-21 2017-07-25 商汤集团有限公司 人脸表情识别方法和人脸表情识别装置
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN107392105A (zh) * 2017-06-23 2017-11-24 广东工业大学 一种基于反向协同显著区域特征的表情识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258204A (zh) * 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN104200804A (zh) * 2014-09-19 2014-12-10 合肥工业大学 一种面向人机交互的多类信息耦合的情感识别方法
CN106611151A (zh) * 2015-10-23 2017-05-03 杭州海康威视数字技术股份有限公司 一种人脸识别方法及装置
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN105913038A (zh) * 2016-04-26 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
CN106980811A (zh) * 2016-10-21 2017-07-25 商汤集团有限公司 人脸表情识别方法和人脸表情识别装置
CN106650621A (zh) * 2016-11-18 2017-05-10 广东技术师范学院 一种基于深度学习的情绪识别方法及系统
CN107392105A (zh) * 2017-06-23 2017-11-24 广东工业大学 一种基于反向协同显著区域特征的表情识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507241A (zh) * 2020-04-14 2020-08-07 四川聚阳科技集团有限公司 一种轻量级网络课堂表情监测方法
CN111523491A (zh) * 2020-04-26 2020-08-11 四川大学锦城学院 一种基于混合深度学习的视频序列表情识别方法及系统
CN111645695A (zh) * 2020-06-28 2020-09-11 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111967413A (zh) * 2020-08-21 2020-11-20 广州市微智联科技有限公司 一种猪脸识别方法
CN111967413B (zh) * 2020-08-21 2024-04-09 广州市微智联科技有限公司 一种猪脸识别方法
CN112200109A (zh) * 2020-10-16 2021-01-08 北京澎思科技有限公司 面部属性识别方法、电子设备以及计算机可读存储介质
EP4047561A1 (en) * 2021-02-20 2022-08-24 Bayerische Motoren Werke Aktiengesellschaft Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle
CN112990119A (zh) * 2021-04-25 2021-06-18 之江实验室 一种视频多目标人脸表情识别方法和系统
CN113197573A (zh) * 2021-05-19 2021-08-03 哈尔滨工业大学 基于表情识别及脑电融合的观影印象检测方法
CN114120506A (zh) * 2021-09-30 2022-03-01 国网浙江省电力有限公司 一种基于5g网络架构的基建现场人员管控系统及方法

Also Published As

Publication number Publication date
CN110688874B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110688874B (zh) 人脸表情识别方法及其装置、可读存储介质和电子设备
US20210295099A1 (en) Model training method and apparatus, storage medium, and device
EP3885965B1 (en) Image recognition method based on micro facial expressions, apparatus and related device
CN110348387B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
Le et al. Live speech driven head-and-eye motion generators
US20220028031A1 (en) Image processing method and apparatus, device, and storage medium
CN111243626A (zh) 一种说话视频生成方法及系统
CN111459454B (zh) 交互对象的驱动方法、装置、设备以及存储介质
US10713471B2 (en) System and method for simulating facial expression of virtual facial model
CN111459452B (zh) 交互对象的驱动方法、装置、设备以及存储介质
CN111598168B (zh) 图像分类方法、装置、计算机设备及介质
CN113723385B (zh) 视频处理方法及装置、神经网络的训练方法及装置
CN108521589A (zh) 视频处理方法和装置
CN111401259A (zh) 模型训练方法、系统、计算机可读介质和电子设备
Kampelmuhler et al. Synthesizing human-like sketches from natural images using a conditional convolutional decoder
CN110728319B (zh) 一种图像生成方法、装置以及计算机存储介质
WO2022041182A1 (zh) 音乐推荐方法和装置
US11568325B2 (en) Learning apparatus, estimation apparatus, learning method, and program
CN110084306B (zh) 用于生成动态图像的方法和装置
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN109299777B (zh) 一种基于人工智能的数据处理方法及其系统
CN111414959A (zh) 图像识别方法、装置、计算机可读介质和电子设备
CN113176827B (zh) 基于表情的ar交互方法、系统、电子设备及存储介质
CN111898576B (zh) 一种基于人体骨架时空关系的行为识别方法
CN110047118B (zh) 视频生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant