CN107330393A - 一种基于视频分析的新生儿疼痛表情识别方法 - Google Patents

一种基于视频分析的新生儿疼痛表情识别方法 Download PDF

Info

Publication number
CN107330393A
CN107330393A CN201710497579.0A CN201710497579A CN107330393A CN 107330393 A CN107330393 A CN 107330393A CN 201710497579 A CN201710497579 A CN 201710497579A CN 107330393 A CN107330393 A CN 107330393A
Authority
CN
China
Prior art keywords
layer
pain
neonate
convolution
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710497579.0A
Other languages
English (en)
Inventor
卢官明
蔡飞
李晓南
闫静杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710497579.0A priority Critical patent/CN107330393A/zh
Publication of CN107330393A publication Critical patent/CN107330393A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明涉及一种基于视频分析的新生儿疼痛表情识别方法，通过引入基于三维卷积神经网络的深度学习方法，将其运用于新生儿疼痛表情识别工作中，能够有效识别出新生儿处于安静、啼哭状态以及致痛性操作引起轻度疼痛、剧烈疼痛等表情，为开发新生儿疼痛自动评估系统提供一种新的途径，具体引入三维卷积神经网络，通过3D卷积核提取视频片段的时域和空域特征，避免人工提取特征的繁琐，且所提取特征更具优越性，并且在深度学习平台上自动学习并识别新生儿疼痛表情，与传统人工评估方式相比，更加客观，更加准确，并且节省了大量人力资源。

Description

一种基于视频分析的新生儿疼痛表情识别方法
技术领域
本发明涉及一种基于视频分析的新生儿疼痛表情识别方法，属于视频分析与模式识别技术领域。
背景技术
以往医学界认为新生儿没有疼痛感，所以一直未对新生儿疼痛予以重视。但是近年来医学研究证实，反复的疼痛刺激会对新生儿，尤其是早生儿和危重儿产生一些近期和远期的影响。疼痛是一种主观感受，自我评估被认为是最可靠的评估疼痛方法。但由于新生儿不能像成人一样用语言表达疼痛的感受，所以正确评估和积极处理新生儿疼痛具有重要的临床意义。在常用的新生儿疼痛评估工具中，“面部表情”被认为是最可靠的疼痛监测指标。
目前国际上对新生儿疼痛的评估都是由受过专门训练，并熟悉各项评估技术指标的医护人员进行人工评估,但人工评估耗时费力，而且评估结果往往受到主观因素的影响。因此，开发一种基于面部表情的新生儿疼痛自动评估系统是非常有意义和价值的。
南京邮电大学卢官明教授带领的课题组曾采用基于局部二值模式(LBP)和稀疏表示分类相结合的识别方法，对新生儿的疼痛与非疼痛表情的分类进行了研究，取得了较为满意的识别性能。但前期开展的有关新生儿疼痛表情识别研究主要面向静态图像，实验所用的表情图像都是经人工裁剪、对齐、尺度归一化和灰度均衡化等处理后得到的。尽管实验结果取得了较高的识别率，但算法的泛化能力有限，与实际临床的疼痛评估还有很大的差距。因为在临床应用中，疼痛评估系统面向摄像机采集的监控视频，而不是预先归一化后的静态图像。
发明内容
本发明所要解决的技术问题是提供一种基于视频分析的新生儿疼痛表情识别方法，能够解决现有技术不能有效识别新生儿疼痛表情的问题，为开发客观准确的新生儿疼痛自动评估系统提供新的途径。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于视频分析的新生儿疼痛表情识别方法，包括如下步骤：
步骤A.采集新生儿分别对应预设各个疼痛程度等级的各个样本疼痛等级表情视频，并进入步骤B；
步骤B.分别针对各个样本疼痛等级表情视频，具体针对样本疼痛等级表情视频进行剪辑，获得各个表情图像帧，进而获得各个样本疼痛等级表情视频分别所对应的各组样本表情图像帧，并统一各组样本表情图像帧的帧长度l，以及统一所有表情图像帧的分辨率h×w，然后进入步骤C；
步骤C.构建三维卷积神经网络，并采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，针对三维卷积神经网络进行训练，获得对应于新生儿表情识别的三维卷积神经网络，然后进入步骤D；
步骤D.采集新生儿实际表情视频，并进行图像帧调整，然后采用对应于新生儿表情识别的三维卷积神经网络，针对新生儿实际表情视频进行识别，获得所对应的疼痛程度等级。
作为本发明的一种优选技术方案：所述预设各个疼痛程度等级包括新生儿平静状态、新生儿啼哭状态，以及因致通性操作所导致的新生儿轻度疼痛状态、新生儿剧烈疼痛状态。
作为本发明的一种优选技术方案：所述步骤C中，采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，通过反向传播算法针对三维卷积神经网络进行训练。
作为本发明的一种优选技术方案：所述步骤C中构建的三维卷积神经网络由输入开始，依次包括第一层硬连接层、第二层卷积层、第三层池化层、第四层卷积层、第五层池化层、第六层卷积层、第七层全连接层和第八层分类层，所述各组样本表情图像帧依次经过三维卷积神经网络中的各层，获得表情图象帧分类，并结合各组样本表情图像帧分别所对应的疼痛程度等级，针对三维卷积神经网络进行训练，获得对应于新生儿表情识别的三维卷积神经网络；
所述步骤D中，采集新生儿实际表情视频，获得所对应的表情图像帧，并调整该新生儿实际表情视频所对应表情图像帧的帧长度为l，以及调整该新生儿实际表情视频所对应各表情图像帧的分辨率为h×w，然后将新生儿实际表情视频所对应的表情图像帧，依次经过对应于新生儿表情识别的三维卷积神经网络中的各层，获得该新生儿实际表情视频的分类，即获得该新生儿实际表情视频所对应的疼痛程度等级。
作为本发明的一种优选技术方案：所述三维卷积神经网络中由输入开始，依次所包括各个层如下：
第一层硬连接层，提取新生儿表情视频所对应各表情图像帧中的灰度、水平方向梯度、垂直方向梯度、水平方向光流和垂直方向光流等特征；
第二层卷积层，采用d1×k1×k1的3D卷积核，针对第一层硬连接层所输出多个通道的特征进行卷积操作，获得l1个分辨率为h1×w1的二维特征图，其中，l1＝m1×[(l-d1+1)×3+(l-1-d1+1)×2]，s1表示本层的卷积步长，m1表示本层卷积核的数量，INT(·)表示取整函数，k1×k1表示本层中3D卷积的空间维大小，d1表示本层中3D卷积的时间维大小；
第三层池化层，采用预设尺寸k2×k2的采样窗口，针对上一层卷积层所获的二维特征图进行下采样操作，获得l1个分辨率为h2×w2的二维特征图；其中， s2表示本层采样窗口的滑动步长；
第四层卷积层，采用d3×k3×k3的3D卷积核对上一层池化层的输出进行卷积操作，获得l2个分辨率为h3×w3的二维特征图；其中，k3×k3表示本层中3D卷积的空间维大小，d3表示本层中3D卷积的时间维大小，l2＝m1×m3×{[(l-d1+1)-d3+1]×3+[(l-1-d1+1)-d3+1]×2}， s3表示本层的卷积步长，m3表示本层卷积核的数量；
第五层池化层，采用预设尺寸k4×k4的采样窗口，针对上一层卷积层所获二维特征图进行下采样操作，获得l2个分辨率为h4×w4的二维特征图；其中， s4表示本层的卷积步长；
第六层卷积层，采用h4×w4的卷积核，针对上一层池化层的输出，按预设卷积步长为1，在空间维度上进行卷积操作，获得l2个分辨率为1×1的二维特征图；
第七层全连接层，获得上层卷积层的输出结果作为全连接层的输入，且该全连接层的输入节点数为l2个，该全连接层节点与上层卷积层所输出各个二维特征图进行全连接，进而获得该新生儿表情视频所对应的l2维特征向量；
第八层分类层，接收上一层全连接层输出的l2维特征向量，并采用预设分类器进行分类识别，即完整针对该新生儿表情视频的识别。
作为本发明的一种优选技术方案：所述第八层分类层中，针对上一层全连接层输出的l2维特征向量，采用softmax分类器进行分类识别。
本发明所述一种基于视频分析的新生儿疼痛表情识别方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的一种基于视频分析的新生儿疼痛表情识别方法，通过引入基于三维卷积神经网络的深度学习方法，将其运用于新生儿疼痛表情识别工作中，能够有效识别出新生儿处于安静、啼哭状态以及致痛性操作引起轻度疼痛、剧烈疼痛等表情，为开发新生儿疼痛自动评估系统提供一种新的途径，具体引入三维卷积神经网络，通过3D卷积核提取视频片段的时域和空域特征，避免人工提取特征的繁琐，且所提取特征更具优越性，并且在深度学习平台上自动学习并识别新生儿疼痛表情，与传统人工评估方式相比，更加客观，更加准确，并且节省了大量人力资源。
附图说明
图1是本发明所设计一种基于视频分析的新生儿疼痛表情识别方法的示意图；
图2是本发明所设计三维卷积神经网络的结构图；
图3是本发明所设计新生儿各个疼痛程度等级的表情图像帧。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明将深度学习理论拓展应用到动态视频中的表情识别领域，针对面向临床应用的新生儿疼痛表情识别关键技术问题，提出一种基于视频分析的新生儿疼痛表情识别方法，其中基于三维卷积神经网络(3D CNN)进行实现，以突破在传统的表情识别方法中人工设计与提取显式表情特征的技术瓶颈，提高在面部受遮挡、姿态倾斜、光照变化等复杂情况下的识别率和鲁棒性。
如图1所示，本发明设计了一种基于视频分析的新生儿疼痛表情识别方法，实际应用中，具体包括如下步骤：
步骤A.采集新生儿分别对应预设各个疼痛程度等级的各个样本疼痛等级表情视频，并进入步骤B。其中，各个疼痛程度等级包括新生儿平静状态、新生儿啼哭状态，以及因致通性操作所导致的新生儿轻度疼痛状态、新生儿剧烈疼痛状态，如图3所示。
步骤B.分别针对各个样本疼痛等级表情视频，具体针对样本疼痛等级表情视频进行剪辑，获得各个表情图像帧，进而获得各个样本疼痛等级表情视频分别所对应的各组样本表情图像帧，并统一各组样本表情图像帧的帧长度l，以及统一所有表情图像帧的分辨率h×w，然后进入步骤C。
步骤C.构建三维卷积神经网络，如图2所示，三维卷积神经网络由输入开始依次包括第一层硬连接层、第二层卷积层、第三层池化层、第四层卷积层、第五层池化层、第六层卷积层、第七层全连接层和第八层分类层，采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，通过反向传播算法针对三维卷积神经网络进行训练，其中，所述各组样本表情图像帧依次经过三维卷积神经网络中的各层，获得表情图象帧分类，并结合各组样本表情图像帧分别所对应的疼痛程度等级，针对三维卷积神经网络进行训练，获得对应于新生儿表情识别的三维卷积神经网络，然后进入步骤D。
其中，三维卷积神经网络中由输入开始，依次所包括各个层如下：
第一层硬连接层，提取新生儿表情视频所对应各表情图像帧中的灰度、水平方向梯度、垂直方向梯度、水平方向光流和垂直方向光流等特征，基于上述各组样本表情图像帧所包括的12帧表情图像帧，形成12×3+(12-1)×2＝58个二维特征图，其中，12个灰度特征图，12×2＝24个梯度特征图和(12-1)×2＝22个光流特征图，这五种特征在网络中形成了五个通道，然后对这几个通道分别进行处理。
第二层卷积层，采用d1×k1×k1的3D卷积核，针对第一层硬连接层所输出多个通道的特征进行卷积操作，获得l1个分辨率为h1×w1的二维特征图，其中，l1＝m1×[(l-d1+1)×3+(l-1-d1+1)×2]，s1表示本层的卷积步长，m1表示本层卷积核的数量，INT(·)表示取整函数，k1×k1表示本层中3D卷积的空间维大小，d1表示本层中3D卷积的时间维大小。
第三层池化层，采用预设尺寸k2×k2的采样窗口，针对上一层卷积层所获的二维特征图进行下采样操作，获得l1个分辨率为h2×w2的二维特征图；其中， s2表示本层采样窗口的滑动步长。
第四层卷积层，采用d3×k3×k3的3D卷积核对上一层池化层的输出进行卷积操作，获得l2个分辨率为h3×w3的二维特征图；其中，k3×k3表示本层中3D卷积的空间维大小，d3表示本层中3D卷积的时间维大小，l2＝m1×m3×{[(l-d1+1)-d3+1]×3+[(l-1-d1+1)-d3+1]×2}， s3表示本层的卷积步长，m3表示本层卷积核的数量。
第五层池化层，采用预设尺寸k4×k4的采样窗口，针对上一层卷积层所获二维特征图进行下采样操作，获得l2个分辨率为h4×w4的二维特征图；其中， s4表示本层的卷积步长。
第六层卷积层，采用h4×w4的卷积核，针对上一层池化层的输出，按预设卷积步长为1，在空间维度上进行卷积操作，获得l2个分辨率为1×1的二维特征图。
第七层全连接层，获得上层卷积层的输出结果作为全连接层的输入，且该全连接层的输入节点数为l2个，该全连接层节点与上层卷积层所输出各个二维特征图进行全连接，进而获得该新生儿表情视频所对应的l2维特征向量。
第八层分类层，接收上一层全连接层输出的l2维特征向量，并采用softmax分类器进行分类识别，即完整针对该新生儿表情视频的识别。
步骤D.采集新生儿实际表情视频，获得所对应的表情图像帧，并调整该新生儿实际表情视频所对应表情图像帧的帧长度为l，以及调整该新生儿实际表情视频所对应各表情图像帧的分辨率为h×w，然后将新生儿实际表情视频所对应的表情图像帧，依次经过对应于新生儿表情识别的三维卷积神经网络中的各层，获得该新生儿实际表情视频的分类，即获得该新生儿实际表情视频所对应的疼痛程度等级。
实际应用中，实际应用中，我们在医护人员对新生儿进行常规的侵入性、致痛性操作，例如洗澡、打预防针和采血的过程中，使用高清数码相机拍摄了一系列新生儿疼痛视频。我们随机选取了25个新生儿在不同状态下的面部表情视频，同时由受过专业培训的医护人员对拍摄视频中的新生儿疼痛级别进行评估，主要分为平静、轻度疼痛、剧烈疼痛、哭这四类表情状态。并对每类视频按所属类别进行标号，平静表情对应标号0，轻度疼痛表情对应标号1，剧烈疼痛表情对应标号2，哭表情对应标号3，并依次建立相对应表情的文件夹，将对应标记的新生儿表情视频依次放入。因此，共有4个文件夹，每个文件夹下应有25个不同新生儿的同类表情视频。对所有样本视频进行灰度化、尺度归一化等处理，将其分割成12帧表情图像帧，每个视频片段相互之间不重叠，并将视频帧图像统一大小，处理后的视频帧分辨率为128×128，得到统一大小后的视频片段。至此，新生儿面部表情视频库建立完毕。
对于三维卷积神经网络各层而言：
第一层硬连接层，提取新生儿表情视频所对应各表情图像帧中的灰度、水平方向梯度、垂直方向梯度、水平方向光流和垂直方向光流等特征，基于上述各组样本表情图像帧所包括的12帧表情图像帧，形成12×3+(12-1)×2＝58个二维特征图，其中，12个灰度特征图，12×2＝24个梯度特征图和(12-1)×2＝22个光流特征图，这五种特征在网络中形成了五个通道，然后对这几个通道分别进行处理。
第二层卷积层，采用7×11×11的3D卷积核，针对第一层硬连接层所输出多个通道的特征进行卷积操作，卷积步长为3，在同一个位置使用2个不同的卷积核，可得到2组特征图，卷积后进行非线性映射，获得56个分辨率为40×40的二维特征图，其中，56＝[(12-7+1)×3+(11-7+1)×2]×2，
第三层池化层，采用2×2尺寸的采样窗口，针对上一层卷积层所获的二维特征图进行下采样操作，滑动步长为2，获得56个分辨率为20×20的二维特征图；其中，
第四层卷积层，采用3×7×7的3D卷积核对上一层池化层的输出进行卷积操作，卷积步长为1，在同一个位置使用3个不同的卷积核，可得到3组特征图，卷积后再进行非线性映射，获得108个分辨率为14×14的二维特征图；其中，108＝[((12-7+1)-3+1)×3+((11-7+1)-3+1)×2]×2×3，14×14＝(20-7+1)×(20-7+1)。
第五层池化层，采用2×2尺寸的采样窗口，针对上一层卷积层所获二维特征图进行下采样操作，滑动步长为2，获得108个分辨率为7×7的二维特征图；其中，
第六层卷积层，由于时间维上帧数很少(灰度，水平方向和垂直方向梯度均为4帧，水平方向和垂直方向光流均为3帧)，故只在空间维上卷积，采用7×7的卷积核，针对上一层池化层的输出，按预设卷积步长为1，在空间维度上进行卷积操作，获得108个分辨率为1×1的二维特征图，其中，1×1＝(7-7+1)×(7-7+1)。
第七层全连接层，获得上层卷积层的输出结果作为全连接层的输入，且该全连接层的输入节点数为108个，该全连接层节点与上层卷积层所输出各个二维特征图进行全连接，进而获得该新生儿表情视频所对应的108维特征向量。
第八层分类层，接收上一层全连接层输出的l2维特征向量，并采用softmax分类器进行分类识别，即完整针对该新生儿表情视频的识别，其中，输出为样本x属于类别j的概率值其中j＝1,2…4，则判定样本x所属的类别表示为：
即在4个概率值中寻找最大值，将概率值最大的j所对应的类别作为样本x的分类结果，用class(x)表示。
上述所设计基于视频分析的新生儿疼痛表情识别方法，通过引入基于三维卷积神经网络的深度学习方法，将其运用于新生儿疼痛表情识别工作中，能够有效识别出新生儿处于安静、啼哭状态以及致痛性操作引起轻度疼痛、剧烈疼痛等表情，为开发新生儿疼痛自动评估系统提供一种新的途径，具体引入三维卷积神经网络，通过3D卷积核提取视频片段的时域和空域特征，避免人工提取特征的繁琐，且所提取特征更具优越性，并且在深度学习平台上自动学习并识别新生儿疼痛表情，与传统人工评估方式相比，更加客观，更加准确，并且节省了大量人力资源。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于视频分析的新生儿疼痛表情识别方法，其特征在于，包括如下步骤：
步骤A.采集新生儿分别对应预设各个疼痛程度等级的各个样本疼痛等级表情视频，并进入步骤B；
步骤B.分别针对各个样本疼痛等级表情视频，具体针对样本疼痛等级表情视频进行剪辑，获得各个表情图像帧，进而获得各个样本疼痛等级表情视频分别所对应的各组样本表情图像帧，并统一各组样本表情图像帧的帧长度l，以及统一所有表情图像帧的分辨率h×w，然后进入步骤C；
步骤C.构建三维卷积神经网络，并采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，针对三维卷积神经网络进行训练，获得对应于新生儿表情识别的三维卷积神经网络，然后进入步骤D；
步骤D.采集新生儿实际表情视频，并进行图像帧调整，然后采用对应于新生儿表情识别的三维卷积神经网络，针对新生儿实际表情视频进行识别，获得所对应的疼痛程度等级。
2.根据权利要求1所述一种基于视频分析的新生儿疼痛表情识别方法，其特征在于：所述预设各个疼痛程度等级包括新生儿平静状态、新生儿啼哭状态，以及因致通性操作所导致的新生儿轻度疼痛状态、新生儿剧烈疼痛状态。
3.根据权利要求1所述一种基于视频分析的新生儿疼痛表情识别方法，其特征在于：所述步骤C中，采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，通过反向传播算法针对三维卷积神经网络进行训练。
4.根据权利要求1至3中任意一项所述一种基于视频分析的新生儿疼痛表情识别方法，其特征在于：所述步骤C中构建的三维卷积神经网络由输入开始，依次包括第一层硬连接层、第二层卷积层、第三层池化层、第四层卷积层、第五层池化层、第六层卷积层、第七层全连接层和第八层分类层，所述各组样本表情图像帧依次经过三维卷积神经网络中的各层，获得表情图象帧分类，并结合各组样本表情图像帧分别所对应的疼痛程度等级，针对三维卷积神经网络进行训练，获得对应于新生儿表情识别的三维卷积神经网络；
所述步骤D中，采集新生儿实际表情视频，获得所对应的表情图像帧，并调整该新生儿实际表情视频所对应表情图像帧的帧长度为l，以及调整该新生儿实际表情视频所对应各表情图像帧的分辨率为h×w，然后将新生儿实际表情视频所对应的表情图像帧，依次经过对应于新生儿表情识别的三维卷积神经网络中的各层，获得该新生儿实际表情视频的分类，即获得该新生儿实际表情视频所对应的疼痛程度等级。
5.根据权利要求4所述一种基于视频分析的新生儿疼痛表情识别方法，其特征在于：所述三维卷积神经网络中由输入开始，依次所包括各个层如下：
第一层硬连接层，提取新生儿表情视频所对应各表情图像帧中的灰度、水平方向梯度、垂直方向梯度、水平方向光流和垂直方向光流等特征；
第二层卷积层，采用d1×k1×k1的3D卷积核，针对第一层硬连接层所输出多个通道的特征进行卷积操作，获得l1个分辨率为h1×w1的二维特征图，其中，
l1＝m1×[(l-d1+1)×3+(l-1-d1+1)×2]，s1表示本层的卷积步长，m1表示本层卷积核的数量，INT(·)表示取整函数，k1×k1表示本层中3D卷积的空间维大小，d1表示本层中3D卷积的时间维大小；
第三层池化层，采用预设尺寸k2×k2的采样窗口，针对上一层卷积层所获的二维特征图进行下采样操作，获得l1个分辨率为h2×w2的二维特征图；其中， s2表示本层采样窗口的滑动步长；
第四层卷积层，采用d3×k3×k3的3D卷积核对上一层池化层的输出进行卷积操作，获得l2个分辨率为h3×w3的二维特征图；其中，k3×k3表示本层中3D卷积的空间维大小，d3表示本层中3D卷积的时间维大小，l2＝m1×m3×{[(l-d1+1)-d3+1]×3+[(l-1-d1+1)-d3+1]×2}，s3表示本层的卷积步长，m3表示本层卷积核的数量；
第五层池化层，采用预设尺寸k4×k4的采样窗口，针对上一层卷积层所获二维特征图进行下采样操作，获得l2个分辨率为h4×w4的二维特征图；其中， s4表示本层的卷积步长；
第六层卷积层，采用h4×w4的卷积核，针对上一层池化层的输出，按预设卷积步长为1，在空间维度上进行卷积操作，获得l2个分辨率为1×1的二维特征图；
第七层全连接层，获得上层卷积层的输出结果作为全连接层的输入，且该全连接层的输入节点数为l2个，该全连接层节点与上层卷积层所输出各个二维特征图进行全连接，进而获得该新生儿表情视频所对应的l2维特征向量；
第八层分类层，接收上一层全连接层输出的l2维特征向量，并采用预设分类器进行分类识别，即完整针对该新生儿表情视频的识别。
6.根据权利要求5所述一种基于视频分析的新生儿疼痛表情识别方法，其特征在于：所述第八层分类层中，针对上一层全连接层输出的l2维特征向量，采用softmax分类器进行分类识别。
CN201710497579.0A 2017-06-27 2017-06-27 一种基于视频分析的新生儿疼痛表情识别方法 Pending CN107330393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710497579.0A CN107330393A (zh) 2017-06-27 2017-06-27 一种基于视频分析的新生儿疼痛表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710497579.0A CN107330393A (zh) 2017-06-27 2017-06-27 一种基于视频分析的新生儿疼痛表情识别方法

Publications (1)

Publication Number Publication Date
CN107330393A true CN107330393A (zh) 2017-11-07

Family

ID=60197371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710497579.0A Pending CN107330393A (zh) 2017-06-27 2017-06-27 一种基于视频分析的新生儿疼痛表情识别方法

Country Status (1)

Country Link
CN (1) CN107330393A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977634A (zh) * 2017-12-06 2018-05-01 北京飞搜科技有限公司 一种针对视频的表情识别方法、装置及设备
CN108363969A (zh) * 2018-02-02 2018-08-03 南京邮电大学 一种基于移动终端的新生儿疼痛评估方法
CN108363979A (zh) * 2018-02-12 2018-08-03 南京邮电大学 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
CN109063643A (zh) * 2018-08-01 2018-12-21 中国科学院合肥物质科学研究院 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN110298241A (zh) * 2019-05-21 2019-10-01 江苏爱朋医疗科技股份有限公司 疼痛信息处理方法、装置、设备及存储介质
WO2020134478A1 (zh) * 2018-12-29 2020-07-02 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN111782879A (zh) * 2020-07-06 2020-10-16 Oppo（重庆）智能科技有限公司 模型训练方法及装置
CN113111789A (zh) * 2021-04-15 2021-07-13 山东大学 一种基于视频流的面部表情识别方法及系统
CN109740670B (zh) * 2019-01-02 2022-01-11 京东方科技集团股份有限公司 视频分类的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281853A (zh) * 2014-09-02 2015-01-14 电子科技大学 一种基于3d卷积神经网络的行为识别方法
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN106778657A (zh) * 2016-12-28 2017-05-31 南京邮电大学 基于卷积神经网络的新生儿疼痛表情分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281853A (zh) * 2014-09-02 2015-01-14 电子科技大学 一种基于3d卷积神经网络的行为识别方法
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN106778657A (zh) * 2016-12-28 2017-05-31 南京邮电大学 基于卷积神经网络的新生儿疼痛表情分类方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977634A (zh) * 2017-12-06 2018-05-01 北京飞搜科技有限公司 一种针对视频的表情识别方法、装置及设备
CN108363969A (zh) * 2018-02-02 2018-08-03 南京邮电大学 一种基于移动终端的新生儿疼痛评估方法
CN108363979A (zh) * 2018-02-12 2018-08-03 南京邮电大学 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
CN109063643A (zh) * 2018-08-01 2018-12-21 中国科学院合肥物质科学研究院 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN109063643B (zh) * 2018-08-01 2021-09-28 中国科学院合肥物质科学研究院 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
WO2020134478A1 (zh) * 2018-12-29 2020-07-02 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN109740670B (zh) * 2019-01-02 2022-01-11 京东方科技集团股份有限公司 视频分类的方法及装置
CN110298241A (zh) * 2019-05-21 2019-10-01 江苏爱朋医疗科技股份有限公司 疼痛信息处理方法、装置、设备及存储介质
CN111782879A (zh) * 2020-07-06 2020-10-16 Oppo（重庆）智能科技有限公司 模型训练方法及装置
CN113111789A (zh) * 2021-04-15 2021-07-13 山东大学 一种基于视频流的面部表情识别方法及系统

Similar Documents

Publication Publication Date Title
CN107330393A (zh) 一种基于视频分析的新生儿疼痛表情识别方法
CN110069958B (zh) 一种密集深度卷积神经网络的脑电信号快速识别方法
CN107909566A (zh) 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN106682616A (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN107977671A (zh) 一种基于多任务卷积神经网络的舌象分类方法
Lau et al. Automatically early detection of skin cancer: Study based on nueral netwok classification
CN103793690B (zh) 一种基于皮下血流探测的人体生物活体检测方法及应用
CN106778657A (zh) 基于卷积神经网络的新生儿疼痛表情分类方法
CN109635835A (zh) 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN108491077A (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN108229338A (zh) 一种基于深度卷积特征的视频行为识别方法
CN109376636A (zh) 基于胶囊网络的眼底视网膜图像分类方法
CN107330889A (zh) 一种基于卷积神经网络的中医舌色苔色自动分析方法
CN106570474A (zh) 一种基于3d卷积神经网络的微表情识别方法
CN106980367A (zh) 一种基于肌电地形图的手势识别方法
CN105469100A (zh) 基于深度学习的皮肤活检图像病理特性识别方法
CN110675335B (zh) 基于多分辨率残差融合网络的浅表静脉增强方法
Zhao et al. Image processing based recognition of images with a limited number of pixels using simulated prosthetic vision
CN108629338A (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN105657580B (zh) 一种胶囊内镜视频摘要生成方法
CN108009592A (zh) 一种糖尿病性视网膜图像自动分类方法
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法
CN107563389A (zh) 一种基于深度学习的农作物病害识别方法
CN104778466B (zh) 一种联合多种上下文线索的图像关注区域检测方法
CN108403111A (zh) 一种基于卷积神经网络的癫痫脑电识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication