CN111461021A - 一种基于光流的微表情检测方法 - Google Patents
一种基于光流的微表情检测方法 Download PDFInfo
- Publication number
- CN111461021A CN111461021A CN202010252013.3A CN202010252013A CN111461021A CN 111461021 A CN111461021 A CN 111461021A CN 202010252013 A CN202010252013 A CN 202010252013A CN 111461021 A CN111461021 A CN 111461021A
- Authority
- CN
- China
- Prior art keywords
- roi
- region
- amplitude
- micro
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000014509 gene expression Effects 0.000 claims description 21
- 210000003128 head Anatomy 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010028813 Nausea Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008693 nausea Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于光流的微表情检测方法,采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别,并标记出感兴趣区域ROI及不易形变区域ROI‘;计算视频样本中相邻两帧的稠密光流,提取感兴趣区域内的光流及不易形变区域的光流,对二者做减法处理以去除头部晃动的影响;划定极坐标下的角度区域,在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流,并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来;根据幅值和角度轨迹捕捉视频样本中的微表情发生帧,并作出微表情标注。本发明可以实时展示微表情在各个感兴趣区域ROI中的运动情况,并且本身不需要数据进行训练,具有高效、直观、高准确率和稳定性的优点。
Description
技术领域
本发明涉及微表情检测技术领域,具体涉及一种基于光流的微表情检测方法。
背景技术
微表情具有比肢体和话语更多的表达信息。其难以抑制的特点可以为揭示人的内心状态提供线索,在医疗和公共安全领域等有广泛的应用。微表情的标注和分析十分依赖专业的经验,标注者需要至少100小时的训练才能达到要求。此外该任务还非常耗时,平均要2小时才能标注完一个1 分钟长度的视频。基于微表情发生强度低,持续时间短(小于500ms)的特性,现有的微表情检测方法大多基于实验室环境,需要大量的时间训练模型,不能进行实时的标注且准确率不高。
发明内容
为了解决上述所存在的技术问题,减少标注者的工作量,提高对微表情的检测效率,实现对微表情进行快速、直观且更高准确率的标注,为此,本发明提供了一种基于光流的微表情检测方法。
本发明采用如下技术方案:
一种基于光流的微表情检测方法,采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别,并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘;计算视频样本中相邻两帧的稠密光流,提取感兴趣区域ROI 内的光流及不易形变区域ROI‘的光流,对二者做减法处理以去除头部晃动的影响;划定极坐标下的角度区域,在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流,并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来;根据幅值和角度轨迹捕捉视频样本中的微表情发生帧,并作出微表情标注。
在人脸区域标记出感兴趣区域ROI为双眉区域、嘴唇四周区域和鼻尖区域。
沿每条眉毛分别标记三个特征点,在上嘴唇和下嘴唇的中部各标记一个特征点,在两嘴角位置分别标记一个特征点,在鼻尖位置标记一个特征点。
在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。
进一步地,所划定的极坐标角度区域的方法是,在极坐标平面区共划分至少四个对称区域,分别为左右两个扇形区域和上下两个扇形区域,且左右两个扇形区域所呈圆心角为40~80°。
计算视频样本中每帧图片感兴趣区域ROI的主光流幅值和角度的具体方法是,分别统计落入到所划分的四个角度区域内的光流的幅值之和,选出具有最大幅值的区域,计算落入到这个最大幅值区域的主光流,在极坐标系中表示出主光流轨迹的幅值和角度。
根据幅值和角度轨迹捕捉视频样本中的微表情发生帧,并作出标注,其具体方法是:在视频样本中选取感兴趣区域ROI中的主光流幅值轨迹的最大值max;设定幅度阈值C*max(其中C<1)并提取感兴趣区域ROI中的主光流幅值大于所设定幅度阈值的特征点轨迹,提取感兴趣区域ROI中特征点的完整波峰;针对所提取的波峰中的帧,根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注。
针对所提取的波峰中的帧,根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注,具体方法是,统计角度为正的帧数和角度为负的帧数;将二者做减法处理,若所得差的绝对值小于所设定的角度阈值时,则对波峰中的帧作出微表情标注,计算公式:
式中:
Bcrest表示符合幅度模式的帧的集合;
所述的C值取值为0.5~0.8,所述的角度阈值为(0-1/2)*fps。
在提取感兴趣区域ROI中的主光流幅值的过程中,若捕捉到的相邻微表情连续帧小于fps/10时,采用融合操作将间隔小于所设定间隔标注片段进行合并处理。
本发明技术方案具有如下优点:
A.本发明提出的微表情检测方法可以实时的展示微表情在各个感兴趣区域ROI中的运动情况,并且本身不需要数据进行训练,具有高效、直观、高准确率和稳定性的优点。
B.本发明相比传统微表情检测方法,在两个微表情数据库上的运行结果很好地验证了本发明在标注微表情方面具有更好的表现。
附图说明
为了更清楚地说明本发明具体实施方式,下面将对具体实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明预处理结果图示;
图2为本发明光流方向直方图的划分方式;
图3为本发明微表情主光流模式;
图4本发明在CAS(ME)^2样本上的示意图(测试样本中出现的微表情类别全是恶心);
图5为本发明所提供的高速相机捕捉视频帧及分析标注过程。
附图标记说明:
1-包括高速摄像机;2-LED照明灯;3-反光伞;4-计算机;5-被试监视器;6-主试监视器;7-被试。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提供了一种基于光流的微表情检测方法,采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别,并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘;计算视频样本中相邻两帧的稠密光流,提取感兴趣区域ROI内的光流及不易形变区域ROI‘的光流,对二者做减法处理以去除头部晃动的影响;划定极坐标下的角度区域,在所划定的极坐标角度区域内分别计算视频样本中每帧图片中感兴趣区域ROI的主光流,并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来;根据幅值和角度轨迹捕捉视频样本中的微表情发生帧,并作出标注。
本发明中在人脸区域标记出感兴趣区域ROI优选为双眉区域、嘴唇四周区域和鼻尖区域。如图1所示,沿每条眉毛分别标记3个特征点,分别为眉毛中部和两端位置,在上嘴唇和下嘴唇的中部各标记一个特征点,在两嘴角位置分别标记一个特征点,在鼻尖位置标记一个特征点,共计11个特征点区域。而在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。本发明中没有选取眼睛区域的特征点是因为眨眼本身不算做微表情且对脸部其他区域产生形变影响。其中选取不易形变的鼻子区域作为参照以消除全局的头部运动。
首先,计算相邻两帧的稠密光流,提取上述选中的ROI内的主光流。 ROI‘用于去除头部晃动的影响,具体分两步。第一步,计算ROI‘的主要运动光流作为头部运动的估计;第二步,将感兴趣区域ROI内的每个像素的光流减去主要的头部运动光流,从而得到ROI内的真实光流。
接着,计算每个视频样本的每个感兴趣区域ROI都有的关于主光流角度和幅值的轨迹。图2展示了方向角度的划分方式,所划定的极坐标角度区域的方法是,在极坐标平面区共划分至少四个对称区域,分别为左右两个扇形区域和上下两个扇形区域,且左右两个扇形区域所呈圆心角为40~ 80°,优选为60°,左右两个扇形区域涉及到人的头部水平运动,人的头部在晃动时,水平方向的运动占大多数情况,左右两扇形区域对微表情的关联度较小,包含的大多数光流向量是无效的,因此,本发明将左右的扇形区域设置的小一些。
首先分别统计落入到这四个角度区域内的光流的幅值之和,选出具有最大幅值的区域,计算落入到这个区域的主光流,在极坐标下的主光流由幅值和角度表示。
对于每个感兴趣区域ROI的轨迹,微表情发生的帧都会有相同的主光流模式。见图3展示了微表情模式。
具体的捕捉微表情模式的流程如下:
幅度模式:找到幅值轨迹的最大值,记作max。将c*max作为阈值。对高于这个阈值的点,判断其是否是极大值。如果是,则提取完整的波峰,这里的C优选为0.5-0.8中取值。
角度模式:微表情发生的过程中主位移的方向会改变,如眉毛的上扬和下皱。对于提取到的幅值模式中的帧,角度为正的帧和角度为负的帧的差的绝对值应当小于某个阈值,角度阈值可以优选为0-0.5fps。具体可以根据摄像机的帧率进行设置。
本发明中通过对幅值模式中所选出的帧做正负帧的减法处理,主要是因为微表情是一个过程,微表情运动由几个阶段组成,加速-减速-反转。在角度模式中的体现就是正值帧和负值帧数量应当是差不多,至少不会是正值帧数量远大于负值帧数量或负值帧数量远大于正值帧,通过角度模式可以将符合微表情变化规律的帧标注出来。
本发明可以通过设置程序进行自动提取波峰的帧范围,提取程序如下:
i=m
i=m-1
while before<current:
current=before
i=i-1
j=m
j=m+1
while after>current:
current=after
j=j+1
捕捉到的波峰[i,j],表示波峰范围从第i帧到第j帧。
再根据给出的公式(1)判断是否符合角度模式,如果符合则进行标注。
对于每一个视频样本,令T={C1,C2,...,C11}为主光流轨迹的集合。将F记作模式提取操作符,对轨迹集合T施加模式提取操作F得到 F(T)={F(C1),F(C2),...,F(C11)},其中F(T)是捕捉到的微表情发生帧。为了记录标注的帧,维护一个线性序列Γ=(0,0,…,0)将微表情发生的帧的相应位置赋值为1,其中Γ序列的长度等于样本视频的总的帧数。要注意的是在提取幅值模式的过程中捕捉到的相邻微表情连续帧可能间隔过小,比如设置的间隔为fps/10,小于此间隔时,要采用融合的操作将间隔过小的标注片段合并。
图4展示了测试样本中出现的微表情类别全是恶心时,在不同ROI 区域内的光流轨迹变化情况,可以观察到在微表情发生时,相应的ROI区域内会出现很高的顶峰,而不相关的区域则变化平缓。
如图5所示,本发明中还设计了一个物理系统进行捕捉微表情。整个系统包括高速摄像机1、LED照明灯2、反光伞3、计算机4、被试监视器5 和主试监视器6,将高速摄像机1连接到计算机4,被测试的对象坐在镜头面前。为了提高捕捉效率,高速摄像头与计算机的连接通过USB3.0控制口,其最高传输带宽可达到5.0Gbps(640MB/s),这样传输速度就不会成为摄像机速度的瓶颈。此外使用多线程的方式,读取视频帧和写入视频帧由两个线程执行,以充分利用多核CPU的性能。存储过程采用缓冲队列的方式,不是将每一帧图片依次存入硬盘,而是维护一个队列的数据结构用于临时保存一定数量的帧,当队列满时将队列中的所有帧全部保存到硬盘当中。
表1列出了运用本发明微表情检测方法在两个微表情数据库上运行的结果,可以观察到本发明标注微表情方面具有更好的表现。
表1:
对比例(采用主方向最大距离(MDMD)方法)
对于一个视频样本,当前帧被记作Fi。Fi-k是Fi的第前K帧,Fi+k是Fi后的第K帧。计算Fi-k和Fi之间的光流被记作(uHC,vHC)代表每一个对应像素点的距离。Fi-k叫做头帧(Head),Fi+k叫做尾帧(Tail)。Fi-k和Fi+k之间的光流被记作(uHT,vHT)。转换到极坐标下就是(ρHC,θHC)和(ρHT,θHT)。计算主方向光流得到和将按照升序排列,找到这组序列中的最大的记作最大距离被定义为1/3*该方法还将脸部进行分块,根据b*b进行分割。计算b^2个区域块内的最大距离并降序排列,取前s个计算平均值记作作rmean。
threshold=rmean+p(rmax-rmean) (2)
P是参数,范围为[0,1]。高于该阈值的帧被记作微表情。
下表2是采用主方向最大距离方法在两个微表情数据库上运行进行标注的情况。
表2:
对比结论:本发明标注正确的微表情片段比采用对比例中的多,标注错误的微表情片段比采用对比例中的少。根据比对F1-score指标,本发明在标注宏表情和微表情上的总体表现都优于上述方法,并且具有更强的稳定性。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。
Claims (10)
1.一种基于光流的微表情检测方法,其特征在于,采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别,并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘;计算视频样本中相邻两帧的稠密光流,提取感兴趣区域ROI内的光流及不易形变区域ROI‘的光流,对二者做减法处理以去除头部晃动的影响;划定极坐标下的角度区域,在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流,并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来;根据幅值和角度轨迹捕捉视频样本中的微表情发生帧,并作出微表情标注。
2.根据权利要求1所述的基于光流的微表情检测方法,其特征在于,在人脸区域标记出感兴趣区域ROI为双眉区域、嘴唇四周区域和鼻尖区域。
3.根据权利要求2所述的基于光流的微表情检测方法,其特征在于,沿每条眉毛分别标记三个特征点,在上嘴唇和下嘴唇的中部各标记一个特征点,在两嘴角位置分别标记一个特征点,在鼻尖位置标记一个特征点。
4.根据权利要求1所述的基于光流的微表情检测方法,其特征在于,在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。
5.根据权利要求1所述的基于光流的微表情检测方法,其特征在于,所划定的极坐标角度区域的方法是,在极坐标平面区共划分至少四个对称区域,分别为左右两个扇形区域和上下两个扇形区域,且左右两个扇形区域所呈圆心角为40~80°。
6.根据权利要求5所述的基于光流的微表情检测方法,其特征在于,计算视频样本中每帧图片感兴趣区域ROI的主光流幅值和角度的具体方法是,分别统计落入到所划分的四个角度区域内的光流的幅值之和,选出具有最大幅值的区域,计算落入到这个最大幅值区域的主光流,在极坐标系中表示出主光流轨迹的幅值和角度。
7.根据权利要求6所述的基于光流的微表情检测方法,其特征在于,根据幅值和角度轨迹捕捉视频样本中的微表情发生帧,并作出标注,其具体方法是:在视频样本中选取感兴趣区域ROI中的主光流幅值轨迹的最大值max;设定幅度阈值C*max(其中C<1)并提取感兴趣区域ROI中的主光流幅值大于所设定幅度阈值的特征点轨迹,提取感兴趣区域ROI中特征点的完整波峰;针对所提取的波峰中的帧,根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注。
9.根据权利要求8所述的基于光流的微表情检测方法,其特征在于,所述的C值取值为0.5~0.8,所述的角度阈值为(0-1/2)*fps。
10.根据权利要求1所述的基于光流的微表情检测方法,其特征在于,在提取感兴趣区域ROI中的主光流幅值的过程中,若捕捉到的相邻微表情连续帧小于fps/10时,采用融合操作将间隔小于所设定间隔标注片段进行合并处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010252013.3A CN111461021B (zh) | 2020-04-01 | 2020-04-01 | 一种基于光流的微表情检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010252013.3A CN111461021B (zh) | 2020-04-01 | 2020-04-01 | 一种基于光流的微表情检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111461021A true CN111461021A (zh) | 2020-07-28 |
CN111461021B CN111461021B (zh) | 2024-06-14 |
Family
ID=71684395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010252013.3A Active CN111461021B (zh) | 2020-04-01 | 2020-04-01 | 一种基于光流的微表情检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111461021B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114005153A (zh) * | 2021-02-01 | 2022-02-01 | 南京云思创智信息科技有限公司 | 面貌多样性的个性化微表情实时识别方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123544A (zh) * | 2014-07-23 | 2014-10-29 | 通号通信信息集团有限公司 | 基于视频分析的异常行为检测方法及系统 |
CN104504365A (zh) * | 2014-11-24 | 2015-04-08 | 闻泰通讯股份有限公司 | 视频序列中的笑脸识别系统及方法 |
CN104933416A (zh) * | 2015-06-26 | 2015-09-23 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
CN106897671A (zh) * | 2017-01-19 | 2017-06-27 | 山东中磁视讯股份有限公司 | 一种基于光流和FisherVector编码的微表情识别方法 |
CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
CN107403142A (zh) * | 2017-07-05 | 2017-11-28 | 山东中磁视讯股份有限公司 | 一种微表情的检测方法 |
US20170364741A1 (en) * | 2016-06-15 | 2017-12-21 | Stockholm University | Computer-based micro-expression analysis |
US20180005272A1 (en) * | 2016-06-30 | 2018-01-04 | Paypal, Inc. | Image data detection for micro-expression analysis and targeted data services |
CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
CN108830223A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于批量模式主动学习的微表情识别方法 |
CN108830222A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于信息性和代表性主动学习的微表情识别方法 |
CN109034126A (zh) * | 2018-08-31 | 2018-12-18 | 上海理工大学 | 一种基于光流主方向的微表情识别方法 |
CN109961054A (zh) * | 2019-03-29 | 2019-07-02 | 山东大学 | 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法 |
CN110175596A (zh) * | 2019-06-04 | 2019-08-27 | 重庆邮电大学 | 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 |
CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
-
2020
- 2020-04-01 CN CN202010252013.3A patent/CN111461021B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123544A (zh) * | 2014-07-23 | 2014-10-29 | 通号通信信息集团有限公司 | 基于视频分析的异常行为检测方法及系统 |
CN104504365A (zh) * | 2014-11-24 | 2015-04-08 | 闻泰通讯股份有限公司 | 视频序列中的笑脸识别系统及方法 |
CN104933416A (zh) * | 2015-06-26 | 2015-09-23 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
US20170364741A1 (en) * | 2016-06-15 | 2017-12-21 | Stockholm University | Computer-based micro-expression analysis |
US20180005272A1 (en) * | 2016-06-30 | 2018-01-04 | Paypal, Inc. | Image data detection for micro-expression analysis and targeted data services |
CN106897671A (zh) * | 2017-01-19 | 2017-06-27 | 山东中磁视讯股份有限公司 | 一种基于光流和FisherVector编码的微表情识别方法 |
CN107403142A (zh) * | 2017-07-05 | 2017-11-28 | 山东中磁视讯股份有限公司 | 一种微表情的检测方法 |
CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
CN108830223A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于批量模式主动学习的微表情识别方法 |
CN108830222A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于信息性和代表性主动学习的微表情识别方法 |
CN109034126A (zh) * | 2018-08-31 | 2018-12-18 | 上海理工大学 | 一种基于光流主方向的微表情识别方法 |
CN109961054A (zh) * | 2019-03-29 | 2019-07-02 | 山东大学 | 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法 |
CN110175596A (zh) * | 2019-06-04 | 2019-08-27 | 重庆邮电大学 | 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 |
CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
马浩原等: "平均光流方向直方图描述的微表情识别", 《信号处理》, vol. 34, no. 3, pages 279 - 287 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114005153A (zh) * | 2021-02-01 | 2022-02-01 | 南京云思创智信息科技有限公司 | 面貌多样性的个性化微表情实时识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111461021B (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lim et al. | Isolated sign language recognition using convolutional neural network hand modelling and hand energy image | |
Pantic et al. | Dynamics of facial expression: recognition of facial actions and their temporal segments from face profile image sequences | |
CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
Koelstra et al. | A dynamic texture-based approach to recognition of facial actions and their temporal models | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
CN111291735A (zh) | 基于轨迹分析的井下人员奔跑异常行为检测方法 | |
Conaire et al. | Tennissense: A platform for extracting semantic information from multi-camera tennis data | |
CN108629301B (zh) | 一种人体动作识别方法 | |
WO2021190663A1 (zh) | 人脸标注图像的获取方法及装置、电子设备、存储介质 | |
CN110390300A (zh) | 一种用于机器人的目标跟随方法和装置 | |
CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
CN111461021A (zh) | 一种基于光流的微表情检测方法 | |
CN104616277B (zh) | 视频结构化描述中的行人定位方法及其装置 | |
CN109583360B (zh) | 一种基于时空信息和层级表示的视频人体行为识别方法 | |
Aitpayev et al. | Semi-automatic annotation tool for sign languages | |
CN116645717A (zh) | 一种基于PCANet+和LSTM的微表情识别方法及系统 | |
Burger et al. | Cued speech hand gestures recognition tool | |
CN115063448A (zh) | 一种面向油田作业场景的多目标追踪方法 | |
CN111914625B (zh) | 基于检测器与跟踪器数据关联的多目标车辆跟踪装置 | |
Kshirsagar et al. | Comparing key frame selection for one-two hand gesture recognition using different methods | |
Tsuruta et al. | Real-time recognition of body motion for virtual dance collaboration system | |
Dawod et al. | Gesture segmentation: automatic continuous sign language technique based on adaptive contrast stretching approach | |
CN103533242B (zh) | 在失焦视频中提取与跟踪光标点的方法及系统 | |
CN103268606A (zh) | 一种运动模糊图像的深度信息补偿方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |