CN110084259A - 一种结合面部纹理和光流特征的面瘫分级综合评估系统 - Google Patents

一种结合面部纹理和光流特征的面瘫分级综合评估系统 Download PDF

Info

Publication number
CN110084259A
CN110084259A CN201910022442.9A CN201910022442A CN110084259A CN 110084259 A CN110084259 A CN 110084259A CN 201910022442 A CN201910022442 A CN 201910022442A CN 110084259 A CN110084259 A CN 110084259A
Authority
CN
China
Prior art keywords
face
facial
feature
facial paralysis
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910022442.9A
Other languages
English (en)
Other versions
CN110084259B (zh
Inventor
谢飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910022442.9A priority Critical patent/CN110084259B/zh
Publication of CN110084259A publication Critical patent/CN110084259A/zh
Application granted granted Critical
Publication of CN110084259B publication Critical patent/CN110084259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合面部纹理和光流特征的面瘫分级综合评估系统,包括图像视频采集及预处理模块、面部对称区域划分模块、基于纹理差异的评估模块、基于光流特征差异的评估模块以及面瘫分级综合评估模块,首先对面瘫静态图像和视频数据进行预处理;然后利用人脸关键点检测方法对人脸进行区域划分;针对面瘫图像和视频数据,分别依据人脸左右两侧对应区域的纹理特征差异和光流特征差异以完成面瘫分级评估;最后利用基于图像和视频数据的评估结果进行面瘫分级的综合评估。实验表明,提出方法的面瘫分级评估平均准确率相对于传统方法提高了18%以上,具有明显优势。

Description

一种结合面部纹理和光流特征的面瘫分级综合评估系统
技术领域
本发明涉及医疗及图像学技术领域,具体涉及一种结合面部纹理和光流特征的面瘫分级综合评估系统。
背景技术
面瘫是一种以面部表情肌群运动功能障碍为主要特征的一种疾病,是一种常见病、多发病,且不受年龄限制。面瘫主要是由于面部神经受损引发的,大多数是单侧性面瘫,主要表现在口眼歪斜,无法完成抬眉、闭眼、鼓腮等面部基本动作。面部运动时面部左右两侧特征差异较为明显。目前,面瘫病症的诊断主要依靠医生“望闻问切”的诊断方法来对病人的病情进行诊断,并评估面瘫病症的严重程度。但是由于受到现有医疗条件不完善和相关专科医生短缺,以及诊断医生自身医疗经验受限等原因,导致面瘫病症不能准确地诊断和很好的治疗;此外,面瘫患者初期难以发现面部的细微变化,导致很多早期患者难以得到及时的治疗,病情进一步加重。
针对面瘫的自动分级与评价,国内外学者已进行了许多该方面的研究。王倩倩等人提出基于AAM关键点定位的面部神经运动功能评价方法;Wachtman等人利用手工在人脸上标定三个特征点把人脸分成左右两部分,然后根据左右部分的不对称性程度来判断面瘫;而Modersohn等人为提取具有紧凑区分性的面部特征,提出改进AAM模型来解决轻度面瘫患者病情的识别与分析问题;Hontanilla使用3D模型信息来评估面部麻痹程度,通过要求患者进行微笑、张嘴、闭眼和前额提升等多种脸部动作,定量分析面部运动的评估。
He等人提出基于光流法的面瘫严重程度的评估方法。Barbosa等人利用混合分类模型检测人脸关键点,并追踪面部关键点的运动变化,进而提出一种基于面部不对称和面部动态变化的面瘫自动评估方法。2014年董军宇等人提出基于AAM和人脸面部LBP差异特征的面瘫分级评估方法。王绍宇等人提出了基于ASM和光流特征的面瘫分级评估方法,该方法依据不同表情的面部区域运动特点,利用光流空间特征进行面瘫严重度的评估。
基于计算机视觉技术的面瘫识别及等级评估方法的基本原理主要是依据人脸面部的左右对称性特点,但是目前面瘫分级评估方法还存在一些问题,主要表现在:①传统的面瘫分级评估方法只利用单一的人脸纹理或形状特征,而没有能够将多种类型的特征进行融合,以实现更为准确的面瘫分级评估。②传统的利用深度学习进行面瘫分级评估的方法只针对视频中的单帧进行特征提取,而没有考虑面部运动时的变化特征。
发明内容
针对传统方法仅仅单一的利用人脸纹理和形状特征进行面瘫等级评估,在深度学习时面部运动变化特征没有考虑到等问题,本发明基于面瘫患者不同面部表情的图像和视频数据,提出结合面部纹理和光流特征差异的面瘫分级综合评估系统。
为了实现上述任务,本发明采用以下技术方案:
一种结合面部纹理和光流特征的面瘫分级综合评估系统,包括:
图像视频采集及预处理模块,用于采集面瘫患者的面部状态由中性转换到面部运动最大幅度时的面部图像,以及整个面部表情变化过程中的视频数据,并对所述的视频数据进行子视频划分和人脸检测;
面部对称区域划分模块,用于将面部图像中的面部划分左右对称的两部分,然后再划分为不同的区域;
基于纹理差异的评估模块,用于提取所述面部图像不同区域的纹理特征,然后根据人脸对称性特点,分别计算人脸对称区域之间的特征差异;基于特征差异,利用SVM分类器进行面瘫分级评估;
基于光流特征差异的评估模块,用于针对所述的子视频利用光流法提取面部运动的光流信息,并计算面部运动过程中,人脸左右两侧对应区域之间光流特征之间的差异性,根据差异性特征,利用LSTM模型实现面瘫分级评估;
面瘫分级综合评估模块,用于对面瘫诊断动作的图像和视频数据,利用图像视频采集及预处理模块进行预处理后,一方面通过基于纹理差异的评估模块得到基于图像数据的面瘫分级评估结果,另一方面,通过基于光流特征差异的评估模块得到基于视频数据的面瘫分级评估结果,将两个分级评估结果融合得到最终的分级评估结果。
进一步地,所述的划分为不同的区域,包括:
左、右眉毛区域;左、右眼睛区域;左、右脸颊区域;左、右鼻子区域;左、右嘴巴区域。
进一步地,所述的提取所述面部图像不同区域的纹理特征,然后根据人脸对称性特点,分别计算人脸对称区域之间的特征差异,包括:
提取人脸区域的Gabor特征,并与LBP特征进行级联融合,以更全面描述人脸区域的纹理特征信息;
所述的纹理特征包括LBP特征和Gabor特征,其中,LBP特征的提取公式为:
其中,LBP(P,R)=LBP(8,1),P=8是指中心点像素周围的八个近邻像素点,R=1是指中心点像素到八个近邻像素点的距离;gc表示中心点像素,gn(n=0,1,2,3,……,8)是中心点像素的邻近点;
计算人脸两侧对应区域的不同特征的差异,公式为:
DP=PL-PR (4)
DG=GL-GR (5)
其中,PL和PR表示人脸左、右侧部分提取的LBP特征信息,DP表示LBP特征差异信息;GL和GR表示人脸左、右侧部分提取的Gabor特征信息,DG表示Gabor特征差异信息。
进一步地,所述的基于特征差异,利用SVM分类器进行面瘫分级评估,包括:
对特征差异信息DP和DG进行归一化,获得级联的特征差异向量,最后,利用主成分分析对特征差异向量进行降维处理,将降维后的向量作为SVM分类器的输入,以进行面瘫分级评估。
进一步地,所述的针对所述的子视频利用光流法提取面部运动的光流信息,并计算面部运动过程中,人脸左右两侧对应区域之间光流特征之间的差异性,包括:
面部运动的光流信息的提取方法为:
对于在时间t的视频帧中坐标为(x,y)的像素点,其灰度为I(x,y,t),经过时间Δt后,该像素点运动到位置(x+Δx,y+Δy)处,其灰度为I(x+Δx,y+Δy,t+Δt);由于是两个不同时刻的同一个点,因此,根据灰度守恒假设有:
I(x,y,t)=I(x+Δx,y+Δy,t+Δt) (6)
将式6的右边在(x,y,t)点用泰勒公式展开,经化简和略去二次项后,得到光流场的基本方程:
其中Vx,Vy分别是I(x,y,t)的光流向量中x,y的组成;表示光流信息,则是图像在(x,y,t)这一点的梯度,表示两帧图像块之间差值;
利用上述光流信息的提取方法来计算面瘫子视频中各相邻帧之间的光流信息;
基于计算得出的人脸不同区域的光流信息,针对不同的面部动作,对比分析人脸左右两侧相关区域的光流差异特征,光流差公式如下:
DW=WL-WR (8)
其中,WL、WR表示人脸左、右侧部分提取的流光信息,DW表示流光信息差值。
进一步地,所述的根据差异性特征,利用LSTM模型实现面瘫分级评估,包括:
将获取到的不同区域的光流差异信息作为LSTM模型的输入,建立整个子视频中光流信息之间的相互关联关系,进而实现基于视频数据的面瘫分级评估。
进一步地,所述的将两个分级评估结果融合得到最终的分级评估结果,包括:
Q=αQI,A+βQV,A (9)
其中,Q表示面瘫最终分级评估结果,QI,A和QV,A分别表示基于图像数据I和视频数据V的针对相应面部动作A的面瘫分级评估结果,α,β表示权值参数。
本发明与现有技术相比具有以下技术特点:
1.本发明方法针对不同的面部表情,关注相对应的面部区域。基于面瘫患者在进行面瘫诊断表情时,提取左右脸差异特征,并利用SVM进行面瘫分级,从而实现更为准确的面瘫分级评估。
2.相对于静态图像数据,视频数据能够更好地反映面部运动的时序变化特征,有利于提高面瘫分级评估的准确性。而光流法在视频数据分析中不仅能够提供运动目标的外形轮廓和具体位置信息,同时还能够提供目标的运动矢量信息,以准确得到图像序列中目标的运动参数。
附图说明
图1为本发明系统的整体流程框架图;
图2的(a)、(b)分别为左眼、右眼及其LBP特征的直方图;
图3的(a)、(b)分别为左眼、右眼及其Gabor特征图;
图4为闭眼视频片段的流光图,其中(a)为左眼序列视频帧,(b)为左眼光流图,(c)为右眼序列视频帧,(d)为右眼光流图;
图5为左眼和右眼光流差异图;
图6为不同面瘫分级评估方法结果曲线图。
具体实施方式
本发明公开了一种结合面部纹理和光流特征的面瘫分级综合评估系统,具体包括以下模块:
1.图像视频采集及预处理模块
用于采集面瘫患者的面部状态由中性转换到面部运动最大幅度时的面部图像,以及整个面部表情变化过程中的视频数据,并对所述的视频数据进行子视频划分和人脸检测,对检测到的人脸区域统一到相同尺寸。
疑似面瘫患者在诊断的过程中,医生要求患者从中性状态(自然状态下)开始做一些特定面部表情动作,面部状态由中性逐渐转换到面部运动的最大幅度,每个动作大约持续3秒。每位就诊人员要求做3~4次相同的面部表情动作。
那么,本方案中,利用相机拍摄面瘫患者在其面部表情最大幅度时的面部图像,以及整个面部表情由中性到最大幅度过程的视频数据。然后,针对这些图像和视频数据进行预处理,主要包括面部动作子视频划分和人脸区域定位。
子视频划分:
面部动作子视频划分是按照患者进行面部动作时采集的含有患者诊断过程中所有面部动作的所述视频数据划分为多个单个动作单次完成的子视频,以体现面瘫患者在做单一面部诊断动作时面部的动态变化特征。
人脸区域定位:
面瘫分级评估主要关注面部运动变化的特征,而并不关注背景因素和患者的其他身体部分,因此,本方案利用Faster RCNN对所有子视频数据进行人脸检测,并对检测得到的人脸区域统一到相同的尺寸。
2.面部对称区域划分模块
用于将面部图像中的面部划分左右对称的两部分,然后再划分为不同的区域,包括左、右眉毛区域;左、右眼睛区域;左、右脸颊区域;左、右鼻子区域;左、右嘴巴区域。
主动外观模型(AAM)是一种特征点提取方法,已在人脸关键点检测和特征提取领域广泛应用。利用AAM模型可以较为准确地获得人脸五官和轮廓的各个特征点的精确位置。
基于人脸关键点可以对人脸不同的器官或人脸区域进行划分。而面部运动则会引起多数关键点会发生位置变化,导致面部对称线难以准确确定。但眼角和鼻梁两侧存在4个位置几乎保持不变的关键点,因此,选取这四个关键点把人脸分成左右对称的两部分。然后,根据其他关键点的位置分布,将面部分为十个区域,包括:左、右眉毛区域;左、右眼睛区域;左、右脸颊区域;左、右鼻子区域;左、右嘴巴区域。
3.基于纹理差异的评估模块
在人脸区域划分的基础上,该模块用于提取所述面部图像不同区域的纹理特征,然后根据人脸对称性特点,分别计算人脸对称区域之间的特征差异;基于特征差异,利用SVM分类器进行面瘫分级评估。
本方案中,所述的纹理特征包括LBP特征和Gabor特征,其中:
LBP是一种有效的局部纹理描述算子,它可以对灰度图像中局部邻域的纹理信息进行度量和提取。提取面部区域的LBP特征采用中心点值为阈值的3×3的LBP算子,计算公式如下:
其中,LBP(P,R)=LBP(8,1),P=8是指中心点像素周围的八个近邻像素点,R=1是指中心点像素到八个近邻像素点的距离。gc表示中心点像素,gn(n=0,1,2,3,……,8)是中心点像素的邻近点。当gn大于gc时,临近点的二进制表示为1;反之,为0。如图6所示为对左、右眼提取LBP特征的直方图。
Gabor小波能在一定意义上反映图像在不同方向和尺度下的纹理信息,能够有效降低光照,噪音对图像特征提取的影响,可以增强图像的边缘特征;同时在图像有一定程度的旋转和形变时仍然保持着很好的分辨效果。因此,提取人脸区域的Gabor特征,并与LBP特征进行级联融合,以更全面描述人脸区域的纹理特征信息。针对面瘫图像,在3尺度、4个方向提取Gabor特征。
基于面瘫图像的面瘫分级评估主要依据面部的不对称性,即可对比分析人脸左、右两侧对应区域的纹理特征之间的差异程度。由于面瘫诊断时,要求患者做不同的面部表情动作,并且针对不同的面部表情动作关注面部不同的区域,因此,根据不同面部动作时的面部图像,提取相关面部区域的LBP特征和Gabor特征,并计算人脸两侧对应区域的不同特征的差异:
DF=FL-FR (3)
FL和FR表示分别在人脸左、右侧部分提取的特征信息,DF表示特征差异信息。那么针对LBP特征和Gabor特征,则有:
DP=PL-PR (4)
DG=GL-GR (5)
其中,PL和PR表示人脸左、右侧部分提取的LBP特征信息,DP表示LBP特征差异信息;GL和GR表示人脸左、右侧部分提取的Gabor特征信息,DG表示Gabor特征差异信息。其中人脸左侧部分包括左眉毛区域、左眼睛区域、左脸颊区域、左鼻子区域以及左嘴巴区域,人脸右侧部分包括右眉毛区域、右眼睛区域、右脸颊区域、右鼻子区域以及右嘴巴区域。
然后,对纹理特征差异DP和DG进行归一化,获得级联的特征差异向量,最后,利用主成分分析(PCA)对特征差异向量进行降维处理,将降维后的向量作为SVM分类器的输入,以进行面瘫分级评估。
4.基于光流特征差异的评估模块
用于针对所述的子视频利用光流法提取面部运动的光流信息,并计算面部运动过程中,人脸左右两侧对应区域之间光流特征之间的差异性,根据差异性特征,利用LSTM模型实现面瘫分级评估。
相对于静态图像,视频能够记录目标运动的动态变化信息。因此,面瘫患者进行面部诊断动作时的视频数据能够反映面部运动变化信息。而在运动目标的动态特征提取方面,光流技术得到广泛的应用,并取得良好的效果。
所述的面部运动的光流信息的提取方法为:
对于在时间t的视频帧中坐标为(x,y)的像素点,其灰度为I(x,y,t),经过时间Δt后,该像素点运动到位置(x+Δx,y+Δy)处,其灰度为I(x+Δx,y+Δy,t+Δt);由于是两个不同时刻的同一个点,因此,根据灰度守恒假设有:
I(x,y,t)=I(x+Δx,y+Δy,t+Δt) (6)
将式6的右边在(x,y,t)点用泰勒公式展开,经化简和略去二次项后,得到光流场的基本方程:
其中Vx,Vy分别是I(x,y,t)的光流向量中x,y的组成。表示光流信息,则是图像在(x,y,t)这一点的梯度,表示两帧图像块之间差值。
利用上述光流计算方法来计算面瘫子视频中各相邻帧之间的光流信息。
基于计算得出的人脸不同区域的光流信息,针对不同的面部动作,对比分析人脸左右两侧相关区域的光流差异特征。光流差公式如下:
DW=WL-WR (8)
其中,WL、WR表示人脸左、右侧部分提取的流光信息,DW表示流光信息差值。
基于视频数据的光流信息能够更好地反映面部相关区域的运动特征。例如:闭眼动作主要影响眼睛和眉毛区域,通过光流法得到左眼和右眼的光流信息,然后比较左眼和右眼的光流信息得到光流差异信息,然后,将获取到的不同区域的光流差异信息作为LSTM模型的输入,建立整个子视频中光流信息之间的相互关联关系,进而实现基于视频数据的面瘫分级评估。
5.面瘫分级综合评估模块
用于针对疑似面瘫患者的面瘫诊断动作(包括:微笑,抬眉,皱眉,闭眼,耸鼻,示齿和鼓腮七种面部动作)的图像和视频数据,利用图像视频采集及预处理模块进行预处理后,一方面通过基于纹理差异的评估模块,提取诊断动作图像中面部图像不同区域的纹理特征,对比分析人脸左右两侧相应区域的特征差异,进而通过SVM分类器得到基于图像数据的面瘫分级评估结果;另一方面,通过基于光流特征差异的评估模块,提取子视频中面部运动的光流信息,并对比分析人脸左右两侧相关区域光流差异特征,进而通过LSTM模型得到基于视频数据的面瘫分级评估结果,然后通过以下计算得到最终分级评估结果:
Q=αQI,A+βQV,A (9)
其中,Q表示面瘫最终分级评估结果,QI,A和QV,A分别表示基于图像数据I和视频数据V的针对相应面部动作A的面瘫分级评估结果,而α,β表示权值参数。
用于实现本系统的具体硬件结构可采用包括相机、处理器、存储装置、显示器在内的设备,其中相机用于采集面部图像和视频数据,其余模块的功能则由处理器、存储装置完成,最终结果通过显示器进行显示。
对于面瘫分级评估的相关研究,由于涉及到患者的个人隐私,目前还没有公开的数据集。为验证提出方法的有效性,与陕西省中医医院合作,制定了一套较为完整的数据采集规范,采集真实面瘫患者的诊断图像和视频数据。目前为止,已经收集到面瘫患者83例,患者数据包含83×7余幅面部图像(每位患者进行7个面部动作的图像数据)和83×7×3段视频数据(每位患者进行7个面部动作,每个动作分别进行3次)。此外,由3位专科医生对收集到的数据进行明确标注,并由资质医生对标注进行最终审核确认。面瘫图像和视频的分级标注主要分为四个标准:0代表正常(非面瘫),1代表轻度面瘫,2代表中度面瘫,3代表重度面瘫。
此外,选用几种现有的面瘫评估方法作为对比试验方法,已验证提出方法的优越性。针对不同面瘫动作的所有图像和视频数据,都分别使用70%的图像或视频作为训练数据,剩余的30%的数据作为测试数据。针对不同面部动作使用不同方法进行面瘫分级评估的结果如表1所示,实验数据对于的曲线图如图1所示。
表1不同面瘫分级评估方法的准确率(%)
面部动作 Gabor+SVM LBP+SVM 光流+LSTM 本方案
闭眼 66.7 79.4 87.5 88.4
微笑 66.8 62.9 83.3 83.5
抬眉 68.8 76.6 90.4 92.7
皱眉 61.8 64.5 89.9 90.1
耸鼻 69.2 64.7 83.4 83.9
示齿 69.8 69.2 87.2 87.8
鼓腮 78.0 73.8 91.6 91.7
通过对实验数据的分析,我们可以看出:传统的基于静态面部图像,依据面部纹理特征的不对称性进行面瘫评估的方法,其评估准确率难以达到令人满意的效果。此类方法对7种面部动作的面瘫分级评估准确率均在80%以下。相对于图像数据,利用视频数据,依据面部运动的光流差异特征进行面瘫分级评估的准确性得到大幅度提高,相对于Gabor方法,7个面部动作评估的平均准确率提高了18.9%;而相对于LBP的方法,平均准确率提高了17.5%。主要原因在于视频数据中不仅具有静态图像的面部不对称性特征,同时也包含面部运动时更为丰富的面部运动的动态变化特征。而本方案则将基于静态面部图像的评估结果与基于视频的评估结果结合起来实现面瘫分级的综合评估,进一步提高面瘫分级评估的准确性,平均准确率相对于仅使用视频数据的评估结果提高了0.69%。可见提出方法的面瘫评估准确率总体上都优于其他方法,尤其相对传统的基于面部图像的评估方法,优势更为明显。

Claims (7)

1.一种结合面部纹理和光流特征的面瘫分级综合评估系统,其特征在于,包括:
图像视频采集及预处理模块,用于采集面瘫患者的面部状态由中性转换到面部运动最大幅度时的面部图像,以及整个面部表情变化过程中的视频数据,并对所述的视频数据进行子视频划分和人脸检测;
面部对称区域划分模块,用于将面部图像中的面部划分左右对称的两部分,然后再划分为不同的区域;
基于纹理差异的评估模块,用于提取所述面部图像不同区域的纹理特征,然后根据人脸对称性特点,分别计算人脸对称区域之间的特征差异;基于特征差异,利用SVM分类器进行面瘫分级评估;
基于光流特征差异的评估模块,用于针对所述的子视频利用光流法提取面部运动的光流信息,并计算面部运动过程中,人脸左右两侧对应区域之间光流特征之间的差异性,根据差异性特征,利用LSTM模型实现面瘫分级评估;
面瘫分级综合评估模块,用于对面瘫诊断动作的图像和视频数据,利用图像视频采集及预处理模块进行预处理后,一方面通过基于纹理差异的评估模块得到基于图像数据的面瘫分级评估结果,另一方面,通过基于光流特征差异的评估模块得到基于视频数据的面瘫分级评估结果,将两个分级评估结果融合得到最终的分级评估结果。
2.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统,其特征在于,所述的划分为不同的区域,包括:
左、右眉毛区域;左、右眼睛区域;左、右脸颊区域;左、右鼻子区域;左、右嘴巴区域。
3.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统,其特征在于,所述的提取所述面部图像不同区域的纹理特征,然后根据人脸对称性特点,分别计算人脸对称区域之间的特征差异,包括:
提取人脸区域的Gabor特征,并与LBP特征进行级联融合,以更全面描述人脸区域的纹理特征信息;
所述的纹理特征包括LBP特征和Gabor特征,其中,LBP特征的提取公式为:
其中,LBP(P,R)=LBP(8,1),P=8是指中心点像素周围的八个近邻像素点,R=1是指中心点像素到八个近邻像素点的距离;gc表示中心点像素,gn(n=0,1,2,3,……,8)是中心点像素的邻近点;
计算人脸两侧对应区域的不同特征的差异,公式为:
DP=PL-PR (4)
DG=GL-GR (5)
其中,PL和PR表示人脸左、右侧部分提取的LBP特征信息,DP表示LBP特征差异信息;GL和GR表示人脸左、右侧部分提取的Gabor特征信息,DG表示Gabor特征差异信息。
4.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统,其特征在于,所述的基于特征差异,利用SVM分类器进行面瘫分级评估,包括:
对特征差异信息DP和DG进行归一化,获得级联的特征差异向量,最后,利用主成分分析对特征差异向量进行降维处理,将降维后的向量作为SVM分类器的输入,以进行面瘫分级评估。
5.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统,其特征在于,所述的针对所述的子视频利用光流法提取面部运动的光流信息,并计算面部运动过程中,人脸左右两侧对应区域之间光流特征之间的差异性,包括:
面部运动的光流信息的提取方法为:
对于在时间t的视频帧中坐标为(x,y)的像素点,其灰度为I(x,y,t),经过时间Δt后,该像素点运动到位置(x+Δx,y+Δy)处,其灰度为I(x+Δx,y+Δy,t+Δt);由于是两个不同时刻的同一个点,因此,根据灰度守恒假设有:
I(x,y,t)=I(x+Δx,y+Δy,t+Δt) (6)
将式6的右边在(x,y,t)点用泰勒公式展开,经化简和略去二次项后,得到光流场的基本方程:
其中Vx,Vy分别是I(x,y,t)的光流向量中x,y的组成;表示光流信息,则是图像在(x,y,t)这一点的梯度,表示两帧图像块之间差值;
利用上述光流信息的提取方法来计算面瘫子视频中各相邻帧之间的光流信息;
基于计算得出的人脸不同区域的光流信息,针对不同的面部动作,对比分析人脸左右两侧相关区域的光流差异特征,光流差公式如下:
DW=WL-WR (8)
其中,WL、WR表示人脸左、右侧部分提取的流光信息,DW表示流光信息差值。
6.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统,其特征在于,所述的根据差异性特征,利用LSTM模型实现面瘫分级评估,包括:
将获取到的不同区域的光流差异信息作为LSTM模型的输入,建立整个子视频中光流信息之间的相互关联关系,进而实现基于视频数据的面瘫分级评估。
7.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统,其特征在于,所述的将两个分级评估结果融合得到最终的分级评估结果,包括:
Q=αQI,A+βQV,A (9)
其中,Q表示面瘫最终分级评估结果,QI,A和QV,A分别表示基于图像数据I和视频数据V的针对相应面部动作A的面瘫分级评估结果,α,β表示权值参数。
CN201910022442.9A 2019-01-10 2019-01-10 一种结合面部纹理和光流特征的面瘫分级综合评估系统 Active CN110084259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910022442.9A CN110084259B (zh) 2019-01-10 2019-01-10 一种结合面部纹理和光流特征的面瘫分级综合评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910022442.9A CN110084259B (zh) 2019-01-10 2019-01-10 一种结合面部纹理和光流特征的面瘫分级综合评估系统

Publications (2)

Publication Number Publication Date
CN110084259A true CN110084259A (zh) 2019-08-02
CN110084259B CN110084259B (zh) 2022-09-20

Family

ID=67412965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910022442.9A Active CN110084259B (zh) 2019-01-10 2019-01-10 一种结合面部纹理和光流特征的面瘫分级综合评估系统

Country Status (1)

Country Link
CN (1) CN110084259B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516626A (zh) * 2019-08-29 2019-11-29 上海交通大学 一种基于人脸识别技术的面部对称性评估方法
CN111062936A (zh) * 2019-12-27 2020-04-24 中国科学院上海生命科学研究院 用于面部变形诊疗效果的量化指标评估方法
CN111128369A (zh) * 2019-11-18 2020-05-08 创新工场(北京)企业管理股份有限公司 一种用于评估患者的帕金森病情的方法和装置
CN111126180A (zh) * 2019-12-06 2020-05-08 四川大学 一种基于计算机视觉的面瘫严重程度自动检测系统
CN111553249A (zh) * 2020-04-25 2020-08-18 深圳德技创新实业有限公司 一种cv下基于h-b分级的精准面瘫程度评测方法及装置
CN111553250A (zh) * 2020-04-25 2020-08-18 深圳德技创新实业有限公司 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN111613306A (zh) * 2020-05-19 2020-09-01 南京审计大学 一种多特征融合的面瘫自动评估方法
CN111680545A (zh) * 2020-04-25 2020-09-18 深圳德技创新实业有限公司 一种基于语义分割的精准面瘫程度评测方法及装置
CN111967320A (zh) * 2020-07-15 2020-11-20 内蒙古智诚物联股份有限公司 一种基于光流法的嵌入式事件触发微表情识别方法及装置
CN112001213A (zh) * 2020-04-25 2020-11-27 深圳德技创新实业有限公司 一种基于3d点云分割的精准面瘫程度评测方法及装置
CN112597842A (zh) * 2020-12-15 2021-04-02 周美跃 基于人工智能的运动检测面瘫程度评估系统
CN112768065A (zh) * 2021-01-29 2021-05-07 北京大学口腔医学院 一种基于人工智能的面瘫分级诊断方法、装置
CN113033359A (zh) * 2021-03-12 2021-06-25 西北大学 基于自监督的预训练和面瘫分级的建模、分级方法及系统
CN113361297A (zh) * 2020-02-19 2021-09-07 山东大学 一种基于光流与风车模式特征融合的微表情检测方法
CN113468965A (zh) * 2021-06-01 2021-10-01 北京理工大学 基于光流法改进几何特征的动态表情识别方法
CN113657229A (zh) * 2021-08-06 2021-11-16 姜政毫 人脸识别方法及系统
CN113688701A (zh) * 2021-08-10 2021-11-23 江苏仁和医疗器械有限公司 一种基于计算机视觉的面瘫检测方法及系统
WO2022022551A1 (zh) * 2020-07-29 2022-02-03 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
WO2023284067A1 (zh) * 2021-07-14 2023-01-19 中国科学院深圳先进技术研究院 面神经功能评估方法、装置、计算机设备及存储介质
WO2023197212A1 (zh) * 2022-04-13 2023-10-19 深圳先进技术研究院 自闭症的评估方法、评估装置、电子设备以及存储介质
CN118172819A (zh) * 2024-04-08 2024-06-11 北京市神经外科研究所 一种面瘫评级方法、装置及设备

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482048A (en) * 1993-06-30 1996-01-09 University Of Pittsburgh System and method for measuring and quantitating facial movements
US20030133599A1 (en) * 2002-01-17 2003-07-17 International Business Machines Corporation System method for automatically detecting neutral expressionless faces in digital images
US20080317297A1 (en) * 2005-12-21 2008-12-25 Koninklijke Philips Electronics, N.V. Computer-Based Facial Paralysis Assessment
US20110310237A1 (en) * 2010-06-17 2011-12-22 Institute For Information Industry Facial Expression Recognition Systems and Methods and Computer Program Products Thereof
CN104318221A (zh) * 2014-11-05 2015-01-28 中南大学 一种基于elm的人脸表情识别方法
EP2843621A1 (en) * 2013-08-26 2015-03-04 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Human pose calculation from optical flow data
WO2015089949A1 (zh) * 2013-12-19 2015-06-25 成都品果科技有限公司 一种融合LBP、Gabor特征的人脸聚类方法
CN105117688A (zh) * 2015-07-29 2015-12-02 重庆电子工程职业学院 基于纹理特征融合和svm的人脸识别方法
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105825168A (zh) * 2016-02-02 2016-08-03 西北大学 一种基于s-tld的川金丝猴面部检测和追踪算法
US20170039737A1 (en) * 2015-08-06 2017-02-09 Case Western Reserve University Decision support for disease characterization and treatment response with disease and peri-disease radiomics
GB201703133D0 (en) * 2017-02-27 2017-04-12 Emteq Ltd Optical muscle sensor
WO2017080196A1 (zh) * 2015-11-10 2017-05-18 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
CN106934352A (zh) * 2017-02-28 2017-07-07 华南理工大学 一种基于双路分形网络和lstm的视频描述方法
CN106980815A (zh) * 2017-02-07 2017-07-25 王俊 基于h‑b分级评分监督下的面瘫客观评估方法
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
CN107179683A (zh) * 2017-04-01 2017-09-19 浙江工业大学 一种基于神经网络的交互机器人智能运动检测与控制方法
US20170293804A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Deep 3d attention long short-term memory for video-based action recognition
CN107358206A (zh) * 2017-07-13 2017-11-17 山东大学 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法
US20180032828A1 (en) * 2015-12-18 2018-02-01 Tencent Technology (Shenzhen) Company Limited Face liveness detection method, terminal, server and storage medium
CN107713984A (zh) * 2017-02-07 2018-02-23 王俊 面瘫客观评估方法及其系统
CN207041511U (zh) * 2017-02-07 2018-02-27 王俊 面瘫客观评估系统
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
US20180173220A1 (en) * 2016-12-21 2018-06-21 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法
CN108875618A (zh) * 2018-06-08 2018-11-23 高新兴科技集团股份有限公司 一种人脸活体检测方法、系统及装置
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN108985223A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种人体动作识别方法
US20180373985A1 (en) * 2017-06-23 2018-12-27 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482048A (en) * 1993-06-30 1996-01-09 University Of Pittsburgh System and method for measuring and quantitating facial movements
US20030133599A1 (en) * 2002-01-17 2003-07-17 International Business Machines Corporation System method for automatically detecting neutral expressionless faces in digital images
US20080317297A1 (en) * 2005-12-21 2008-12-25 Koninklijke Philips Electronics, N.V. Computer-Based Facial Paralysis Assessment
US20110310237A1 (en) * 2010-06-17 2011-12-22 Institute For Information Industry Facial Expression Recognition Systems and Methods and Computer Program Products Thereof
EP2843621A1 (en) * 2013-08-26 2015-03-04 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Human pose calculation from optical flow data
WO2015089949A1 (zh) * 2013-12-19 2015-06-25 成都品果科技有限公司 一种融合LBP、Gabor特征的人脸聚类方法
CN104318221A (zh) * 2014-11-05 2015-01-28 中南大学 一种基于elm的人脸表情识别方法
CN105117688A (zh) * 2015-07-29 2015-12-02 重庆电子工程职业学院 基于纹理特征融合和svm的人脸识别方法
US20170039737A1 (en) * 2015-08-06 2017-02-09 Case Western Reserve University Decision support for disease characterization and treatment response with disease and peri-disease radiomics
WO2017080196A1 (zh) * 2015-11-10 2017-05-18 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
US20180032828A1 (en) * 2015-12-18 2018-02-01 Tencent Technology (Shenzhen) Company Limited Face liveness detection method, terminal, server and storage medium
CN105825168A (zh) * 2016-02-02 2016-08-03 西北大学 一种基于s-tld的川金丝猴面部检测和追踪算法
US20170293804A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Deep 3d attention long short-term memory for video-based action recognition
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
US20180173220A1 (en) * 2016-12-21 2018-06-21 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN106980815A (zh) * 2017-02-07 2017-07-25 王俊 基于h‑b分级评分监督下的面瘫客观评估方法
CN107713984A (zh) * 2017-02-07 2018-02-23 王俊 面瘫客观评估方法及其系统
CN207041511U (zh) * 2017-02-07 2018-02-27 王俊 面瘫客观评估系统
GB201703133D0 (en) * 2017-02-27 2017-04-12 Emteq Ltd Optical muscle sensor
CN106934352A (zh) * 2017-02-28 2017-07-07 华南理工大学 一种基于双路分形网络和lstm的视频描述方法
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
CN107179683A (zh) * 2017-04-01 2017-09-19 浙江工业大学 一种基于神经网络的交互机器人智能运动检测与控制方法
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
US20180373985A1 (en) * 2017-06-23 2018-12-27 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
CN107358206A (zh) * 2017-07-13 2017-11-17 山东大学 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法
CN108875618A (zh) * 2018-06-08 2018-11-23 高新兴科技集团股份有限公司 一种人脸活体检测方法、系统及装置
CN108985223A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种人体动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔崤 等: "一种基于GAOF的早期面瘫运动估计方法", 《中国生物医学工程学报》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516626A (zh) * 2019-08-29 2019-11-29 上海交通大学 一种基于人脸识别技术的面部对称性评估方法
CN111128369A (zh) * 2019-11-18 2020-05-08 创新工场(北京)企业管理股份有限公司 一种用于评估患者的帕金森病情的方法和装置
CN111126180A (zh) * 2019-12-06 2020-05-08 四川大学 一种基于计算机视觉的面瘫严重程度自动检测系统
CN111062936A (zh) * 2019-12-27 2020-04-24 中国科学院上海生命科学研究院 用于面部变形诊疗效果的量化指标评估方法
CN111062936B (zh) * 2019-12-27 2023-11-03 中国科学院上海营养与健康研究所 用于面部变形诊疗效果的量化指标评估方法
CN113361297B (zh) * 2020-02-19 2022-07-29 山东大学 一种基于光流与风车模式特征融合的微表情检测方法
CN113361297A (zh) * 2020-02-19 2021-09-07 山东大学 一种基于光流与风车模式特征融合的微表情检测方法
CN111680545A (zh) * 2020-04-25 2020-09-18 深圳德技创新实业有限公司 一种基于语义分割的精准面瘫程度评测方法及装置
CN111553250A (zh) * 2020-04-25 2020-08-18 深圳德技创新实业有限公司 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN112001213A (zh) * 2020-04-25 2020-11-27 深圳德技创新实业有限公司 一种基于3d点云分割的精准面瘫程度评测方法及装置
CN111553249B (zh) * 2020-04-25 2021-04-30 深圳德技创新实业有限公司 一种cv下基于h-b分级的精准面瘫程度评测方法及装置
CN112001213B (zh) * 2020-04-25 2024-04-12 深圳德技创新实业有限公司 一种基于3d点云分割的精准面瘫程度评测方法及装置
CN111553249A (zh) * 2020-04-25 2020-08-18 深圳德技创新实业有限公司 一种cv下基于h-b分级的精准面瘫程度评测方法及装置
CN111613306A (zh) * 2020-05-19 2020-09-01 南京审计大学 一种多特征融合的面瘫自动评估方法
CN111967320A (zh) * 2020-07-15 2020-11-20 内蒙古智诚物联股份有限公司 一种基于光流法的嵌入式事件触发微表情识别方法及装置
WO2022022551A1 (zh) * 2020-07-29 2022-02-03 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
CN112597842A (zh) * 2020-12-15 2021-04-02 周美跃 基于人工智能的运动检测面瘫程度评估系统
CN112597842B (zh) * 2020-12-15 2023-10-20 芜湖明瞳数字健康科技有限公司 基于人工智能的运动检测面瘫程度评估系统
CN112768065A (zh) * 2021-01-29 2021-05-07 北京大学口腔医学院 一种基于人工智能的面瘫分级诊断方法、装置
CN113033359A (zh) * 2021-03-12 2021-06-25 西北大学 基于自监督的预训练和面瘫分级的建模、分级方法及系统
CN113033359B (zh) * 2021-03-12 2023-02-24 西北大学 基于自监督的预训练和面瘫分级的建模、分级方法及系统
CN113468965A (zh) * 2021-06-01 2021-10-01 北京理工大学 基于光流法改进几何特征的动态表情识别方法
WO2023284067A1 (zh) * 2021-07-14 2023-01-19 中国科学院深圳先进技术研究院 面神经功能评估方法、装置、计算机设备及存储介质
CN113657229A (zh) * 2021-08-06 2021-11-16 姜政毫 人脸识别方法及系统
CN113688701B (zh) * 2021-08-10 2022-04-22 江苏仁和医疗器械有限公司 一种基于计算机视觉的面瘫检测方法及系统
CN113688701A (zh) * 2021-08-10 2021-11-23 江苏仁和医疗器械有限公司 一种基于计算机视觉的面瘫检测方法及系统
WO2023197212A1 (zh) * 2022-04-13 2023-10-19 深圳先进技术研究院 自闭症的评估方法、评估装置、电子设备以及存储介质
CN118172819A (zh) * 2024-04-08 2024-06-11 北京市神经外科研究所 一种面瘫评级方法、装置及设备

Also Published As

Publication number Publication date
CN110084259B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN110084259A (zh) 一种结合面部纹理和光流特征的面瘫分级综合评估系统
Yang et al. Exploiting ensemble learning for automatic cataract detection and grading
Rui et al. Segmenting visual actions based on spatio-temporal motion patterns
Terzopoulos et al. Analysis and synthesis of facial image sequences using physical and anatomical models
Wang et al. Automatic evaluation of the degree of facial nerve paralysis
CN101305913B (zh) 一种基于视频的人脸美丽评价方法
Hu et al. Gait-based gender classification using mixed conditional random field
CN105989331B (zh) 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
CN106796449A (zh) 视线追踪方法及装置
Chen et al. Automated pain detection from facial expressions using facs: A review
Cuppens et al. Using spatio-temporal interest points (STIP) for myoclonic jerk detection in nocturnal video
Qian et al. Identifying regional cardiac abnormalities from myocardial strains using nontracking-based strain estimation and spatio-temporal tensor analysis
Wang et al. Automatic recognition of facial movement for paralyzed face
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
CN110338763A (zh) 一种智能中医诊测的图像处理方法及装置
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
Ye et al. Regional manifold learning for disease classification
Chen et al. Hybrid facial image feature extraction and recognition for non-invasive chronic fatigue syndrome diagnosis
Jaroensri et al. A video-based method for automatically rating ataxia
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
Li et al. TCMINet: Face parsing for traditional Chinese medicine inspection via a hybrid neural network with context aggregation
Seifert et al. A knowledge-based approach to soft tissue reconstruction of the cervical spine
Xu et al. Application of artificial intelligence technology in medical imaging
CN112907635B (zh) 基于几何分析提取眼部异常运动特征的方法
CN104331705B (zh) 融合时空信息的步态周期自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant