CN112907635B - 基于几何分析提取眼部异常运动特征的方法 - Google Patents
基于几何分析提取眼部异常运动特征的方法 Download PDFInfo
- Publication number
- CN112907635B CN112907635B CN202110300990.0A CN202110300990A CN112907635B CN 112907635 B CN112907635 B CN 112907635B CN 202110300990 A CN202110300990 A CN 202110300990A CN 112907635 B CN112907635 B CN 112907635B
- Authority
- CN
- China
- Prior art keywords
- eye
- sequence
- blink
- relative opening
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004458 analytical method Methods 0.000 title claims abstract description 29
- 230000004598 abnormal eye movement Effects 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims abstract description 47
- 208000012661 Dyskinesia Diseases 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 29
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 16
- 238000003909 pattern recognition Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000003745 diagnosis Methods 0.000 claims abstract description 6
- 238000007619 statistical method Methods 0.000 claims abstract description 4
- 210000003128 head Anatomy 0.000 claims description 19
- 230000004399 eye closure Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 2
- 230000000193 eyeblink Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 210000000744 eyelid Anatomy 0.000 description 14
- 230000004424 eye movement Effects 0.000 description 12
- 208000035475 disorder Diseases 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000011282 treatment Methods 0.000 description 5
- 208000007101 Muscle Cramp Diseases 0.000 description 4
- 206010028347 Muscle twitching Diseases 0.000 description 3
- 230000036461 convulsion Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 206010063006 Facial spasm Diseases 0.000 description 2
- 208000016285 Movement disease Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 206010005159 blepharospasm Diseases 0.000 description 2
- 230000000744 blepharospasm Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 208000002111 Eye Abnormalities Diseases 0.000 description 1
- 208000019749 Eye movement disease Diseases 0.000 description 1
- 208000022873 Ocular disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 208000014337 facial nerve disease Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 208000028780 ocular motility disease Diseases 0.000 description 1
- 201000002851 oromandibular dystonia Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Abstract
本发明公开了基于几何分析提取眼部异常运动特征的方法，首先，使用摄像机或手机，从正面拍摄静坐状态下受试者面部视频图像序列。然后，通过人脸对齐，对视频图像序列中的面部关键点进行几何定位，提取眼部特征点的几何信息，计算眼睛相对开度。接着，通过经验模态分解去噪、闭眼检测等处理，对眼睛相对开度序列进行滤波与修正。随后，使用固定长度滑窗，提取眼睛相对开度序列片段，训练眨眼检测器，对序列中的眨眼运动模式进行识别。最后，结合眨眼与闭眼运动模式识别结果，对眼睛相对开度序列进行统计分析，提取眼部异常运动特征。本发明实现了眼部异常运动特征的精确客观度量，可用于面部运动障碍疾病严重程度评估，对促进人工智能医学影像辅助诊断技术发展具有重要意义。
Description
技术领域
本发明涉及人工智能、医学影像、临床医学技术领域，尤其涉及一种使用视频图像序列基于几何分析提取眼部异常运动特征的技术。
背景技术
对健康个体而言，眼部运动模式由睁眼、闭眼、眨眼构成，其中前两者可视为静止状态，自然非受迫的眨眼行为更有分析价值。对于存在眼部运动障碍疾病的个体，眼部运动大多表现为受迫的运动状态，如眼睑痉挛、张睑失用、眨眼频率增加，或几者的结合，这些运动模式比较复杂，使用针对健康个体的眨眼检测等通用方法可能难以准确分析。眼部异常运动的特殊性主要体现在个体眼部相对开度变化、眨眼频率等方面。首先，不同个体以上方面差异可能很大；其次，同一个体在不同时间片段中，以上方面差异也可能很明显。所以，对于眼部异常运动的分析，不能仅采用通常的眨眼检测方法。
目前，针对眼部运动障碍疾病的分析大多由具有丰富临床经验的医生完成，对患者进行一定时间的观察，并结合Jankovic评分标准给出眼部运动障碍严重程度判断，而基于视频的计算机辅助诊断实例较少。Midori H.Osaki等人使用附着在眼睑前部区域的发光二极管和摄像机实现了对面肌痉挛患者观影时眨眼与眼睑异常运动的捕捉与分析，研究了眼部疾病受累眼与健康眼的眨眼共轭程度，与眨眼基础上的高频眼睑抽搐。此外，还对复杂的眼睑运动模式进行了探究。Shinji Miyazaki等人开发了一种适用于现场系统来量化临床部位的眼睑运动，也使用了附着在眼睑边缘的标记物，且样本中眼部未表现出复杂运动模式。Naveen N.Somia等人对健康受试者和面部神经病变患者反射性眼睑运动进行了定量描述，测量了位移、速度、加速度、双侧眨眼程度等参数，从运动学角度评估了眼睑功能。同样地也使用了穿戴设备和眼睑反射标记来辅助测量。这些方法大多停留在眼部运动数据获取和统计分析阶段。针对眼部运动数据获取，前述方法都采用了主动检测方法，即使用了附着于眼部的标记物，具有一定的侵入性，会引起被试者不适。此外，对眼部运动数据的分析也只提供了一些简单的统计结果，并未对数据作进一步分析处理，更多的是在医学方面进行讨论，而未提取出眼部异常运动相对于健康个体的典型特征，以供后续疾病诊断与评估。
发明内容
为解决上述问题，本发明公开了一种基于几何分析提取眼部异常运动特征的方法，本发明通过采集面部运动障碍疾病患者和健康对照者的面部视频图像序列，使用人脸对齐算法，提取眼部特征点几何信息，计算眼睛的相对开度；使用经验模态分解去噪、闭眼检测等处理，对眼睛相对开度序列进行滤波与修正；提取眼睛相对开度序列片段，训练眨眼检测器，对序列中的眨眼运动模式进行识别；结合眨眼与闭眼运动模式识别结果，对眼睛相对开度序列进行统计分析，提取眼部异常运动特征，如眨眼频率、闭眼占比等；并将这些特征成功用于面部运动障碍疾病的识别分型及其严重程度评估。
本发明的技术方案如下：
本发明公开了一种基于几何分析提取眼部异常运动特征的方法，其以视频图像序列为信息载体，使用智能分析算法，自动测量受试者眼睛的相对开度，精确提取眼部异常运动特征，包括以下步骤：
步骤1，受试者面部视频采集；
步骤2，人脸检测与人脸对齐；
步骤3，眼睛相对开度计算；
步骤4，经验模态分解去噪；
步骤5，闭眼检测与序列修正；
步骤6，眨眼运动模式识别；
步骤7，眼部异常运动特征提取。
本发明进一步改进在于：步骤1中，使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括面部运动障碍疾病患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病、患病类型以及患病严重程度。根据患者眼部异常运动的临床表现，将面部运动障碍疾病分为若干亚类，与健康受试者形成对照，构建面部运动障碍疾病视频图像数据集。面部运动障碍疾病视频图像数据集中个体的表现不同于一般的人脸数据集。患者眼部运动状态可能是非正常的，直观上可能存在上、下眼睑不同频率痉挛或张睑受限等眼部受迫现象。
本发明进一步改进在于：步骤2中，对受试者面部视频图像序列，使用多任务卷积神经网络(MTCNN)进行人脸检测，并使用卷积专家约束局部模型(CE-CLM)进行人脸对齐，实现面部特征点定位。
CE-CLM包括两部分：使用卷积专家网络(CEN)计算响应图；再使用点分布模型(PDM)更新形状参数。第一步，对每一个特征点的位置进行对齐估计，各个特征点的位置相互独立；第二步，将所有特征点的位置一起更新，使用点分布模型对未对齐特征点和不规则形状进行惩罚。CE-CLM模型初始化使用MTCNN实现，即学习了从MTCNN检测器输出的边界框到面部特征点的线性映射。跟踪特征点时，基于前一帧特征点检测结果初始化CE-CLM模型。
使用CE-CLM模型可以估计视频序列中每一帧图像内面部特征点在相机坐标系下的三维坐标。该方法在面部特征点检测与跟踪方面具有很好的性能，受光照、姿态、表情等变化影响小。
本发明进一步改进在于：步骤3中，将CE-CLM模型估计的面部特征点三维坐标转换到头部坐标系下。由于CE-CLM在内部使用面部特征点的三维表示，并使用正交相机投影到图像上，所以通过解决透视图中的n点问题，可以在得到面部特征点后准确估计头部姿势，获得头部坐标系相关参数。
头部坐标系原点在相机坐标系下坐标为(x0,y0,z0)T，与XYZ三个坐标轴的欧拉角分别为φ，θ，ψ。相机坐标系下特征点(xi,yi,zi)T转换到头部坐标系(xi′,yi′,zi′)T的过程表述为
其中，R为旋转矩阵，
T为平移矩阵
T＝(x0,y0,z0)T
便于后续计算分析，将特征点坐标转换到头部坐标系下。二维坐标系下，点(x,y)绕定点(xc,yc)旋转角度α，得到坐标(x′,y′)的计算，
二维坐标转换用于后续闭眼分类器训练样本(眼部图像)的提取。
眼部相对开度A的计算公式为
其中，p1,p2,...,p6为从左眼角开始按顺时针分布的眼部特征点在头部坐标系下的坐标。由此得到眼睛相对开度序列。
本发明进一步改进在于：步骤4中，对计算得到的眼部相对开度序列，使用基于经验模态分解(EMD)的去噪方法进行滤波。
EMD算法是一种自适应信号时频分析手段，能够抽取信号中的固有模态函数，将原信号分解为许多窄带分量，每一个分量被称为本征模态函数(IMF)。EMD算法适用于非平稳信号分析，分解结果由若干本征模态函数和一个残余信号组成，
在EMD的基础上使用基于噪声统计特性的去噪方法，可以很好地解决EMD的模态混叠问题。特征点定位误差引起序列噪声频率高于眼部异常运动频率，可以认为噪声基本存在于首个分解出的IMF函数。研究发现，打乱某离散信号各元素位置顺序(时序打乱，幅值不变)后，信号功率保持不变，而随机噪声经过乱序、累加、平均处理后，噪声功率逐渐降低。理论上，乱序次数足够多时，噪声功率趋于零。随机噪声经EMD分解后，得到的首个IMF函数仍有近似的随机特性，基于类似思想的滤波处理可以达到较好的去噪效果。
具体步骤如下：
(1)对原始信号y(t)采用EMD分解，得到N个IMF，令y1(t)＝imf1(t)，yc(t)＝y(t)；
(2)将y1(t)各元素位置随机打乱一次，与y2(t)重构得到新信号y′k(t)，计算更新yc(t)＝yc(t)+y′k(t)；
(3)对(2)重复P次，计算累计量的平均值，得到改善的含噪信号
(4)将视作原始信号，重复(1)至(3)共Q次，得到进一步改善的含噪信号/>
(5)将进行EMD分解，再对得到的N个IMF分量进行全局阈值去噪处理，即
其中，
式中，median为第i个imfi分量上的绝对中值；
(6)重构(5)中得到的N个IMF分量imfi′，最终得到去噪后的信号
本发明进一步改进在于：步骤5中，对EMD去噪后的眼部相对开度序列进行再次修正。由于采用CE-CLM模型进行人脸对齐时，在眼部相对开度较低的情况下存在不可忽视的误差，本发明使用由面部运动障碍疾病视频图像数据集训练得到的闭眼检测器对视频进行逐帧分析，判断每一帧是否存在完全闭眼行为。若存在，则使用由闭眼样本得到的眼部相对开度统计量，生成一个随机值覆盖原值，从而对眼睛相对开度较低时的序列值进行修正。
构建闭眼检测器的具体步骤是，将完全闭眼与非完全闭眼的眼部图像作为样本，将眼部图像缩放到固定尺寸后，提取其方向梯度直方图(HOG)特征，使用SVM分类器，训练闭眼检测器。
步骤6中，使用修正后的眼部相对开度序列以及面部运动障碍疾病视频图像数据集中眨眼运动模式的帧级标注，构建眨眼检测器。在眨眼运动模式标注帧附近，对修正后的眼部相对开度序列进行正样本采样，在其余区域进行负样本采样，以固定帧长的眼部相对开度序列片段作为输入，训练支持向量机(SVM)，识别眨眼运动模式。使用训练好的分类器以滑窗方式进行是否存在眨眼运动模式的帧级预测，再通过非极大值抑制剔除时序上相隔过近的检测结果，实现对序列中的眨眼运动模式的识别。具体实现方法如下：
(1)对每一个视频，使用眨眼检测器，通过滑窗方式进行逐帧预测，得到存在眨眼行为的中心帧集合；
(2)将集合中置信度最高的帧附近d0范围的所有预测帧剔除，并将该帧添加至预测结果集合；
(3)重复(2)若干次，直至原集合为空。
这样，就保留了有效检测帧，实现序列中的眨眼运动模式识别。
步骤7中，基于修正后的眼睛相对开度序列，结合眨眼与闭眼运动模式识别结果，可以很容易地提取眼部异常运动特征，包括眨眼频率、闭眼占比等。
眨眼频率定义为，眨眼次数与序列时长的比值，其中眨眼即不论是自然原因还是受迫原因引起的睁眼-闭眼-睁眼过程，或者睁眼-半闭眼-睁眼过程。两者的区别在于，前者的闭眼帧会被闭眼检测修正，而后者则不会。
闭眼占比定义为持续1.5秒以上完全闭眼的总时长与序列时长的比值，其中完全闭眼行为仅取决于闭眼检测修正后的区域，与眼部是否发生痉挛、抽搐等异常运动现象无关。
本发明的有益效果：
1、本发明针对面部视频图像序列，基于几何分析提取眼部异常运动特征，能够有效形成对眼部异常运动的精确定量描述，并克服面部特征点定位误差带来的影响；
2、本发明无需任何主动侵入检测硬件，直接利用视频分析眼部异常运动，首次将人的面部特征点检测与面部运动障碍疾病的临床诊断相结合，通过使用机器学习、信号处理等技术提取眼部异常运动特征，可作为面部运动障碍疾病分型的重要依据，亦可供基于Jankovic评分标准的疾病严重程度评估，对促进人工智能医学影像辅助诊断技术发展具有重要意义。
附图说明
图1为眼部异常运动特征提取流程图；
图2为眼部区域6个特征点示意图；
图3为眼睛相对开度序列示例(左图：眼部运动异常个体；右图：眼部运动健康个体)；
图4为EMD去噪前后序列示例(左图：眼部运动异常个体；右图：眼部运动健康个体)；
图5为闭眼检测修正前后序列示例(左图：眼部运动异常个体；右图：眼部运动健康个体)；
图6为眨眼检测前后序列示例。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
如图1所示：本实施例的一种基于几何分析提取眼部异常运动特征的方法，包括如下步骤：
步骤1，受试者面部视频采集。
使用摄像机或手机，拍摄受试者在静坐状态下的面部视频图像，其中受试者包括面部运动障碍疾病患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部视频图像，诊断受试者是否患病、患病类型以及患病严重程度。根据受试者面部异常运动的临床表现，将面部运动障碍疾病分为五大类：眼睑痉挛、面肌痉挛、口下颌肌张力障碍、未知类型异常，以及健康对照。构建面部运动障碍疾病视频图像数据集，其构成如表1所示。
表1面部运动障碍疾病视频图像数据集的构成
需要说明的是，面部运动障碍疾病视频图像数据集中个体面部表现不同于一般的人脸数据集。患者面部视频图像中个体的眼部运动状态可能是非正常的，直观上可能存在上、下眼睑不同频率的痉挛或张睑受限等眼部受迫现象。
步骤2，人脸检测与人脸对齐。
对受试者面部视频图像，使用多任务卷积神经网络(MTCNN)进行人脸检测，并使用卷积专家约束局部模型(CE-CLM)进行人脸对齐，实现面部特征点定位。
CE-CLM包括两部分：使用卷积专家网络(CEN)计算响应图；再使用点分布模型(PDM)更新形状参数。第一步，对每一个特征点位置进行对齐估计，各个特征点位置相互独立；第二步，将所有特征点的位置一起更新，使用点分布模型对未对齐特征点和不规则形状进行惩罚。CE-CLM模型初始化使用MTCNN实现，即学习了从MTCNN检测器输出的边界框到面部特征点的线性映射。跟踪特征点时，基于前一帧特征点检测结果初始化CE-CLM模型。
使用CE-CLM模型可以估计视频序列中每一帧图像内面部特征点在相机坐标系下的三维坐标，在面部特征点检测与跟踪方面具有很好的性能，受光照、姿态、表情等变化影响小。检测到的眼部特征点位置如图2所示。
步骤3，眼睛相对开度计算。
头部坐标系原点在相机坐标系下的坐标为(x0,y0,z0)T，与XYZ三个坐标轴欧拉角分别为φ，θ，ψ。相机坐标系下特征点(xi,yi,zi)T转换到头部坐标系(xi′,yi′,zi′)T的过程表述为
其中，R为旋转矩阵，T为平移矩阵。
将特征点坐标转换到头部坐标系下，计算眼部相对开度A，
其中，p1,p2,...,p6为从左眼角开始按顺时针分布的眼部特征点在头部坐标系下的坐标，如图2所示。由此可得眼睛相对开度序列，如图3所示。图3中，左图为面部运动障碍疾病个体序列，右图为健康对照个体序列。由图可见，面部运动障碍疾病个体序列基准值较低且杂乱，而健康对照个体序列基准值高，直观上看比较规律。
步骤4，经验模态分解去噪。
对计算得到的眼部相对开度序列，使用基于经验模态分解(EMD)的去噪方法进行滤波。
EMD算法是一种自适应信号时频分析手段，能够抽取信号中的固有模态函数，将原信号分解为许多窄带分量，每一个分量被称为本征模态函数(IMF)。EMD算法适用于非平稳信号分析，分解结果由若干本征模态函数和一个残余信号组成，
在EMD的基础上采用基于噪声统计特性的去噪方法可以很好地解决EMD的模态混叠问题。特征点定位误差引起序列噪声频率高于眼部异常运动频率，可认为该噪声基本存在于首个分解出的IMF函数。研究发现，打乱某个离散信号各元素位置顺序(时序打乱，幅值不变)后，信号功率保持不变，而随机噪声经过乱序、累加、平均处理后，噪声功率逐渐降低。理论上，乱序次数足够多时，噪声功率趋于零。随机噪声经EMD分解后，分解得到的首个IMF函数仍有近似的随机特性，用类似思想进行滤波处理可以达到较好的去噪效果。去噪前后序列示例如图4所示。直观上可以看出，去噪后的序列有效剔除了由于定位误差引起的噪声。
步骤5，闭眼检测与序列修正。
对EMD去噪后眼部相对开度序列进行再次修正。由于采用CE-CLM模型进行人脸对齐时，在眼部相对开度较低情况下存在不可忽视的误差，本发明使用由患者面部视频数据集训练得到的闭眼检测器对视频进行逐帧分析，判断每一帧是否存在完全闭眼行为。若存在，则使用由闭眼样本得到的眼部相对开度统计量，生成一个随机值覆盖原值，从而对眼睛相对开度较低时序列值进行修正。
构建闭眼检测器的具体步骤是，将完全闭眼与非完全闭眼的眼部图像作为样本，将眼部图像缩放到固定尺寸后，提取其方向梯度直方图(HOG)特征，使用SVM分类器，训练闭眼检测器。
闭眼分类器所用的眼部图像数据集如表2所示。眼部图像从面部运动障碍疾病视频图像数据集中随机选取并处理得到。
表2眼部图像数据集的构成
闭眼检测修正前后的序列如图5所示。由图可见，存在完全闭眼行为帧的序列值被置低。
步骤6，眨眼运动模式识别。
使用修正后的眼部相对开度序列以及面部运动障碍疾病视频图像数据集中眨眼运动模式的帧级标注，构建眨眼检测器。在眨眼运动模式标注帧附近，对修正后的眼部相对开度序列进行正样本采样，在其余区域进行负样本采样，以固定帧长的眼部相对开度序列片段作为输入，训练支持向量机(SVM)，识别眨眼运动模式。使用训练好的分类器以滑窗方式进行是否存在眨眼运动模式的帧级预测，再通过非极大值抑制剔除时序上相隔过近的检测结果，实现对序列中的眨眼运动模式的识别。具体实现方法如下：
(1)对每一个视频，使用眨眼检测器，通过滑窗方式进行逐帧预测，得到存在眨眼行为的中心帧集合；
(2)将集合中置信度最高的帧附近d0范围的所有预测帧剔除，并将该帧添加至预测结果集合；
(3)重复(2)若干次，直至原集合为空。
这样，就保留了有效检测帧，实现序列中的眨眼运动模式识别。用眨眼检测器进行眨眼检测的示例如图6所示。图中虚线代表闭眼检测修正后眼部相对开度序列，横轴上的突起代表预测的眨眼行为与标注的眨眼行为。由图可见，图6的上图除第9秒和第21秒附近有漏检外，其余预测均正确；图6的下图第3秒和第11秒附近有漏检，其余预测均正确。眨眼检测器在面部运动障碍疾病视频图像数据集上能取得很好的检测效果。
步骤7，眼部异常运动特征提取。
基于修正后的眼睛相对开度序列，结合眨眼与闭眼运动模式，可以很容易地提取眼部异常运动特征，包括眨眼频率、闭眼占比等。
眨眼频率定义为，眨眼次数与序列时长的比值，其中眨眼即不论是自然原因还是受迫原因引起的睁眼-闭眼-睁眼过程，或者睁眼-半闭眼-睁眼过程。两者的区别在于，前者的闭眼帧会被闭眼检测修正，而后者则不会。
闭眼占比定义为持续1.5秒以上完全闭眼的总时长与序列时长的比值，其中完全闭眼行为仅取决于闭眼检测修正后的区域，与眼部是否发生痉挛、抽搐等异常运动现象无关。
使用图6的序列以及眨眼与闭眼运动模式识别结果，可以很容易地提取眼部异常运动特征。眨眼频率由预测的眨眼次数很容易求得，闭眼行为在序列中也有明显反映(如图6下图中的第13秒至第15秒)，两种特征通过简单计算就可以获得。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。
Claims (8)
1.一种基于几何分析提取眼部异常运动特征的方法，其特征在于：以视频图像序列为信息载体，使用智能分析算法，自动测量受试者眼睛的相对开度，精确提取眼部异常运动特征，包括如下步骤：
步骤1，受试者面部视频采集；步骤1中，使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括面部运动障碍疾病患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病、患病类型以及患病严重程度；根据患者眼部异常运动的临床表现，将面部运动障碍疾病分为若干亚类，与健康受试者形成对照，构建面部运动障碍疾病视频图像数据集；
步骤2，人脸检测与人脸对齐；步骤2中，对受试者面部视频图像序列，使用多任务卷积神经网络MTCNN进行人脸检测，并使用卷积专家约束局部模型CE-CLM进行人脸对齐，实现面部特征点定位；CE-CLM包括两部分：使用卷积专家网络CEN计算响应图；再使用点分布模型PDM更新形状参数；第一步，对每一个特征点的位置进行对齐估计，各个特征点的位置相互独立；第二步，将所有特征点的位置一起更新，使用点分布模型对未对齐特征点和不规则形状进行惩罚；CE-CLM模型初始化使用MTCNN实现，即学习了从MTCNN检测器输出的边界框到面部特征点的线性映射；跟踪特征点时，基于前一帧特征点检测结果初始化当前帧CE-CLM模型，其中CE-CLM模型可估计视频序列中每一帧图像内面部特征点在相机坐标系下的三维坐标；
步骤3，眼睛相对开度计算；
步骤4，经验模态分解去噪；
步骤5，闭眼检测与序列修正；
步骤6，眨眼运动模式识别；
步骤7，眼部异常运动特征提取。
2.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于：步骤3中，将CE-CLM模型估计的面部特征点三维坐标转换到头部坐标系；由于CE-CLM在内部使用面部特征点的三维表示，并使用正交相机投影到图像上，所以通过解决透视图中的n点问题，可以在得到面部特征点后准确估计头部姿势，获得头部坐标系相关参数；
头部坐标系原点在相机坐标系下的坐标为(x0,y0,z0)T，与XYZ三个坐标轴的欧拉角分别为φ，θ，ψ；相机坐标系下特征点(xi,yi,zi)T转换到头部坐标系(x′i,y′i,z′i)T的过程可以表述为
其中，R为旋转矩阵，
T为平移矩阵；T＝(x0,y0,z0)T；
为便于后续计算分析，将特征点坐标转换到头部坐标系下；二维坐标系下，点(x,y)绕定点(xc,yc)旋转角度α，得到坐标(x′,y′)的计算，
二维坐标转换用于后续闭眼分类器训练样本眼部图像的提取；
将特征点坐标转换到头部坐标系，计算眼部相对开度A，
其中，p1,p2,...,p6为从左眼角开始按顺时针分布的眼部特征点在头部坐标系下的坐标；由此得到眼睛相对开度序列。
3.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于：步骤4中，对计算得到的眼部相对开度序列，使用基于经验模态分解(EMD)的去噪方法进行滤波；
EMD算法是一种自适应信号时频分析手段，能够抽取信号中的固有模态函数，将原信号分解为许多窄带分量，其中每一个分量被称为本征模态函数(IMF)；EMD算法适用于非平稳信号分析，分解结果由若干本征模态函数和一个残余信号组成，
4.根据权利要求1所述一种基于几何分析提取眼部异常运动特征的方法，其特征在于：步骤5中，对EMD去噪后的眼部相对开度序列进行再次修正；
由于采用CE-CLM模型进行人脸对齐时，在眼部相对开度较低的情况下存在不可忽视的误差，使用由面部运动障碍疾病视频图像数据集训练得到的闭眼检测器对视频进行逐帧分析，判断每一帧是否存在完全闭眼行为；若存在，则使用由闭眼样本得到的眼部相对开度统计量，生成一个随机值覆盖原值，从而对眼睛相对开度较低时的序列值进行修正。
5.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于：所述步骤5中，构建闭眼检测器的具体步骤是，将完全闭眼与非完全闭眼的眼部图像作为样本，将眼部图像缩放到固定尺寸后，提取其方向梯度直方图(HOG)特征，使用SVM分类器，训练闭眼检测器。
6.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于：步骤6中，使用修正后的眼部相对开度序列以及面部运动障碍疾病视频图像数据集中眨眼运动模式的帧级标注，构建眨眼检测器；在眨眼运动模式标注帧附近，对修正后的眼部相对开度序列进行正样本采样，在其余区域进行负样本采样，以固定帧长的眼部相对开度序列片段作为输入，训练支持向量机(SVM)，识别眨眼运动模式；使用训练好的分类器以滑窗方式进行是否存在眨眼运动模式的帧级预测，再通过非极大值抑制剔除时序上相隔过近的检测结果，实现对序列中的眨眼运动模式识别。
7.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于：所述步骤6中，实现对序列中眨眼运动模式识别的方法如下：
(1)对每一个视频，使用眨眼检测器，通过滑窗方式进行逐帧预测，得到存在眨眼行为的中心帧集合；
(2)将集合中置信度最高的帧附近d0范围的所有预测帧剔除，并将该帧添加至预测结果集合；
(3)重复(2)若干次，直至原集合为空。
8.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于：步骤7中，结合眨眼与闭眼运动模式识别结果，对眼睛相对开度序列进行统计分析，提取眼部异常运动特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110300990.0A CN112907635B (zh) | 2021-03-22 | 2021-03-22 | 基于几何分析提取眼部异常运动特征的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110300990.0A CN112907635B (zh) | 2021-03-22 | 2021-03-22 | 基于几何分析提取眼部异常运动特征的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907635A CN112907635A (zh) | 2021-06-04 |
| CN112907635B true CN112907635B (zh) | 2024-04-09 |
Family
ID=76106327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110300990.0A Active CN112907635B (zh) | 2021-03-22 | 2021-03-22 | 基于几何分析提取眼部异常运动特征的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907635B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115512410A (zh) * | 2022-09-22 | 2022-12-23 | 深圳大学 | 基于眼部异常姿态的异常屈光状态识别方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807364A (zh) * | 2019-09-27 | 2020-02-18 | 中国科学院计算技术研究所 | 三维人脸与眼球运动的建模与捕获方法及系统 |
| CN111191573A (zh) * | 2019-12-27 | 2020-05-22 | 中国电子科技集团公司第十五研究所 | 一种基于眨眼规律识别的驾驶员疲劳检测方法 |
-
2021
- 2021-03-22 CN CN202110300990.0A patent/CN112907635B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807364A (zh) * | 2019-09-27 | 2020-02-18 | 中国科学院计算技术研究所 | 三维人脸与眼球运动的建模与捕获方法及系统 |
| CN111191573A (zh) * | 2019-12-27 | 2020-05-22 | 中国电子科技集团公司第十五研究所 | 一种基于眨眼规律识别的驾驶员疲劳检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907635A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021143353A1 (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| Javidi et al. | Vessel segmentation and microaneurysm detection using discriminative dictionary learning and sparse representation | |
| Valstar et al. | Fully automatic recognition of the temporal phases of facial actions | |
| Pediaditis et al. | Vision-based motion detection, analysis and recognition of epileptic seizures—a systematic review | |
| JP4860749B2 (ja) | 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法 | |
| Gowsikhaa et al. | Suspicious Human Activity Detection from Surveillance Videos. | |
| Chaaraoui et al. | Abnormal gait detection with RGB-D devices using joint motion history features | |
| Gou et al. | Learning-by-synthesis for accurate eye detection | |
| CN106599785B (zh) | 人体3d特征身份信息库的建立方法及设备 | |
| US11663845B2 (en) | Method and apparatus for privacy protected assessment of movement disorder video recordings | |
| Huang et al. | Building a self-learning eye gaze model from user interaction data | |
| CN110991268A (zh) | 一种基于深度图像的帕金森手部运动量化分析方法和系统 | |
| Jung et al. | An eye detection method robust to eyeglasses for mobile iris recognition | |
| CN113901891A (zh) | 帕金森病握拳任务的评估方法及系统、存储介质及终端 | |
| Jaroensri et al. | A video-based method for automatically rating ataxia | |
| Bouachir et al. | Automated video surveillance for preventing suicide attempts | |
| CN112907635B (zh) | 基于几何分析提取眼部异常运动特征的方法 | |
| Phuong et al. | An eye blink detection technique in video surveillance based on eye aspect ratio | |
| Wu et al. | An eye localization, tracking and blink pattern recognition system: Algorithm and evaluation | |
| Zhang et al. | Cerebral palsy prediction with frequency attention informed graph convolutional networks | |
| Fotiadou et al. | Video-based facial discomfort analysis for infants | |
| Wu et al. | NIR-based gaze tracking with fast pupil ellipse fitting for real-time wearable eye trackers | |
| CN107886060A (zh) | 基于视频的行人自动检测与跟踪方法 | |
| Oikonomopoulos et al. | Trajectory-based representation of human actions | |
| Liu et al. | Adaptive recognition method for VR image of Wushu decomposition based on feature extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |