CN112818957A - 基于运动能量识别眼睑痉挛的方法 - Google Patents
基于运动能量识别眼睑痉挛的方法 Download PDFInfo
- Publication number
- CN112818957A CN112818957A CN202110301382.1A CN202110301382A CN112818957A CN 112818957 A CN112818957 A CN 112818957A CN 202110301382 A CN202110301382 A CN 202110301382A CN 112818957 A CN112818957 A CN 112818957A
- Authority
- CN
- China
- Prior art keywords
- blepharospasm
- image
- face
- facial
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010005159 blepharospasm Diseases 0.000 title claims abstract description 48
- 230000000744 blepharospasm Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims abstract description 48
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 23
- 238000012706 support-vector machine Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000003745 diagnosis Methods 0.000 claims abstract description 7
- 210000000744 eyelid Anatomy 0.000 claims description 32
- 230000014509 gene expression Effects 0.000 claims description 27
- 208000012661 Dyskinesia Diseases 0.000 claims description 15
- 210000001508 eye Anatomy 0.000 claims description 14
- 210000001097 facial muscle Anatomy 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 7
- 208000016285 Movement disease Diseases 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000000276 sedentary effect Effects 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000003759 clinical diagnosis Methods 0.000 abstract description 3
- 230000018109 developmental process Effects 0.000 abstract 1
- 230000001737 promoting effect Effects 0.000 abstract 1
- 230000011218 segmentation Effects 0.000 abstract 1
- 208000005392 Spasm Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 208000007101 Muscle Cramp Diseases 0.000 description 1
- 230000004598 abnormal eye movement Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于运动能量识别眼睑痉挛的方法，首先，使用摄像机或手机，从正面拍摄静坐状态下受试者的面部视频图像序列。随后，通过人脸对齐，对视频图像序列中的面部关键点进行几何定位，并根据关键点的位置对受试者面部图像进行区域分割，提取眼部区域进行重点分析。接着，对面部视频图像序列进行特征提取，使用差分算子计算运动能量图，使用积分算子计算积分平均图，分别从运动能量图和积分平均图中提取方向梯度直方图特征。最后，基于支持向量机设计并联集成分类器，对眼睑痉挛及其类型进行识别。本发明将基于视频图像序列的运动分析技术用于眼睑痉挛疾病的临床诊断，实现眼睑痉挛疾病的识别分型，对促进人工智能医学影像辅助诊断技术发展具有重要意义。
Description
技术领域
本发明涉及人工智能、医学影像、临床医学技术领域，尤其涉及一种基于运动能量识别眼睑痉挛的方法。
背景技术
面部运动分析相关研究中一个较为典型的应用是微表情识别，微表情是一种特殊的面部表情，相比于普通的表情，微表情持续时间更短并且每帧之间图像的变化更加细微。目前微表情识别的工作难点主要有两个方面：第一，微表情的持续时间短、动作强度低，需要进行合理的图像预处理和运动特征提取；第二，微表情的数据采集与鉴定比较困难，现有的微表情数据集较少，因此无法有效地将深度学习应用在微表情识别领域。
微表情自发现以来，一直是国内外研究者的一个重要研究课题。目前在微表情识别领域已有一些团队在进行研究，日本的Polikovsky团队使用3D直方图进行微表情的检测与识别，该团队所提出的方法在部分面部区域具有较好的识别效果。美国的Shreve团队使用光流法进行微表情识别，该团队提出的算法对光照不均匀、大量移动等干扰因素具有鲁棒性，但是依赖于面部皮肤中形变的大小。芬兰的赵国英团队使用时间差值模型和LBP-TOP算法提取视频图像的时域和空域特征，进行微表情识别，该算法测试库样本量仍需进行扩充。中国科学院傅小兰团队使用Gabor滤波器来提取图像序列的运动特征，再使用SVM进行微表情分类。
至今，微表情识别在心理诊断、测谎、案情审理等方面有了一些初步应用，但并未有将其应用于面部运动障碍分析场景中。面部运动障碍即面部肌肉丧失随意运动能力，不能跟随意志自主运动或不受意志控制随意运动，在静坐状态下通常表现为肌肉痉挛和张睑失用等现象，可以理解为一种特殊模式的微表情识别。微表情研究中常用的数据库将微表情序列分为高兴、厌恶、惊讶、抑郁和紧张，而本专利所研究的面部运动障碍不属于常见的微表情类别，现有的微表情数据库与识别方法无法有效的解决面部运动障碍分析与识别问题。
发明内容
为解决上述问题，针对现有技术的不足，本发明公开了基于运动能量识别眼睑痉挛的方法。本发明通过采集眼睑痉挛患者和健康对照者的面部视频图像序列，使用人脸图像分割和面部图像处理等技术构建面部运动模型，分析面部肌肉的运动模式，使用支持向量机并联集成分类器进行识别分类，首次将基于视频图像序列的运动分析技术应用于面部运动障碍疾病的临床诊断，对给定的面部运动障碍疾病进行识别分类，实现人工智能医学影像辅助诊断。
本发明的技术方案如下：
本发明公开了一种基于运动能量识别眼睑痉挛的方法，以视频图像序列为信息载体，使用智能分析算法，自动提取受试者的面部运动特征，识别眼睑痉挛及其类型，其中包括如下步骤：
步骤1，面部视频采集；
步骤2，面部关键点定位；
步骤3，面部区域分割；
步骤4，面部序列图像处理；
步骤5，面部运动特征提取；
步骤6，眼睑痉挛识别分型。
本发明进一步改进在于：步骤1中，使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括眼睑痉挛患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病及患病类型；根据患者眼部异常运动的临床表现，将面部运动障碍疾病中的眼睑痉挛分为不伴眼睑闭合、部分眼睑闭合及完全眼睑闭合三类，与健康受试者形成对照，构建眼睑痉挛疾病视频图像数据集。
本发明进一步改进在于：步骤2中，使用多任务级联卷积神经网络(MTCNN)，对视频图像序列中的人脸进行检测与对齐处理，人脸边框回归任务预测每一个边框的左上角坐标、边框的高和宽，计算每一个候选边框
与位置最近的标注框yi box的差值，通过最小化欧氏距离回归损失确定最优边框，其中回归损失函数的表达式为：
根据回归得到的人脸边框，使用卷积专家约束局部模型(CE-CLM)，对输入的视频图像序列进行面部关键点检测。CE-CLM模型由两个主要部分组成：响应图的计算和形状参数的更新，前者使用卷积专家网络(CEN)计算响应映射，后者使用点分布模型进行形状参数的更新。迭代过程中，所有标记点的位置更新是相互影响的，其中优化目标函数表达式为：
式中，p*是控制标记点位置的最优参数集，p是当前估计值，Di是输入图像I中xi的对齐概率，R(*)是点分布模型实施的正则项。
本发明进一步改进在于：步骤3中，根据CE-CLM模型得到面部68个特征点位置，将各特征点位置坐标转换到像素坐标系中，通过面部五官关键点将面部图像分割成多个感兴趣区域(ROI)。本发明针对眼部ROI进行处理，每只眼睛6个特征点P＝{(x1,y1),...,(xi,yi)},i＝1,2,...,6，分别分布于内外眼角、上眼睑和下眼睑，以内外眼角特征点连线的中点为中心Pc(xc,yc)，裁取大小为120×50像素的眼部ROI，并保证眼部轮廓、形状和纹理细节信息完整。
本发明进一步改进在于：步骤4中，面部图像处理包括计算视频图像序列的积分平均图和运动能量图。
(1)面部运动障碍是指静坐状态下面部肌肉频繁发生特定模式的运动。对同一受试者的视频图像序列，通过对每帧图像进行逐像素求和再取平均，获得积分能量图，能够代表受试者的面部在该段时间内的平均状态，即静坐状态下的面部形态，计算方法为：
将第m个受试者面部视频图像序列的第t帧表示为Im(x,y,t)，t＝1,2,...N，对整个视频图像序列进行逐像素求和并取平均，得到积分平均图Pm(x,y,t)，其表达式为：
式中，t＝1,2,...N-1，(x,y)为像素点坐标。
(2)运动能量图(MEI)显示一段时间内视频图像序列中运动的轮廓和能量的空间分布。面部运动从发生到结束是一个按时间随表情发生变化的序列，可以使用能量图表示这种具有时空关系的图像序列。通过前后两帧图像差分，可以削弱由于环境因素产生的噪声以及面部轮廓对表情的遮盖影响。再对差分图像进行逐像素求和，获得该段时间内受试者面部肌肉的运动能量图，计算方法为：
将第m个受试者面部视频图像序列的第t帧表示为Im(x,y,t)，t＝1,2,...N，对相邻两帧图像进行差分，定义放大系数k以增强差分图像的能量，差分图像Dm(x,y,t)表达式为：
Dm(x,y,t)＝k|Im(x,y,t+1)-Im(x,y,t)|
式中，t＝1,2,...N-1，(x,y)为像素点坐标。
对差分图像进行逐像素求和并取平均，消除视频图像序列长度差异造成的影响，得到该图像序列的运动能量图Em(x,y,t)，其表达式为：
本发明进一步改进在于：步骤5中，使用方向梯度直方图(HOG)特征描述子，提取积分平均图和运动能量图中的运动特征，其步骤为：
(1)标准化Gamma空间和颜色空间，减少光照因素的影响；
(2)计算图像梯度强度和梯度方向，捕获轮廓信息，进一步弱化光照干扰；
(3)将图像划分成若干个元胞(Cell)，计算元胞内梯度方向直方图；
(4)将元胞组合成分块(Block)，在分块内归一化梯度直方图；
(5)将图像内所有分块的HOG特征串联得到图像的HOG特征向量。
本发明进一步改进在于：步骤6中，构造一个基于并联结构的集成分类器，分别对应于眼睑痉挛不伴眼睑闭合患者和健康对照者、眼睑痉挛伴部分眼睑闭合患者和健康对照者、眼睑痉挛伴完全眼睑闭合患者和健康对照者，进行独立的三次分类任务，综合三次分类结果判断最终的疾病类型。集成分类器由三个支持向量机(SVM)构成，根据提取到的眼部运动特征，对眼睑痉挛类型进行识别。
本发明的有益效果是：
1、本发明通过计算面部视频图像序列的积分平均图和运动能量图构造面部运动特征，能够有效的减少环境因素及人为因素的干扰，将细微的面部肌肉运动进行累积，构建面部运动模型并分析肌肉的运动模式。
2、本发明首次将基于视频图像序列的运动分析技术应用于面部运动障碍疾病的临床诊断，通过数字图像处理、计算机视觉、机器学习等方法对给定的面部运动障碍疾病进行识别分型，实现人工智能医学影像辅助诊断。
附图说明
图1为眼睑痉挛疾病识别流程图；
图2为面部积分平均图构造过程；
图3为面部运动能量图构造过程；
图4为HOG特征提取流程图；
图5为SVM并联集成分类器结构图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
本发明提出一种使用视频图像序列基于运动能量识别眼睑痉挛的方法，如图1所示，该方法包括如下步骤：
步骤1，面部视频采集。使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括眼睑痉挛患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病及患病类型。根据患者眼部异常运动的临床表现，将面部运动障碍疾病中的眼睑痉挛分为不伴眼睑闭合、部分眼睑闭合及完全眼睑闭合三类，与健康受试者形成对照，构建眼睑痉挛疾病视频图像数据集，其构成如表1所示。
表1眼睑痉挛疾病视频图像数据集的构成
步骤2，面部关键点定位。使用多任务级联卷积神经网络(MTCNN)对视频图像序列中的人脸进行检测与对齐处理，人脸边框回归任务回归每一个边框的左上角坐标、边框的高和宽，计算每一个候选窗口
与最近的标注框yi box的差值，通过最小化欧氏距离回归损失确定最优边框，其中损失函数表达式为：
根据回归预测得到的人脸边框，使用卷积专家约束局部模型(CE-CLM)对输入的视频图像序列进行面部关键点检测。CE-CLM模型由两个主要部分组成：响应图的计算和形状参数的更新，前者使用卷积专家网络(CEN)计算响应映射，后者使用点分布模型进行形状参数更新。迭代过程中，所有标记点的位置更新是相互影响的，其中优化目标函数的表达式为：
式中，p*是控制标记点位置的最优参数集，p是当前估计值，Di是输入图像I中xi的对齐概率，R(*)是点分布模型实施的正则项。
步骤3，面部区域分割。根据CE-CLM模型得到面部68个特征点位置，将各特征点位置坐标转换到像素坐标系中，通过面部五官关键点将面部图像分割成多个感兴趣区域(ROI)。本发明针对眼部ROI进行处理，每只眼睛6个特征点P＝{(x1,y1),...,(xi,yi)},i＝1,2,...,6，分别分布于内外眼角、上眼睑和下眼睑，以内外眼角特征点连线的中点为中心Pc(xc,yc)，裁取大小为120×50像素的眼部ROI，并保证眼部轮廓、形状和纹理细节信息完整。
步骤4，面部序列图像处理。面部图像处理包括计算视频图像序列的积分平均图和运动能量图。
(1)面部运动障碍是指静坐状态下面部肌肉频繁发生特定模式的运动。对同一受试者的视频图像序列，通过对每帧图像进行逐像素求和再取平均，获得积分能量图，能够代表受试者的面部在该段时间内的平均状态，即静坐状态下的面部形态，如图2所示，计算方法为：
将第m个受试者面部视频图像序列的第t帧表示为Im(x,y,t)，t＝1,2,...N，对整个视频图像序列进行逐像素求和并取平均，得到积分平均图Pm(x,y,t)，其表达式为：
式中，t＝1,2,...N-1，(x,y)为像素点坐标。
(2)运动能量图(MEI)显示一段时间内视频图像序列中运动的轮廓和能量的空间分布。面部运动从发生到结束是一个按时间随表情发生变化的序列，可以使用能量图表示这种具有时空关系的图像序列。通过前后两帧图像差分，可以削弱由于环境因素产生的噪声以及面部轮廓对表情的遮盖影响。再对差分图像进行逐像素求和，获得该段时间内受试者面部肌肉的运动能量图，如图3所示，计算方法为：
将第m个受试者面部视频图像序列的第t帧表示为Im(x,y,t)，t＝1,2,...N，对相邻两帧图像进行差分，定义放大系数k以增强差分图像的能量，差分图像Dm(x,y,t)的表达式为：
Dm(x,y,t)＝k|Im(x,y,t+1)-Im(x,y,t)|
式中，t＝1,2,...N-1，(x,y)为像素点坐标。
对差分图像进行逐像素求和并取平均，消除视频图像序列长度差异造成的影响，得到该图像序列的运动能量图Em(x,y,t)，其表达式为：
步骤5，面部运动特征提取。使用方向梯度直方图(HOG)特征描述子，提取积分平均图和运动能量图中的运动特征，特征提取流程如图4所示，其步骤为：
(1)标准化Gamma空间和颜色空间，减少光照因素的影响；
(2)计算图像梯度强度和梯度方向，捕获轮廓信息，进一步弱化光照干扰；
(3)将图像划分成若干个元胞(Cell)，计算元胞内梯度方向直方图；
(4)将元胞组合成分块(Block)，在分块内归一化梯度直方图；
(5)将图像内所有分块的HOG特征串联得到图像的HOG特征向量。
步骤6，眼睑痉挛识别分类。构造一个基于并联结构的集成分类器，分别对应于眼睑痉挛不伴眼睑闭合患者和健康对照者、眼睑痉挛伴部分眼睑闭合患者和健康对照者、眼睑痉挛伴完全眼睑闭合患者和健康对照者，进行独立的三次分类任务，综合三次分类结果判断最终的疾病类型。集成分类器由三个支持向量机(SVM)构成，根据提取到的眼部运动特征，对眼睑痉挛疾病类型进行识别。
SVM并联集成分类器结构如图5所示，其中输入为分别从积分平均图和运动能量图中提取的HOG特征，输出为受试者眼睑痉挛疾病识别结果，即异常/正常，其中异常又分为眼睑痉挛不伴眼睑闭合、眼睑痉挛伴部分眼睑闭合、眼睑痉挛伴完全眼睑闭合三类。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。
Claims (7)
1.基于运动能量识别眼睑痉挛的方法，其特征在于：以视频图像序列为信息载体，使用智能分析算法，自动提取受试者的面部运动特征，识别眼睑痉挛疾病及其类型，主要包括如下步骤：
步骤1，面部视频采集；
步骤2，面部关键点定位；
步骤3，面部区域分割；
步骤4，面部序列图像处理；
步骤5，面部运动特征提取；
步骤6，眼睑痉挛识别分型。
2.根据权利要求1所述的基于运动能量识别眼睑痉挛的方法，其特征在于：步骤1中，使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括眼睑痉挛患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病及患病类型；根据患者眼部异常运动的临床表现，将面部运动障碍疾病中的眼睑痉挛分为不伴眼睑闭合、部分眼睑闭合及完全眼睑闭合三类，与健康受试者形成对照，构建眼睑痉挛疾病视频图像数据集。
3.根据权利要求1所述的基于运动能量识别眼睑痉挛的方法，其特征在于：步骤2中，使用多任务级联卷积神经网络(MTCNN)，对视频图像序列中的人脸进行检测与对齐处理，人脸边框回归任务预测每一个边框的左上角坐标、边框的高和宽，计算每一个候选边框
与位置最近的标注框yi box的差值，通过最小化欧氏距离回归损失确定最优边框，其中回归损失函数的表达式为：
根据回归得到的人脸边框，使用卷积专家约束局部模型(CE-CLM)，对输入的视频图像序列进行面部关键点检测；CE-CLM模型由两个主要部分组成：响应图的计算和形状参数的更新，前者使用卷积专家网络(CEN)计算响应映射，后者使用点分布模型进行形状参数的更新；迭代过程中，所有标记点的位置更新是相互影响的，其中优化目标函数的表达式为：
式中，p*是控制标记点位置的最优参数集，p是当前估计值，Di是输入图像I中xi的对齐概率，R(*)是点分布模型实施的正则化项。
4.根据权利要求1所述的基于运动能量识别眼睑痉挛的方法，其特征在于，步骤3中，根据CE-CLM模型得到面部68个特征点位置，将各特征点位置坐标转换到像素坐标系中，通过面部五官关键点将面部图像分割成多个感兴趣区域(ROI)；本发明针对眼部ROI进行处理，每只眼睛6个特征点P＝{(x1,y1),...,(xi,yi)},i＝1,2,...,6，分别分布于内外眼角、上眼睑和下眼睑，以内外眼角特征点连线的中点为中心Pc(xc,yc)，裁取大小为120×50像素的眼部ROI，并保证眼部轮廓、形状和纹理细节信息完整。
5.根据权利要求1所述的基于运动能量识别眼睑痉挛的方法，其特征在于，步骤4中，面部图像处理包括计算视频图像序列的积分平均图和运动能量图；
(1)面部运动障碍是指静坐状态下面部肌肉频繁发生特定模式的运动。对同一受试者的视频图像序列，通过对每帧图像进行逐像素求和再取平均，获得积分能量图，能够代表受试者的面部在该段时间内的平均状态，即静坐状态下的面部形态，计算方法为：
将第m个受试者面部视频图像序列的第t帧表示为Im(x,y,t)，t＝1,2,...N，对整个视频图像序列进行逐像素求和并取平均，得到积分平均图Pm(x,y,t)，其表达式为：
式中，t＝1,2,...N-1，(x,y)为像素点坐标；
(2)运动能量图(MEI)显示一段时间内视频图像序列中运动的轮廓和能量的空间分布；面部运动从发生到结束是一个按时间随表情发生变化的序列，可以使用能量图表示这种具有时空关系的图像序列。通过前后两帧图像差分，可以削弱由于环境因素产生的噪声以及面部轮廓对表情的遮盖影响。再对差分图像进行逐像素求和，获得该段时间内受试者面部肌肉的运动能量图，计算方法为：
将第m个受试者面部视频图像序列的第t帧表示为Im(x,y,t)，t＝1,2,...N，对相邻两帧图像进行差分，定义放大系数k以增强差分图像的能量，差分图像Dm(x,y,t)表达式为：
Dm(x,y,t)＝k|Im(x,y,t+1)-Im(x,y,t)|
式中，t＝1,2,...N-1，(x,y)为像素点坐标；
对差分图像进行逐像素求和并取平均，消除视频图像序列长度差异造成的影响，得到该图像序列的运动能量图Em(x,y,t)，其表达式为：
6.根据权利要求1所述的基于运动能量识别眼睑痉挛的方法，其特征在于，步骤5中，使用方向梯度直方图(HOG)特征描述子，提取积分平均图和运动能量图中的运动特征，其步骤为：
(1)标准化Gamma空间和颜色空间，减少光照因素的影响；
(2)计算图像梯度强度和梯度方向，捕获轮廓信息，进一步弱化光照干扰；
(3)将图像划分成若干个元胞(Cell)，计算元胞内梯度方向直方图；
(4)将元胞组合成分块(Block)，在分块内归一化梯度直方图；
(5)将图像内所有分块的HOG特征串联得到图像的HOG特征向量。
7.根据权利要求1所述的基于运动能量识别眼睑痉挛的方法，其特征在于，步骤6中，构造一个基于并联结构的集成分类器，分别对应于眼睑痉挛不伴眼睑闭合患者和健康对照者、眼睑痉挛伴部分眼睑闭合患者和健康对照者、眼睑痉挛伴完全眼睑闭合患者和健康对照者，进行独立的三次分类任务，综合三次分类结果判断最终的疾病类型。集成分类器由三个支持向量机(SVM)构成，根据提取到的眼部运动特征，对眼睑痉挛类型进行识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301382.1A CN112818957B (zh) | 2021-03-22 | 2021-03-22 | 基于运动能量识别眼睑痉挛的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301382.1A CN112818957B (zh) | 2021-03-22 | 2021-03-22 | 基于运动能量识别眼睑痉挛的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818957A true CN112818957A (zh) | 2021-05-18 |
| CN112818957B CN112818957B (zh) | 2024-04-23 |
Family
ID=75862337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110301382.1A Active CN112818957B (zh) | 2021-03-22 | 2021-03-22 | 基于运动能量识别眼睑痉挛的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818957B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548149A (zh) * | 2016-10-26 | 2017-03-29 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| CN110335266A (zh) * | 2019-07-04 | 2019-10-15 | 五邑大学 | 一种智能中医目诊图像处理方法及装置 |
| US10617294B1 (en) * | 2019-02-05 | 2020-04-14 | Viswesh Krishna | System and method for determining the spherical power of eyes based on measured refractive error |
| CN114360039A (zh) * | 2021-12-16 | 2022-04-15 | 中南大学湘雅医院 | 一种智能眼睑检测方法及系统 |
-
2021
- 2021-03-22 CN CN202110301382.1A patent/CN112818957B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548149A (zh) * | 2016-10-26 | 2017-03-29 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| US10617294B1 (en) * | 2019-02-05 | 2020-04-14 | Viswesh Krishna | System and method for determining the spherical power of eyes based on measured refractive error |
| CN110335266A (zh) * | 2019-07-04 | 2019-10-15 | 五邑大学 | 一种智能中医目诊图像处理方法及装置 |
| CN114360039A (zh) * | 2021-12-16 | 2022-04-15 | 中南大学湘雅医院 | 一种智能眼睑检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818957B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Senan et al. | Analysis of dermoscopy images by using ABCD rule for early detection of skin cancer | |
| CN110084259A (zh) | 一种结合面部纹理和光流特征的面瘫分级综合评估系统 | |
| Zong et al. | U-net based method for automatic hard exudates segmentation in fundus images using inception module and residual connection | |
| Kavitha et al. | Hierarchical classifier for soft and hard exudates detection of retinal fundus images | |
| Frazao et al. | Diagnosis of diabetic retinopathy based on holistic texture and local retinal features | |
| Monwar et al. | Pain recognition using artificial neural network | |
| Singh et al. | Designing a retrieval-based diagnostic aid using effective features to classify skin lesion in dermoscopic images | |
| Rashid | Computerized exudate detection in fundus images using statistical feature based fuzzy c-mean clustering | |
| Jain et al. | Rider manta ray foraging optimization-based generative adversarial network and CNN feature for detecting glaucoma | |
| Saeed | A machine learning based approach for segmenting retinal nerve images using artificial neural networks | |
| Saraswathi et al. | Brain tumor segmentation and classification using self organizing map | |
| Amirjahan et al. | Comparative analysis of various classification algorithms for skin Cancer detection | |
| Zabihi et al. | Vessel extraction of conjunctival images using LBPs and ANFIS | |
| CN112818957B (zh) | 基于运动能量识别眼睑痉挛的方法 | |
| Honale et al. | A review of methods for blood vessel segmentation in retinal images | |
| CN114140830A (zh) | 一种基于循环肿瘤细胞图像的重复识别抑制方法 | |
| Naranpanawa et al. | Slim-yolo: A simplified object detection model for the detection of pigmented iris freckles as a potential biomarker for cutaneous melanoma | |
| Gaikwad et al. | Skin Cancer detection using image processing | |
| Ara et al. | Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm | |
| Turkmen et al. | Classification of vocal fold nodules and cysts based on vascular defects of vocal folds | |
| Razali et al. | Color-assisted Multi-input Convolutional Neural Network for Cancer Classification on Mammogram Images | |
| Arunkumar et al. | Automatic Detection and Segmentation of Optic Disc in Retinal Images | |
| Palpandi et al. | Flexible Kernel-Based Fuzzy Means Based Segmentation and Patch-Local Binary Patterns Feature Based Classification System Skin Cancer Detection | |
| Nikam | Early Stage Diagnosis of Eye Herpes (NAGIN) by Machine Learning and Image Processing Technique: Detection and Recognition of Eye Herpes (NAGIN) by Using CAD System Analysis | |
| Revathy et al. | Skin ailment classification using artificial neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |