CN113240660B - 基于医疗大数据的面部肌肉痉挛评估系统 - Google Patents

基于医疗大数据的面部肌肉痉挛评估系统 Download PDF

Info

Publication number
CN113240660B
CN113240660B CN202110597679.7A CN202110597679A CN113240660B CN 113240660 B CN113240660 B CN 113240660B CN 202110597679 A CN202110597679 A CN 202110597679A CN 113240660 B CN113240660 B CN 113240660B
Authority
CN
China
Prior art keywords
twitch
degree
time
face
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110597679.7A
Other languages
English (en)
Other versions
CN113240660A (zh
Inventor
焦文斌
杨希伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoerfang Health Technology (Beijing) Co.,Ltd.
Original Assignee
Guangzhou Kicktao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kicktao Technology Co ltd filed Critical Guangzhou Kicktao Technology Co ltd
Priority to CN202110597679.7A priority Critical patent/CN113240660B/zh
Publication of CN113240660A publication Critical patent/CN113240660A/zh
Application granted granted Critical
Publication of CN113240660B publication Critical patent/CN113240660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于医疗大数据的面部肌肉痉挛评估系统。该系统获取第一面部区域和第二面部区域在面部3D模型中所对应的第一网格点和第二网格点；根据第一网格点和第二网格点的位置变化获取第一面部区域的第一抽搐程度和第二面部区域的第二抽搐程度；获取第一面部区域和第二面部区域在抽搐过程中两者的共同抽搐时间以及共同抽搐时间内面部的连带抽搐面积，进而得到第一面部区域和第二面部区域的一致性指标；利用第一抽搐程度、第二抽搐程度和一致性指标得到面部肌肉痉挛程度。利用抽搐时的一致性指标不但能够提供更加准确的检测数据，使得检测数据更加有说服力，而且能避免因数据不完整导致治疗效果评价的不精准。

Description

基于医疗大数据的面部肌肉痉挛评估系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于医疗大数据的面部肌肉痉挛评估系统。
背景技术
面部肌肉痉挛有多种，其中一种是由于面部神经麻痹的后遗症产生的，主要在眨眼抬眉时产生。痉挛的初期表现为眼睑跳动和眼轮匝肌抽搐，经过一段时间的病情发展，会连带着嘴角和其他面肌一起抽搐，严重者同侧的眼睛无法睁开，口眼歪斜，无法说话，肌肉自主运动加剧。面部痉挛产生的一次抽搐时间短则数秒，长则数分钟，进而面部痉挛对工作学习和身心健康造成重大影响。
目前，检测面部痉挛的方法主要通过定位人脸关键点，根据关键点的运动来分析面部痉挛程度。根据人脸关键点的运动变化检测患者治疗前后的面部痉挛程度，进而根据治疗前后的面部痉挛程度的变化检测患者的康复趋势。
发明人在实践中，发现上述现有技术存在以下缺陷：当仅根据人脸关键点的运动变化比较治疗前后的面部痉挛程度时，会造成治疗后的检测数据不完整，进而导致治疗效果评估不准确。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于医疗大数据的面部肌肉痉挛评估系统，所采用的技术方案具体如下：
本发明实施例提供了一种基于医疗大数据的面部肌肉痉挛评估系统，该系统包括：
图像处理单元，用于采集多帧人脸图像，所述人脸图像包括面部刺激前的第一人脸图像和面部刺激后的第二人脸图像；建立每帧所述人脸图像的3D模型，获取所述3D模型中第一面部区域对应的第一网格点和第二面部区域对应的第二网格点；
抽搐程度检测单元，用于比较所述第一网格点在所述第一人脸图像和所述第二人脸图像对应的3D模型中的第一位置变化获取第一变化值，根据所述第一变化值获取所述第一面部区域的第一抽搐程度；比较所述第二网格点在所述第一人脸图像和所述第二人脸图像对应的3D模型中的第二位置变化获取第二变化值，根据所述第二变化值获取所述第二面部区域的第二抽搐程度；
一致性检测单元，用于根据所述第一位置变化和第二位置变化所对应的第二人脸图像获取共同抽搐时间，根据所述共同抽搐时间得到时间一致性指标；获取所述共同抽搐时间内面部的连带抽搐面积，根据所述连带抽搐面积得到空间一致性指标；进而结合所述时间一致性指标和所述空间一致性指标得到一致性指标；
痉挛程度获取单元，用于根据所述第一抽搐程度、所述第二抽搐程度和所述一致性指标得到面部肌肉痉挛程度。
进一步地，所述痉挛程度获取单元，包括：
异常系数获取单元，用于利用获取的肌电流变化与口眼歪斜程度的比值得到痉挛异常系数，进而利用所述痉挛异常系数优化所述面部肌肉痉挛程度。
进一步地，所述抽搐程度检测单元包括第一抽搐检测单元，所述第一抽搐检测单元包括：
第一均值获取单元，用于根据所述第一变化值得到每帧所述第二人脸图像中所述第一网格点的第一变化均值，以形成第一变化均值序列；
第一时长获取单元，用于根据所述第一变化均值序列中所述第一变化均值的大小得到抽搐次数和对应的抽搐时长序列，根据所述抽搐时长序列得到抽搐间隔时长序列；
第一程度获取单元，用于利用所述抽搐次数、所述抽搐时长序列和所述抽搐间隔时长序列得到所述第一抽搐程度。
进一步地，所述抽搐程度检测单元包括第二抽搐检测单元，所述第二抽搐检测单元包括：
第二均值获取单元，用于根据所述第二变化值得到每帧所述第二人脸图像中所述第二网格点的第二变化均值，以形成第二变化均值序列；
第二时长获取单元，用于根据所述第二变化均值序列中所述第二变化均值的大小得到抽搐次数和对应的抽搐时长序列，根据所述抽搐时长序列得到抽搐间隔时长序列；
第二程度获取单元，用于利用所述抽搐次数、所述抽搐时长序列和所述抽搐间隔时长序列得到所述第二抽搐程度。
进一步地，所述一致性检测单元包括时间检测单元，所述时间检测单元，包括：
时间指标获取单元，用于获取抽搐总时长，根据所述共同抽搐时间与所述抽搐总时长的比值得到所述时间一致性指标。
进一步地，所述时间检测单元包括抽搐时间获取单元，所述抽搐时间获取单元包括：
权重分配单元，用于按照时间长度为每个所述共同抽搐时间分配权重；
时间计算单元，用于将所述时间长度和对应的所述权重进行加权求和得到所述共同抽搐时间。
进一步地，所述一致性检测单元包括空间检测单元，所述空间检测单元包括：
空间指标获取单元，用于根据所述连带抽搐面积与面部面积的比值得到所述空间一致性指标。
进一步地，所述空间检测单元包括：
动态检测单元，用于获取相邻帧所述第二人脸图像对应的所述面部的每个网格点的运动幅度，进而得到每个所述网格点的运动幅度序列；
网格点确认单元，用于根据所述运动幅度序列得到每个所述网格点的平均运动幅度，当所述平均运动幅度大于运动幅度阈值时，确认所述网格点为所述抽搐网格点。
进一步地，所述一致性检测单元中所述一致性指标与所述时间一致性指标、所述空间一致性指标呈正相关。
进一步地，所述痉挛程度获取单元中所述面部肌肉痉挛程度与所述第一抽搐程度、所述第二抽搐程度、所述一致性指标呈正相关。
本发明至少存在以下有益效果：1)利用抽搐时的一致性指标不但能够提供更加准确的检测数据，使得检测数据更加有说服力，而且能避免因数据不完整导致治疗效果评价的不精准。
2)利用由肌电流变化和口眼歪斜程度得到的痉挛异常系数进一步优化面部肌肉痉挛程度，能够明显区分患者的不同痉挛程度，进而能够准确分析患者的康复趋势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于医疗大数据的面部肌肉痉挛评估系统的流程图；
图2为本发明一个实施例所提供的一种基于医疗大数据的面部肌肉痉挛评估系统的结构框图；
图3为本发明实施例所提供的关于抽搐程度检测单元的结构框图；
图4为本发明实施例所提供的关于一致性检测单元的结构框图；
图5为本发明实施例所提供的关于映射关系的映射曲线图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于医疗大数据的面部肌肉痉挛评估系统，其具体实施方式、结构、特征及其作用，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于医疗大数据的面部肌肉痉挛评估系统的具体方案。
参照附图1和附图2，本发明实施例提供了一种基于医疗大数据的面积肌肉痉挛评估系统，该系统具体包括：图像采集单元10、抽搐程度检测单元20、一致性检测单元30、异常系数获取单元40以及痉挛程度获取单元50。
图像采集单元10用于采集多帧人脸图像，人脸图像包括面部刺激前的第一人脸图像和面部刺激后的第二人脸图像；建立每帧人脸图像的3D模型，获取3D模型中第一面部区域对应的第一网格点和第二面部区域对应的第二网格点。
具体的，首先本发明实施例让患者正对相机以采集面部刺激前的第一人脸图像，然后对患者进行一些面部刺激以采集面部刺激后的第二人脸图像。其中，面部刺激包括让患者做睁眼、闭眼和抬眉等动作，或者给患者施加视觉刺激等。
进一步地，本发明实施例对每帧人脸图像进行三维重建，获得面部的3D模型，进而获取3D模型中第一面部区域对应的第一网格点和第二面部区域对应的第二网格点。
本发明实施例以主要关注眼睛和嘴巴的运动特征为例，因此，将第一面部区域和第二面部区域定义为嘴巴区域和眼睛区域。
需要说明的是，在其他实施例中还可以选择关注其他人脸器官的运动特征。
抽搐程度检测单元20用于比较第一网格点在第一人脸图像和第二人脸图像对应的3D模型中的第一位置变化获取第一变化值，根据第一变化值获取第一面部区域的第一抽搐程度；比较第二网格点在第一人脸图像和第二人脸图像对应的3D模型中的第二位置变化获取第二变化值，根据第二变化值获取第二面部区域的第二抽搐程度。
具体的，参照附图3，抽搐程度检测单元20包括第一抽搐检测单元21和第二抽搐检测单元22。
第一抽搐检测单元21用于根据第一网格点的第一变化值得到第一面部区域的第一抽搐程度。
其中，第一抽搐检测单元21包括第一均值获取单元211、第一时长获取单元212以及第一程度获取单元213，则第一面部区域的第一抽搐程度的获取过程为：
第一均值获取单元211用于根据第一变化值得到每帧第二人脸图像中第一网格点的第一变化均值，以形成第一变化均值序列。
具体的，获取第一面部区域在第一人脸图像对应的3D模型中所有网格点集合P0、获取第一面部区域在第二人脸图像对应的3D模型中所有网格点集合P1。本发明实施例以第i帧第二人脸图像为例，利用第一人脸图像和第二人脸图像对应的第一网格点的第一位置变化获取第一面部区域对应的所有网格点位置的第一变化值，以得到第一变化值集合ΔP1i，则：
ΔP1i(j)＝P1i(j)-P0(j)
其中，ΔP1i(j)为第i帧第二人脸图像所对应的第一面部区域的第j个网格点的第一变化值；P1i(j)为第i帧第二人脸图像对应的第一面部区域的第j个网格点；P0(j)为第一人脸图像对应的第一面部区域的第j个网格点。
需要说明的是，所有网格点都是三维的向量。
第一变化值集合ΔP1i反映的是第一面部区域的运动特征，且表示的是第一面部区域对应的所有网格点的位移向量集合，即当患者的第一面部区域没有抽搐时，第一变化值集合ΔP1i中的每个第一变化值均为零向量；当第一面部区域出现抽搐时，第一面部区域会突然剧烈运动，此时第一变化值集合ΔP1i中第一变化值是朝向第一面部区域运动方向的向量。本发明实施例通过计算第一变化值集合ΔP1i中每个第一变化值的模长，并根据每个第一变化值的模长得到第一变化均值
Figure BDA0003091783620000051
也即为第一网格点的第一变化均值；当没有抽搐时，
Figure BDA0003091783620000052
根据采集的K帧第二人脸图像，能够得到第一面部区域所对应的第一变化值集合序列{ΔP11，ΔP12，...ΔP1i...，ΔP1K}，进而相应的得到第一变化均值序列
Figure BDA0003091783620000053
需要说明的是，本发明实施例基于医疗大数据统计的方法获得K的取值，也即采集图像的帧数。具体方法为：统计面肌痉挛患者的抽搐情况，构建所有患者抽搐时间的大数据系统，该大数据系统反映的是不同面肌痉挛患者的抽搐情况，该抽搐情况包括每次的抽搐时长和抽搐间隔时长等等。将小于30秒的抽搐间隔时长称为一次抽搐，即一次抽搐是指每次抽搐间隔时长小于30秒的抽搐情况，统计每次抽搐时长T，获得不同患者或者相同患者在不同时间的每次抽搐时长T的集合，对该集合使用均值漂移聚类算法获得聚类的结果，并计算聚类结果的均值，将均值作为患者的平均每次抽搐时间T0，进而定义获取K帧图像的时间为T0。
第一时长获取单元212用于根据第一变化均值序列中第一变化均值的大小得到抽搐次数和对应的抽搐时长序列，根据抽搐时长序列得到抽搐间隔时长序列。
具体的，在第一面部区域的一次抽搐过程中，第一变化均值
Figure BDA0003091783620000054
的取值是不为零的，即在患者抽搐前后，第一变化均值
Figure BDA0003091783620000055
是由零变大到一定值，然后减小到零的过程，因此每当出现一次抽搐时，根据由第一变化均值序列中的第一变化均值和对应的时间所建立的曲线函数会形成一个波峰，如果出现多次抽搐，根据第一变化均值序列相应的会形成多个波峰。因此，本发明实施例将第一变化均值序列形成的波峰数量作为第一面部区域的抽搐次数；将每个波峰的宽度作为每一次的抽搐时长，以得到抽搐时长序列；将波峰间的间隔作为相邻两次抽搐过程的抽搐间隔时长，以得到抽搐间隔时长序列。
需要说明的是，本发明实施例中的时长不是按照国际标准的时分秒进行计算的，而是利用采集图像时相邻帧之间的时间间隔来描述时长的。
第一程度获取单元213用于利用抽搐次数、抽搐时长序列和抽搐间隔时长序列得到第一抽搐程度。
具体的，当抽搐次数越多、每次抽搐时长越长且抽搐间隔越短时，说明第一面部区域的抽搐程度越严重，也即患者的肌肉痉挛病情越严重。因此，本发明实施例利用抽搐次数、抽搐时长序列中最大的抽搐时长、抽搐间隔时长序列中最小的抽搐间隔时长建立第一抽搐程度模型，进而根据第一抽搐程度模型得到第一面部区域的第一抽搐程度，则第一抽搐程度模型为：
Figure BDA0003091783620000061
其中，L1为第一抽搐程度；n1为抽搐次数；t1为抽搐时长序列；Δt1为抽搐间隔时长序列。
进一步地，第二抽搐检测单元22用于根据第二网格点的第二变化值得到第二面部区域的第二抽搐程度。
相同的，第二抽搐检测单元22包括第二均值获取单元221、第二时长获取单元222以及第二程度获取单元223，则第二面部区域的第二抽搐程度的获取为：
第二均值获取单元221用于根据第二变化值得到每帧第二人脸图像中第二网格点的第二变化均值，以形成第二变化均值序列。
具体的，获取第二面部区域在第一人脸图像对应的3D模型中所有网格点集合P0、获取第二面部区域在第二人脸图像对应的3D模型中所有网格点集合P2。本发明实施例以第i帧第二人脸图像为例，利用第一人脸图像和第二人脸图像对应的第二网格点的第二位置变化获取第二面部区域对应的所有网格点位置的第二变化值，以得到第二变化值集合ΔP2i，则：
ΔP2i(j)＝P2i(j)-P0(j)
其中，ΔP2i(j)为第i帧第二人脸图像对应的第二面部区域的第j个网格点的第二变化值；P2i(j)为第i帧第二人脸图像对应的第二面部区域的第j个网格点；P0(j)为第一人脸图像对应的第二面部区域的第j个网格点。
相同的，本发明实施例基于第二面部区域的运动特征，通过计算第二变化值集合ΔP2i中每个第二变化值的模长，并根据每个第二变化值的模长得到第二变化均值
Figure BDA0003091783620000062
当没有抽搐时，
Figure BDA0003091783620000063
进而根据采集的K帧第二人脸图像，得到第二面部区域所对应的第二变化值集合序列{ΔP21，ΔP22，...ΔP2i，...，ΔP2K}，进而相应的得到第二变化均值序列
Figure BDA0003091783620000064
第二时长获取单元222用于根据第二变化均值序列中第二变化均值的大小得到抽搐次数和对应的抽搐时长序列，根据抽搐时长序列得到抽搐间隔时长序列。
具体的，根据患者的第二面部区域的抽搐过程，本发明实施例将第二变化均值序列形成的波峰数量作为第二面部区域的抽搐次数；将每个波峰的宽度作为每次的抽搐时长，以得到抽搐时长序列；将波峰间的间隔作为相邻两次抽搐过程的抽搐间隔时长，以得到抽搐间隔时长序列。
第二程度获取单元223用于利用抽搐次数、抽搐时长序列和抽搐间隔时长序列得到第二抽搐程度。
具体的，本发明实施例利用抽搐次数、抽搐时长序列中最大的抽搐时长、抽搐间隔时长序列中最小的抽搐间隔时长建立第二抽搐程度模型，进而根据第二抽搐程度模型得到第二面部区域的第二抽搐程度，则第二抽搐程度模型为：
Figure BDA0003091783620000065
其中，L2为第二抽搐程度；n2为抽搐次数；t2为抽搐时长序列；Δt2为抽搐间隔时长序列。
一致性检测单元30用于根据第一位置变化和第二位置变化所对应的第二人脸图像获取共同抽搐时间，根据共同抽搐时间得到时间一致性指标；获取共同抽搐时间内面部的连带抽搐面积，根据连带抽搐面积得到空间一致性指标；进而结合时间一致性指标和空间一致性指标得到一致性指标。
具体的，当患者的第一面部区域和第二面部区域抽搐时具有明显的先后顺序，即两者是不同时发生抽搐，说明患者肌肉痉挛的症状相对较轻；如果第二面部区域抽搐的同时伴随着第一面部区域的抽搐，说明患者的痉挛症状涉及的面部器官较多，痉挛的病灶作用范围大，此时患者具有较大的面部抽搐程度。因此，本发明实施例根据第一面部区域和第二面部区域抽搐时的一致性特征对患者的面部肌肉痉挛程度进一步分析。
参照附图4，一致性检测单元30包括时间检测单元31，时间检测单元31用于根据第一面部区域和第二面部区域的位置变化所对应的第二人脸图像获取共同抽搐时间，根据共同抽搐时间得到时间一致性指标。
其中，时间检测单元31包括抽搐时间获取单元311和时间指标获取单元312，则时间一致性指标的获取过程为：
抽搐时间获取单元311用于获取第一面部区域和第二面部区域的共同抽搐时间。
具体的，根据第一面部区域出现抽搐时，获取采集对应的第二人脸图像所对应的时间，也即第一面部区域的位置变化所对应的第二人脸图像，进而获取第一面部区域出现多次抽搐所对应的第一时间区间集合。
相同的，根据第二面部区域出现抽搐时，获取采集对应的第二人脸图像所对应的时间，进而获取第二面部区域出现多次抽搐所对应的第二时间区间集合。
根据第一时间区间集合和第二时间区间集合利用权重分配单元3111和时间计算单元3112获取第一面部区域和第二面部区域的共同抽搐时间。
其中，权重分配单元3111用于按照时间长度为每个共同抽搐时间分配权重；时间计算单元3112用于将时间长度和对应的权重进行加权求和得到共同抽搐时间。
具体的，根据第一时间区间集合和第二时间区间集合得到多个交集时间区间，也即是第一面部区域和第二面部区域所对应的多个共同抽搐时间。由于每个交集时间区间所对应的时间长度不同，且本发明更加关注时间长度较大的交集时间区间，因此，本发明实施例在权重分配单元3111根据时间长度为每个交集时间区间分配权重，进而在时间计算单元3112将每个交集时间区间所对应的时间长度和权重进行加权求和得到共同抽搐时间。
需要说明的是，本发明实施例首先将每个交集时间区间所对应的时间长度作为对应的权重，然后对权重进行归一化处理，将归一化后的权重通过映射关系得到映射后的权重，进而将映射后的权重作为使得每个交集时间区间的最终权重。则，参照附图5，该映射关系为：
Figure BDA0003091783620000081
其中，x为归一化后的权重；f(x)为映射后的权重。
时间指标获取单元312用于获取抽搐总时长，根据共同抽搐时间与抽搐总时长的比值得到时间一致性指标。
具体的，本发明实施例第一时间区间集合所对应的时长和第二时间区间集合所对应的时长得到第一面部区域和第二面部区域的抽搐总时长，也即第一时间区间集合和第二时间区间集合的并集所对应的时长。进而将共同抽搐时间与抽搐总时长的比值作为时间一致性指标A1。
进一步地，考虑到当患者在面部抽搐时，面部肌肉运动的面积越多则痉挛症状越严重。一致性检测单元30还包括空间检测单元32，空间检测单元32用于根据面部的位置变化获取在共同抽搐时间内所述面部的连带抽搐面积，根据连带抽搐面积得到空间一致性指标。
其中，空间检测单元32包括动态检测单元321、网格点确认单元322以及空间指标获取单元323，则空间一致性指标的获取过程为：
动态检测单元321用于获取相邻帧第二人脸图像对应的面部的每个网格点的运动幅度，进而得到每个网格点的运动幅度序列。
具体的，在第一面部区域和第二面部区域的共同抽搐时间内，根据面部所对应的网格点的位置变化获取相邻帧第二人脸图像对应的面部的每个网格点的位移向量，该位移向量的模长为每个网格点的运动幅度，进而得到每个网格点的运动幅度序列。
网格点确认单元322用于根据运动幅度序列得到每个网格点的平均运动幅度，当平均运动幅度大于运动幅度阈值时，确认网格点为抽搐网格点。
具体的，本发明实施例将共同抽搐时间所对应的权重分配给运动幅度序列中每个运动幅度，对每个运动幅度和对应的权重进行加权求和并求均值得到每个网格点的平均运动幅度。
设定运动幅度阈值，当某个网格点的平均运动幅度大于运动幅度阈值时，认为该网格点为抽搐网格点，进而获取所有抽搐网格点所对应的连带抽搐面积。
需要说明的是，本发明实施例设定运动幅度阈值为3D人脸模型中所有相邻网格点的平均距离的0.1倍。
空间指标获取单元323用于根据连带抽搐面积与面部面积的比值得到空间一致性指标。
具体的，本发明实施例将连带抽搐面积与面部面积的比值作为空间一致性指标A2，该比值越大说明第一面部区域和第二面部区域同时抽搐时所涉及的面部肌肉越多。
进一步地，本发明实施例利用时间一致性和空间一致性得到第一面部区域和第二面部区域的一致性指标，则一致性指标A的计算公式为：
A＝exp(A1+A2-2)
其中，一致性指标A与时间一致性指标A1、空间一致性指标A2呈正相关。
痉挛程度获取单元40用于根据第一抽搐程度、第二抽搐程度和一致性指标得到面部肌肉痉挛程度。
具体的，本发明实施例利用第一抽搐程度、第二抽搐程度和一致性指标建立痉挛程度检测模型，通过痉挛程度检测模型得到面部肌肉痉挛程度，则该痉挛程度检测模型为：
Figure BDA0003091783620000091
其中，L为面部肌肉痉挛程度；L1为第一抽搐程度；L2为第二抽搐程度。
进一步地，痉挛程度获取单元40包括异常系数获取单元，异常系数获取单元用于利用获取的肌电流变化与口眼歪斜程度的比值得到痉挛异常系数，进而利用痉挛异常系数优化面部肌肉痉挛程度。
具体的，面部肌肉痉挛程度L只是从视觉表观上获的患者的一种痉挛特征，没有触及面肌痉挛症状的内在特征，进而无法获得准确的面肌痉挛程度。因此，本发明实施例利用患者抽搐时的肌电流特征和口眼歪斜程度获得面肌的痉挛异常系数。该痉挛异常系数的获取过程为：
1)在患者面部的四白穴处放置一个肌电流传感器，并从面部刺激时刻开始读取肌电流数据。
2)对获取的肌电流数据进行梯度计算，也即是相邻数据之间作差，进而获得一个电流差值序列。
3)电流差值序列反映的是肌电流的变化特征，当肌肉抽搐时，对应的肌电流数据会发生变化，且数据的值比较大；当肌肉没有抽搐时，对应的肌电流数据不会发生变化，且数据的值趋近于零。因此，本发明实施例获取在第一面部区域和第二面部区域的共同抽搐时间内所对应的电流差值序列，根据电流差值序列中的每个数值求均值，将这个均值作为肌电流变化幅度B，肌电流变化幅度越大说明面部肌肉抽搐时肌电流的变化越大。
4)当检测到抽搐时，获取两嘴角连线与水平线的夹角，以及两个眼角连线与水平线的夹角。由于这两个夹角是变化的，因此，本发明实施例获取这两个夹角的最大值，并将这两个夹角对应的最大值之和作为患者的口眼歪斜程度C。
5)当不同的患者具有相似的口眼歪斜程度或者肌电流变化时，为了更加准确的反映面部肌肉痉挛的内在特征，进而能够更加明显区分不同患者的患病情况，本发明实施例将肌电流变化幅度B和口眼歪斜程度C的比值作为痉挛异常系数α，即α＝B/C。
进一步地，本发明实施例将痉挛异常系数α作为面部肌肉痉挛程度的修正系数，利用痉挛异常系数优化面部肌肉痉挛程度，以得到更加准确的面部肌肉痉挛程度。则，优化后的面部肌肉痉挛程度为：
D＝L(1+α)
其中，D为优化后的面部肌肉痉挛程度。
需要说明的是，本发明实施例中是利用由第一面部区域和第二面部区域的抽搐程度、第一面部区域和第二面部区域的一致性指标、以及痉挛异常系数建立的模型检测患者的面部肌肉痉挛程度，在其他实施例中，实施者可以利用由第一面部区域和第二面部区域的抽搐程度、第一面部区域和第二面部区域的一致性指标、以及痉挛异常系数训练的DNN网络来获取患者的面部肌肉痉挛程度。
综上所述，本发明实施例提供了一种基于医疗大数据的面部肌肉痉挛评估系统，该系统在图像处理单元10获取第一面部区域和第二面部区域在面部3D模型中所对应的第一网格点和第二网格点；根据第一网格点和第二网格点的位置变化在抽搐程度检测单元20获取第一面部区域的第一抽搐程度和第二面部区域的第二抽搐程度；通过一致性检测单元30获取第一面部区域和第二面部区域在抽搐过程中两者的共同抽搐时间以及共同抽搐时间内面部的连带抽搐面积，进而得到第一面部区域和第二面部区域的一致性指标；利用第一抽搐程度、第二抽搐程度和一致性指标在痉挛程度单元40得到面部肌肉痉挛程度。利用抽搐时的一致性指标不但能够提供更加准确的检测数据，使得检测数据更加有说服力，而且能避免因数据不完整导致治疗效果评价的不精准。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于医疗大数据的面部肌肉痉挛评估系统，其他特征在于，该系统包括：
图像处理单元，用于采集多帧人脸图像，所述人脸图像包括面部刺激前的第一人脸图像和面部刺激后的第二人脸图像；建立每帧所述人脸图像的3D模型，获取所述3D模型中第一面部区域对应的第一网格点和第二面部区域对应的第二网格点；
抽搐程度检测单元，用于比较所述第一网格点在所述第一人脸图像和所述第二人脸图像对应的3D模型中的第一位置变化获取第一变化值，根据所述第一变化值获取所述第一面部区域的第一抽搐程度；比较所述第二网格点在所述第一人脸图像和所述第二人脸图像对应的3D模型中的第二位置变化获取第二变化值，根据所述第二变化值获取所述第二面部区域的第二抽搐程度；
一致性检测单元，用于根据所述第一位置变化和第二位置变化所对应的第二人脸图像获取共同抽搐时间，根据所述共同抽搐时间得到时间一致性指标；获取所述共同抽搐时间内面部的连带抽搐面积，根据所述连带抽搐面积得到空间一致性指标；进而结合所述时间一致性指标和所述空间一致性指标得到一致性指标；
痉挛程度获取单元，用于根据所述第一抽搐程度、所述第二抽搐程度和所述一致性指标得到面部肌肉痉挛程度。
2.如权利要求1所述的系统，其特征在于，所述痉挛程度获取单元，包括：
异常系数获取单元，用于利用获取的肌电流变化与口眼歪斜程度的比值得到痉挛异常系数，进而利用所述痉挛异常系数优化所述面部肌肉痉挛程度。
3.如权利要求1所述的系统，其特征在于，所述抽搐程度检测单元包括第一抽搐检测单元，所述第一抽搐检测单元包括：
第一均值获取单元，用于根据所述第一变化值得到每帧所述第二人脸图像中所述第一网格点的第一变化均值，以形成第一变化均值序列；
第一时长获取单元，用于根据所述第一变化均值序列中所述第一变化均值的大小得到抽搐次数和对应的抽搐时长序列，根据所述抽搐时长序列得到抽搐间隔时长序列；
第一程度获取单元，用于利用所述抽搐次数、所述抽搐时长序列和所述抽搐间隔时长序列得到所述第一抽搐程度。
4.如权利要求1所述的系统，其特征在于，所述抽搐程度检测单元包括第二抽搐检测单元，所述第二抽搐检测单元包括：
第二均值获取单元，用于根据所述第二变化值得到每帧所述第二人脸图像中所述第二网格点的第二变化均值，以形成第二变化均值序列；
第二时长获取单元，用于根据所述第二变化均值序列中所述第二变化均值的大小得到抽搐次数和对应的抽搐时长序列，根据所述抽搐时长序列得到抽搐间隔时长序列；
第二程度获取单元，用于利用所述抽搐次数、所述抽搐时长序列和所述抽搐间隔时长序列得到所述第二抽搐程度。
5.如权利要求1所述的系统，其特征在于，所述一致性检测单元包括时间检测单元，所述时间检测单元，包括：
时间指标获取单元，用于获取抽搐总时长，根据所述共同抽搐时间与所述抽搐总时长的比值得到所述时间一致性指标。
6.如权利要求5所述的系统，其特征在于，所述时间检测单元包括抽搐时间获取单元，所述抽搐时间获取单元包括：
权重分配单元，用于按照时间长度为每个所述共同抽搐时间分配权重；
时间计算单元，用于将所述时间长度和对应的所述权重进行加权求和得到所述共同抽搐时间。
7.如权利要求1所述的系统，其特征在于，所述一致性检测单元包括空间检测单元，所述空间检测单元包括：
空间指标获取单元，用于根据所述连带抽搐面积与面部面积的比值得到所述空间一致性指标。
8.如权利要求7所述的系统，其特征在于，所述空间检测单元包括：
动态检测单元，用于获取相邻帧所述第二人脸图像对应的所述面部的每个网格点的运动幅度，进而得到每个所述网格点的运动幅度序列；
网格点确认单元，用于根据所述运动幅度序列得到每个所述网格点的平均运动幅度，当所述平均运动幅度大于运动幅度阈值时，确认所述网格点为所述抽搐网格点。
9.如权利要求1所述的系统，其特征在于，所述一致性检测单元中所述一致性指标与所述时间一致性指标、所述空间一致性指标呈正相关。
10.如权利要求1所述的系统，其特征在于，所述痉挛程度获取单元中所述面部肌肉痉挛程度与所述第一抽搐程度、所述第二抽搐程度、所述一致性指标呈正相关。
CN202110597679.7A 2021-05-31 2021-05-31 基于医疗大数据的面部肌肉痉挛评估系统 Active CN113240660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110597679.7A CN113240660B (zh) 2021-05-31 2021-05-31 基于医疗大数据的面部肌肉痉挛评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110597679.7A CN113240660B (zh) 2021-05-31 2021-05-31 基于医疗大数据的面部肌肉痉挛评估系统

Publications (2)

Publication Number Publication Date
CN113240660A CN113240660A (zh) 2021-08-10
CN113240660B true CN113240660B (zh) 2022-11-08

Family

ID=77135840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110597679.7A Active CN113240660B (zh) 2021-05-31 2021-05-31 基于医疗大数据的面部肌肉痉挛评估系统

Country Status (1)

Country Link
CN (1) CN113240660B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1270043A1 (de) * 2001-06-28 2003-01-02 BrainLAB AG Verfahren und Vorrichtung für transcraniale magnetische Stimulation und kortikale Kartographie
CN101916454A (zh) * 2010-04-08 2010-12-15 董洪伟 基于网格变形和连续优化的高分辨率人脸重建方法
CN112465773A (zh) * 2020-11-25 2021-03-09 王坚 一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法
CN112735240A (zh) * 2020-12-29 2021-04-30 天津市第一中心医院 一种基于mr图像的面肌痉挛模型及其制备方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1270043A1 (de) * 2001-06-28 2003-01-02 BrainLAB AG Verfahren und Vorrichtung für transcraniale magnetische Stimulation und kortikale Kartographie
CN101916454A (zh) * 2010-04-08 2010-12-15 董洪伟 基于网格变形和连续优化的高分辨率人脸重建方法
CN112465773A (zh) * 2020-11-25 2021-03-09 王坚 一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法
CN112735240A (zh) * 2020-12-29 2021-04-30 天津市第一中心医院 一种基于mr图像的面肌痉挛模型及其制备方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张慧.电针合谷穴对原发性面肌痉挛患者這动皮层功能重组的作用研究.《全国优秀硕士学位论文全文数据库 张慧》.2017,(第2期),E056-330. *
联合使用神经电生理监测在面肌痉挛微血管减压术中的应用;张召;《第十四届中国医师协会神经外科医师年会摘要集》;20190510;第1-10页 *
针刺对痉挛型脑瘫患儿肌张力影响的临床和实验研究;章马兰;《中国优秀博士学位论文全文数据库 医药卫生科技辑》;20180115(第1期);第E056-34页 *

Also Published As

Publication number Publication date
CN113240660A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN110335266B (zh) 一种智能中医目诊图像处理方法及装置
CN105787420A (zh) 用于生物认证的方法、装置以及生物认证系统
CN110276271A (zh) 融合ippg和深度信息抗噪声干扰的非接触心率估计法
CN101261677A (zh) 人脸和虹膜混合识别的新方法——特征提取层融合
CN108416772A (zh) 一种基于级联卷积神经网络的斜眼检测方法
CN109165630A (zh) 一种基于二维人眼识别的疲劳监测方法
CN111144165A (zh) 一种步态信息识别方法、系统及存储介质
Przybyło A deep learning approach for remote heart rate estimation
CN113362924A (zh) 一种基于医疗大数据的面瘫康复任务辅助生成方法及系统
CN111339828B (zh) 基于红外影像和超声多普勒结合的静脉显影识别方法
CN113240660B (zh) 基于医疗大数据的面部肌肉痉挛评估系统
Calvo-Gallego et al. Automatic ROI for remote photoplethysmography using PPG and color features
CN112541897A (zh) 一种基于人工智能的面瘫程度评估系统
CN109558797A (zh) 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法
CN114202795A (zh) 一种老年人瞳孔快速定位方法
CN106709480B (zh) 基于加权强度pcnn模型的分块人脸识别方法
CN110403631A (zh) 一种基于连续超声图像的无创颅内压测量方法
Wyawahare et al. Performance evaluation of optic disc segmentation algorithms in retinal fundus images: an empirical investigation
Štrbac et al. Stereovision system for estimation of the grasp type for electrotherapy
CN103955695B (zh) 计算机基于灰度共生矩阵能量变化智能识别视频中人眼状态的方法
CN108537105A (zh) 一种家庭环境下的危险行为识别方法
CN114283404A (zh) 一种基于三维骨骼关键点检测的姿势评估方法
CN112233769A (zh) 一种基于数据采集的患后康复系统
Li Biometric Person Identification Using Near-infrared Hand-dorsa Vein Images
CN112329640A (zh) 基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230406

Address after: Room 1008, 10th Floor, Building 1, No. 28 Andingmen East Street, Dongcheng District, Beijing, 100011

Patentee after: Xiaoerfang Health Technology (Beijing) Co.,Ltd.

Address before: 510999 self compiled 06 by 119, building 21, No. 2004, North Guangcong Road, JIEKOU street, Conghua District, Guangzhou City, Guangdong Province

Patentee before: Guangzhou kicktao Technology Co.,Ltd.

TR01 Transfer of patent right