CN108446593A - 一种面部痉挛检测方法及装置 - Google Patents

一种面部痉挛检测方法及装置 Download PDF

Info

Publication number
CN108446593A
CN108446593A CN201810130147.0A CN201810130147A CN108446593A CN 108446593 A CN108446593 A CN 108446593A CN 201810130147 A CN201810130147 A CN 201810130147A CN 108446593 A CN108446593 A CN 108446593A
Authority
CN
China
Prior art keywords
spasm
facial image
image
facial
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810130147.0A
Other languages
English (en)
Other versions
CN108446593B (zh
Inventor
李健
陈健生
钟元熠
万纬韬
张连毅
武卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP, Tsinghua University filed Critical BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Priority to CN201810130147.0A priority Critical patent/CN108446593B/zh
Publication of CN108446593A publication Critical patent/CN108446593A/zh
Application granted granted Critical
Publication of CN108446593B publication Critical patent/CN108446593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例提供了一种面部痉挛检测方法及装置。在本发明实施例中，患有面肌痉挛症的患者时不时面部会出现痉挛，当某一用户面积出现痉挛时，其很可能是患有面肌痉挛症，如果在初期不监控病情发展并采取针对性治疗，则会逐渐导致病情恶化，进而影响患者的身心健康。通过本发明实施例的方法，可以检测出用户的面部是否出现痉挛，如果出现痉挛，则给以提示，以使用户获知其面部出现痉挛，可能患有面肌痉挛症，并尽早前往医院依靠专业医生依靠专业医生检测是否患有面肌痉挛症，以及在患有面肌痉挛症时能够尽早得到专业医生的针对性治疗，进而避免病情恶化以及避免影响患者的身心健康。

Description

一种面部痉挛检测方法及装置
技术领域
本发明涉及计算机技术领域，特别是涉及一种面部痉挛检测方法及装置。
背景技术
当前，很多人患有面肌痉挛症，面肌痉挛症表现为：时不时面部肌肉不自主抽搐，面肌痉挛症可因疲倦、精神紧张及自主运动等而加重病情，起病多从眼轮匝肌开始，然后涉及整个面部，面肌痉挛症对身体健康影响较大。
然而，目前患者无法确认自己是否患有面肌痉挛症，只能前往医院依靠专业医生检测是否患有面肌痉挛症。
在患有面肌痉挛症的初期，即使面肌痉挛症发作使得面部出现痉挛现象，患者自己往往也感觉不到症状，患者通常情况下也不会认为自己患有面肌痉挛症，进而也不会前往医院依靠专业医生检测。
但是，面肌痉挛呈慢性进行性发展，一般不会自发缓解，如果在初期不监控病情发展并采取针对性治疗，则会逐渐导致病情恶化，进而影响患者的身心健康。
因此，如何尽早发现患者是否患有面肌痉挛症，是一个亟待解决的技术问题。
发明内容
为了能够尽早发现患者是否患有面肌痉挛症，以使得患者能够尽早得到专业医生的针对性治疗，进而避免病情恶化以及避免影响患者的身心健康，本发明实施例示出了一种面部痉挛检测方法及装置。
第一方面，本发明实施例示出了一种面部痉挛检测方法，所述方法包括：
获取包括用户的人脸图像的多帧视频图像；
对于每一帧所述视频图像，在所述视频图像中检测或跟踪人脸图像，检测或跟踪所述人脸图像中的预设面部器官的轮廓点，确定所述预设面部器官的轮廓点在所述人脸图像中的位置，所述预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；
将分别从每一帧所述视频图像中得到的所述面部器官的轮廓点在所述人脸图像中的位置按照时间先后顺序组成位置序列；
将分别在每一帧所述视频图像中得到的所述面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；
根据所述位置序列、所述图像序列以及预设痉挛事件检测算法检测所述人脸图像是否出现痉挛；
发出提示信息，所述提示信息用于提示所述人脸图像出现痉挛。
在一个可选的实现方式中，所述方法还包括：
如果确定所述人脸图像出现痉挛，则确定在所述人脸图像中出现痉挛的位置，确定在所述人脸图像中出现痉挛的强度以及确定在所述人脸图像中出现痉挛的持续时长；
相应地，所述提示信息还携带在所述人脸图像中出现痉挛的位置，在所述人脸图像中出现痉挛的强度以及在所述人脸图像中出现痉挛的持续时长。
在一个可选的实现方式中，所述检测所述人脸图像中的预设面部器官的轮廓点，包括：
使用人脸轮廓点检测算法检测该人脸图像中的面部器官的轮廓点。
在一个可选的实现方式中，所述预设痉挛事件检测算法至少包括基于时域的滤波器算法、包含时域的卷积神经网络CNN、小波分析算法以及长短期记忆网络LSTM。
第二方面，本发明实施例示出了一种面部痉挛检测装置，所述装置包括：
获取模块，用于获取包括用户的人脸图像的多帧视频图像；
第一检测模块，用于对于每一帧所述视频图像，在所述视频图像中检测或跟踪人脸图像，第二检测模块，用于检测或跟踪所述人脸图像中的预设面部器官的轮廓点，第一确定模块，用于确定所述预设面部器官的轮廓点在所述人脸图像中的位置，所述预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；
第一组成模块，用于将分别从每一帧所述视频图像中得到的所述面部器官的轮廓点在所述人脸图像中的位置按照时间先后顺序组成位置序列；
第二组成模块，用于将分别在每一帧所述视频图像中得到的所述面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；
第三检测模块，用于根据所述位置序列、所述图像序列以及预设痉挛事件检测算法检测所述人脸图像是否出现痉挛；
发出模块，用于发出提示信息，所述提示信息用于提示所述人脸图像出现痉挛。
在一个可选的实现方式中，所述装置还包括：
第二确定模块，用于如果确定所述人脸图像出现痉挛，则确定在所述人脸图像中出现痉挛的位置，确定在所述人脸图像中出现痉挛的强度以及确定在所述人脸图像中出现痉挛的持续时长；
相应地，所述提示信息还携带在所述人脸图像中出现痉挛的位置，在所述人脸图像中出现痉挛的强度以及在所述人脸图像中出现痉挛的持续时长。
在一个可选的实现方式中，所述第二检测模块具体用于：使用人脸轮廓点检测算法检测该人脸图像中的面部器官的轮廓点。
在一个可选的实现方式中，所述预设痉挛事件检测算法至少包括基于时域的滤波器算法、包含时域的卷积神经网络CNN、小波分析算法以及长短期记忆网络LSTM。
第三方面，本发明实施例示出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的面部痉挛检测方法的步骤。
第四方面，本发明实施例示出了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面述的面部痉挛检测方法的步骤。
与现有技术相比，本发明实施例包括以下优点：
在本发明实施例中，获取包括用户的人脸图像的多帧视频图像；对于每一帧视频图像，在该视频图像中检测或跟踪人脸图像，检测或跟踪该人脸图像中的预设面部器官的轮廓点，确定预设面部器官的轮廓点在该人脸图像中的位置，预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；将分别从每一帧视频图像中得到的该面部器官的轮廓点在该人脸图像中的位置按照时间先后顺序组成位置序列；将分别在每一帧视频图像中得到的面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；根据该位置序列和、该图像序列预设痉挛事件检测算法检测该人脸图像是否出现痉挛；发出提示信息，该提示信息用于提示该人脸图像出现痉挛。
在本发明实施例中，患有面肌痉挛症的患者时不时面部会出现痉挛，当某一用户面积出现痉挛时，其很可能是患有面肌痉挛症，如果在初期不监控病情发展并采取针对性治疗，则会逐渐导致病情恶化，进而影响患者的身心健康。通过本发明实施例的方法，可以检测出用户的面部是否出现痉挛，如果出现痉挛，则给以提示，以使用户获知其面部出现痉挛，可能患有面肌痉挛症，并尽早前往医院依靠专业医生依靠专业医生检测是否患有面肌痉挛症，以及在患有面肌痉挛症时能够尽早得到专业医生的针对性治疗，进而避免病情恶化以及避免影响患者的身心健康。
附图说明
图1是本发明的一种面部痉挛检测方法实施例的步骤流程图；
图2是本发明的一种面部痉挛检测装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种面部痉挛检测方法实施例的步骤流程图，具体可以包括如下步骤：
在步骤S101中，获取包括用户的人脸图像的多帧视频图像；
在本发明实施例中，可以在用户经常出现的地方设置摄像头，并使用摄像头定期采集包括人脸图像的多帧视频图像，然后将多帧视频图像发送给终端，终端接收摄像头采集到的包括用户的人脸图像的多帧视频图像，然后执行步骤S102。
本发明实施例中的终端可以为手机、平板电脑或者台式电脑等等。
如果终端自身具备摄像头，则在用户使用终端时，终端可以使用摄像头采集包括人脸图像的多帧视频图像。
在步骤S102中，对于每一帧视频图像，在该视频图像中检测或跟踪人脸图像，检测或跟踪该人脸图像中的预设面部器官的轮廓点，确定预设面部器官的轮廓点在该人脸图像中的位置，预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；
在本发明实施例中，对于任意一帧视频图像，可以使用人脸检测算法在视频图像中检测或跟踪人脸图像，然后使用人脸轮廓点检测算法检测或跟踪该人脸图像中的面部器官的轮廓点，并确定每一个面部器官的轮廓点在该人脸图像中的位置。对于其他每一帧视频图像，同样执行上述操作。
人脸检测算法可以为基于卷积神经网络的人脸检测算法等等。
在步骤S103中，将分别从每一帧视频图像中得到的该面部器官的轮廓点在该人脸图像中的位置按照时间先后顺序组成位置序列；
在本发明实施例中，由于在每一帧视频图像中都可以检测到该人脸图像，且在每一帧的该人脸图像中都能检测到每一个面部器官的轮廓点。
对于任意一个面部器官的轮廓点，将该面部器官的轮廓点分别在每一帧视频图像中的该人脸图像中的位置按照时间先后顺序组成位置序列。对于其他每一个面部器官的轮廓点，同样执行上述操作。
在步骤S104中，将分别在每一帧视频图像中得到的面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；
在步骤S105中，根据位置序列、该图像序列和预设痉挛事件检测算法检测该人脸图像是否出现痉挛；
在本发明实施例中，预设痉挛事件检测算法是事先在本地设置的算法，其用于根据输入的位置序列来检测人脸图像是否出现痉挛。
其中，可以将位置序列输入至预设痉挛事件检测算法中，从而得到预设痉挛事件检测算法输出的该人脸图像是否出现痉挛的确定结果。
在步骤S106中，发出提示信息，该提示信息用于提示该人脸图像出现痉挛。
其中，当确定出该人脸图像出现痉挛时，则该人脸图像所对应的用户可能患有面肌痉挛症，为了在该用户面肌痉挛症时能够尽早得到针对性治疗，以避免导致病情恶化以及避免影响用户的身心健康，在终端的屏幕上发出该提示信息，以使用户获知其可能患有面肌痉挛症，尽早前往医院治疗。
在本发明实施例中，可以在终端的屏幕上显示该提示信息，或者，通过麦克风播放该提示信息。
在本发明一个实施例中，有时候视频图像中携带多个不同的人脸图像，因此，该提示信息还可以携带出现痉挛的该人脸图像，如此，在显示该提示信息时同时显示出现痉挛的该人脸图像，以使用户可以根据该人脸图像确定哪个人面部出现痉挛。
其次，为了使得用户在前往医院治疗之后，能够告知医生用户的出现痉挛的具体情况，以帮助医生对用户的病情进行精确诊断，在确定该人脸图像出现痉挛之后，还可以确定在该人脸图像中出现的痉挛的详细信息，例如，确定在该人脸图像中出现痉挛的位置，确定在该人脸图像中出现痉挛的强度以及确定在该人脸图像中出现痉挛的持续时长；
进一步地，还该提示信息还可以携带确定出现的痉挛的详细信息，例如，携带在该人脸图像中出现痉挛的位置，在该人脸图像中出现痉挛的强度，以及在该人脸图像中出现痉挛的时长等等。
在本发明实施例中，预设痉挛事件检测算法至少包括基于时域的滤波器算法、包含时域的卷积神经网络CNN、小波分析算法以及长短期记忆网络LSTM等。
在本发明实施例中，获取包括用户的人脸图像的多帧视频图像；对于每一帧视频图像，在该视频图像中检测或跟踪人脸图像，检测或跟踪该人脸图像中的预设面部器官的轮廓点，确定预设面部器官的轮廓点在该人脸图像中的位置，预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；将分别从每一帧视频图像中得到的该面部器官的轮廓点在该人脸图像中的位置按照时间先后顺序组成位置序列；将分别在每一帧视频图像中得到的面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；根据该位置序列和、该图像序列预设痉挛事件检测算法检测该人脸图像是否出现痉挛；发出提示信息，该提示信息用于提示该人脸图像出现痉挛。
在本发明实施例中，患有面肌痉挛症的患者时不时面部会出现痉挛，当某一用户面积出现痉挛时，其很可能是患有面肌痉挛症，如果在初期不监控病情发展并采取针对性治疗，则会逐渐导致病情恶化，进而影响患者的身心健康。通过本发明实施例的方法，可以检测出用户的面部是否出现痉挛，如果出现痉挛，则给以提示，以使用户获知其面部出现痉挛，可能患有面肌痉挛症，并尽早前往医院依靠专业医生依靠专业医生检测是否患有面肌痉挛症，以及在患有面肌痉挛症时能够尽早得到专业医生的针对性治疗，进而避免病情恶化以及避免影响患者的身心健康。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图2，示出了本发明一种面部痉挛检测装置实施例的结构框图，具体可以包括如下模块：
获取模块11，用于获取包括用户的人脸图像的多帧视频图像；
第一检测模块12，用于对于每一帧所述视频图像，在所述视频图像中检测或跟踪人脸图像，第二检测模块13，用于检测或跟踪所述人脸图像中的预设面部器官的轮廓点，第一确定模块14，用于确定所述预设面部器官的轮廓点在所述人脸图像中的位置，所述预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；
第一组成模块15，用于将分别从每一帧所述视频图像中得到的所述面部器官的轮廓点在所述人脸图像中的位置按照时间先后顺序组成位置序列；
第二组成模块16，用于将分别在每一帧所述视频图像中得到的所述面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；
第三检测模块17，用于根据所述位置序列、所述图像序列以及预设痉挛事件检测算法检测所述人脸图像是否出现痉挛；；
发出模块18，用于发出提示信息，所述提示信息用于提示所述人脸图像出现痉挛。
在一个可选的实现方式中，所述装置还包括：
第二确定模块，用于如果确定所述人脸图像出现痉挛，则确定在所述人脸图像中出现痉挛的位置，确定在所述人脸图像中出现痉挛的强度以及确定在所述人脸图像中出现痉挛的持续时长；
相应地，所述提示信息还携带在所述人脸图像中出现痉挛的位置，在所述人脸图像中出现痉挛的强度以及在所述人脸图像中出现痉挛的持续时长。
在一个可选的实现方式中，所述第二检测模块13具体用于：使用人脸轮廓点检测算法检测该人脸图像中的面部器官的轮廓点。
在一个可选的实现方式中，所述预设痉挛事件检测算法至少包括基于时域的滤波器算法、包含时域的卷积神经网络CNN、小波分析算法以及长短期记忆网络LSTM。
在本发明实施例中，获取包括用户的人脸图像的多帧视频图像；对于每一帧视频图像，在该视频图像中检测或跟踪人脸图像，检测或跟踪该人脸图像中的预设面部器官的轮廓点，确定预设面部器官的轮廓点在该人脸图像中的位置，预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；将分别从每一帧视频图像中得到的该面部器官的轮廓点在该人脸图像中的位置按照时间先后顺序组成位置序列；将分别在每一帧视频图像中得到的面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；根据该位置序列和、该图像序列预设痉挛事件检测算法检测该人脸图像是否出现痉挛；发出提示信息，该提示信息用于提示该人脸图像出现痉挛。
在本发明实施例中，患有面肌痉挛症的患者时不时面部会出现痉挛，当某一用户面积出现痉挛时，其很可能是患有面肌痉挛症，如果在初期不监控病情发展并采取针对性治疗，则会逐渐导致病情恶化，进而影响患者的身心健康。通过本发明实施例的方法，可以检测出用户的面部是否出现痉挛，如果出现痉挛，则给以提示，以使用户获知其面部出现痉挛，可能患有面肌痉挛症，并尽早前往医院依靠专业医生依靠专业医生检测是否患有面肌痉挛症，以及在患有面肌痉挛症时能够尽早得到专业医生的针对性治疗，进而避免病情恶化以及避免影响患者的身心健康。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包括有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包括”或者其任何其他变体意在涵盖非排他性的包括，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种面部痉挛检测方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种面部痉挛检测方法，其特征在于，所述方法包括：
获取包括用户的人脸图像的多帧视频图像；
对于每一帧所述视频图像，在所述视频图像中检测或跟踪人脸图像，检测或跟踪所述人脸图像中的预设面部器官的轮廓点，确定所述预设面部器官的轮廓点在所述人脸图像中的位置，所述预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；
将分别从每一帧所述视频图像中得到的所述面部器官的轮廓点在所述人脸图像中的位置按照时间先后顺序组成位置序列；
将分别在每一帧所述视频图像中得到的所述面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；
根据所述位置序列、所述图像序列以及预设痉挛事件检测算法检测所述人脸图像是否出现痉挛；
发出提示信息，所述提示信息用于提示所述人脸图像出现痉挛。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果确定所述人脸图像出现痉挛，则确定在所述人脸图像中出现痉挛的位置，确定在所述人脸图像中出现痉挛的强度以及确定在所述人脸图像中出现痉挛的持续时长；
相应地，所述提示信息还携带在所述人脸图像中出现痉挛的位置，在所述人脸图像中出现痉挛的强度以及在所述人脸图像中出现痉挛的持续时长。
3.根据权利要求1所述的方法，其特征在于，所述检测所述人脸图像中的预设面部器官的轮廓点，包括：
使用人脸轮廓点检测算法检测该人脸图像中的面部器官的轮廓点。
4.根据权利要求1所述的方法，其特征在于，所述预设痉挛事件检测算法至少包括基于时域的滤波器算法、包含时域的卷积神经网络CNN、小波分析算法以及长短期记忆网络LSTM。
5.一种面部痉挛检测装置，其特征在于，所述装置包括：
获取模块，用于获取包括用户的人脸图像的多帧视频图像；
第一检测模块，用于对于每一帧所述视频图像，在所述视频图像中检测或跟踪人脸图像，第二检测模块，用于检测或跟踪所述人脸图像中的预设面部器官的轮廓点，第一确定模块，用于确定所述预设面部器官的轮廓点在所述人脸图像中的位置，所述预设面部器官至少包括：眉毛、眼睛、鼻子以及嘴巴；
第一组成模块，用于将分别从每一帧所述视频图像中得到的所述面部器官的轮廓点在所述人脸图像中的位置按照时间先后顺序组成位置序列；
第二组成模块，用于将分别在每一帧所述视频图像中得到的所述面部器官的轮廓点组成的面部器官图像按照时间先后顺序组成图像序列；
第三检测模块，用于根据所述位置序列、所述图像序列以及预设痉挛事件检测算法检测所述人脸图像是否出现痉挛；
发出模块，用于发出提示信息，所述提示信息用于提示所述人脸图像出现痉挛。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于如果确定所述人脸图像出现痉挛，则确定在所述人脸图像中出现痉挛的位置，确定在所述人脸图像中出现痉挛的强度以及确定在所述人脸图像中出现痉挛的持续时长；
相应地，所述提示信息还携带在所述人脸图像中出现痉挛的位置，在所述人脸图像中出现痉挛的强度以及在所述人脸图像中出现痉挛的持续时长。
7.根据权利要求5所述的装置，其特征在于，所述第二检测模块具体用于：使用人脸轮廓点检测算法检测该人脸图像中的面部器官的轮廓点。
8.根据权利要求5所述的装置，其特征在于，所述预设痉挛事件检测算法至少包括基于时域的滤波器算法、包含时域的卷积神经网络CNN、小波分析算法以及长短期记忆网络LSTM。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一项所述的面部痉挛检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的面部痉挛检测方法的步骤。
CN201810130147.0A 2018-02-08 2018-02-08 一种面部痉挛检测方法及装置 Active CN108446593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810130147.0A CN108446593B (zh) 2018-02-08 2018-02-08 一种面部痉挛检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810130147.0A CN108446593B (zh) 2018-02-08 2018-02-08 一种面部痉挛检测方法及装置

Publications (2)

Publication Number Publication Date
CN108446593A true CN108446593A (zh) 2018-08-24
CN108446593B CN108446593B (zh) 2021-03-09

Family

ID=63192074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810130147.0A Active CN108446593B (zh) 2018-02-08 2018-02-08 一种面部痉挛检测方法及装置

Country Status (1)

Country Link
CN (1) CN108446593B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158812A1 (ja) * 2019-02-01 2020-08-06 オムロン株式会社 画像処理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306304A (zh) * 2011-03-25 2012-01-04 杜利利 人脸遮挡物识别方法及其装置
CN104331685A (zh) * 2014-10-20 2015-02-04 上海电机学院 非接触式主动呼叫方法
CN104361362A (zh) * 2014-11-21 2015-02-18 江苏刻维科技信息有限公司 一种得出人脸部位轮廓定位模型的方法
WO2016022545A2 (en) * 2014-08-04 2016-02-11 Bae Systems Information And Electronic Systems Integration Inc. Face mounted extreme environment thermal sensor
US20170004356A1 (en) * 2015-06-30 2017-01-05 International Business Machines Corporation System and method for interpreting interpersonal communication
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
CN107491740A (zh) * 2017-07-28 2017-12-19 北京科技大学 一种基于面部表情分析的新生儿疼痛识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306304A (zh) * 2011-03-25 2012-01-04 杜利利 人脸遮挡物识别方法及其装置
WO2016022545A2 (en) * 2014-08-04 2016-02-11 Bae Systems Information And Electronic Systems Integration Inc. Face mounted extreme environment thermal sensor
CN104331685A (zh) * 2014-10-20 2015-02-04 上海电机学院 非接触式主动呼叫方法
CN104361362A (zh) * 2014-11-21 2015-02-18 江苏刻维科技信息有限公司 一种得出人脸部位轮廓定位模型的方法
US20170004356A1 (en) * 2015-06-30 2017-01-05 International Business Machines Corporation System and method for interpreting interpersonal communication
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
CN107491740A (zh) * 2017-07-28 2017-12-19 北京科技大学 一种基于面部表情分析的新生儿疼痛识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PATRICK LUCEY 等: ""Painful monitoring: Automatic pain monitoring using the UNBC-McMaster shoulder pain expression archive database", 《IMAGE AND VISION COMPUTING》 *
彭进业 等: "人脸疼痛表情识别综述", 《数据采集与处理》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158812A1 (ja) * 2019-02-01 2020-08-06 オムロン株式会社 画像処理装置
JP2020126378A (ja) * 2019-02-01 2020-08-20 オムロン株式会社 画像処理装置
JP7334415B2 (ja) 2019-02-01 2023-08-29 オムロン株式会社 画像処理装置

Also Published As

Publication number Publication date
CN108446593B (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
US20160210407A1 (en) Method and device for processing content based on bio-signals
WO2019120029A1 (zh) 智能调节屏幕亮度的方法、装置、存储介质及移动终端
EP2713881B1 (en) Method and system for assisting patients
Juen et al. Health monitors for chronic disease by gait analysis with mobile phones
CN108633249B (zh) 一种生理信号质量判断方法及装置
CN114222960A (zh) 用于计算机生成现实的多模态输入
US20180160959A1 (en) Modular electronic lie and emotion detection systems, methods, and devices
Wang et al. Using opportunistic face logging from smartphone to infer mental health: challenges and future directions
WO2023005468A1 (zh) 检测呼吸率的方法、装置、存储介质及电子设备
US11381715B2 (en) Computer method and apparatus making screens safe for those with photosensitivity
WO2019209986A1 (en) Anxiety detection apparatus, systems, and methods
WO2023005402A1 (zh) 基于热成像的呼吸率检测方法、装置及电子设备
Rudovic et al. Personalized federated deep learning for pain estimation from face images
Sibley et al. An evaluation of KELVIN, an Artificial Intelligence platform, as an objective assessment of the MDS UPDRS Part III
CN108446593A (zh) 一种面部痉挛检测方法及装置
EP3160328B1 (en) Device, system and computer program for detecting a health condition of a subject
Khan et al. Pal: A wearable platform for real-time, personalized and context-aware health and cognition support
US20130071827A1 (en) Interactive and educational vision interfaces
Liu et al. Randomly dividing homologous samples leads to overinflated accuracies for emotion recognition
Senaratne et al. A multimodal dataset and evaluation for feature estimators of temporal phases of anxiety
Migliorelli et al. A store-and-forward cloud-based telemonitoring system for automatic assessing dysarthria evolution in neurological diseases from video-recording analysis
WO2016143415A1 (ja) 情報処理装置、情報処理方法およびプログラム
Bi et al. Measuring children’s eating behavior with a wearable device
US20190374157A1 (en) Methods and apparatus for providing personalized biofeedback for the treatment of panic attacks
Yu A social interaction system based on cloud computing for mobile video telephony

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210526

Address after: 100084 Tsinghua Yuan, Beijing, Haidian District

Patentee after: TSINGHUA University

Address before: Building 2102, building 1, Haidian District, Beijing

Patentee before: BEIJING SINOVOICE TECHNOLOGY Co.,Ltd.

Patentee before: TSINGHUA University