CN117137447A - 一种基于时序轨迹追踪的面瘫程度定级系统 - Google Patents

一种基于时序轨迹追踪的面瘫程度定级系统 Download PDF

Info

Publication number
CN117137447A
CN117137447A CN202311306066.9A CN202311306066A CN117137447A CN 117137447 A CN117137447 A CN 117137447A CN 202311306066 A CN202311306066 A CN 202311306066A CN 117137447 A CN117137447 A CN 117137447A
Authority
CN
China
Prior art keywords
information
expression
facial
track
facial paralysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311306066.9A
Other languages
English (en)
Inventor
李德岭
孙基男
贾旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Beijing Tiantan Hospital
Original Assignee
Peking University
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Beijing Tiantan Hospital filed Critical Peking University
Priority to CN202311306066.9A priority Critical patent/CN117137447A/zh
Publication of CN117137447A publication Critical patent/CN117137447A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种基于时序轨迹追踪的面瘫程度定级系统，包括患者图像获取终端、时序轨迹追踪终端、表情图像分析终端、面瘫程度定级终端和辅助评估信息生成终端；患者图像获取终端用于获取脸部图像信息；时序轨迹追踪终端用于根据脸部图像信息对脸部特征点进行时序轨迹追踪，生成轨迹信息；表情图像分析终端用于根据脸部图像信息提取表情图像信息并结合轨迹信息进行分析，生成表情分析信息；面瘫程度定级终端用于根据轨迹信息和表情分析信息生成面瘫程度定级信息；辅助评估信息生成终端用于根据面瘫程度定级信息和患者信息生成用于辅助医生进行临床评估的辅助评估信息。本发明具有提高面瘫程度定级和辅助评估的准确性的效果。

Description

一种基于时序轨迹追踪的面瘫程度定级系统
技术领域
本发明涉及面瘫辅助评估系统的技术领域，具体涉及一种基于时序轨迹追踪的面瘫程度定级系统。
背景技术
时序轨迹追踪是指在计算机图像处理和计算机视觉领域中的一种技术，用于跟踪对象在时间序列中的运动轨迹。这种技术广泛应用于视频监控、运动分析、目标跟踪等领域，旨在识别和跟踪视频中的目标，从而获取目标的位置、速度和运动路径等信息。面瘫程度定级系统是一种用于评估患者面部瘫痪程度的医学评估工具。面瘫是一种由于面部神经的损伤或功能障碍引起的面部肌肉运动障碍，导致面部表情不对称或不能自然地表达。面瘫程度定级系统旨在帮助医生和医疗专业人员了解患者的面部瘫痪程度，以便为其提供适当的治疗和护理。
现在已经开发出了很多面瘫程度定级系统，经过我们大量的检索与参考，发现现有技术的面瘫程度定级系统有如公开号为CN107713984A、CN116313058A、CN109508644A、US20080317297A1、EP2790774A1、JP2021526947A所公开的面瘫程度定级系统，这些面瘫程度定级系统一般包括：患者面瘫测试信息获取模块、面瘫程度定级分析模块和面瘫定级信息生成模块；患者面瘫测试信息获取模块用于获取患者面瘫测试时的测试信息；面瘫程度定级分析模块用于根据测试信息对患者面瘫情况进行定级分析；面瘫定级信息生成模块用于根据定级分析结果生成对应的面瘫程度定级信息。由于上述的面瘫程度定级系统的面瘫程度定级模式较为单一，导致面瘫程度定级分析过程的准确性降低，造成了面瘫程度定级和辅助评估的质量下降的缺陷。
发明内容
本发明的目的在于，针对上述面瘫程度定级系统存在的不足，提出一种基于时序轨迹追踪的面瘫程度定级系统。
本发明采用如下技术方案：
一种基于时序轨迹追踪的面瘫程度定级系统，包括患者图像获取终端、时序轨迹追踪终端、表情图像分析终端、面瘫程度定级终端和辅助评估信息生成终端；所述患者图像获取终端用于获取患者的脸部图像信息；所述时序轨迹追踪终端用于根据患者的脸部图像信息对患者做表情时的脸部特征点进行时序轨迹追踪，生成对应脸部特征点的轨迹信息；所述表情图像分析终端用于根据脸部图像信息提取表情图像信息并结合轨迹信息进行分析，生成表情分析信息；所述面瘫程度定级终端用于根据轨迹信息和表情分析信息对面瘫程度进行定级评分，生成面瘫程度定级信息；所述辅助评估信息生成终端用于根据面瘫程度定级信息和患者信息生成用于辅助医生进行临床评估的辅助评估信息；
所述时序轨迹追踪终端包括视频分段模块、脸部特征点识别模块和时序轨迹追踪模块；所述视频分段模块用于根据管理员输入的分段时刻表信息对脸部图像信息中的脸部视频进行分段处理；所述分段时刻表信息包括视频中患者按照管理员指令进行表情测试的时刻信息，每次表情测试的时刻点作为每个视频分段的分段时刻点；所述脸部特征点识别模块用于基于每个视频分段对患者的脸部特征点进行识别；所述脸部特征点包括患者的眼睛、眉毛、鼻子、嘴巴、额头部分、下巴、左右脸部分；所述时序轨迹追踪模块用于对每个视频分段中患者的脸部特征点进行时序轨迹追踪，生成对应的轨迹信息。
可选的，所述表情图像分析终端包括表情识别模块、表情比对模块和表情分析信息生成模块；所述表情识别模块用于对视频分段进行表情识别，生成对应的表情识别信息；所述表情比对模块用于将视频分段的表情识别信息中的表情种类与管理员要求患者进行的表情测试所对应的表情种类进行比对，生成表情比对信息；所述表情分析信息生成模块用于根据全部轨迹信息和表情比对信息生成对应的表情分析信息。
可选的，所述表情分析信息生成模块包括表情分析评分子模块和表情分析信息生成子模块；所述表情分析评分子模块用于根据全部轨迹信息和表情比对信息计算对应患者的表情分析评分；所述表情分析信息生成子模块用于根据表情分析评分生成对应的表情分析信息；
当所述表情分析评分子模块计算时，满足以下式子：
其中，F表示患者的表情分析评分；表示基于第a个视频分段中表情比对信息的系数选择函数；A表示视频分段的总数；/>表示第a个视频分段的表情比对信息中的表情种类比数值；kinda′表示第a个视频分段患者进行表情测试时被系统识别的表情种类值；kinda表示第a个视频分段对应表情测试的管理员指令对应表情种类值，kinda＝1，kinda＝1表示管理员指令对应表情种类值均为1；需要注意的是，进行每个视频分段的评分计算时，系统对表情种类值进行设定，与管理员指令对应表情种类差别越大的表情的表情种类值越大；例如，系统预设的表情种类包括微笑、大笑、伤心、哭泣、愤怒，管理员指令对应表情种类为微笑，则kinda＝1表示表情种类为微笑的表情种类值为1，系统对表情种类值进行设定：“大笑，kinda′＝2”、“伤心，kinda′＝3”、“哭泣和愤怒，kinda′＝4”；pointa表示第a个视频分段的比对评分；
其中，表示第a个视频分段对应的轨迹信息中左眼特征点的移动路径长度数值；示第a个视频分段对应的轨迹信息中右眼特征点的移动路径长度数值；需要注意的是，眼睛特征点一般为远离鼻子的眼角；/>表示第a个视频分段对应的轨迹信息中左右眼特征点的移动轨迹区别段长度数值；所述移动轨迹区别段长度数值是指将同器官特征点的移动轨迹重叠并删除重合部分后剩下的轨迹长度；e1表示眼睛特征点基准分值，由管理员根据经验设定；/>表示第a个视频分段对应的轨迹信息中左眉毛特征点的移动路径长度数值；示第a个视频分段对应的轨迹信息中右眉毛特征点的移动路径长度数值；需要注意的是，眉毛特征点一般为远离鼻子的眉角；/>表示第a个视频分段对应的轨迹信息中左右眉毛特征点的移动轨迹区别段长度数值；e2表示眉毛特征点基准分值，由管理员根据经验设定；/>表示第a个视频分段对应的轨迹信息中左嘴角特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右嘴角特征点的移动路径长度数值；/>表示第a个视频分段对应的轨迹信息中左右嘴角特征点的移动轨迹区别段长度数值；e3表示嘴巴特征点基准分值，由管理员根据经验设定；k1、k2和k3分别表示不同的权重系数，由管理员根据经验设定。
可选的，所述面瘫程度定级终端包括面瘫程度定级模块和面瘫程度定级信息生成模块；所述面瘫程度定级模块用于根据轨迹信息和表情分析信息对面瘫程度进行定级评分；所述面瘫程度定级信息生成模块用于根据面瘫程度定级评分生成面瘫程度定级信息；
当所述面瘫程度定级模块工作时，满足以下式子：
M＝G(Q)*F；
其中，M表示患者的面瘫程度定级评分；G(Q)表示基于各个视频分段的脸部特征评分的系数选取函数；Q表示各视频分段的脸部特征评分；q1、q2和q3分别表示不同的选取阈值，由管理员根据经验设定；表示第a个视频分段对应的轨迹信息中左脸特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右脸特征点的移动路径长度数值；需要注意的是，脸部特征点一般为脸部中间位置；/>表示第a个视频分段对应的轨迹信息中左右脸部特征点的移动轨迹区别段长度数值；e4表示脸部特征点基准分值，由管理员根据经验设定；M越大表示患者面瘫程度越高。
可选的，所述面瘫程度定级模块包括脸部特征点移动轨迹区别段长度校对子模块和面瘫程度定级子模块；所述脸部特征点移动轨迹区别段长度校对子模块用于对全部视频分段对应的轨迹信息中左右脸部特征点的移动轨迹区别段长度数值进行校对；所述面瘫程度定级子模块用于根据校对后的左右脸部特征点的移动轨迹区别段长度数值计算对应的面瘫程度定级评分；
当所述脸部特征点移动轨迹区别段长度校对子模块校对时，满足以下式子：
其中，表示校对后的脸部特征点移动轨迹区别段长度数值；/> 表示移动轨迹区别段长度校对函数；/>表示管理员导入的对应患者生活照中左右脸部特征点的平均初始距离数值；/>表示第b张生活照中患者左右脸部特征点的初始距离数值；B表示管理员导入的对应患者生活照总数；/>表示第一个视频分段中患者的左右脸部特征点初始距离数值；φ1表示校对阈值，由管理员根据经验设定；ε表示校对长度基准值，由管理员根据经验设定。
一种基于时序轨迹追踪的面瘫程度定级方法，应用于如上述的一种基于时序轨迹追踪的面瘫程度定级系统，所述面瘫程度定级方法包括：
S1，获取患者的脸部图像信息；
S2，根据患者的脸部图像信息对患者做表情时的脸部特征点进行时序轨迹追踪，生成对应脸部特征点的轨迹信息；
S3，根据脸部图像信息提取表情图像信息并结合轨迹信息进行分析，生成表情分析信息；
S4，根据轨迹信息和表情分析信息对面瘫程度进行定级评分，生成面瘫程度定级信息；
S5，根据面瘫程度定级信息和患者信息生成用于辅助医生进行临床评估的辅助评估信息。
本发明所取得的有益效果是：
1、患者图像获取终端、时序轨迹追踪终端、表情图像分析终端、面瘫程度定级终端和辅助评估信息生成终端的设置有利于从患者图像准确地提取脸部图像信息和对应脸部特征点的轨迹信息，进而更准确地生成对应的面瘫程度定级信息和辅助评估信息，从而有利于提高面瘫程度定级和辅助评估的质量；
2、视频分段模块、脸部特征点识别模块和时序轨迹追踪模块的设置有利于优化脸部特征点的提取过程，也提高了时序轨迹追踪的准确性，进而使得轨迹信息更加准确，从而提高了面瘫程度定级和辅助评估的质量；
3、表情识别模块、表情比对模块和表情分析信息生成模块的设置有利于提高表情识别的准确性，进而提高表情分析信息的准确性，从而有利于进一步地提高面瘫程度定级和辅助评估的质量；
4、表情分析评分子模块和表情分析信息生成子模块的设置配合表情分析评分子模块，有利于提高表情分析评分的准确性，进而提高表情分析信息的准确性，从而更进一步提高地提高面瘫程度定级和辅助评估的质量；
5、面瘫程度定级模块和面瘫程度定级信息生成模块的设置配合面瘫程度定级评分算法，有利于提高面瘫程度定级评分的准确性，进而提高面瘫程度定级信息的准确性，从而有利于提高面瘫程度定级和辅助评估的质量；
6、脸部特征点移动轨迹区别段长度校对子模块和面瘫程度定级子模块的设置配合脸部特征点移动轨迹区别段长度校对算法，有利于提高脸部特征点移动轨迹区别段长度的准确性和适应性，进而提高了面瘫程度定级评分的准确性；
7、辅助评估指数计算子模块和辅助评估信息选择子模块的设置配合辅助评估指数算法，有利于提高辅助评估指数的准确性，进而提高辅助评估信息的准确性，从而大大地提高了面瘫程度定级和辅助评估的质量。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
图1为本发明的整体结构示意图；
图2为本发明中表情分析信息生成模块的结构示意图；
图3为本发明中面瘫程度定级模块的结构示意图；
图4为本发明中一种基于时序轨迹追踪的面瘫程度定级方法的方法流程示意图；
图5为本发明中辅助评估信息生成终端的结构示意图。
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸描绘，事先声明。以下实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。
实施例一：本实施例提供了一种基于时序轨迹追踪的面瘫程度定级系统。结合图1所示，一种基于时序轨迹追踪的面瘫程度定级系统，包括患者图像获取终端、时序轨迹追踪终端、表情图像分析终端、面瘫程度定级终端和辅助评估信息生成终端；所述患者图像获取终端用于获取患者的脸部图像信息；所述时序轨迹追踪终端用于根据患者的脸部图像信息对患者做表情时的脸部特征点进行时序轨迹追踪，生成对应脸部特征点的轨迹信息；所述表情图像分析终端用于根据脸部图像信息提取表情图像信息并结合轨迹信息进行分析，生成表情分析信息；所述面瘫程度定级终端用于根据轨迹信息和表情分析信息对面瘫程度进行定级评分，生成面瘫程度定级信息；所述辅助评估信息生成终端用于根据面瘫程度定级信息和患者信息生成用于辅助医生进行临床评估的辅助评估信息；
所述时序轨迹追踪终端包括视频分段模块、脸部特征点识别模块和时序轨迹追踪模块；所述视频分段模块用于根据管理员输入的分段时刻表信息对脸部图像信息中的脸部视频进行分段处理；所述分段时刻表信息包括视频中患者按照管理员指令进行表情测试的时刻信息，每次表情测试的时刻点作为每个视频分段的分段时刻点；所述脸部特征点识别模块用于基于每个视频分段对患者的脸部特征点进行识别；所述脸部特征点包括患者的眼睛、眉毛、鼻子、嘴巴、额头部分、下巴、左右脸部分；所述时序轨迹追踪模块用于对每个视频分段中患者的脸部特征点进行时序轨迹追踪，生成对应的轨迹信息。
可选的，所述表情图像分析终端包括表情识别模块、表情比对模块和表情分析信息生成模块；所述表情识别模块用于对视频分段进行表情识别，生成对应的表情识别信息；所述表情比对模块用于将视频分段的表情识别信息中的表情种类与管理员要求患者进行的表情测试所对应的表情种类进行比对，生成表情比对信息；所述表情分析信息生成模块用于根据全部轨迹信息和表情比对信息生成对应的表情分析信息。
可选的，结合图2所示，所述表情分析信息生成模块包括表情分析评分子模块和表情分析信息生成子模块；所述表情分析评分子模块用于根据全部轨迹信息和表情比对信息计算对应患者的表情分析评分；所述表情分析信息生成子模块用于根据表情分析评分生成对应的表情分析信息；
当所述表情分析评分子模块计算时，满足以下式子：
其中，F表示患者的表情分析评分；表示基于第a个视频分段中表情比对信息的系数选择函数；A表示视频分段的总数；/>表示第a个视频分段的表情比对信息中的表情种类比数值；kinda′表示第a个视频分段患者进行表情测试时被系统识别的表情种类值；kinda表示第a个视频分段对应表情测试的管理员指令对应表情种类值，kinda＝1，kinda＝1表示管理员指令对应表情种类值均为1；需要注意的是，进行每个视频分段的评分计算时，系统对表情种类值进行设定，与管理员指令对应表情种类差别越大的表情的表情种类值越大；例如，系统预设的表情种类包括微笑、大笑、伤心、哭泣、愤怒，管理员指令对应表情种类为微笑，则kinda＝1表示表情种类为微笑的表情种类值为1，系统对表情种类值进行设定：“大笑，kinda′＝2”、“伤心，kinda′＝3”、“哭泣和愤怒，kinda′＝4”；pointa表示第a个视频分段的比对评分；
其中，表示第a个视频分段对应的轨迹信息中左眼特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右眼特征点的移动路径长度数值；需要注意的是，眼睛特征点一般为远离鼻子的眼角；/>表示第a个视频分段对应的轨迹信息中左右眼特征点的移动轨迹区别段长度数值；所述移动轨迹区别段长度数值是指将同器官特征点的移动轨迹重叠并删除重合部分后剩下的轨迹长度；e1表示眼睛特征点基准分值，由管理员根据经验设定；/>表示第a个视频分段对应的轨迹信息中左眉毛特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右眉毛特征点的移动路径长度数值；需要注意的是，眉毛特征点一般为远离鼻子的眉角；/>表示第a个视频分段对应的轨迹信息中左右眉毛特征点的移动轨迹区别段长度数值；e2表示眉毛特征点基准分值，由管理员根据经验设定；/>表示第a个视频分段对应的轨迹信息中左嘴角特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右嘴角特征点的移动路径长度数值；/>表示第a个视频分段对应的轨迹信息中左右嘴角特征点的移动轨迹区别段长度数值；e3表示嘴巴特征点基准分值，由管理员根据经验设定；k1、k2和k3分别表示不同的权重系数，由管理员根据经验设定。
可选的，所述面瘫程度定级终端包括面瘫程度定级模块和面瘫程度定级信息生成模块；所述面瘫程度定级模块用于根据轨迹信息和表情分析信息对面瘫程度进行定级评分；所述面瘫程度定级信息生成模块用于根据面瘫程度定级评分生成面瘫程度定级信息；
当所述面瘫程度定级模块工作时，满足以下式子：
M＝G(Q)*F；
其中，M表示患者的面瘫程度定级评分；G(Q)表示基于各个视频分段的脸部特征评分的系数选取函数；Q表示各视频分段的脸部特征评分；q1、q2和q3分别表示不同的选取阈值，由管理员根据经验设定；表示第a个视频分段对应的轨迹信息中左脸特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右脸特征点的移动路径长度数值；需要注意的是，脸部特征点一般为脸部中间位置；/>表示第a个视频分段对应的轨迹信息中左右脸部特征点的移动轨迹区别段长度数值；e4表示脸部特征点基准分值，由管理员根据经验设定；M越大表示患者面瘫程度越高。
可选的，结合图3所示，所述面瘫程度定级模块包括脸部特征点移动轨迹区别段长度校对子模块和面瘫程度定级子模块；所述脸部特征点移动轨迹区别段长度校对子模块用于对全部视频分段对应的轨迹信息中左右脸部特征点的移动轨迹区别段长度数值进行校对；所述面瘫程度定级子模块用于根据校对后的左右脸部特征点的移动轨迹区别段长度数值计算对应的面瘫程度定级评分；
当所述脸部特征点移动轨迹区别段长度校对子模块校对时，满足以下式子：
其中，表示校对后的脸部特征点移动轨迹区别段长度数值；/> 表示移动轨迹区别段长度校对函数；/>表示管理员导入的对应患者生活照中左右脸部特征点的平均初始距离数值；/>表示第b张生活照中患者左右脸部特征点的初始距离数值；B表示管理员导入的对应患者生活照总数；/>表示第一个视频分段中患者的左右脸部特征点初始距离数值；φ1表示校对阈值，由管理员根据经验设定；ε表示校对长度基准值，由管理员根据经验设定。
一种基于时序轨迹追踪的面瘫程度定级方法，应用于如上述的一种基于时序轨迹追踪的面瘫程度定级系统，结合图4所示，所述面瘫程度定级方法包括：
S1，获取患者的脸部图像信息；
S2，根据患者的脸部图像信息对患者做表情时的脸部特征点进行时序轨迹追踪，生成对应脸部特征点的轨迹信息；
S3，根据脸部图像信息提取表情图像信息并结合轨迹信息进行分析，生成表情分析信息；
S4，根据轨迹信息和表情分析信息对面瘫程度进行定级评分，生成面瘫程度定级信息；
S5，根据面瘫程度定级信息和患者信息生成用于辅助医生进行临床评估的辅助评估信息。
实施例二：本实施例包含了实施例一的全部内容，提供了一种基于时序轨迹追踪的面瘫程度定级系统，结合图5所示，所述辅助评估信息生成终端包括患者信息读取模块和辅助评估信息生成模块；所述患者信息读取模块用于读取由医生录入的患者信息；所述患者信息包括患者年龄；所述辅助评估信息生成模块用于根据患者年龄和面瘫程度定级信息中的面瘫程度定级评分生成对应的辅助评估信息。
所述辅助评估信息生成模块包括辅助评估指数计算子模块和辅助评估信息选择子模块；所述辅助评估指数计算子模块用于根据患者年龄和面瘫程度定级信息中的面瘫程度定级评分计算辅助评估指数；所述辅助评估信息选择子模块用于根据辅助评估指数选择对应等级的辅助评估信息。
当所述辅助评估指数计算子模块计算时，满足以下式子：
Z＝λ*age*M；
其中，Z表示辅助评估指数；λ表示指数转换系数，由管理员根据经验设定；age表示年龄系数；Y1表示患者信息中的患者年龄数值；表示全部视频分段的平均识别年龄数值；表示第a个视频分段中系统对患者进行年龄识别的识别年龄数值。
当所述辅助评估信息选择子模块根据辅助评估指数选择对应等级的辅助评估信息时，满足以下式子：
其中，X表示辅助评估信息；X＝1表示一级辅助评估信息，所述一级辅助评估信息驱使辅助评估指数和面瘫程度定级评分呈黄色进行展示；X＝2表示二级辅助评估信息，所述二级辅助评估信息驱使辅助评估指数和面瘫程度定级评分呈橙色进行展示，并驱使系统进行辅助评估指数和面瘫程度定级评分的语音播报；X＝3表示三级辅助评估信息，所述三级辅助评估信息驱使辅助评估指数和面瘫程度定级评分呈红色进行展示，驱使系统进行语音播报，并驱使系统开启警告灯光；通过不同等级的辅助评估信息有利于根据不同的辅助评估指数实时最适合的辅助操作，以便于医生更准确更及时地作出判断。z1和z2分别表示不同的辅助评估选择阈值，由管理员根据经验设定。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的保护范围内，此外，随着技术发展其中的元素是可以更新的。

Claims (6)

1.一种基于时序轨迹追踪的面瘫程度定级系统，其特征在于，包括患者图像获取终端、时序轨迹追踪终端、表情图像分析终端、面瘫程度定级终端和辅助评估信息生成终端；所述患者图像获取终端用于获取患者的脸部图像信息；所述时序轨迹追踪终端用于根据患者的脸部图像信息对患者做表情时的脸部特征点进行时序轨迹追踪，生成对应脸部特征点的轨迹信息；所述表情图像分析终端用于根据脸部图像信息提取表情图像信息并结合轨迹信息进行分析，生成表情分析信息；所述面瘫程度定级终端用于根据轨迹信息和表情分析信息对面瘫程度进行定级评分，生成面瘫程度定级信息；所述辅助评估信息生成终端用于根据面瘫程度定级信息和患者信息生成用于辅助医生进行临床评估的辅助评估信息；
所述时序轨迹追踪终端包括视频分段模块、脸部特征点识别模块和时序轨迹追踪模块；所述视频分段模块用于根据管理员输入的分段时刻表信息对脸部图像信息中的脸部视频进行分段处理；所述分段时刻表信息包括视频中患者按照管理员指令进行表情测试的时刻信息，每次表情测试的时刻点作为每个视频分段的分段时刻点；所述脸部特征点识别模块用于基于每个视频分段对患者的脸部特征点进行识别；所述脸部特征点包括患者的眼睛、眉毛、鼻子、嘴巴、额头部分、下巴、左右脸部分；所述时序轨迹追踪模块用于对每个视频分段中患者的脸部特征点进行时序轨迹追踪，生成对应的轨迹信息。
2.如权利要求1所述的一种基于时序轨迹追踪的面瘫程度定级系统，其特征在于，所述表情图像分析终端包括表情识别模块、表情比对模块和表情分析信息生成模块；所述表情识别模块用于对视频分段进行表情识别，生成对应的表情识别信息；所述表情比对模块用于将视频分段的表情识别信息中的表情种类与管理员要求患者进行的表情测试所对应的表情种类进行比对，生成表情比对信息；所述表情分析信息生成模块用于根据全部轨迹信息和表情比对信息生成对应的表情分析信息。
3.如权利要求2所述的一种基于时序轨迹追踪的面瘫程度定级系统，其特征在于，所述表情分析信息生成模块包括表情分析评分子模块和表情分析信息生成子模块；所述表情分析评分子模块用于根据全部轨迹信息和表情比对信息计算对应患者的表情分析评分；所述表情分析信息生成子模块用于根据表情分析评分生成对应的表情分析信息；
当所述表情分析评分子模块计算时，满足以下式子：
其中，F表示患者的表情分析评分；表示基于第a个视频分段中表情比对信息的系数选择函数；A表示视频分段的总数；/>表示第a个视频分段的表情比对信息中的表情种类比数值；kinda′表示第a个视频分段患者进行表情测试时被系统识别的表情种类值；kinda表示第a个视频分段对应表情测试的管理员指令对应表情种类值，kinda＝1，kinda＝1表示管理员指令对应表情种类值均为1；进行每个视频分段的评分计算时，系统对表情种类值进行设定，与管理员指令对应表情种类差别越大的表情的表情种类值越大；pointa表示第a个视频分段的比对评分；
其中，表示第a个视频分段对应的轨迹信息中左眼特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右眼特征点的移动路径长度数值；需要注意的是，眼睛特征点一般为远离鼻子的眼角；/>表示第a个视频分段对应的轨迹信息中左右眼特征点的移动轨迹区别段长度数值；所述移动轨迹区别段长度数值是指将同器官特征点的移动轨迹重叠并删除重合部分后剩下的轨迹长度；e1表示眼睛特征点基准分值，由管理员根据经验设定；/>表示第a个视频分段对应的轨迹信息中左眉毛特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右眉毛特征点的移动路径长度数值；/>表示第a个视频分段对应的轨迹信息中左右眉毛特征点的移动轨迹区别段长度数值；e2表示眉毛特征点基准分值；/>表示第a个视频分段对应的轨迹信息中左嘴角特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右嘴角特征点的移动路径长度数值；/>表示第a个视频分段对应的轨迹信息中左右嘴角特征点的移动轨迹区别段长度数值；e3表示嘴巴特征点基准分值；k1、k2和k3分别表示不同的权重系数。
4.如权利要求3所述的一种基于时序轨迹追踪的面瘫程度定级系统，其特征在于，所述面瘫程度定级终端包括面瘫程度定级模块和面瘫程度定级信息生成模块；所述面瘫程度定级模块用于根据轨迹信息和表情分析信息对面瘫程度进行定级评分；所述面瘫程度定级信息生成模块用于根据面瘫程度定级评分生成面瘫程度定级信息；
当所述面瘫程度定级模块工作时，满足以下式子：
M＝G(Q)*F；
其中，M表示患者的面瘫程度定级评分；G(Q)表示基于各个视频分段的脸部特征评分的系数选取函数；Q表示各视频分段的脸部特征评分；q1、q2和q3分别表示不同的选取阈值；表示第a个视频分段对应的轨迹信息中左脸特征点的移动路径长度数值；/>示第a个视频分段对应的轨迹信息中右脸特征点的移动路径长度数值；Δ4a表示第a个视频分段对应的轨迹信息中左右脸部特征点的移动轨迹区别段长度数值；e4表示脸部特征点基准分值；M越大表示患者面瘫程度越高。
5.如权利要求4所述的一种基于时序轨迹追踪的面瘫程度定级系统，其特征在于，所述面瘫程度定级模块包括脸部特征点移动轨迹区别段长度校对子模块和面瘫程度定级子模块；所述脸部特征点移动轨迹区别段长度校对子模块用于对全部视频分段对应的轨迹信息中左右脸部特征点的移动轨迹区别段长度数值进行校对；所述面瘫程度定级子模块用于根据校对后的左右脸部特征点的移动轨迹区别段长度数值计算对应的面瘫程度定级评分；
当所述脸部特征点移动轨迹区别段长度校对子模块校对时，满足以下式子：
其中，表示校对后的脸部特征点移动轨迹区别段长度数值；/> 表示移动轨迹区别段长度校对函数；/>表示管理员导入的对应患者生活照中左右脸部特征点的平均初始距离数值；/>表示第b张生活照中患者左右脸部特征点的初始距离数值；B表示管理员导入的对应患者生活照总数；/>表示第一个视频分段中患者的左右脸部特征点初始距离数值；φ1表示校对阈值；ε表示校对长度基准值。
6.一种基于时序轨迹追踪的面瘫程度定级方法，应用于如权利要求5所述的一种基于时序轨迹追踪的面瘫程度定级系统，其特征在于，所述面瘫程度定级方法包括：
S1，获取患者的脸部图像信息；
S2，根据患者的脸部图像信息对患者做表情时的脸部特征点进行时序轨迹追踪，生成对应脸部特征点的轨迹信息；
S3，根据脸部图像信息提取表情图像信息并结合轨迹信息进行分析，生成表情分析信息；
S4，根据轨迹信息和表情分析信息对面瘫程度进行定级评分，生成面瘫程度定级信息；
S5，根据面瘫程度定级信息和患者信息生成用于辅助医生进行临床评估的辅助评估信息。
CN202311306066.9A 2023-10-10 2023-10-10 一种基于时序轨迹追踪的面瘫程度定级系统 Pending CN117137447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311306066.9A CN117137447A (zh) 2023-10-10 2023-10-10 一种基于时序轨迹追踪的面瘫程度定级系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311306066.9A CN117137447A (zh) 2023-10-10 2023-10-10 一种基于时序轨迹追踪的面瘫程度定级系统

Publications (1)

Publication Number Publication Date
CN117137447A true CN117137447A (zh) 2023-12-01

Family

ID=88886975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311306066.9A Pending CN117137447A (zh) 2023-10-10 2023-10-10 一种基于时序轨迹追踪的面瘫程度定级系统

Country Status (1)

Country Link
CN (1) CN117137447A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671774A (zh) * 2024-01-11 2024-03-08 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671774A (zh) * 2024-01-11 2024-03-08 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备
CN117671774B (zh) * 2024-01-11 2024-04-26 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备

Similar Documents

Publication Publication Date Title
Law et al. Surgeon technical skill assessment using computer vision based analysis
CN117137447A (zh) 一种基于时序轨迹追踪的面瘫程度定级系统
CN103479367B (zh) 一种基于面部运动单元识别的驾驶员疲劳检测方法
US20170231519A1 (en) System and method for annotating and analyzing eeg waveforms
CN110464367B (zh) 基于多通道协同的心理异常检测方法和系统
CN117438048B (zh) 一种精神科患者用心理障碍测评方法及系统
Gonçalves et al. Preliminary study on determining stereotypical motor movements
CN117409454B (zh) 一种基于面部肌肉运动监测的情绪动态识别方法和装置
Nuha et al. An approach of analyzing classroom student engagement in multimodal environment by using deep learning
Zhuang et al. Facial weakness analysis and quantification of static images
Guarin et al. Video-based facial movement analysis in the assessment of bulbar amyotrophic lateral sclerosis: clinical validation
Wang et al. Orthogonal region selection network for laryngeal closure detection in laryngoscopy videos
Nassar et al. Automatic construction of dental charts for postmortem identification
CN109902656B (zh) 一种面部动作单元的识别方法、系统
CN111261283B (zh) 基于金字塔型卷积层的心电信号深度神经网络建模方法
CN117503056A (zh) 基于双模态特征学习的多尺度呼吸事件自动定位方法及装置
CN115966003A (zh) 一种基于情绪识别的学习者线上学习效率评估系统
Ahmadi et al. Aras-farabi experimental framework for skill assessment in capsulorhexis surgery
Rusydi et al. Facial Features Extraction Based on Distance and Area of Points for Expression Recognition
Wang et al. Multi-modal and multi-scale oral diadochokinesis analysis using deep learning
CN117671774B (zh) 一种人脸情绪智能识别分析设备
US20230410290A1 (en) Neural network architecture for movement analysis
Jiménez-Moreno et al. Classification of facial expression of post-surgical pain in children: evaluation of convolutional neural networks
CN118507036B (zh) 一种情感语义多模态抑郁倾向识别系统
Menon et al. Automatic quantification of vocal cord paralysis-an application of fibre-optic endoscopy video processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination