CN114999636A - 一种卒中康复情况检测方法及设备 - Google Patents

一种卒中康复情况检测方法及设备 Download PDF

Info

Publication number
CN114999636A
CN114999636A CN202210708346.1A CN202210708346A CN114999636A CN 114999636 A CN114999636 A CN 114999636A CN 202210708346 A CN202210708346 A CN 202210708346A CN 114999636 A CN114999636 A CN 114999636A
Authority
CN
China
Prior art keywords
stroke
sound
value
preset
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210708346.1A
Other languages
English (en)
Inventor
刘霞
吴钰
陈霞
孙芳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Provincial Hospital Affiliated to Shandong First Medical University
Original Assignee
Shandong Provincial Hospital Affiliated to Shandong First Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Provincial Hospital Affiliated to Shandong First Medical University filed Critical Shandong Provincial Hospital Affiliated to Shandong First Medical University
Priority to CN202210708346.1A priority Critical patent/CN114999636A/zh
Publication of CN114999636A publication Critical patent/CN114999636A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请实施例公开了一种卒中康复情况检测方法及设备。通过安装于镜子上的图像采集装置获取用户的当前面部图像与当前声音数据；对当前面部图像进行采样点标注，以确定出预设数量的面部关键点；对面部关键点进行连线处理，确定出第一卒中评估值；对当前声音数据进行随机采样，并获取采样点的信息，对当前声音数据进行声音特征值提取，基于采样点信息与提取的声音特征值确定出第二卒中评估值；将当前面部图像与预置卒中面部图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；基于第一卒中评估值、第二卒中评估值以及卒中康复评估值确定出用户的卒中康复状况。

Description

一种卒中康复情况检测方法及设备
技术领域
本申请涉及图像与声音处理技术领域，尤其涉及一种卒中康复情况检测方法及设备。
背景技术
随着脑卒中人群逐渐增加，《中国脑卒中防治报告2020》概要指出，2019年，中国40岁及以上现患和曾患卒中人数约为1704万，2018年约有194万人死于卒中。2017年国际糖尿病联盟报告我国成年(20～79岁)糖尿病现患人数高达1.144亿。此外，中国高血压患者、血脂异常者、超重和肥胖者以及吸烟者人数都较为庞大，而这些都是卒中的高危人群。
由于脑卒中患者的康复期时间较长，因此脑卒中患者通常会选择居家康复，脑卒中患者居家康复时，通常需要对自己的健康状况进行判断。但由于卒中人群通常对医学知识了解较少，因此难以根据身体变化状况对自身的卒中康复状况进行及时、准确判断，以致居家康复时，难以及时对自身卒中复发风险进行监控。
发明内容
本申请实施例提供了一种卒中康复情况检测方法及设备，用于解决如下技术问题：脑卒中患者在居家康复时，难以及时对自身卒中复发风险进行监控。
本申请实施例采用下述技术方案：
本申请实施例提供一种卒中康复情况检测方法。包括，通过安装于镜子上的图像采集装置获取用户的当前面部图像；对当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点；对面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出当前面部图像对应的第一卒中评估值；其中，参考连线与用户健康期间对应的面部图像相关；通过安装于镜子上的声音采集装置获取用户的当前声音数据；对当前声音数据进行随机采样，以获取采样点的信息，以及对当前声音数据进行声音特征值提取，以基于采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值；其中，预置卒中参考声音数据与患者卒中期间的多种声音数据相关；将当前面部图像与预置卒中面部图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；基于第一卒中评估值、第二卒中评估值以及卒中康复评估值，对用户进行卒中康复情况提醒。
本申请实施例通过安装于镜子上的图像采集装置获取用户的当前面部图像，能够根据面部图像上的关键点确定出第一卒中评估值。从而使得卒中康复用户在家即可对自身的健康状况进行判断。其次通过声音采集装置获取当前声音数据，并对获取到的当前声音数据进行声音特征值提取，从而将当前声音的声音特征值与预置卒中参考声音数据进行比对，以通过声音确定出第二卒中评估值。本申请实施例从用户图像与声音两方面同时进行检测，从而提高卒中检测的准确率。其次，本申请实施例还将获取到的当前面部图像与预置卒中图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，从而将当前面部图像与声音数据，均与健康的数据与卒中数据进行比对，从而进一步提高卒中康复情况检测的准确率。
在本申请的一种实现方式中，对当前面部图像进行采样点标注，以根据标注的采样点确定出预设数量的面部关键点，具体包括：将当前面部图像作为第一层图像，对当前面部图像进行高斯低通滤波，对滤波后的图像进行采样点标注，并基于标注的采样点生成第二层图像；其中，相邻两个采样点之间间隔一个像素点；对第二层图像进行采样点标注，并基于标注的采样点生成第三层图像；以此类推，以获取若干图层，并基于获取到的若干图层构建多尺度图像集合；通过FasterR-CNN模型对多尺度图像集合进行面部区域定位；通过深度残差网络ResNet-101对多尺度图像集合对应的面部区域进行特征图提取，并按照若干图层的生成顺序，将多尺度图像集合对应的多个特征图进行叠加，以对叠加后的特征图进行关键点确定。
在本申请的一种实现方式中，对叠加后的特征图进行关键点确定，具体包括：将叠加后的特征图输入预置面部关键点检测模型，通过预置面部关键点检测模型的全连接网络对叠加后的特征图进行面部区域标注，并通过非极大抑制算法对标注的面部区域进行筛选，以得到与实际面部区域的面积相同第一面部区域集合；将第一面部区域集合输入预置面部关键点检测模型的Refine Network网络层，以对第一面部区域集合进行面部关键点标注，并通过非极大抑制算法对标注的面部关键点进行筛选，以得到与实际面部区域的面积相同第二面部区域集合；将第二面部区域集合输入预置面部关键点检测模型的OutputNetwork网络层，以对第二面部区域集合进行面部关键点定位。
在本申请的一种实现方式中，对面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出当前面部图像对应的第一卒中概率，具体包括：基于预设关键点位置模板，对面部关键点进行分类，以得到内眼角关键点、外眼角关键点、嘴角关键点以及鼻部关键点；确定多个内眼角关键点之间的第一连线，以及确定出多个外眼角关键点之间的第二连线，将第一连线、第二连线分别与水平方向参考连线进行比对，以确定出第一连线对应的内眼角倾斜角度，以及第二连线对应的外眼角倾斜角度；确定出同一只眼睛对应的内眼角关键点与外眼角关键点之间的第三连线，将第三连线与水平方向参考连线进行比对，以确定出外眼角下垂角度；确定嘴角关键点与鼻部关键点之间的第四连线，将第四连线与水平方向参考连线进行比对，以确定出嘴角倾斜角度；将内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度进行加权融合，以得到第一卒中评估值。
在本申请的一种实现方式中，将内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度进行加权融合，以得到第一卒中评估值，具体包括：基于内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度，得到内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度分别对应的倾斜角度级别；基于倾斜角度以及倾斜角度级别分别对应的权重值，确定出面部图像对应的倾斜角度加权值；将倾斜角度加权值与预置卒中评估表进行比对，以确定出当前面部图像对应的第一卒中评估值。
在本申请的一种实现方式中，对当前声音数据进行随机采样，以获取采样点的信息，以及对当前声音数据进行声音特征值提取，以基于采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值，具体包括：基于当前声音数据确定出相应的声音波形，并通过汉明窗对声音波形进行分帧处理，得到多帧声音波形；对每一帧声音波形进行随机采样，并对相邻两个采样点对应的采样值进行比对，以根据相邻连个采样值的正负情况，确定出每一帧声音波形中过零点的采样点的数量，以及过零点的采样点的坐标；对声音波形进行小波分解，并对分解后的小波进行重构，以得到去噪后的声音波形；通过梅尔频谱倒谱系数法对去噪后的声音波形进行声音特征值提取，并将提取出的声音特征值输入预置SVM声音分类模型，以通过预置SVM声音分类模型确定出去噪后的声音波形对应的卒中等级类型；其中，声音特征值包括去噪后的声音波形对应的时间、频率以及幅值；将过零点的采样点的数量与过零点的采样点的坐标，与预置卒中声音数据模板进行比对，以根据比对结果得到第一风险值；基于卒中等级类型确定出第二风险值；基于第二风险值与第二风险值，确定出当前声音数据对应的第二卒中评估值。
在本申请的一种实现方式中，通过梅尔频谱倒谱系数法对去噪后的声音波形进行声音特征值提取，并将提取出的声音特征值输入预置SVM声音分类模型，以通过预置SVM声音分类模型确定出去噪后的声音波形对应的卒中等级类型，具体包括：将去噪后的声音波形对应的梅尔频谱特征的能量谱，与梅尔频谱滤波器组进行卷积处理，得到去噪后的声音波形对应的梅尔频谱特征的对数能量，以根据对数能量生成去噪后的声音波形对应的对数频谱；通过离散余弦变换确定去噪后的声音波形对应的对数频谱的梅尔频率倒频系数，将梅尔频率倒频系数进行差分变换，以得到去噪后的声音波形对应的差分特征参数；对差分特征参数进行加权融合，并通过主成分分析法对加权融合后的数据进行降维处理，以得到去噪后的声音波形对应的声音特征值；将声音特征值输入预置SVM声音分类模型，通过预置SVM声音分类模型，将声音特征值与多个不同卒中等级的参考声音特征值进行相似度计算，以确定出去噪后的声音波形所对应的卒中等级类型。
在本申请的一种实现方式中，将当前面部图像与预置卒中面部图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值，具体包括：基于预置卒中面部图像，确定出用户卒中期间面部关键点连线，以基于卒中期间面部关键点连线，确定出卒中期间面部关键点之间的倾斜角度；基于当前面部图像对应的预设数量的面部关键点，确定出康复期间的面部关键点之间的倾斜角度；将康复期间的面部关键点之间的倾斜角度，与卒中期间面部关键点之间的倾斜角度进行比对，以确定出第一卒中康复评估值；确定出预置健康声音数据的第一声音频率与第一语音清晰度，以及确定出当前声音数据的第二声音频率与第二语音清晰度；将第一声音频率与第二频率进行比对，以及将第一语音清晰度与第二语音清晰度进行比对，以确定出第二卒中康复评估值；基于第二卒中康复评估值与第二卒中康复评估值，确定出卒中康复评估值。
在本申请的一种实现方式中，基于第一卒中评估值、第二卒中评估值以及卒中康复评估值确定出用户的卒中康复状况，具体包括：将第一卒中评估值与第二卒中评估值进行均值计算，以得到卒中风险值；基于当前的卒中风险值与历史卒中风险值构建卒中风险概率图，基于卒中风险概率图确定出第一卒中康复状况；其中，第一卒中康复状况包括卒中风险值增加、卒中风险值降低以及卒中风险值不变；基于当前的卒中康复评估值与历史卒中康复评估值构建卒中风险概率图，基于卒中风险概率图确定出第二卒中康复状况；其中，第二卒中康复状况包括卒中风险值增加、卒中风险值降低以及卒中风险值不变；在第一卒中康复状况与第二卒中康复状况均为卒中风险值增加的情况下，通过安装于镜子上的播放器进行卒中风险提醒；在第一卒中康复状况为卒中风险值降低或卒中风险值不变，以及第二卒中康复状况为卒中风险值降低或卒中风险值不变的情况下，通过安装于镜子上的播放器进行卒中康复提醒。
本申请实施例提供一种卒中康复情况检测设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：通过安装于镜子上的图像采集装置获取用户的当前面部图像；对当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点；对面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出当前面部图像对应的第一卒中评估值；其中，参考连线与用户健康期间对应的面部图像相关；通过安装于镜子上的声音采集装置获取用户的当前声音数据；对当前声音数据进行随机采样，以获取采样点的信息，以及对当前声音数据进行声音特征值提取，以基于采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值；其中，预置卒中参考声音数据与患者卒中期间的多种声音数据相关；将当前面部图像与预置卒中面部图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；基于第一卒中评估值、第二卒中评估值以及卒中康复评估值，对用户进行卒中康复情况提醒。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例通过安装于镜子上的图像采集装置获取用户的当前面部图像，能够根据面部图像上的关键点确定出第一卒中评估值。从而使得卒中康复用户在家即可对自身的健康状况进行判断。其次通过声音采集装置获取当前声音数据，并对获取到的当前声音数据进行声音特征值提取，从而将当前声音的声音特征值与预置卒中参考声音数据进行比对，以通过声音确定出第二卒中评估值。本申请实施例从用户图像与声音两方面同时进行检测，从而提高卒中检测的准确率。其次，本申请实施例还将获取到的当前面部图像与预置卒中图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，从而将当前面部图像与声音数据，均与健康的数据与卒中数据进行比对，从而进一步提高卒中康复情况检测的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附
图中：
图1为本申请实施例提供的一种卒中康复情况检测方法流程图；
图2为本申请实施例提供的一种卒中康复情况检测设备的结构示意图。
具体实施方式
本申请实施例提供一种卒中康复情况检测方法及设备。
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
由于脑卒中患者的康复期时间较长，因此脑卒中患者通常会选择居家康复，脑卒中患者居家康复时，通常需要对自己的健康状况进行判断。但由于卒中人群通常对医学知识了解较少，因此难以根据身体变化状况对自身的卒中康复状况进行及时、准确判断，以致居家康复时，难以及时对自身卒中复发风险进行监控。
本申请实施例本申请实施例通过安装于镜子上的图像采集装置获取用户的当前面部图像，能够根据面部图像上的关键点确定出第一卒中评估值。从而使得卒中康复用户在家即可对自身的健康状况进行判断。其次通过声音采集装置获取当前声音数据，并对获取到的当前声音数据进行声音特征值提取，从而将当前声音的声音特征值与预置卒中参考声音数据进行比对，以通过声音确定出第二卒中评估值。本申请实施例从用户图像与声音两方面同时进行检测，从而提高卒中检测的准确率。其次，本申请实施例还将获取到的当前面部图像与预置卒中图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，从而将当前面部图像与声音数据，均与健康的数据与卒中数据进行比对，从而进一步提高卒中康复情况检测的准确率。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
图1为本申请实施例提供的一种卒中康复情况检测方法流程图。如图1所示，卒中康复检测方法包括如下步骤：
S101、通过安装于镜子上的图像采集装置获取用户的当前面部图像。
在本申请的一个实施例中，本申请实施例中的镜子可以包括无线通信模块、摄像头、麦克风与喇叭、红外传感器、摄像头挡块、指示框、线路板以及储存器等部件。可以安装于洗手台，梳妆台等位置。日常作为镜子使用。不使用该装置时，可通过摄像头挡块挡住摄像头，保护使用者隐私。该镜子安装完毕后，通过蓝牙使该装置与使用者手机APP进行连接，并设置密码。
进一步地，用户站在镜子面前，开启摄像头挡块，将脸部固定于指示框内，按照麦克风与喇叭提示进行微笑，点头，摄取使用者日常脸部影像，上传储存器云端，保存为“日常面部信息”。同时，麦克风与喇叭提示一段话要求使用者跟读，可以是问候话、诗词或个性化定制的话语，麦克风会获取使用者跟读声音，上传储存器云端，保存为“日常语音跟读”。
进一步地，卒中康复情况检测设备对上传的面部信息与语音跟读数据进行分析，从而判定用户卒中康复状况。根据语音及脸部影像的对比分析数据，生成卒中风险进行数据传递，将判定的康复状况传到使用者手机APP。从而可以对中风轻微症状或意外情况进行识别，提示使用者尽早到医院就诊，有效降低卒中致残率和死亡率，提升老年生活品质，降低社会和家庭经济负担。
S102、卒中康复情况检测设备对当前面部图像进行采样点标注，以根据标注的采样点确定出预设数量的面部关键点。
在本申请的一个实施例中，将当前面部图像作为第一层图像，对当前面部图像进行高斯低通滤波，对滤波后的图像进行采样点标注，并基于标注的采样点生成第二层图像。其中，相邻两个采样点之间间隔一个像素点。对第二层图像进行采样点标注，并基于标注的采样点生成第三层图像。以此类推，以获取若干图层，并基于获取到的若干图层构建多尺度图像集合。通过FasterR-CNN模型对多尺度图像集合进行面部区域定位，通过深度残差网络ResNet-101对多尺度图像集合对应的面部区域进行特征图提取，并按照若干图层的生成顺序，将多尺度图像集合对应的多个特征图进行叠加，以对叠加后的特征图进行关键点确定。
具体地，本申请实施例中的当前面部图像中，可能包括用户面部区域以及用户所在位置的环境图像信息，为了提高获取到的面部关键点的准确性，可以先将图像中用户所在位置的环境图像信息进行剔除，即将用户的面部区域进行定位。
进一步地，对当前面部图像进行高斯低通滤波，然后对标注出的面部区域进行采样点标注。在对采样点标注时，假设对面部区域的第一行第一列的交点进行标注，则将第一行与第三列的交点作为下一个采样点，以及将第三行与第一列的交点作为下一个采样点。相邻两个采样点之间间隔一个像素点。将标注的采样点进行提取，并按顺序进行排列，以得到第二层图像。其次，按照相同的采样点标注方法，对第二层图像进行采样点标注，以得到第三层图像。以此类推，可以将当前面部图像转换为多个不同尺度的图像，以构建多尺度图像集合。
进一步地，本申请实施例通过预置的FasterR-CNN模型对多尺度图像集合进行面部区域定位。在进行定位之前，需要对该FasterR-CNN模型进行训练。例如，可以将预先采集的面部图像样本集作为输入，将面部区域进行标注的样本集作为输出，对预置模型进行训练，以得到训练后的该FasterR-CNN模型。将当前面部图像输入该预置的FasterR-CNN模型中，即可对当前面部图像中的面部区域进行标注定位。
通过深度残差网络ResNet-101对多尺度图像集合进行面部区域图像特征提取，将不同尺度图像分别对应的图像特征进行叠加，并对叠加后的图像进行关键点确定，从而可以根据不同尺度对当前面部图像进行关键点确定，以提高关键点确定的准确性，进而提高对用户面部信息识别的准确性。
在本申请的一个实施例中，将叠加后的特征图输入预置面部关键点检测模型，通过预置面部关键点检测模型的全连接网络对叠加后的特征图进行面部区域标注，并通过非极大抑制算法对标注的面部区域进行筛选，以得到与实际面部区域的面积相同第一面部区域集合。将第一面部区域集合输入预置面部关键点检测模型的Refine Network网络层，以对第一面部区域集合进行面部关键点标注，并通过非极大抑制算法对标注的面部关键点进行筛选，以得到与实际面部区域的面积相同第二面部区域集合。将第二面部区域集合输入预置面部关键点检测模型的Output Network网络层，以对第二面部区域集合进行面部关键点定位。
具体地，本申请实施例中的预置面部关键点检测模型包括三层，第一层为全连接层，通过该全连接层对叠加后的特征图进行面部区域标注，并对标注的面部区域进行筛选，从而将标注的不准确或误差较大的面部区域进行删除，以得到第一面部区域集合。
其次，将第一面部区域集合输入第二层，即预置面部关键点检测模型的RefineNetwork网络层。第二层可以对第一面部区域进行关键点标注，即，对面部区域的内眼角、外眼角、嘴角以及鼻部关键点进行标注。同样的，在标注完成后，第二层会对标注的关键点进行筛选，以将标注的不准确或者误差较大的关键点进行删除处理，以得到第二面部区域集合。
其次，将第二面部区域集合输入第三层，即预置面部关键点检测模型的OutputNetwork网络层。第三层会对标注的第二面部区域集合再次进行人脸识别以及关键点定位，例如，对内眼角、外眼角、嘴角以及鼻部关键点进行重新标注，以对第二层标注的关键点进行检测，最终得到符合要求面部关键点。
S103、卒中康复情况检测设备对预设数量的面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出当前面部图像对应的第一卒中评估值。其中，参考连线与用户健康期间对应的面部图像相关。
在本申请的一个实施例中，基于预设关键点位置模板，对预设数量的面部关键点进行分类，以得到内眼角关键点、外眼角关键点、嘴角关键点以及鼻部关键点。确定多个内眼角关键点之间的第一连线，以及确定出多个外眼角关键点之间的第二连线，将第一连线、第二连线分别与水平方向参考连线进行比对，以确定出第一连线对应的内眼角倾斜角度，以及第二连线对应的外眼角倾斜角度。确定出同一只眼睛对应的内眼角关键点与外眼角关键点之间的第三连线，将第三连线与水平方向参考连线进行比对，以确定出外眼角下垂角度。确定嘴角关键点与鼻部关键点之间的第四连线，将第四连线与水平方向参考连线进行比对，以确定出嘴角倾斜角度。将内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度进行加权融合，以得到第一卒中评估值。
具体地，在得到当前面部图像对应的面部关键点之后，需要对关键点进行分类，即，确定出内眼角关键点、外眼角关键点、嘴角关键点以及鼻部关键点。本申请实施例预设有关键点位置模板，该关键点位置模板与用户的多个面部图像数据相关，根据用户的面部图像确定出不同关键点分别对应的位置。将当前面部图像对应的面部关键点与该关键点位置模板进行关键点位置相似度计算，根据计算结果，确定出面部图像中的关键点所对应的类型，从而将当前面部图像对应的关键点分为内眼角关键点、外眼角关键点、嘴角关键点以及鼻部关键点。
进一步地，将两只眼睛分别对应的内眼角关键点进行第一连线，以及将两只眼睛分别对应的外眼角关键点进行第二连线。将确定出的第一连线与第二连线分别与水平方向参考连线进行比对，以确定出内眼角倾斜角度与外眼角倾斜角度。该水平方向参考连线与用户健康状况时的面部图像相关，对健康状况时的面部图像进行关键点确定，并对确定出的关键点进行连线，以得到该水平方向参考连线。其中，用户健康状况时的面部图像，可以由用户健康时期的证件照以及生活照等采集得到。
进一步地，对同一只眼睛对应的内眼角关键点与外眼角关键点进行第三连线，并将该第三连线与用户健康状况时面部图像对应的水平方向参考连线进行比对，以确定出用户外眼角下垂角度。进一步地，将嘴角左右两个关键点分别与鼻部关键点进行连接，得到第四连线，基于该第四连线以及水平连线，确定出左右嘴角分别与鼻部关键点之间的角度。将该嘴角角度与用户健康状况时面部图像对应的嘴角角度进行比对，以确定出用户的嘴角倾斜角度。
在本申请的一个实施例中，基于内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度，得到内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度分别对应的倾斜角度级别。基于倾斜角度以及倾斜角度级别分别对应的权重值，确定出面部图像对应的倾斜角度加权值。将倾斜角度加权值与预置卒中评估表进行比对，以确定出当前面部图像对应的第一卒中评估值。
具体地，本申请实施例通过内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度，得到内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度分别对应的倾斜角度级别。以内眼角倾斜角度为例，将当前面部图像对应的内眼角倾斜角度与不同级别分别对应的倾斜角度进行比对，计算出该内眼角倾斜角度与哪一个预置内眼角倾斜角度最为相似，从而将当前面部图像对应的内眼角倾斜角度与该最相似的预置内眼角倾斜角度划分为同一类，并将该最相似的预置内眼角倾斜角度对应的倾斜角度级别作为输出。
进一步地，得到当前面部图像对应的倾斜角度级别后，确定出该倾斜角度级别对应的权重值，将该权重值与当前面部图像对应的内眼角倾斜角度进行乘积计算，即可得到内眼角倾斜角度加权值。同样的，可以计算出外眼角倾斜角度加权值、嘴角倾斜角度加权值以及外眼角下垂角度加权值。将得到的多个加权值进行求和计算，将得到的相加值与预置卒中概率表进行比对，以确定出当前面部图像对应的第一卒中评估值。其中，该预置卒中概率表中包括有多个相加值，以及不同相加值分别对应的第一卒中评估值。
S104、通过安装于镜子上的声音采集装置获取用户的当前声音数据。
在本申请的一个实施例中，用户站在镜子面前，按照麦克风与喇叭提示对一段话进行跟读，可以是问候话、诗词或个性化定制的话语，麦克风会获取使用者跟读声音，上传储存器云端，保存为“日常语音跟读”。
进一步地，卒中康复情况检测设备对上传的语音跟读数据进行分析，从而判定用户卒中康复状况。
S105、卒中康复情况检测设备对当前声音数据进行随机采样，以获取采样点的信息，以及对当前声音数据进行声音特征值提取，以基于采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值，其中，预置卒中参考声音数据与患者卒中期间的多种声音数据相关。
在本申请的一个实施例中，基于当前声音数据确定出相应的声音波形，并通过汉明窗对声音波形进行分帧处理，得到多帧声音波形。对每一帧声音波形进行随机采样，并对相邻两个采样点对应的采样值进行比对，以根据相邻连个采样值的正负情况，确定出每一帧声音波形中过零点的采样点的数量，以及过零点的采样点的坐标。对声音波形进行小波分解，并对分解后的小波进行重构，以得到去噪后的声音波形。通过梅尔频谱倒谱系数法对去噪后的声音波形进行声音特征值提取，并将提取出的声音特征值输入预置SVM声音分类模型，以通过预置SVM声音分类模型确定出去噪后的声音波形对应的卒中等级类型；其中，声音特征值包括去噪后的声音波形对应的时间、频率以及幅值。将零点的采样点的数量与过零点的采样点的坐标，与预置卒中声音数据模板进行比对，以根据比对结果得到第一风险值。基于卒中等级类型确定出第二风险值。基于第一风险值与第二风险值，确定出当前声音数据对应的第二卒中评估值。
具体地，卒中康复情况检测设备获取用户的跟读数据，并将该跟读数据转换为相应的声音波形。为了提高对声音波形分析的准确性，通过汉明窗对该声音波形进行分帧处理，从而得到多帧声音波形。其次，对每一帧声音波形进行声音频率分析。本申请实施例在每一帧声音波形中随机选取多个采样点，并对相邻两个采样点进行符号比对，若相邻两个采样点的符号不相同，则说明两个采样点之间存在过零点。将确定出的过零点的数量与过零点的坐标位置进行记录，并将记录的信息与预置卒中声音模板对应的过零点的数量与过零点的位置进行比对，从而计算出二者之间的相似度，以根据该相似度确定出当前声音数据的第一风险值。
进一步地，将当前声音波形进行小波分解，进行去噪处理，并将去噪后的小波进行重构，以得到去噪后的声音波形。对去噪后的声音波形进行声音特征值提取，并将提取出的声音特征值输入预置SVM声音分类器，以得到该声音波形对应的卒中等级类型。基于该卒中等级类型以及预置等级类型模板可以得到该卒中等级类型对应的第二风险值。其中，预置等级类型模板中包括多个不同的卒中等级类型，以及不同的卒中等级类型分别对应的第二风险值。
进一步地，本申请实施例中的声音特征值可以包括声音波形对应的时间、频率以及幅值。卒中患者会出现语句卡顿、说话迟缓等症状，因此，卒中患者的声音波形其对应的时间、频率以及幅值会与健康人群对应的声音波形存在不同。
具体地，将去噪后的声音波形对应的梅尔频谱特征的能量谱，与梅尔频谱滤波器组进行卷积处理，得到去噪后的声音波形对应的梅尔频谱特征的对数能量，以根据对数能量生成去噪后的声音波形对应的对数频谱。通过离散余弦变换确定去噪后的声音波形对应的对数频谱的梅尔频率倒频系数，将梅尔频率倒频系数进行差分变换，以得到去噪后的声音波形对应的差分特征参数。对差分特征参数进行加权融合，并通过主成分分析法对加权融合后的数据进行降维处理，以得到去噪后的声音波形对应的声音特征值。将声音特征值输入预置SVM声音分类模型，通过预置SVM声音分类模型，将声音特征值与多个不同卒中等级的参考声音特征值进行相似度计算，以确定出去噪后的声音波形所对应的卒中等级类型。
具体地，对获取得到的用户跟读的声音信号进行预处理，生成时域信号，其次，对每一帧用户跟读的声音信号通过快速傅里叶变换或离散傅里叶变换处理得到线性频谱。将线性频谱输入梅尔频谱滤波器组进行滤波，生成梅尔频谱特征。对用户跟读的声音信号对应的对数频谱进行离散余弦变换，经过离散余弦变换即可获得梅尔频率倒谱系数。对梅尔频率倒谱系数进行一阶差分变换，得到一阶差分。对梅尔频率倒谱系数进行二阶差分变换，得到二阶差分。基于预设权重值模板，确定出一阶差分对应的第一权重值，以及确定出二阶差分对应的第二权重值。基于该第一权重值与第二权重值，对一阶差分特征参数与二阶差分特征参数进行组合。其中，第一权重值与第二权重的值的和不大于1，且第一权重值大于第二权重值。组合后的特征参数可能会存在重复的冗余数据，因此可以采用主成分分析方法对组合后的特征参数进行降维处理，并将降维后的数据作为去噪后的声音波形对应的声音特征值。本申请实施例通过降维处理不仅可以去除冗余数据，也可以降低计算难度，提高计算速率。
进一步地，将该去噪后的声音波形对应的声音特征值输入预置SVM声音分类模型，该分类模型可以将获取到的声音特征值与多个预置参考声音特征值进行比对，以确定出与获取到的声音特征值最为相似的参考声音特征值，并将该最相似的参考声音特征值对应的卒中等级类型作为输出。
进一步地，根据输出的卒中等级类型，与风险值比对表进行比对，确定出当前声音数据对应的第二风险值。其中，风险值比对表中包括有多个卒中等级类型以及每个卒中等级类型分别对应的风险值。
进一步地，将获取到的第一风险值与第二风险值进行均值计算，以将确定出的均值作为当前声音数据对应的第二卒中评估值。
S106、卒中康复情况检测设备将当前面部图像与预置卒中面部图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值。
在本申请的一个实施例中，基于所述预置卒中面部图像，确定出用户卒中期间面部关键点连线，以基于所述卒中期间面部关键点连线，确定出卒中期间面部关键点之间的倾斜角度。基于所述当前面部图像对应的预设数量的面部关键点，确定出康复期间的面部关键点之间的倾斜角度。将所述康复期间的面部关键点之间的倾斜角度，与所述卒中期间面部关键点之间的倾斜角度进行比对，以确定出第一卒中康复评估值。确定出所述预置健康声音数据的第一声音频率与第一语音清晰度，以及确定出所述当前声音数据的第二声音频率与第二语音清晰度。将所述第一声音频率与所述第二频率进行比对，以及将所述第一语音清晰度与所述第二语音清晰度进行比对，以确定出第二卒中康复评估值。基于所述第二卒中康复评估值与所述第二卒中康复评估值，确定出所述卒中康复评估值。
具体地，本申请实施例预置有卒中面部图像，对该预置卒中面部图像进行关键点确定，并基于确定出的关键点进行连线，即可得到预置卒中面部图像对应的关键点之间的倾斜角度。将用户当前面部图像对应的关键点之间的倾斜角度，与该预置卒中面部图像对应的关键点之间的倾斜角度进行比对，即可确定出用户当前面部状况与卒中期间面部状况之间的相似值，从而根据该相似值的大小确定出第一卒中康复评估值。例如，若相似值较大，则说明康复状况较差，此时，第一卒中康复评估值较小。若相似值较小，则说明康复状况较好，此时，第一卒中康复评估值较大。
进一步地，本申请实施例预置有健康声音数据，该声音数据可以来源于不同健康人群的声音库。确定出预置健康声音数据的第一声音频率与第一语音清晰度，以及，确定出当前声音数据的第二声音频率与第二语音清晰度。将第一声音频率与第二声音频率进行相似度计算，得到声音频率相似值，以及将第二语音清晰度与第二语音清晰度进行相似度计算，得到语音清晰度相似值。其中，声音频率相似值越高，说明用户康复状况越好，语音清晰度相似值越高，用户康复状况越好。将得到的声音频率相似值与得到的语音清晰度相似值进行均值计算，并将计算结果与预置第二卒中康复概率表进行比对，以得到该第二卒中康复评估值。其中，预置第二卒中康复概率表包括有多个不同的均值计算结果，以及每个均值计算结果分别对应的第二卒中康复评估值。
基于得到的第一卒中康复评估值与第二卒中康复评估值，进行均值计算，即可确定出卒中康复评估值。
S107、卒中康复情况检测设备基于第一卒中评估值、第二卒中评估值以及卒中康复评估值确定出用户的卒中康复状况。
在本申请的一个实施例中，将所述第一卒中评估值与所述第二卒中评估值进行均值计算，以得到卒中风险值。基于当前的卒中风险值与历史卒中风险值构建卒中风险概率图，基于所述卒中风险概率图确定出第一卒中康复状况；其中，所述第一卒中康复状况包括卒中风险值增加、卒中风险值降低以及卒中风险值不变。基于当前的卒中康复评估值与历史卒中康复评估值构建卒中风险概率图，基于所述卒中风险概率图确定出第二卒中康复状况；其中，所述第二卒中康复状况包括卒中风险值增加、卒中风险值降低以及卒中风险值不变。在所述第一卒中康复状况与所述第二卒中康复状况均为卒中风险值增加的情况下，通过安装于镜子上的播放器进行卒中风险提醒。在所述第一卒中康复状况为卒中风险值降低或卒中风险值不变，以及所述第二卒中康复状况为卒中风险值降低或卒中风险值不变的情况下，通过安装于镜子上的播放器进行卒中康复提醒。
具体地，基于获取到的卒中风险值，绘制卒中风险概率图。该卒中风险概率图可以为折线图或者柱状图。通过卒中风险概率图可以看出随时间变换，用户卒中风险的变化情况。其中，第一卒中康复状况包括卒中风险值增加、卒中风险值降低以及卒中风险值不变。具体地，基于获取到的卒中康复评估值绘制卒中风险概率图，该卒中风险概率图可以为折线图或者柱状图。通过卒中风险概率图可以看出随时间变换，用户卒中风险的变化情况。
进一步地，若第一卒中康复状况与第二卒中康复状况均为卒中风险值增加的情况下，通过安装于镜子上的播放器进行卒中风险提醒。例如，可以提示用户卒中恢复状况有待提高。若第一卒中康复状况为卒中风险值降低或卒中风险值不变，以及第二卒中康复状况为卒中风险值降低或卒中风险值不变的情况下，通过安装于镜子上的播放器进行卒中康复提醒。例如，可以提示用户卒中恢复状况良好。
图2为本申请实施例提供的一种卒中康复情况检测设备的结构示意图。如图2所示，卒中康复情况检测设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
通过安装于镜子上的图像采集装置获取用户的当前面部图像；
对所述当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点；
对所述面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出所述当前面部图像对应的第一卒中评估值；其中，所述参考连线与用户健康期间对应的面部图像相关；
通过安装于镜子上的声音采集装置获取用户的当前声音数据；
对所述当前声音数据进行随机采样，以获取采样点的信息，以及对所述当前声音数据进行声音特征值提取，以基于所述采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值；其中，所述预置卒中参考声音数据与患者卒中期间的多种声音数据相关；
将所述当前面部图像与预置卒中面部图像进行比对，以及将所述当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；
基于所述第一卒中评估值、所述第二卒中评估值以及所述卒中康复评估值，对用户进行卒中康复情况提醒。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种卒中康复情况检测方法，其特征在于，所述方法包括：
通过安装于镜子上的图像采集装置获取用户的当前面部图像；
对所述当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点；
对所述面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出所述当前面部图像对应的第一卒中评估值；其中，所述参考连线与用户健康期间对应的面部图像相关；
通过安装于镜子上的声音采集装置获取用户的当前声音数据；
对所述当前声音数据进行随机采样，以获取采样点的信息，以及对所述当前声音数据进行声音特征值提取，以基于所述采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值；其中，所述预置卒中参考声音数据与患者卒中期间的多种声音数据相关；
将所述当前面部图像与预置卒中面部图像进行比对，以及将所述当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；
基于所述第一卒中评估值、所述第二卒中评估值以及所述卒中康复评估值，对用户进行卒中康复情况提醒。
2.根据权利要求1所述的一种卒中康复情况检测方法，其特征在于，对所述当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点，具体包括：
将所述当前面部图像作为第一层图像，对所述当前面部图像进行高斯低通滤波，对滤波后的图像进行采样点标注，并基于标注的采样点生成第二层图像；其中，相邻两个采样点之间间隔一个像素点；
对所述第二层图像进行采样点标注，并基于标注的采样点生成第三层图像；
以此类推，以获取若干图层，并基于获取到的所述若干图层构建多尺度图像集合；
通过FasterR-CNN模型对所述多尺度图像集合进行面部区域定位；
通过深度残差网络ResNet-101对所述多尺度图像集合对应的面部区域进行特征图提取，并按照所述若干图层的生成顺序，将所述多尺度图像集合对应的多个特征图进行叠加，以对叠加后的特征图进行关键点确定。
3.根据权利要求2所述的一种卒中康复情况检测方法，其特征在于，所述对叠加后的特征图进行关键点确定，具体包括：
将所述叠加后的特征图，输入预置面部关键点检测模型，通过所述预置面部关键点检测模型的全连接网络对所述叠加后的特征图进行面部区域标注，并通过非极大抑制算法对标注的面部区域进行筛选，以得到与实际面部区域的面积相同第一面部区域集合；
将所述第一面部区域集合输入所述预置面部关键点检测模型的Refine Network网络层，以对所述第一面部区域集合进行面部关键点标注，并通过非极大抑制算法对标注的面部关键点进行筛选，以得到与实际面部关键点面积相同的第二面部区域集合；
将所述第二面部区域集合输入所述预置面部关键点检测模型的Output Network网络层，以对所述第二面部区域集合进行面部关键点定位。
4.根据权利要求1所述的一种卒中康复情况检测方法，其特征在于，对所述面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出所述当前面部图像对应的第一卒中评估值，具体包括：
基于预设关键点位置模板，对所述面部关键点进行分类，以得到内眼角关键点、外眼角关键点、嘴角关键点以及鼻部关键点；
确定多个内眼角关键点之间的第一连线，以及确定出多个外眼角关键点之间的第二连线，将所述第一连线、所述第二连线分别与水平方向参考连线进行比对，以确定出第一连线对应的内眼角倾斜角度，以及第二连线对应的外眼角倾斜角度；
确定出同一只眼睛对应的内眼角关键点与外眼角关键点之间的第三连线，将所述第三连线与水平方向参考连线进行比对，以确定出外眼角下垂角度；
确定所述嘴角关键点与所述鼻部关键点之间的第四连线，基于所述第四连线与水平方向参考连线进行比对，以确定出嘴角倾斜角度；
将所述内眼角倾斜角度、所述外眼角倾斜角度、所述外眼角下垂角度以及所述嘴角倾斜角度进行加权融合，以得到第一卒中评估值。
5.根据权利要求4所述的一种卒中康复情况检测方法，其特征在于，将所述内眼角倾斜角度、所述外眼角倾斜角度、所述外眼角下垂角度以及所述嘴角倾斜角度进行加权融合，以得到第一卒中评估值，具体包括：
基于所述内眼角倾斜角度、所述外眼角倾斜角度、所述外眼角下垂角度以及所述嘴角倾斜角度，得到所述内眼角倾斜角度、所述外眼角倾斜角度、所述外眼角下垂角度以及所述嘴角倾斜角度分别对应的倾斜角度级别；
基于倾斜角度以及所述倾斜角度级别分别对应的权重值，确定出所述面部图像对应的倾斜角度加权值；
将所述倾斜角度加权值与预置卒中评估表进行比对，以确定出所述当前面部图像对应的第一卒中评估值。
6.根据权利要求1所述的一种卒中康复情况检测方法，其特征在于，对所述当前声音数据进行随机采样，以获取采样点的信息，以及对所述当前声音数据进行声音特征值提取，以基于所述采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值，具体包括：
基于所述当前声音数据确定出相应的声音波形，并通过汉明窗对所述声音波形进行分帧处理，得到多帧声音波形；
对每一帧声音波形进行随机采样，并对相邻两个采样点对应的采样值进行比对，以根据相邻连个采样值的正负情况，确定出所述每一帧声音波形中过零点的采样点的数量，以及所述过零点的采样点的坐标；
对所述声音波形进行小波分解，并对分解后的小波进行重构，以得到去噪后的声音波形；
通过梅尔频谱倒谱系数法对去噪后的声音波形进行声音特征值提取，并将提取出的声音特征值输入预置SVM声音分类模型，以通过所述预置SVM声音分类模型确定出所述去噪后的声音波形对应的卒中等级类型；其中，所述声音特征值包括所述去噪后的声音波形对应的时间、频率以及幅值；
将所述过零点的采样点的数量与所述过零点的采样点的坐标，与预置卒中声音数据模板进行比对，以根据比对结果得到第一风险值；
基于所述卒中等级类型确定出第二风险值；
基于所述第一风险值与所述第二风险值，确定出所述当前声音数据对应的第二卒中评估值。
7.根据权利要求6所述的一种卒中康复情况检测方法，其特征在于，所述通过梅尔频谱倒谱系数法对去噪后的声音波形进行声音特征值提取，并将提取出的声音特征值输入预置SVM声音分类模型，以通过所述预置SVM声音分类模型确定出所述去噪后的声音波形对应的卒中等级类型，具体包括：
将所述去噪后的声音波形对应的梅尔频谱特征的能量谱，与梅尔频谱滤波器组进行卷积处理，得到所述去噪后的声音波形对应的梅尔频谱特征的对数能量，以根据所述对数能量生成去噪后的声音波形对应的对数频谱；
通过离散余弦变换确定所述去噪后的声音波形对应的对数频谱的梅尔频率倒频系数，将所述梅尔频率倒频系数进行差分变换，以得到所述去噪后的声音波形对应的差分特征参数；
对所述差分特征参数进行加权融合，并通过主成分分析法对加权融合后的数据进行降维处理，以得到所述去噪后的声音波形对应的声音特征值；
将所述声音特征值输入所述预置SVM声音分类模型，通过所述预置SVM声音分类模型，将所述声音特征值与多个不同卒中等级的参考声音特征值进行相似度计算，以确定出所述去噪后的声音波形所对应的卒中等级类型。
8.根据权利要求1所述的一种卒中康复情况检测方法，其特征在于，将所述当前面部图像与预置卒中面部图像进行比对，以及将所述当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值，具体包括：
基于所述预置卒中面部图像，确定出用户卒中期间面部关键点连线，以基于所述卒中期间面部关键点连线，确定出卒中期间面部关键点之间的倾斜角度；
基于所述当前面部图像对应的预设数量的面部关键点，确定出康复期间的面部关键点之间的倾斜角度；
将所述康复期间的面部关键点之间的倾斜角度，与所述卒中期间面部关键点之间的倾斜角度进行比对，以确定出第一卒中康复评估值；
确定出所述预置健康声音数据的第一声音频率与第一语音清晰度，以及确定出所述当前声音数据的第二声音频率与第二语音清晰度；
将所述第一声音频率与所述第二频率进行比对，以及将所述第一语音清晰度与所述第二语音清晰度进行比对，以确定出第二卒中康复评估值；
基于所述第一卒中康复评估值与所述第二卒中康复评估值，确定出所述卒中康复评估值。
9.根据权利要求1所述的一种卒中康复情况检测方法，其特征在于，基于所述第一卒中评估值、所述第二卒中评估值以及所述卒中康复评估值，对用户进行卒中康复情况提醒，具体包括：
将所述第一卒中评估值与所述第二卒中评估值进行均值计算，以得到卒中风险值；
基于当前的卒中风险值与历史卒中风险值构建卒中风险概率图，基于所述卒中风险概率图确定出第一卒中康复状况；其中，所述第一卒中康复状况包括卒中风险值增加、卒中风险值降低以及卒中风险值不变；
基于当前的卒中康复评估值与历史卒中康复评估值构建卒中康复概率图，基于所述卒中康复概率图确定出第二卒中康复状况；其中，所述第二卒中康复状况包括卒中风险值增加、卒中风险值降低以及卒中风险值不变；
在所述第一卒中康复状况与所述第二卒中康复状况均为卒中风险值增加的情况下，通过安装于镜子上的播放器进行卒中风险提醒；
在所述第一卒中康复状况为卒中风险值降低或卒中风险值不变，以及所述第二卒中康复状况为卒中风险值降低或卒中风险值不变的情况下，通过安装于镜子上的播放器进行卒中康复提醒。
10.一种卒中康复情况检测设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
通过安装于镜子上的图像采集装置获取用户的当前面部图像；
对所述当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点；
对所述面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出所述当前面部图像对应的第一卒中评估值；其中，所述参考连线与用户健康期间对应的面部图像相关；
通过安装于镜子上的声音采集装置获取用户的当前声音数据；
对所述当前声音数据进行随机采样，以获取采样点的信息，以及对所述当前声音数据进行声音特征值提取，以基于所述采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值；其中，所述预置卒中参考声音数据与患者卒中期间的多种声音数据相关；
将所述当前面部图像与预置卒中面部图像进行比对，以及将所述当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；
基于所述第一卒中评估值、所述第二卒中评估值以及所述卒中康复评估值，对用户进行卒中康复情况提醒。
CN202210708346.1A 2022-06-22 2022-06-22 一种卒中康复情况检测方法及设备 Withdrawn CN114999636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210708346.1A CN114999636A (zh) 2022-06-22 2022-06-22 一种卒中康复情况检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210708346.1A CN114999636A (zh) 2022-06-22 2022-06-22 一种卒中康复情况检测方法及设备

Publications (1)

Publication Number Publication Date
CN114999636A true CN114999636A (zh) 2022-09-02

Family

ID=83036901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210708346.1A Withdrawn CN114999636A (zh) 2022-06-22 2022-06-22 一种卒中康复情况检测方法及设备

Country Status (1)

Country Link
CN (1) CN114999636A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117747051A (zh) * 2023-12-25 2024-03-22 上海利康精准医疗技术有限公司 一种基于ai技术的富氧康复训练方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117747051A (zh) * 2023-12-25 2024-03-22 上海利康精准医疗技术有限公司 一种基于ai技术的富氧康复训练方法及系统

Similar Documents

Publication Publication Date Title
US20200388287A1 (en) Intelligent health monitoring
US11055575B2 (en) Intelligent health monitoring
Godino-Llorente et al. Automatic detection of voice impairments by means of short-term cepstral parameters and neural network based detectors
Luz Longitudinal monitoring and detection of Alzheimer's type dementia from spontaneous speech data
US20130184538A1 (en) Method and device for swallowing impairment detection
EP3908173A1 (en) Systems and methods for diagnosing a stroke condition
CN114155879B (zh) 一种利用时频融合补偿异常感知及稳定性的异音检测方法
Droghini et al. A Combined One‐Class SVM and Template‐Matching Approach for User‐Aided Human Fall Detection by Means of Floor Acoustic Features
Cohen-McFarlane et al. Comparison of silence removal methods for the identification of audio cough events
CN114999636A (zh) 一种卒中康复情况检测方法及设备
US20200118584A1 (en) System and method for determining stroke based on voice analysis
Dubey et al. Sinusoidal model-based hypernasality detection in cleft palate speech using CVCV sequence
Lamprou et al. Deep bispectral image analysis for imu-based parkinsonian tremor detection
CN116631063B (zh) 基于用药行为识别的老人智能看护方法、装置及设备
CN109584861A (zh) 基于深度学习的阿尔茨海默症语音信号的筛查方法
CN117272155A (zh) 基于智能手表的驾驶人路怒症检测方法
Abhishek et al. Diagnosis of Parkinson’s disorder through speech data using machine learning algorithms
Benba et al. Using RASTA-PLP for discriminating between different neurological diseases
Aluru et al. Parkinson’s Disease Detection Using Machine Learning Techniques
CN115579140A (zh) 基于校园健康管理系统的自助式健康监测方法及系统
Sedaghat et al. Unobtrusive monitoring of COPD patients using speech collected from smartwatches in the wild
Mantri et al. Real time multimodal depression analysis
Gandhi et al. Detection of Parkinsons disease via a multi-modal approach
Kurmi et al. Classification of Amyotrophic Lateral Sclerosis Patients using speech signals
Mahmood A solution to the security authentication problem in smart houses based on speech

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220902

WW01 Invention patent application withdrawn after publication