CN114529972A - 一种肌萎缩侧索硬化患者自主呼叫处理方法及系统 - Google Patents

Abstract

本发明涉及一种肌萎缩侧索硬化患者自主呼叫处理方法及系统，方法包括：获取肌萎缩侧索硬化患者的病床人像；利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标；根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征；所述眼部特征包括左眼特征和右眼特征；根据所述眼部特征计算肌萎缩侧索硬化患者的最终眨眼次数；根据所述最终眨眼次数确定分级信号；照护人员根据所述分级信号进行相应处理。本发明使失去行动能力和呼叫能力的肌萎缩侧索硬化患者能够与照护人员建立及时有效的沟通，在帮助减轻照护人员照顾负担的同时能够保证肌萎缩侧索硬化患者的日常安全，并且本发明的系统成本低，准确性高。

Description

一种肌萎缩侧索硬化患者自主呼叫处理方法及系统

技术领域

本发明涉及患者自主呼叫处理领域，特别是涉及一种肌萎缩侧索硬化患者自主呼叫处理方法及系统。

背景技术

肌萎缩侧索硬化(ALS)俗称“渐冻人症”，是上运动神经元和下运动神经元损伤之后，导致包括球部(所谓球部，就是指的是延髓支配的这部分肌肉)、四肢、躯干、胸部以及腹部的肌肉逐渐无力和萎缩，最终因呼吸肌麻痹导致死亡。

肌萎缩侧索硬化患者日常神志清醒，认知功能基本不受影响，因疾病进展导致无法移动肢体甚至无法发出声音，但在很长一段时间内仍然可以控制眼球的活动。如何护理他们成为一个难点：一方面，若需要一名照护人员24小时陪护，极为耗费人力；一方面，肌萎缩侧索硬化患者可能需要生理性排泄或者突感身体不适等需要照护人员进行帮助的情况，无法得到及时的满足；另外，肌萎缩侧索硬化患者由于出现发音障碍，与人交流和表达内心需求难度增加，因周围人无法理解他们内心的想法或感受而感到沮丧，出现抑郁等不良情绪。在这样的情形下，人们想要在满足肌萎缩侧索硬化患者日常护理需求的同时。加强患者与照护人员之间的有效沟通，帮助减少照护人员的照顾负担。

目前肌萎缩侧索硬化患者呼叫照护人员系统设计处于起步状态，有利用芯片采集并处理脑电信号，然后提取特征并传输至电脑的方法，但此类方法设备成本高、且存在对患者有影响且准确率不高等情况。

发明内容

本发明的目的是提供一种肌萎缩侧索硬化患者自主呼叫处理方法及系统，以解决现有的肌萎缩侧索硬化患者呼叫照护人员系统成本高、准确率低的问题。

为实现上述目的，本发明提供了如下方案：

一种肌萎缩侧索硬化患者自主呼叫处理方法，包括：

获取肌萎缩侧索硬化患者的病床人像；

利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标；

根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征；所述眼部特征包括左眼特征和右眼特征；

根据所述眼部特征计算肌萎缩侧索硬化患者的最终眨眼次数；

根据所述最终眨眼次数确定分级信号；

照护人员根据所述分级信号进行相应处理。

可选的，所述利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标，之前还包括：

根据所述病床人像构建训练集；所述训练集包括所述病床人像、初始人脸坐标、初始人眼关键点坐标；

利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型；所述人脸识别子模型和所述关键点识别子模型构成人眼关键点提取模型。

可选的，所述利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型，具体包括：

将所述病床人像输入至所述第一卷积神经网络模型中，输出预测人脸坐标；

根据预测人脸坐标对所述病床人像进行裁剪，得到预测人脸图像；

将所述预测人脸图像输入至所述第二卷积神经网络模型中，输出预测人眼关键点坐标；

将所述预测人脸坐标与初始人脸坐标进行对比，得到第一差值；

利用所述第一差值对所述第一卷积神经网络模型的参数进行调整，得到人脸识别子模型；

将所述预测人眼关键点坐标与初始人眼关键点坐标进行对比，得到第二差值；

根据所述第二差值对所述第二卷积神经网络模型的参数进行调整，得到关键点识别子模型。

可选的，所述根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征，具体包括：

利用公式

计算每一帧病床人像中肌萎缩侧索硬化患者的左眼特征和右眼特征；式中，M_left为左眼特征，M_right为右眼特征，p₀,p₁,p₂,p₃,p₄,p₅为左眼关键点，p₆,p₇,p₈,p₉,p₁₀,p₁₁为右眼关键点；D(p_i,p_j)为p_i与p_j两点之间的欧氏距离，

其中，p_i表示第i个人眼关键点坐标，p_j表示第j个人眼关键点坐标，x_i表示第i个人眼关键点坐标的横坐标，y_i表示第i个人眼关键点坐标的纵坐标；x_j表示第j个人眼关键点坐标的横坐标，y_j表示第j个人眼关键点坐标的纵坐标。

可选的，所述根据所述眼部特征计算预设时间内肌萎缩侧索硬化患者的最终眨眼次数，具体包括：

计算所有帧病床人像中肌萎缩侧索硬化患者的眼部特征的均值和眼部特征的标准差；

根据所述均值和所述标准差确定第一阈值；

顺序遍历所有帧的眼部特征，判断当前帧的眼部特征是否大于所述第一阈值，得到第一判断结果；

若所述第一判断结果为当前帧的眼部特征小于第一阈值，则继续遍历；若所述第一判断结果为当前帧的眼部特征大于第一阈值，则记录眨眼次数加一，继续遍历；

遍历完成，确定左眼眨眼次数和右眼眨眼次数；

将所述左眼眨眼次数和所述右眼眨眼次数中的最小值，作为最终眨眼次数。

可选的，所述根据所述最终眨眼次数确定分级信号，具体包括：

判断所述最终眨眼次数是否大于第二阈值，得到第二判断结果；

若所述第二判断结果为最终眨眼次数大于第二阈值，则判断所述最终眨眼次数是否大于第三阈值，得到第三判断结果；

若所述第三判断结果为所述最终眨眼次数小于或者等于第三阈值且大于所述第二阈值，则向呼叫处理中心发送一级信号；

若所述第三判断结果为所述最终眨眼次数大于第三阈值，则向呼叫处理中心发送二级信号；

若所述第二判断结果为最终眨眼次数小于或者等于第二阈值，则不向呼叫处理中心发送分级信号。

一种肌萎缩侧索硬化患者自主呼叫处理系统，包括：

视频监控终端，用于获取肌萎缩侧索硬化患者的病床人像；

关键点提取模块，用于利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标；

特征计算模块，用于根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征，所述眼部特征包括左眼特征和右眼特征；

眨眼次数计算模块，用于根据所述眼部特征计算肌萎缩侧索硬化患者的最终眨眼次数；

分级信号确定模块，用于根据所述最终眨眼次数确定分级信号；

呼叫处理中心，用于照护人员根据所述分级信号进行相应处理。

可选的，还包括：模型训练模块；所述样本训练模块包括：

训练集构建单元，用于根据所述病床人像构建训练集；所述训练集包括所述病床人像、初始人脸坐标、初始人眼关键点坐标；

训练单元，用于利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型；所述人脸识别子模型和所述关键点识别子模型构成人眼关键点提取模型。

可选的，所述特征计算模块，包括：

特征计算单元，用于利用公式

计算每一帧病床人像中肌萎缩侧索硬化患者的左眼特征和右眼特征；式中，M_left为左眼特征，M_right为右眼特征，p₀,p₁,p₂,p₃,p₄,p₅为左眼关键点，p₆,p₇,p₈,p₉,p₁₀,p₁₁为右眼关键点；D(p_i,p_j)为p_i与p_j两点之间的欧氏距离，

其中，p_i表示第i个人眼关键点坐标，p_j表示第j个人眼关键点坐标，x_i表示第i个人眼关键点的横坐标，y_i表示第i个人眼关键点的纵坐标；x_j表示第j个人眼关键点的横坐标，y_j表示第j个人眼关键点的纵坐标。

可选的，所述眨眼次数计算模块，包括：

均值和标准差计算单元，用于计算所有帧病床人像中肌萎缩侧索硬化患者的眼部特征的均值和眼部特征的标准差；

第一阈值确定单元，用于根据所述均值和所述标准差确定第一阈值；

判断单元，用于顺序遍历所有帧的眼部特征，判断当前帧的眼部特征是否大于所述第一阈值，得到第一判断结果；

遍历单元，用于若所述第一判断结果为当前帧的眼部特征小于第一阈值，则继续遍历；若所述第一判断结果为当前帧的眼部特征大于第一阈值，则记录眨眼次数加一，继续遍历；

眨眼次数确定单元，用于遍历完成，确定左眼眨眼次数和右眼眨眼次数；

最终眨眼次数确定单元，用于将所述左眼眨眼次数和所述右眼眨眼次数中的最小值，作为最终眨眼次数。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

区别于现有技术的情况，本发明应对肌萎缩侧索硬化患者的照护问题，事先指定相应的眨眼规则并告知患者，本发明通过病床侧上方的视频监控终端采集病床人像，病床人像计算萎缩侧索硬化患者的左眼特征和右眼特征，来判断患者在某一段时间内的眨眼次数，根据眨眼次数确定分级信号，照护人员根据分级信号进行相应的处理，从而使失去行动能力和呼叫能力的肌萎缩侧索硬化患者能够及时通知照护人员，在帮助减轻照护人员照顾负担的同时能够保证肌萎缩侧索硬化患者的日常安全，并且本发明不需要处理脑电信号，提取特征并发送至电脑，系统成本低，准确性高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种肌萎缩侧索硬化患者自主呼叫处理方法的流程图；

图2为本发明提供的人眼关键点示意图；

图3为本发明提供的某一时间窗口内眼部特征的变化图；

图4为本发明提供的一种肌萎缩侧索硬化患者自主呼叫处理系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种肌萎缩侧索硬化患者自主呼叫处理方法及系统，以解决现有的肌萎缩侧索硬化患者呼叫照护人员系统成本高、准确率低的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明提供的一种肌萎缩侧索硬化患者自主呼叫处理方法的流程图，如图1所示，方法包括：

步骤101：获取肌萎缩侧索硬化患者的病床人像。在实际应用中，安装于患者病床右上方的视频监控终端用于采集患者的人脸图像(病床人像)，并将采集到的人脸图像按照采集顺序以一定时间间隔传输到实时流计算分析平台。

步骤102：利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标。

在一个具体实施方式中，所述利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标，之前还包括：

根据所述病床人像构建训练集。所述训练集包括所述病床人像、初始人脸坐标、初始人眼关键点坐标。

利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型。所述人脸识别子模型和所述关键点识别子模型构成人眼关键点提取模型。

在实际应用中，通过提取大量病床人像，构建训练集。通过图像处理相关技术，得到一个能够进行脸识别并得到人眼关键点的一个模型。需要注意的是，这里的脸部必须保证完整，不能有遮挡等情况的发生。

由于原图含有太多的干扰因素，直接训练出的人眼关键点坐标效果不佳因此，将人眼关键点提取模型分为两块，分别为人脸识别子模型和关键点识别子模型。

人脸识别子模型是人脸的识别，具体就是输入一个病床人像(原图)，输出人脸的位置坐标4个点(8维向量)

关键点识别子模型是基于8维向量，把原图裁剪，得到人脸图像作为输入，输出是12个人眼关键点坐标(6个关键点*2只眼睛)，共24维向量。

并根据上述构建两个模型的训练集，包括8维向量、24维向量和原图。

人脸识别子模型和关键点识别子模型都是基于卷积神经网络，调整模型的参数，进行训练。

在一个具体实施方式中，所述利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型，具体包括：

将所述病床人像输入至所述第一卷积神经网络模型中，输出预测人脸坐标。

根据预测人脸坐标对所述病床人像进行裁剪，得到预测人脸图像。

将所述预测人脸图像输入至所述第二卷积神经网络模型中，输出预测人眼关键点坐标。

将所述预测人脸坐标与初始人脸坐标进行对比，得到第一差值。

利用所述第一差值对所述第一卷积神经网络模型的参数进行调整，得到人脸识别子模型。

将所述预测人眼关键点坐标与初始人眼关键点坐标进行对比，得到第二差值。

根据所述第二差值对所述第二卷积神经网络模型的参数进行调整，得到关键点识别子模型。

基于样本训练得到的人眼关键点提取模型，将视频监控终端传入的每一帧图像进行人脸特征的提取，按一定的次序，获取人眼关键点的坐标，并记录。需要注意的是，每只眼睛分别有六个关键点，故共需保存12个点的坐标,记为P＝{p₀,p₁,p₂…p₁₁}，其中p_i表示第i个人眼关键点对应的坐标，即p_i＝(x_i,y_i)。所提取到人眼的关键点如附图2所示。

步骤103：根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征；所述眼部特征包括左眼特征和右眼特征。

在一个具体实施方式中，所述步骤103，具体包括：

利用公式

计算每一帧病床人像中肌萎缩侧索硬化患者的左眼特征和右眼特征；式中，M_left为左眼特征，M_right为右眼特征，p₀,p₁,p₂,p₃,p₄,p₅为左眼关键点，p₆,p₇,p₈,p₉,p₁₀,p₁₁为右眼关键点；D(p_i,p_j)为p_i与p_j两点之间的欧氏距离，

其中，p_i表示第i个人眼关键点坐标，p_j表示第j个人眼关键点坐标，x_i表示第i个人眼关键点坐标的横坐标，y_i表示第i个人眼关键点坐标的纵坐标；x_j表示第j个人眼关键点坐标的横坐标，y_j表示第j个人眼关键点坐标的纵坐标。

在实际应用中，基于上一步提取的人眼关键点坐标，进行眼部特征的计算，其中包括左眼特征的计算和右眼特征的计算，即左眼、右眼的特征分别为M_left,M_right。

注意，需要对每一帧的病床人像都进行眼部特征的计算，将2个特征值进行保存，作为某一帧的病床人像最终提取的特征，即构成二维向量M_t＝(M_left，M_right)，t表示某一时刻。

步骤104：根据所述眼部特征计算肌萎缩侧索硬化患者的最终眨眼次数；

在一个具体实施方式中，所述步骤104，具体包括：

S1：计算所有帧病床人像中肌萎缩侧索硬化患者的眼部特征的均值和眼部特征的标准差；

S2：根据所述均值和所述标准差确定第一阈值；

S3：顺序遍历所有帧的眼部特征，判断当前帧的眼部特征是否大于所述第一阈值，得到第一判断结果；

S4：若所述第一判断结果为当前帧的眼部特征小于第一阈值，则继续遍历；若所述第一判断结果为当前帧的眼部特征大于第一阈值，则记录眨眼次数加一，继续遍历；

S5：遍历完成，确定左眼眨眼次数和右眼眨眼次数；

S6：将所述左眼眨眼次数和所述右眼眨眼次数中的最小值，作为最终眨眼次数。

步骤105：根据所述最终眨眼次数确定分级信号。

在一个具体实施方式中，所述步骤105，具体包括：

判断所述最终眨眼次数是否大于第二阈值，得到第二判断结果；

若所述第二判断结果为最终眨眼次数大于第二阈值，则判断所述最终眨眼次数是否大于第三阈值，得到第三判断结果；

若所述第三判断结果为所述最终眨眼次数小于或者等于第三阈值且大于所述第二阈值，则向呼叫处理中心发送一级信号；

若所述第三判断结果为所述最终眨眼次数大于第三阈值，则向呼叫处理中心发送二级信号；

若所述第二判断结果为最终眨眼次数小于或者等于第二阈值，则不向呼叫处理中心发送分级信号。

在实际应用中，基于步骤103得到的眼部特征的计算，通过Flink的滚动窗口，计算在一个滚动窗口内，即一定的时间内的连续眨眼次数。算法如下：

第一步，记录在某个时间窗口内，n个二维向量，记作M₀,M₁,M₂…M_n-1,下面以计算左眼眨眼次数为例，提取M_left＝{M_0,0,M_1,0,M_2,0…M_n-1,0}，记左眼眨眼次数为N_left，初始值设为0。

第二步，计算M_left的均值和标准差，分别记作

σ_left，设第一阈值

第三步，顺序遍历M_left，若M_i,0<k，则遍历，直至M_j,0>k，显然，图像由第i帧到第j帧是一个眨眼的完整过程，故N_left加1，从M_j,0继续遍历。

第四步，重复第三步的步骤，直至M_left遍历完毕，记录最终的N_left为左眼眨眼的总次数。

第五步，同理计算右眼眨眼次数N_right，最终眨眼次数N_final为N_left与N_right两者较小值。

第六步，进行判断，当达到的次数N_final超过第二阈值并位于第一范围，向所述的呼叫处理中心发送一级信号，当达到的次数N_final超出第一范围时，向所述的呼叫处理中心发送二级信号。

步骤106：照护人员根据所述分级信号进行相应处理。

在实际应用中，呼叫处理中心会对不同分级信号的提示进行相应处理：根据一级信号进行第一分级呼叫处理，具体为肌萎缩侧索硬化患者需要进行排泄物的处理，不需要照护人员迅速赶到，可以稍后处理；根据二级信号进行第二分级呼叫处理，具体为肌萎缩侧索硬化患者身体突感不适，需要紧急处理，需要照护人员迅速赶到。

本发明肌萎缩侧索硬化患者自主呼叫处理方法的工作原理如下：

将摄像头安装在病床侧上方，要求人脸部分完整、清晰且无遮挡。

实时将某一帧的病床人像(大小为1280*720)输入基于Flink的实时流分析计算平台，根据预训练的模型，提取人眼关键点，如图2所示。记录眼部关键点的坐标，并计算左眼特征与右眼特征，构成一个二维向量。

将此帧图像对应的二维特征值向量传入Flink计算引擎中，设置窗口大小为3s，窗口步长为0.5s。每一个3s的窗口内包含了多帧图像对应的二维特征向量，这些多个特征向量构成了一个二维矩阵。对窗口内的二维矩阵进行计算，根据所述眨眼次数判断的算法，最终计算此时间窗口内得到眨眼次数，如图3所示，此时间窗口得到的眨眼次数为3次。

呼叫判别模块中，用于根据判断次数进行相关的处理，这里设定第二阈值为3次，第一范围为(3,5]次，即共有可能出现下述情况。

当次数小于等于第二阈值时，认为此时间窗口内患者进行的是正常的生理眨眼。

当眨眼次数在第一范围内时，认为患者需要排泄，需要照护人员在短时间内尽快赶到。

当眨眼次数超过第一范围时，认为患者身体突感不适，需要照护人员迅速赶到。

此案例中，需要照护人员在短时间内赶到。

区别于现有技术的情况，本发明应对肌萎缩侧索硬化患者的照护问题，事先指定相应的眨眼规则并告知患者后，本发明通过病床侧上方的视频监控终端采集患者的人脸图像(病床人像)，由基于Flink的实时流分析平台实时根据人脸图像计算眼部特征来判断患者在某一段时间内的眨眼次数，从而使失去行动能力和呼叫能力的肌萎缩侧索硬化患者能够及时通知照护人员，在帮助减轻照护人员照顾负担的同时能够保证肌萎缩侧索硬化患者的日常安全。

图4为本发明提供的一种肌萎缩侧索硬化患者自主呼叫处理系统的结构图，如图4所示，包括：

视频监控终端401，用于获取肌萎缩侧索硬化患者的病床人像。

关键点提取模块402，用于利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标。

特征计算模块403，用于根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征。所述眼部特征包括左眼特征和右眼特征。

眨眼次数计算模块404，用于根据所述眼部特征计算肌萎缩侧索硬化患者的最终眨眼次数。

分级信号确定模块405，用于根据所述最终眨眼次数确定分级信号。

呼叫处理中心406，用于照护人员根据所述分级信号进行相应处理。

在实际应用中，基于Flink的实时流计算分析平台包含模型训练模块、关键点提取模块、特征计算模块、眨眼次数计算模块和分级信号确定模块。

在一个具体实施方式中，还包括：模型训练模块；所述样本训练模块包括：

训练集构建单元，用于根据所述病床人像构建训练集。所述训练集包括所述病床人像、初始人脸坐标、初始人眼关键点坐标。

训练单元，用于利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型。所述人脸识别子模型和所述关键点识别子模型构成人眼关键点提取模型。

在一个具体实施方式中，所述特征计算模块403，包括：

特征计算单元，用于利用公式

计算每一帧病床人像中肌萎缩侧索硬化患者的左眼特征和右眼特征。式中，M_left为左眼特征，M_right为右眼特征，p₀,p₁,p₂,p₃,p₄,p₅为左眼关键点，p₆,p₇,p₈,p₉,p₁₀,p₁₁为右眼关键点；D(p_i,p_j)为p_i与p_j两点之间的欧氏距离，

其中，p_i表示第i个人眼关键点坐标，p_j表示第j个人眼关键点坐标，x_i表示第i个人眼关键点的横坐标，y_i表示第i个人眼关键点的纵坐标；x_j表示第j个人眼关键点的横坐标，y_j表示第j个人眼关键点的纵坐标。

在一个具体实施方式中，所述眨眼次数计算模块404，包括：

均值和标准差计算单元，用于计算所有帧病床人像中肌萎缩侧索硬化患者的眼部特征的均值和眼部特征的标准差。

第一阈值确定单元，用于根据所述均值和所述标准差确定第一阈值。

判断单元，用于顺序遍历所有帧的眼部特征，判断当前帧的眼部特征是否大于所述第一阈值，得到第一判断结果。

遍历单元，用于若所述第一判断结果为当前帧的眼部特征小于第一阈值，则继续遍历。若所述第一判断结果为当前帧的眼部特征大于第一阈值，则记录眨眼次数加一，继续遍历。

眨眼次数确定单元，用于遍历完成，确定左眼眨眼次数和右眼眨眼次数。

最终眨眼次数确定单元，用于将所述左眼眨眼次数和所述右眼眨眼次数中的最小值，作为最终眨眼次数。

在一个具体实施方式中，所述分级信号确定模块405，具体包括：

判断所述最终眨眼次数是否大于第二阈值，得到第二判断结果；

若所述第二判断结果为最终眨眼次数大于第二阈值，则判断所述最终眨眼次数是否大于第三阈值，得到第三判断结果；

若所述第三判断结果为所述最终眨眼次数小于或者等于第三阈值且大于所述第二阈值，则向呼叫处理中心发送一级信号；

若所述第三判断结果为所述最终眨眼次数大于第三阈值，则向呼叫处理中心发送二级信号；

若所述第二判断结果为最终眨眼次数小于或者等于第二阈值，则不向呼叫处理中心发送分级信号。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种肌萎缩侧索硬化患者自主呼叫处理方法，其特征在于，包括：

获取肌萎缩侧索硬化患者的病床人像；

利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标；

根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征；所述眼部特征包括左眼特征和右眼特征；

根据所述眼部特征计算肌萎缩侧索硬化患者的最终眨眼次数；

根据所述最终眨眼次数确定分级信号；

照护人员根据所述分级信号进行相应处理。

2.根据权利要求1所述的肌萎缩侧索硬化患者自主呼叫处理方法，其特征在于，所述利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标，之前还包括：

根据所述病床人像构建训练集；所述训练集包括所述病床人像、初始人脸坐标、初始人眼关键点坐标；

利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型；所述人脸识别子模型和所述关键点识别子模型构成人眼关键点提取模型。

3.根据权利要求2所述的肌萎缩侧索硬化患者自主呼叫处理方法，其特征在于，所述利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型，具体包括：

将所述病床人像输入至所述第一卷积神经网络模型中，输出预测人脸坐标；

根据预测人脸坐标对所述病床人像进行裁剪，得到预测人脸图像；

将所述预测人脸图像输入至所述第二卷积神经网络模型中，输出预测人眼关键点坐标；

将所述预测人脸坐标与初始人脸坐标进行对比，得到第一差值；

利用所述第一差值对所述第一卷积神经网络模型的参数进行调整，得到人脸识别子模型；

将所述预测人眼关键点坐标与初始人眼关键点坐标进行对比，得到第二差值；

根据所述第二差值对所述第二卷积神经网络模型的参数进行调整，得到关键点识别子模型。

4.根据权利要求1所述的肌萎缩侧索硬化患者自主呼叫处理方法，其特征在于，所述根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征，具体包括：

利用公式

计算每一帧病床人像中肌萎缩侧索硬化患者的左眼特征和右眼特征；式中，M_left为左眼特征，M_right为右眼特征，p₀,p₁,p₂,p₃,p₄,p₅为左眼关键点，p₆,p₇,p₈,p₉,p₁₀,p₁₁为右眼关键点；D(p_i,p_j)为p_i与p_j两点之间的欧氏距离，

其中，p_i表示第i个人眼关键点坐标，p_j表示第j个人眼关键点坐标，x_i表示第i个人眼关键点坐标的横坐标，y_i表示第i个人眼关键点坐标的纵坐标；x_j表示第j个人眼关键点坐标的横坐标，y_j表示第j个人眼关键点坐标的纵坐标。

5.根据权利要求1所述的肌萎缩侧索硬化患者自主呼叫处理方法，其特征在于，所述根据所述眼部特征计算预设时间内肌萎缩侧索硬化患者的最终眨眼次数，具体包括：

计算所有帧病床人像中肌萎缩侧索硬化患者的眼部特征的均值和眼部特征的标准差；

根据所述均值和所述标准差确定第一阈值；

顺序遍历所有帧的眼部特征，判断当前帧的眼部特征是否大于所述第一阈值，得到第一判断结果；

若所述第一判断结果为当前帧的眼部特征小于第一阈值，则继续遍历；若所述第一判断结果为当前帧的眼部特征大于第一阈值，则记录眨眼次数加一，继续遍历；

遍历完成，确定左眼眨眼次数和右眼眨眼次数；

将所述左眼眨眼次数和所述右眼眨眼次数中的最小值，作为最终眨眼次数。

6.根据权利要求1所述的肌萎缩侧索硬化患者自主呼叫处理方法，其特征在于，所述根据所述最终眨眼次数确定分级信号，具体包括：

判断所述最终眨眼次数是否大于第二阈值，得到第二判断结果；

若所述第二判断结果为最终眨眼次数大于第二阈值，则判断所述最终眨眼次数是否大于第三阈值，得到第三判断结果；

若所述第三判断结果为所述最终眨眼次数小于或者等于第三阈值且大于所述第二阈值，则向呼叫处理中心发送一级信号；

若所述第三判断结果为所述最终眨眼次数大于第三阈值，则向呼叫处理中心发送二级信号；

若所述第二判断结果为最终眨眼次数小于或者等于第二阈值，则不向呼叫处理中心发送分级信号。

7.一种肌萎缩侧索硬化患者自主呼叫处理系统，其特征在于，包括：

视频监控终端，用于获取肌萎缩侧索硬化患者的病床人像；

关键点提取模块，用于利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标；

特征计算模块，用于根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征，所述眼部特征包括左眼特征和右眼特征；

眨眼次数计算模块，用于根据所述眼部特征计算肌萎缩侧索硬化患者的最终眨眼次数；

分级信号确定模块，用于根据所述最终眨眼次数确定分级信号；

呼叫处理中心，用于照护人员根据所述分级信号进行相应处理。

8.根据权利要求7所述的肌萎缩侧索硬化患者自主呼叫处理系统，其特征在于，还包括：模型训练模块；所述样本训练模块包括：

训练集构建单元，用于根据所述病床人像构建训练集；所述训练集包括所述病床人像、初始人脸坐标、初始人眼关键点坐标；

训练单元，用于利用所述训练集对第一卷积神经网络模型和第二卷积神经网络模型进行训练，得到人脸识别子模型和关键点识别子模型；所述人脸识别子模型和所述关键点识别子模型构成人眼关键点提取模型。

9.根据权利要求8所述的肌萎缩侧索硬化患者自主呼叫处理系统，其特征在于，所述特征计算模块，包括：

特征计算单元，用于利用公式

计算每一帧病床人像中肌萎缩侧索硬化患者的左眼特征和右眼特征；式中，M_left为左眼特征，M_right为右眼特征，p₀,p₁,p₂,p₃,p₄,p₅为左眼关键点，p₆,p₇,p₈,p₉,p₁₀,p₁₁为右眼关键点；D(p_i,p_j)为p_i与p_j两点之间的欧氏距离，

其中，p_i表示第i个人眼关键点坐标，p_j表示第j个人眼关键点坐标，x_i表示第i个人眼关键点的横坐标，y_i表示第i个人眼关键点的纵坐标；x_j表示第j个人眼关键点的横坐标，y_j表示第j个人眼关键点的纵坐标。

10.根据权利要求9所述的肌萎缩侧索硬化患者自主呼叫处理系统，其特征在于，所述眨眼次数计算模块，包括：

均值和标准差计算单元，用于计算所有帧病床人像中肌萎缩侧索硬化患者的眼部特征的均值和眼部特征的标准差；

第一阈值确定单元，用于根据所述均值和所述标准差确定第一阈值；

判断单元，用于顺序遍历所有帧的眼部特征，判断当前帧的眼部特征是否大于所述第一阈值，得到第一判断结果；

遍历单元，用于若所述第一判断结果为当前帧的眼部特征小于第一阈值，则继续遍历；若所述第一判断结果为当前帧的眼部特征大于第一阈值，则记录眨眼次数加一，继续遍历；

眨眼次数确定单元，用于遍历完成，确定左眼眨眼次数和右眼眨眼次数；

最终眨眼次数确定单元，用于将所述左眼眨眼次数和所述右眼眨眼次数中的最小值，作为最终眨眼次数。

Images