CN111402523A - 一种基于面部影像识别的医疗报警系统及方法 - Google Patents

Abstract

本发明公开了一种基于面部影像识别的医疗报警系统及方法，本系统包括数据图像采集器、图像分析系统和终端输出控制报警系统。本发明可以长时间持续监视目标的面部状态，当其因感到不适或机械故障而发生表情变化或挣扎时会自动生成报警信号传导给报警系统并及时通知医护人员，保证病人的生命安全，极大的提升ICU病房的工作效率和工作精确度。

Description

一种基于面部影像识别的医疗报警系统及方法

技术领域

本发明属于计算机人工智能图像识别技术领域，涉及一种基于面部影像识别的医疗报警系统及方法。

背景技术

随着医疗技术的飞快发展，许多疑难病症都逐步得到了解决，但是病人仍需要在重症监护室内被医护人员护理来保证他们的生命安全。此外，由于人民生活水平的提高，越来越多的病患家属选择了在医院接受治疗。这两方面原因直接导致了重症病人群体的增长。然而，由于医护人员的人手紧张及各个重症病人的情况不同，医护人员在处理某一个病人的紧急情况或者正在为重症病人做日常护理的时候并不能完全保证百分之百的对其他患者的监督。

现有的解决方案是在每间隔间中安置摄像头，同时调配人员对其所负责隔间病人的所有数据进行监视，通常需要轮换班岗进行。目前的主要发展方向和改善方法为：提高信息的传输效率如构建新的蓝牙网络实时传输数据和传输系统如采用一体化的病患—监护基站—网络——监护中心系统。

但是现有的发展方向并不能在无人看管的情况下对突然发生的紧急情况等做出及时反应，也无法对此类情况进行及时预防，病人潜意识或意识清醒时作出的表情并不能被医护人员密切观测，如若机械发生故障导致病人不适，现有体系有几率不能及时警报。此外，现有的体系极大地消耗了人力物力，需要医护人员长时间持续专注，给医院带来了损失，也在突发情况应对方面存在隐患。

发明内容

本发明提供了基于图像捕捉、分析、多层数据迭代的对图像变化及特殊情况的提醒系统，包括数据图像采集器、图像分析系统和终端输出控制报警系统。本发明可以长时间持续监视目标的面部状态，当其因感到不适或机械故障而发生表情变化或挣扎时会自动生成报警信号传导给报警系统并及时通知医护人员，保证病人的生命安全，极大的提升ICU病房的工作效率和工作精确度。

本发明是通过以下技术手段实现的：

一种基于面部影像识别的医疗报警系统，包括数据图像采集器、图像分析系统和终端输出报警系统。

所述数据图像采集器包括捕捉器、检测器、存储器和反应器；

所述捕捉器，设置于患者病床周围，用于采集患者的面部图像信息；

所述检测器，与监测患者的医疗仪器相连，用于采集患者的生命体征数据信息；

所述存储器，用于存储所述面部图像信息和所述生命体征数据信息；

所述反应器，用于运行图像分析系统，对所述面部图像信息进行运算分析，将输出结果结合所述生命体征数据信息传输至终端输出控制报警系统。

所述图像分析系统的功能包括：

一、采集面部图像信息，判断映射的情绪类型，实施报警。

1)将接收到的面部图像信息转换为预设格式形成图像集。

2)将转换后的图像集带入深度学习神经网络中，判断该图像集中的面部特征分布，与预设情绪种类进行比对，判断其所映射的情绪；

所述预设情绪种类包括：高兴、生气、惊讶、悲伤、正常、挣扎、愤怒或其他人工预设情绪，所述人工预设情绪为监护人员设置的特殊自定义情绪。

3)将所映射的情绪类型的判断结果，与预设的报警情绪进行比对，当符合预设的报警情绪时，将该情绪类型及此时的生命体征数据信息传输至终端输出控制报警系统。

二、接收终端输出报警系统的反馈信号并将反馈纳入图像分析系统的数据库。

所述终端输出报警系统，包括人工操作界面、信息显示界面和效应器；

所述人工操作界面用于输入指令，所述指令包括：确认紧急情况、否定紧急情况、调用指定图像数据集、激活紧急情况和预设命令；

所述信息显示界面用于显示来自图像分析系统的情绪类型及此时的生命体征数据信息；

所述效应器用于播报报警语音。

一种基于面部影像识别的医疗报警方法，按照下列步骤进行：

一、采集患者的面部图像信息；

二、将面部图像信息经转换带入深度学习神经网络中，通过与预设的情绪种类进行对比判断，输出所属的情绪种类结果；

三、将情绪种类结果与预设的情绪种类进行对比，符合条件时进行报警；

四、通过人工反馈的方式，对报警结果进行鉴别，通过反馈结果提高深度学习神经网络的判断准确性。

在上述所述技术方案中，在步骤三中，所述预设的情绪种类包括高兴、生气、惊讶、悲伤、正常、挣扎、愤怒或其他人工预设情绪。

本发明的优点和有益效果为：

本发明提供了基于图像捕捉、分析、多层数据迭代的对图像变化的提醒方法，包括数据图像采集器、图像分析系统和终端输出控制报警系统。本发明可以长时间持续监视目标的面部状态，当其因感到不适或机械故障而发生表情变化或挣扎时会自动生成报警信号传导给报警系统并及时通知医护人员，保证病人的生命安全，提升ICU病房的工作效率和工作精确度。本发明具有以下特点：1)不需要专门医护人员持续监视单个或少部分病房的状态。2)预设报警面部特征包括生气、悲伤、愤怒、挣扎和使用者对监护人员设置的特殊自定义状态，涵盖了病人所可能产生的大部分负面情绪。3)从病人反应状态报警而不是已有的仪器状态报警，避免了因仪器故障造成的误报耽误人力物力资源的合理分配。4)本发明具有自我完善功能，出现误报时，由于终端输出报警系统中人工操作界面多种人工指令的设置，将利用误报信息完善数据库以达到增加拟合精确度的目的；报警被确认时，图像分析系统同样会利用该图像扩充已有的训练数据库以达到增加你和精确度的目的。5)覆盖了已有的监控摄像功能，人工操作界面可以通过发送图像数据集请求到数据图像采集器来监控时间序列较早的图像数据集6)给予医护人员全面的通知效果，具体表现为病床编号—时间—图像—状态—并行仪器数据组成的数据组的图像化。

附图说明

图1为本发明中一种基于面部影像识别的医疗报警系统的架构示意图。

对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。

具体实施方式

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何达到所述发明效果进行详细说明：

实施例

在具体的实现过程中，如图1所示，S1为本实施例中病房内设置的部分，数据图像采集器S1包括：捕捉器01；检测器02；存储器03；反应器04共4部分。数据图像采集器S1的捕捉器01，用于被监护者的面部或头部状态；数据图像采集器S1的检测器02，用于实时检测被使用者其他并行仪器的运行状态；数据图像采集器S1的存储器03，用于存储捕捉到的图像信息和数据信息；数据图像采集器S1的反应器04，用于将所捕捉到的图像信息和数据信息传输到图像分析系统S2和终端输出控制报警系统S3。

需要说明的是，图像分析系统S2和终端输出控制报警系统S3可以同时接收多个数据图像采集器S1所传输的图像数据集，但是不同数据图像采集器S1之间不能互相传递信号或信息。

捕捉器01：

本实施例中，使用三个摄像头，持续采集被监护者的面部信息；将同一时刻的三张图像通过数据拟合除去盲区或阴影影响，将处理过的图像以时间命名；判断该处理过的图像被识别为病患脸部的可能性是否达到预设阈值，若是，保存图像至下一步操作；若否，该图像并重复捕捉被监护者的面部信息；判断已保存的处理过的图像数量是否达到预设要求，若达到预设要求，则将达到预设要求的图像以拍摄时间降序排序，生成图像序列，并将该图像序列作为一组以时间段命名保存到存储器，若未达到预设要求，则继续捕捉被监护者的面部信息并进行上述操作及判断。所述预设阈值为在程序设置过程中设定的确保图像识别系统能够成功识别出人脸的概率；所述预设要求为程序设置过程中设定的确定病人状态所需要的图像数量。

具体地，使用三个摄像头，分别放置于病人头部左侧斜上方，病人头部右侧斜上方以及病人床榻尾端上方。使用的摄像头，例如三个红外线彩色约31万像素摄像头，每隔5秒对病人进行一次拍摄，然后经过程序整合，去除三张图片中重叠的部分并将剩余部分整合成为一张图片。这是因为，单个摄像头从其固定角度拍摄到的病人脸部图像具有较大局限性，有可能出现因为病人面部朝向不同而产生的识别错误；整合过后的图像包含三个摄像头从三个角度捕捉的病人脸部图像信息，极大地减少了因为病人面部朝向而导致的无效图像；该步骤运用了在全景图像生成和编辑领域广泛应用的IBR全景图像整合技术。之后判断该处理过的图像被识别为病患脸部的可能性是否达到预设阈值，若是，缓存图像；若否，立刻对病人重新进行拍摄，直至处理后该可能性达到预设阈值。这是因为，在本发明提供的系统中，捕捉器所采集的图像为原始数据，是之后所有一系列分析运算和通知报警的基础，如果不采取这一步判断，将可能对图像分析系统输出的概率分布一维矩阵产生混淆影响，导致报警准确性的降低。之后，判断已缓存图像数量是否达到预设要求，若达到预设要求，则将达到预设要求的图像以拍摄时间降序排序，生成图像序列，并将该图像序列作为一组以时间段命名保存到存储器。这是为了接收到图像的图像分析系统能对固定预设数量的图像进行统一处理，同时，在整组数据传输到终端输出控制报警系统后，医护人员能够从整体视角审查检验图像报警信息并在短时间内作出合理的判断，为病人的及时救护提供了重要保障的同时，也对图像分析系统的自我完善起到了决定性的作用。

可选地，识别病患脸部可能性的预设阈值已缓存的图像数量的预设要求可以由医护人员根据实际效率需要进行更改，预设阈值越高，识别精准度越高，捕捉并判断图像有效的时间越长；预设要求的数量越大，图像分析系统误判的可能性越低，作出判断的时间越长。理论上，预设阈值不应低于90％，且预设数量不应低于捕捉器一秒内捕捉的有效图像数量，以免影响正确判断。

检测器02：

本实施例中，使用数据线持续采集被监护者的其他并行仪器的输出信息；将所有输出信息进行整合统一保存，将保存文件以时间命名；判断已保存的文件数量是否达到预设要求，若达到预设要求，则将达到预设要求的图像以采集时间降序排序，生成数据组，并将该数据组以病床编号—时间段命名保存到存储器，若未达到预设要求，则继续采集被监护者的其他并行仪器的输出信息并进行上述操作。

具体地，首先使用数据线持续采集被监护者的其他并行仪器的输出信息，例如USB接口数据线或适用于插拔更加频繁的Micro-USB接口。其它并行仪器包括所有持续性检测并有数值输出的仪器，例如床旁监护仪，心电、血压、脉搏血氧饱和度、有创压力监测等基本生命体征监护仪，血气分析仪，脑电双频指数监护仪等。未设置数据线接口的并行仪器，可以通过在现有系统中广泛应用的远程数据传输方式2调取信息。这是因为，在本发明提供的系统中，与图像集时间完全同步的并行仪器数据集给予了医护人员较大的帮助，便于其检验是否有错误报警信号出现，也为图像分析系统等自我完善做好了基础。之后，将所有输出信息进行整合统一保存，将保存文件以时间命名，然后判断已保存的文件数量是否达到预设要求，若达到预设要求，则将达到预设要求的图像以采集时间降序排序，生成数据组，并将该数据组以病床编号—时间段命名保存到存储器，若未达到预设要求，则继续采集被监护者的其他并行仪器的输出信息并进行上述操作。这是为了方便存储器将时间跨度相同的图像集和数据集统一处理并存储，方便医护人员随时调用，也为发射器发射病床编号—时间—图像—并行仪器数据的数据组做好了准备，方便医护人员从多角度分析系统的普通判断结果和报警信号。

需要说明的是，对已保存文件数量的预设要求应当为时间跨度，该时间跨度应实时与捕捉器01中对已缓存图像数量的预设要求所对应的时间跨度相同。这是因为，时间跨度如果不同，将会出现数据—图像时间序列不对应的情况，将会给医护人员整体分析带来较大阻碍。

存储器03：

本实施例中，将捕捉器和检测器传输的图像及数据信息整合成为数据集；将整合数据集其以时间命名的方式降序排列，用以阶段性存储；将每一新整合数据集传输到反应器；接收并解析终端输出控制报警系统的请求信号；判断数据集存在时间是否已经达到预设要求，若是，格式化该数据集，若否，维持该数据集对请求信号的开放；所述预设要求为医护人员针对该病房历史事件发生频率自定义的图像数据集的时间顺序上的可调用范围。

具体地，将捕捉器和检测器传输的图像及数据信息整合成为数据集，然后将整合数据集其以时间命名的方式降序排列，用以阶段性存储，再将每一新整合数据集传输到反应器。同时，存储器03需接收并解析终端输出控制报警系统的请求信号，这是因为存储器03为终端输出控制报警系统请求信号的直接调用信号，若没有此功能，存储器将无法正确响应终端输出控制报警系统的指向性调用图像数据集的信号，从而使系统失去原有监控摄像头的功能。判断数据集存在时间是否已经达到预设要求，若是，格式化该数据集，若否，维持该数据集对请求信号的开放。这是为了在一定时间内允许医护人员的调用指令以方便其反复查看单一时间段内的病人状况，便利了其对病人情况发展的判断。

需要说明的是，对数据集存在的时间的预设要求应至少达到该病房病患平均住院时间。这是为了保证医护人员在单个病患的住院期间内可以持续调用关于该病患的图像数据集，保证了对单个病人观察的连贯性。

可选地，对于图像数据信息非常重要或图像数据信息较少的应用场地，该部分设置可以改为手动清除数据，这是为了保证数据的绝对连贯性和有效性。

反应器04：

本实施例中，接收存储器传输的数据集并将数据集发送给图像分析系统；接收图像分析系统的状态报警信号；接收终端输出控制及报警系统的图像数据集请求信号并将所请求的病床编号—时间—图像—并行仪器数据组发送至终端输出控制报警系统；接收报警信号后敲响警铃；允许人工操作关闭警铃。

具体地，接收存储器传输的数据集并将数据集发送给图像分析系统、接收图像分析系统的状态报警信号、同时接收终端输出控制及报警系统的图像数据集请求信号并将所请求的病床编号—时间—图像—并行仪器数据的数据组发送至终端输出控制报警系统。在其接收报警信号后，敲响警铃，同时允许人工操作关闭警铃。这是因为，如果不允许人工操作关闭警铃，使警铃关闭的唯一方法将为从终端输出控制报警系统发送取消报警信号，由于终端输出控制报警系统经常设置于护士站、总控制台等空间位置上距离反应器04较远的位置，会给医护人员和病患因持续的闹铃带来生理上的不适。同时，加入该功能可以使终端输出报警系统处工作人员物理上意识到医护人员已到达该病房。

需要说明的是，为了保证人工操作关闭警铃的可靠性，应将开关放置于病患触摸不到的位置，以防病患因为单纯的警铃响声而关闭警铃从而阻碍了病患被医护人员及时关注。

S2为本发明中中央处理器设置的部分，如图中所示，图像分析系统S2包括：将接收到的数据集转换为预设格式11；将转换后的图像集带入深度学习神经网络中，判断该图像集中的面部特征分布12；判断是否向数据图像采集器和终端输出控制报警系统发出报警信号13；接收终端输出报警系统的反馈信号并将反馈纳入图像分析系统的数据库14共4个部分。

将接收到的数据集转换为预设格式11。

在本实施例中，将数据集拆分为对应时间图像集和数据集并缓存数据集；将图像集拆分为多个分离的图像，将每一个图像转换为预设格式；将转换为预设格式的图像或图像集传输给深度学习神经网络。

具体地，将数据集拆分为对应时间图像集和数据集并缓存数据集；这是因为所接收的数据集不需要经过深度学习神经网络直接输出至终端输出控制报警系统，拆分之后可以提高运算的效率，也能提供医护人员直观的数据图像。将图像集拆分为多个分离的图像，将每一个图像转换为预设格式；将转换为预设格式的图像或图像集传输给深度学习神经网络。这是因为，深度学习神经网络在单个图像的拟合准确度上高于连续图像集的拟合精确度。

将转换后的图像集带入深度学习神经网络中，判断该图像集中的面部特征分布12。

在本实施例中，根据预设图像格式生成的数据矩阵作为卷积核并将该卷积核作为权重迭代至图像中，重复多次该操作；所述根据预设图像格式生成的数据矩阵包括：在训练阶段经过测试的单个值域等同于灰度图像像素色彩值域(当图像格式为灰度格式时)、规格等同于预设规格的数据矩阵作为卷积核，在训练阶段经过测试的生成三个值域等同于单色图像像素色彩值域(当图像格式为RGB三层单色图像集时)、规格等同于预设规格的数据矩阵作为三个卷积核；所述预设规格为程序内部设置的适宜操作处理的固定卷积核规格；检测迭代输出的概率分布一维数组及其所映射的预设情绪种类；所述预设情绪种类包括：高兴、生气、惊讶、悲伤、正常、挣扎、愤怒和预设状态；所述预设状态为使用者对被监护人员设置的特殊自定义状态。

具体地，首先根据预设图像格式生成的数据矩阵作为卷积核并将该卷积核作为权重迭代至图像中，重复多次该操作；这是为了使用程序预先使用激活函数训练完毕的存储各个预设情绪种类抽象特征的卷积核代入输入图像进行判断，从而达到深度学习神经网络提取图像特征的目的。在深度学习神经网络输出后，检测迭代输出的概率分布一维数组及其所映射的预设情绪种类。这是因为，运算中的各个程序神经元节点仅将表情特征对应的数字代码进行输出，例如：高兴-0生气-1惊讶-2悲伤-3正常-4挣扎-5愤怒-6预设状态-7，需要将预设的表情状态与数字代码的对应关系代入才能完成病床编号—时间—图像—状态—并行仪器数据的整体数据组。

可选地，在不需要了解病患非消极情绪具体分类时，可以将高兴、正常、惊讶分为一类；同理，在不需要了解病患消极情绪具体分类时，可以将生气、悲伤、挣扎、愤怒分为一类。

需要说明的是，本实施例使用的程序模型为Faster RCNN卷积核神经网络，由多个卷积层、池化层及全连接层组成，能够通过运算提取图像的相关特征，在训练阶段，使用者需录入足够多的样本及其对应的情感特征，例如30000个代表不同的表情特征且灰度或RGB格式相同的人脸图像；判断的精准度和人脸图像的数量成正相关关系；本实施例不限制医护人员自定义添加的预设状态及其是否为预设报警状态种类的设置。

判断是否向数据图像采集器和终端输出控制报警系统发出报警信号13。

在本实施例中，判断预设报警面部特征所对应概率分布是否超过预设阈值，若超过，则向终端输出报警系统及数据图像采集器传输状态报警信号；所述预设报警面部特征包括：生气、悲伤、愤怒、挣扎和使用者对监护人员设置的特殊自定义状态；所述预设阈值为程序设置的用于判断输出概率分布是否有效的标准检测值，例如：65％；将包含预设报警面部特征所对应概率分布超过预设阈值的图像的图像集和对应时间序列的数据集汇总传送给终端输出报警系统。

具体地，首先判断预设报警面部特征所对应概率分布是否超过预设阈值，若超过，则向终端输出报警系统及数据图像采集器传输状态报警信号；这是为了防止因为图像普遍带有的各种情绪状态种类干扰图像分析系统的输出有效性。在判断结束之后，将包含预设报警面部特征所对应概率分布超过预设阈值的图像的图像集和对应时间序列的数据集汇总传送给终端输出报警系统，这是为了无论是否发出报警信号，均对终端输出控制报警系统作出输出，提高了医护人员监视范围的全面性和连续性。

需要说明的是，传输后的数据集将不再在图像分析系统中进行缓存，这优化了图像分析系统的所需存储空间，减少了不必要的硬件设置。

可选地，根据使用者的实际需要，面部特征概率分布的预设阈值可以进行更改，预设阈值与报警次数成负相关关系，与报警精度成正相关关系。

接收终端输出报警系统的反馈信号并将反馈纳入图像分析系统的数据库14。

在本实施例中，接收终端输出报警系统发送的预设种类信号，所述预设种类信号包括确认和否定；判断接收到的预设种类信号，若为确认，将该组图像集加入深度学习神经网络的对应预设情绪种类的训练数据库中；若为否定，则使用激活函数重新调整预设阈值和神经网络在训练阶段经过测试的卷积核直至该图像数据集满足非预设报警面部特征之一；若为激活紧急情况，则针对当前时间图像数据集使用激活函数重新调整预设阈值和神经网络在训练阶段经过测试的卷积核直至该图像数据集满足预设报警面部特征之一；使用更新过的数据库进行对时间序列排序位于加入训练数据库后的图像数据集之后的图像数据集进行图像分析系统的其他操作。

具体地，首先接收终端输出报警系统发送的预设种类信号；这是为了下一步进行自我优化所准备的判断操作提供数据。之后判断接收到的预设种类信号，若为确认，将该组图像集加入深度学习神经网络的对应预设情绪种类的训练数据库中；这是为了，如果该组图像集的经图像分析系统判断的状态信息得到了医护人员的确认，该组图像集则会成为重要的训练数据，该数据可用作继续训练深度学习神经网络，以优化其中的卷积核，提高之后的拟合精度。若为否定，则使用激活函数重新调整神经网络在训练阶段经过测试的卷积核直至该图像数据集满足非预设报警面部特征之一；这是为了，如果该组图像集的经图像分析系统判断的状态信息受到了医护人员的否定，这说明现有预设阈值不足以区分真正的预设报警状态类型和带有预设报警状态类型相关特征的非报警状态类型，则运用该图像集，经过激活函数再次修正训练，可以自动提升预设阈值来增加输出的有效性和准确性。若为激活紧急情况，则针对当前时间图像数据集使用激活函数重新调整预设阈值和神经网络在训练阶段经过测试的卷积核直至该图像数据集满足预设报警面部特征之一；这是为了，如果有因为预设阈值过高而造成的漏判和误判，该程序可以及时通过人工的矫正更新程序内部的训练数据库并自动降低预设阈值以防止类似情况再次发生。在进行所有反馈操作之后，使用更新过的数据库进行对时间序列排序位于加入训练数据库后的图像数据集之后的图像数据集进行图像分析系统的其他操作。这是为了将更新优化后的卷积核和预设阈值使用到接下来的图像分析上，提高输出的有效性和准确性。

可选地，本步骤可以增加“恢复出厂设置”设置，用于解决和防范由于病房或病患种类特殊情况新加过多病患单一特征而造成的过拟合现象，该设置可以在医护人员发现输出有效性突然降低时启用；当终端输出控制报警系统的人工操作系统按键设置中预设命令为“更改当前状态判定”或类似预设命令时，将激活函数调整神经网络在训练阶段经过测试的卷积核的目标面部特征输出由预设报警面部特征之一或非预设报警面部特征之一改为从终端输出控制报警系统信号发送器接收到的人工判断结果。

S3为本发明中终端输出控制报警系统的部分，如图所示，终端输出控制报警系统S3包括：人工操作界面21；信息显示界面22；信号发送器23和效应器24共四部分。

人工操作界面21：

在本实施例中，给予屏幕按键设置；所述按键设置包括：确认紧急情况、否定紧急情况、调用指定图像数据集、激活紧急情况、预设命令；所述预设命令为使用者针对整体情况作出的适合该情况的自定义命令；接收人工指令的信号并将其转换为命令信号；所述命令信号包括：病床编号，时间，命令内容。

具体地，给予屏幕按键设置；所述按键设置包括：确认紧急情况、否定紧急情况、调用指定图像数据集、激活紧急情况、预设命令。这是为了，便利医护人员以最简洁的操作发出指令，其中确认紧急情况用于对图像分析系统发出的报警信号给予肯定答复，否定紧急情况用于对图像分析系统发出的报警信号给予否定答复，激活紧急情况用于医护人员发现紧急情况但图像分析系统却没有报警时，修正图像分析系统输出的状态信息。然后，接收人工指令的信号并将其转换为命令信号。

可选地，在激活紧急情况和否定紧急情况时，可以加入让医护人员判断应当是何种状态从而增加修正操作的精确度，提高之后图像分析系统输出的准确度，例如：“更改当前状态判定”。

信息显示界面22：

在本实施例中，将图像分析系统传输的图像数据集或数据图像采集器经接收终端输出报警系统发出的请求信号发回的图像数据集整合成为病床编号—时间—图像—状态—并行仪器数据的数据组；将整合后的数据组转换为图像组和折线图并在显示屏中显示；显示按键设置对应按键；所述按键设置对应按键包括：确认紧急情况、否决紧急情况、调用指定图像数据集、激活紧急情况、预设命令；所述预设命令为使用者针对整体情况作出的适合该情况的自定义命令，例如：“更改当前状态判定”。

具体地，将图像分析系统传输的图像数据集或数据图像采集器经接收终端输出报警系统发出的请求信号发回的图像数据集整合成为病床编号—时间—图像—状态—并行仪器数据的数据组；然后，将整合后的数据组转换为图像组和折线图并在显示屏中显示；这是为了给予医护人员多方面整体的视角分析和看待图像分析系统输出的状态信息，以便其高效地作出合理判断。显示按键设置对应按键；所述按键设置对应按键包括：确认紧急情况、否决紧急情况、调用指定图像数据集、激活紧急情况、预设命令；所述预设命令为使用者针对整体情况作出的适合该情况的自定义命令。这是为了和人工操作界面相对接，确保医护人员知道对应操作的位置。

需要说明的是，本实施例不对预设命令作出限制，例如：护士可以预设长时间停止报警命令用于特殊时段的需求。

可选地，可以安排医护人员在无报警信号时持续观察图像数据集及状态信息并作出判断，以大幅度增强图像分析系统对病患状态的拟合精确度。

信号发送器23：

在本实施例中，判断由人工指令转换的命令信号是否为调用制定图像数据集，若是，则按照命令信号中时间信息和病床编号信息对数据图像采集器发出调用图像数据集请求；判断由人工指令转换的命令信号是否为确认紧急情况，若是，则按照命令信号中时间信息和病床编号信息对图像分析系统发出确认信号；判断由人工指令转换的命令信号是否为否定紧急情况，若是，则按照命令信号中时间信息和病床编号信息对图像分析系统发出否定信号，同时向数据图像采集器发出取消报警信号；判断由人工指令转换的命令信号是否为激活紧急情况，若是，则按照命令信号中时间信息和病床编号信息对图像分析系统发出激活紧急情况信号，同时向数据图像采集器发出报警信号。

具体地，首先判断由人工指令转换的命令信号是否为调用制定图像数据集，若是，则按照命令信号中时间信息和病床编号信息对数据图像采集器发出调用图像数据集请求，这是为了保证在医护人员对纵向按照时间顺序对单一病患进行观察时所需要的操作，该判断步骤用于向数据图像采集器调用由医护人员指定的时间段的单一病患的图像数据集。然后，判断由人工指令转换的命令信号是否为确认或否定紧急情况，这是为了本发明中图像分析系统重要的自我更正完善功能作出的反馈，同时也为了及时减少病患因系统误判敲响警铃而带来的消极影响。同时，判断由人工指令转换的命令信号是否为激活紧急情况。这是为了防止由于图像分析系统漏判造成的对病人紧急或非正常情况的忽视，同时能够直接与图像数据采集器建立连接，双向报警，引起医护人员充分注意。

需要说明的是，需要人工激活的图像分析系统漏判的紧急情况应为极少数，不足以强制工作人员持续监测图像集及折线数据图像。

可选地，当人工指令转换的命令信号中预设命令中包含“更改当前状态判定”时，判断由人工指令转换的命令信号是否为否定紧急情况，若是，将人工的判断结果和命令信号中时间信息和病床编号共同作为否定信号发送至图像分析系统，若否(为激活紧急情况)，将人工的判断结果和命令信号中时间信息和病床编号共同作为紧急情况信号发送至图像分析系统。

效应器24：

在本实施例中，判断图像分析系统传输信号是否为报警信号，若是，按照报警信号中病床编号信息通过预设语音报警；所述预设语音为程序针对预设报警面部特征所设置的预先录制完毕的语音播报；判断由人工指令转换的命令信号是否为激活紧急情况，若是，按照报警信号中病床编号信息通过预设语音报警；判断由人工指令转换的命令信号是否为确认紧急情况或否定紧急情况，若是，停止当前通过预设语音的报警的操作。

具体地，判断图像分析系统传输信号是否为报警信号，这是终端输出控制报警系统的核心报警系统，用于根据所有状态种类的报警信号播报不同的报警语音，引起医护人员的充分注意。判断由人工指令转换的命令信号是否为激活紧急情况，若是，按照报警信号中病床编号信息通过预设语音报警。这是为了在人工激活紧急情况时给予操作操作界面的医护人员反馈。判断由人工指令转换的命令信号是否为确认紧急情况或否定紧急情况，若是，停止当前通过预设语音的报警的操作。由于操作界面接收到人工命令，可以认为终端输出控制报警系统已经成功将报警信号及相关状态信息传递给医护人员，此时关闭警铃已达到减少物理上的干扰及通知医护人员人工命令已被接收。

需要说明的是，对于不同的预设自定义人工命令种类，医护人员可选择是否加入语音播报，若加入，应使用USB或Micro-UCB数据线或其他支持多次插拔数据线传输相关录音。

可选地，医护人员可针对实际情况设置人工激活紧急情况时，除向数据图像采集器发出报警信号外，是否开启终端输出控制报警系统的警铃，具体用于减少医护人员受到的来自警铃的物理干扰。

以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (6)

1.一种基于面部影像识别的医疗报警系统，其特征在于：包括数据图像采集器、图像分析系统和终端输出报警系统；

所述数据图像采集器包括捕捉器、检测器、存储器和反应器；

所述捕捉器，设置于患者病床周围，用于采集患者的面部图像信息；

所述检测器，与监测患者的医疗仪器相连，用于采集患者的生命体征数据信息；

所述存储器，用于存储所述面部图像信息和所述生命体征数据信息；

所述反应器，用于运行图像分析系统，对所述面部图像信息进行运算分析，将输出结果结合所述生命体征数据信息传输至终端输出控制报警系统；

所述图像分析系统的功能包括：

一、采集面部图像信息，判断映射的情绪类型，实施报警；

二、接收终端输出报警系统的反馈信号并将反馈纳入图像分析系统的数据库；

所述终端输出报警系统，包括人工操作界面、信息显示界面和效应器；

所述人工操作界面用于输入指令；

所述信息显示界面用于显示来自图像分析系统的情绪类型及此时的生命体征数据信息；

所述效应器用于播报报警语音。

2.根据权利要求1所述的一种基于面部影像识别的医疗报警系统，其特征在于，所述图像分析系统执行功能一的步骤为：

1)将接收到的面部图像信息转换为预设格式形成图像集；

2)将转换后的图像集带入深度学习神经网络中，判断该图像集中的面部特征分布，与预设情绪种类进行比对，判断其所映射的情绪；

3)将所映射的情绪类型的判断结果，与预设的报警情绪进行比对，当符合预设的报警情绪时，将该情绪类型及此时的生命体征数据信息传输至终端输出控制报警系统。

3.根据权利要求2所述的一种基于面部影像识别的医疗报警系统，其特征在于：所述预设情绪种类包括：高兴、生气、惊讶、悲伤、正常、挣扎、愤怒或其他人工预设情绪，所述人工预设情绪为监护人员设置的特殊自定义情绪。

4.根据权利要求1所述的一种基于面部影像识别的医疗报警系统，其特征在于：所述的输入指令，包括确认紧急情况、否定紧急情况、调用指定图像数据集、激活紧急情况和预设命令。

5.一种基于面部影像识别的医疗报警方法，其特征在于，包含下列步骤：

一、采集患者的面部图像信息；

二、将面部图像信息经转换带入深度学习神经网络中，通过与预设的情绪种类进行对比判断，输出所属的情绪种类结果；

三、将情绪种类结果与预设的情绪种类进行对比，符合条件时进行报警；

四、通过人工反馈的方式，对报警结果进行鉴别，通过反馈结果提高深度学习神经网络的判断准确性。

6.根据权利要求5所述的一种基于面部影像识别的医疗报警方法，其特征在于，在步骤三中，所述预设的情绪种类包括高兴、生气、惊讶、悲伤、正常、挣扎、愤怒或其他人工预设情绪。

Images