CN114038161B - 一种夜间离床检测智能看护科学方法及系统 - Google Patents

Abstract

本发明公开了一种夜间离床检测智能看护科学方法及系统，应用场景包括但不限于养老机构和居家场景。基于红外夜视技术、计算机视觉技术和人工智能技术，本发明所提供的智能看护系统能够准确地检测到夜间老人离床行动并及时向负责护工发出报警。系统包括硬件部分和软件部分，数据读取模块用于将摄像头拍摄到的视频数据进行处理并交付给智能算法模块；智能算法模块用于对得到的视频数据进行智能分析和判断，得到老人是否在夜间异常离床行动的结论；消息上报模块用于在智能算法模块得到“老人已在夜间离床”这一结论时向服务平台上报一条报警消息。本系统显著减轻护工夜间巡视工作负担，提升问题发现的及时性，提升看护服务效率和质量。

Description

一种夜间离床检测智能看护科学方法及系统

技术领域

本发明涉及养老智能看护技术领域，尤其涉及一套夜间离床智能看护科学方法和一种可部署于养老机构和家庭，用于在夜间对老人离床情况进行检测和报警，并通知值班人员及时跟进照护的智能看护系统。这一系统使用红外夜视技术、计算机视觉技术和人工智能技术，对老人离床情况进行快速和精确的检测，从而提升护工照护服务效率和质量，减少老人因夜间独自离床导致的意外受伤概率。

背景技术

我国人口老龄化时代正在到来，预计到2025年，我国老年人口数量将达到3亿。养老机构将在解决养老服务缺口问题上扮演重要角色。现阶段，养老机构存在护工负担重，夜间值班人员不足的问题。当夜间出现老人离床行动情况，尤其是失智老人离床时，如果没有及时发现并跟进照护，就容易使得老人在夜间意外受伤。在没有科学方法和智能系统提供支持的情况下，夜间值班的护工需要加大各房间的巡视频率，带来了相当大的工作负担，且问题发现的及时性较差。因此，现亟需一套智能看护科学方法及系统，能够准确及时的将老人离床情况告知给值班护工，降低护工工作负担，提升看护服务效率和质量。

对养老机构而言，老人的看护和安全保障成为重要课题。由此，便引入了本发明的技术背景：①使用红外传感夜视技术，使得在夜间也能获悉老人情况；②高精度的计算机视觉和人工智能算法，使得系统能够准确判断老人是否在夜间离床行动；③完整的感知、认知、决策系统，使信息能够及时传递到负责部门和相关护工，使其能够及时跟进照护老人；④静默的看护设计，看护方法和系统需要对老人来说尽可能无感，尽量不影响老人们的日常生活。

发明内容

本发明提供了一种夜间离床检测智能看护科学方法及系统，应用场景包括但不限于养老机构和居家场景。基于红外夜视技术、计算机视觉技术和人工智能技术，本发明所提供的智能看护系统能够准确地检测到夜间老人离床行动并及时向负责护工发出报警。

本发明是通过以下技术方案实现的：

一种夜间离床检测智能看护科学方法，包括如下步骤：

S1.接通电源点亮智能设备，所有软件服务自动启动。

具体的，本发明涉及的软件模块均采用容器化方式运作，除了业务功能相关的数据读取模块和智能算法模块之外，其余用于支持设备正常工作的软件模块也会自动启动，包括：蓝牙和网络服务模块、运维监控服务模块、日志记录模块。其中，需要网络支持的模块相关功能会暂时挂起，等待网络连接成功后开始正常工作。对用户而言，服务的启动是无感的，只需要通电设备就能正常启动。步骤S1通过软件模块容器化运作能够更好地进行系统的运维和管理，并且当出现软件服务更新时能够快速推送新版本的系统并启动工作。

S2.智能手机App通过蓝牙连接智能设备并配置其WIFI。

具体的，本发明涉及的智能设备具有蓝牙模块，用户可通过手机App开启蓝牙，并连接到设备；本发明涉及的智能设备具有WIFI模块，智能设备将会扫描当前环境中的WIFI节点，返回给用户手机APP进行显示，用户需要选中需要使用的WIFI SSID(WIFI网络的唯一标识符)，并输入密码，通过蓝牙信道获得此信息的智能设备会试图使用此信息连接到对应的WIFI。当成功连接WIFI后，智能设备返回一条消息给手机APP，告知连接成功，此时智能设备上所有依赖网络通信的服务开始启动工作。同时，设备通过蓝牙信道将其uuid传递给手机App，手机App请求服务平台将手机号与设备uuid进行绑定。此时，手机App上可以看到手机号绑定的所有设备的列表，这些设备发出的报警消息也能推送到与之绑定的手机App。步骤S2使智能设备具有连入网络的能力，并且能够通过手机App进行设备的管理和数据的显示，在使用方面便利而高效。

S3.用户在手机App上对设备视野范围内床的位置进行标注。

具体的，智能设备在每次通电启动时，向服务平台发送一次当前摄像头视野图像。由于设备可能被移动或放置到新的房间，视野场景会发生变化，所以上述操作是必须的。服务平台接收到该图像后，执行语义分割算法，对床的位置进行智能标注。该算法基于深度神经网络模型，在大量包含有床这一物体的图像数据集上进行训练。用户在手机App上可以看到设备的视野图像以及智能标注结果，然后可以在App上对标注进行人工修正和调整。床的位置的标注信息用一个包含坐标点信息的多维数组表示。这些坐标点所框定的多边形内部即是床的范围。智能设备周期性地向服务平台请求同步最新的床位置信息，该信息用于判断老人当前是否已离床。步骤S3结合人类知识和人工智能算法得到较为准确的床的位置的识别结果。

S4.智能设备在边缘端执行人体检测算法，在视野范围内识别人的具体位置。

具体的，智能设备上运行的智能算法模块周期性地向数据读取模块请求一帧最新的图像，将该图像输入一个轻量的单阶段人体检测模型，用矩形框(x,y,w,h)来表示人的位置。当没有检测到人时，什么都不做，等待进入下一个人体检测算法周期。当检测到人时，继续执行后续步骤。

S5.将人的位置和床的位置和范围进行比对。

具体的，人的范围与床的范围重合比例用交并比(Intersection Over Union,IOU)表示。判断老人是否离床的基本准则是人与床范围的交并比是否低于预设阈值。当人躺或坐在床上休息时，智能算法检测到人的范围与床的范围之间重合比例应当总是高于某一阈值。即当检测结果发现二者重合比例低于该阈值时，可以认为老人已经离床行动。

S6.如果智能算法判断老人已经离床行动，则向服务平台发出报警消息。随后转到S4进入下一个算法周期。

作为本申请的优选实施例，在所述步骤S1前，还包括：需要在拟安装设备的房间内进行合理的走线排布和吊顶设计，使用自攻螺丝将设备安装到吊顶处，使用标准220V电源，设备配件中的电源适配器能够将其转为5V/1A为设备正常供电。

作为本申请的优选实施例，在所述步骤S6后，还包括：服务平台通过与智能手机之间保留的WebSocket连接，将报警消息推送到手机APP上，该消息包含了原始图像和分析结论，方便用户(护工)进行二次校验确认。如果结论正确，则需要该用户(护工)及时跟进处理。如果报警消息已被用户(护工)阅读，则对应智能设备的警报将静默一小时。

一种夜间离床检测智能看护科学系统，包括硬件部分和软件部分。所述硬件部分包括设备外壳、IO主板、电源座、摄像头、红外灯、光敏传感模块及传感器、IO接口、高速闪存、主控芯片、视频编解码模块、蓝牙与WIFI模块，以及散热部件。所述软件部分，包括摄像头驱动程序、数据读取模块、智能算法模块、消息上报模块、服务平台、智能手机App。数据读取模块用于将摄像头拍摄到的视频数据进行处理并交付给智能算法模块；智能算法模块用于对得到的视频数据进行智能分析和判断，得到老人是否在夜间异常离床行动的结论；消息上报模块用于在智能算法模块得到“老人已在夜间离床”这一结论时向服务平台上报一条报警消息。随后服务平台将消息推送至与智能设备绑定的手机APP上，并发出消息提示，提醒对应护工跟进照护。

作为本申请的优选实施例，所述硬件部分，IO主板集成了各个硬件部件。电源座、摄像头、红外灯、光敏传感器、IO接口在设备外壳上的接口对外开放，用于接收数据或者IO交互。高速闪存、主控芯片、视频编解码模块、蓝牙与WIFI模块被封装于设备外壳内部。电源适配器可将家用220V交流电转换到5V/1A直流电并通过电源座为智能设备供电；摄像头方面采用了广角设计，增大了设备的看护范围；红外灯可以发出肉眼不可见的红外光，配合摄像头可使设备在夜间仍然具备视觉能力；光敏传感器用于分析当前环境的光线强弱，用于控制是否开启红外灯；IO接口是多个接口的抽象统称，用于对设备进行测试和调试；高速闪存提供了存储能力，可以存储程序代码和数据；主控芯片在运行操作系统、控制和调度其他模块进行工作的同时，还承担AI运算的职责；视频编解码模块用于从摄像头读入视频流数据并进行编解码操作；蓝牙与WIFI模块使设备能够支持蓝牙协议和连接到无线局域网；散热部件为所有通电后发热的模块提供冷却，延长设备使用寿命。

作为本申请的优选实施例，所述软件部分，数据读取模块持续从摄像头驱动程序处读取设备当前拍摄到的视频数据，并向智能算法模块开放数据接口，该接口可返回当前拍摄到最新的一帧图像；智能算法模块调用数据读取模块的数据接口，得到最新的图像数据，随后基于模型进行智能分析和判断，得到老人是否在夜间异常离床行动的结论。在得到“老人已离床”结论时，调用消息上报模块，将作为输入的原始图像连同结论一起作为参数打包传递给消息上报模块；消息上报模块向服务平台发送报警消息，请求体中将包含设备uuid信息；服务平台收到报警消息后，存入历史报警消息数据库，随后根据报警消息中设备的uuid查询与该设备绑定的智能手机，并通过与这些手机上App之间的WebSocket长连接来推送报警提醒。

本发明提供的夜间离床检测智能看护系统能够在不对老人的日常生活产生任何负面影响的前提下，主动检测夜间离床情况并产生报警，通知负责护工及时跟进照护，减少老人意外受伤情况的发生，同时减轻夜间值班护工的巡视工作量。本发明的硬件设计和配套软件设计均为发明内容。

有益效果为：①有效看护和保障老人，为我国日益增长的养老需求提供基础设施相关技术；②外型上充分考虑无感和非侵入式设计，避免影响老人日常起居生活；③采用计算机视觉和人工智能技术，发现老人夜间离床情况主动产生报警，提高问题发现的及时性；④服务平台能力可私有化部署于养老机构，数据不外流，提高数据安全性和隐私性。

附图说明

图1是本发明的智能设备硬件模块排布设计图。

图2是本发明的软件构架示意图。

图3是本方面的软件逻辑流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，是本发明的智能设备硬件模块排布设计图。其中，各个硬件部件均被集成于IO主板101上。电源座102、摄像头103、红外灯104、光敏传感模块105的传感器部分、IO接口106在设备外壳上的接口对外开放，用于接收数据或者IO交互；高速闪存107、主控芯片108、视频编解码模块109、蓝牙与WIFI模块110被封装于设备外壳内部，不对外开放。特别的，散热部件111与设备外壳上的换气口联合工作，将设备产生的热量通过空气流通交换释放。

如图2所示，是本发明的软件构架示意图。软件构架示意图描述了系统软件部分中的核心逻辑模块，应当与软件逻辑流程图一起使用理解。数据读取模块22从摄像头驱动程序21处持续读取视频数据流，并向智能算法模块23开放数据接口，等待被调用；智能算法模块在每个计算周期调用数据读取模块22提供的数据接口，请求获取最新的视野图像，并进行计算、分析、处理，得到老人是否出现夜间离床的结论。如果结论为否，那什么也不做，休眠一段时间后进入下一个计算周期；如果结论为是，则将视野图像和检测结论打包，作为参数调用消息上报模块24，向服务平台25发出报警消息。服务平台25收到报警消息后，通过预先保存的与智能设备绑定的智能手机26的WebSocket接口，将此报警消息传递给与智能设备绑定的智能手机26的APP上，通知对应用户(护工)进行及时跟进照护。

如图3所示，是本发明的软件逻辑流程图。软件逻辑流程图，描述的是算法逻辑和业务逻辑的具体执行步骤，应该和软件构架示意图一起使用理解。

实例的硬件实施方面，需要在拟安装设备的房间内进行合理的走线排布和吊顶设计，使用自攻螺丝将设备安装到吊顶处，使用标准220V电源，设备配件中的电源适配器能够将其转为5V/1A为设备正常供电。在硬件设施部署无误后，方可执行后续的软件逻辑，步骤如下：

S1.接通电源点亮智能设备，所有软件服务自动启动。

具体的，本发明涉及的软件模块均采用容器化方式运作，除了业务功能相关的数据读取模块和智能算法模块之外，其余用于支持设备正常工作的软件模块也会自动启动，包括：蓝牙和网络服务模块、运维监控服务模块、日志记录模块。其中，需要网络支持的模块相关功能会暂时挂起，等待网络连接成功后开始正常工作。对用户而言，服务的启动是无感的，只需要通电设备就能正常启动。

S2.智能手机App通过蓝牙连接智能设备并配置其WIFI。

具体的，本发明涉及的智能设备具有蓝牙模块，用户可通过手机App开启蓝牙，并连接到设备；本发明涉及的智能设备具有WIFI模块，智能设备将会扫描当前环境中的WIFI节点，返回给用户手机APP进行显示，用户需要选中需要使用的WIFI SSID(WIFI网络的唯一标识符)，并输入密码，通过蓝牙信道获得此信息的智能设备会试图使用此信息连接到对应的WIFI。当成功连接WIFI后，智能设备返回一条消息给手机APP，告知连接成功，此时智能设备上所有依赖网络通信的服务开始启动工作。同时，设备通过蓝牙信道将其uuid传递给手机App，手机App请求服务平台将手机号与设备uuid进行绑定。此时，手机App上可以看到手机号绑定的所有设备的列表，这些设备发出的报警消息也能推送到与之绑定的手机App。

S3.用户在手机App上对设备视野范围内床的位置进行标注。

具体的，智能设备在每次通电启动时，向服务平台发送一次当前摄像头视野图像。由于设备可能被移动或放置到新的房间，视野场景会发生变化，所以上述操作是必须的。服务平台接收到该图像后，执行语义分割算法，对床的位置进行智能标注。该算法基于深度神经网络模型，在大量包含有床这一物体的图像数据集上进行训练。用户在手机App上可以看到设备的视野图像以及智能标注结果，然后可以在App上对标注进行人工修正和调整。床的位置的标注信息用一个包含坐标点信息的多维数组表示。这些坐标点所框定的多边形内部即是床的范围。智能设备周期性地向服务平台请求同步最新的床位置信息，该信息用于判断老人当前是否已离床。

S4.智能设备在边缘端执行人体检测算法，在视野范围内识别人的具体位置。

具体的，智能设备上运行的智能算法模块周期性地向数据读取模块请求一帧最新的图像，将该图像输入一个轻量的单阶段人体检测模型，用矩形框(x,y,w,h)来表示人的位置。当没有检测到人时，什么都不做，等待进入下一个人体检测算法周期。当检测到人时，继续执行后续步骤。

S5.将人的位置与床的位置和范围进行比对。

具体的，人的范围与床的范围重合比例用交并比(Intersection Over Union,IOU)表示。判断老人是否离床的基本准则是人与床范围的交并比是否低于预设阈值。当人躺或坐在床上休息时，智能算法检测到人的范围与床的范围之间重合比例应当总是高于某一阈值。即当检测结果发现二者重合比例低于该阈值时，可以认为老人已经离床行动。

S6.如果智能算法判断老人已经离床行动，则向服务平台发出报警消息。随后转到S4进入下一个算法周期。

服务平台通过与智能手机之间保留的WebSocket连接，将报警消息推送到手机APP上，该消息包含了原始图像和分析结论，方便用户(护工)进行二次校验确认。如果结论正确，则需要该用户(护工)及时跟进处理。如果报警消息已被用户(护工)阅读，则对应智能设备的警报将静默一小时。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种夜间离床检测智能看护科学方法，其特征在于，包括如下步骤：

S1.接通电源点亮智能设备，所有软件服务自动启动；

S2.智能手机App通过蓝牙连接智能设备并配置其WIFI；

S3.用户在手机App上对设备视野范围内床的位置进行标注；

S4.智能设备在边缘端执行人体检测算法，在视野范围内识别人的具体位置；

S5.将人的位置和床的位置和范围进行比对；

S6.如果智能算法判断老人已经离床行动，则向服务平台发出报警消息，随后转到S4进入下一个算法周期；

在所述步骤S1前，还包括：需要在拟安装设备的房间内进行合理的走线排布和吊顶设计，使用自攻螺丝将设备安装到吊顶处，使用标准220V电源，设备配件中的电源适配器能够将其转为5V/1A为设备正常供电；

在所述步骤S6后，还包括：服务平台通过与智能手机之间保留的WebSocket连接，将报警消息推送到手机APP上，该消息包含了原始图像和分析结论，方便用户，进行二次校验确认，如果结论正确，则需要该用户，及时跟进处理，如果报警消息已被用户，阅读，则对应智能设备的警报将静默一小时；

所述步骤S1具体为，软件模块均采用容器化方式运作，除了业务功能相关的数据读取模块和智能算法模块之外，其余用于支持设备正常工作的软件模块也会自动启动，包括：蓝牙和网络服务模块、运维监控服务模块、日志记录模块，其中，需要网络支持的模块相关功能会暂时挂起，等待网络连接成功后开始正常工作，对用户而言，服务的启动是无感的，只需要通电设备就能正常启动；

所述步骤S2具体为，智能设备具有蓝牙模块，用户可通过手机App开启蓝牙，并连接到设备；本发明涉及的智能设备具有WIFI模块，智能设备将会扫描当前环境中的WIFI节点，返回给用户手机APP进行显示，用户需要选中需要使用的WIFI SSID，并输入密码，通过蓝牙信道获得此信息的智能设备会试图使用此信息连接到对应的WIFI，当成功连接WIFI后，智能设备返回一条消息给手机APP，告知连接成功，此时智能设备上所有依赖网络通信的服务开始启动工作，同时，设备通过蓝牙信道将其uuid传递给手机App，手机App请求服务平台将手机号与设备uuid进行绑定，此时，手机App上可以看到手机号绑定的所有设备的列表，这些设备发出的报警消息也能推送到与之绑定的手机App；

所述步骤S3具体为，智能设备在每次通电启动时，向服务平台发送一次当前摄像头视野图像，由于设备可能被移动或放置到新的房间，视野场景会发生变化，所以上述操作是必须的，服务平台接收到该图像后，执行语义分割算法，对床的位置进行智能标注，该算法基于深度神经网络模型，在大量包含有床这一物体的图像数据集上进行训练，用户在手机App上可以看到设备的视野图像以及智能标注结果，然后可以在App上对标注进行人工修正和调整，床的位置的标注信息用一个包含坐标点信息的多维数组表示，这些坐标点所框定的多边形内部即是床的范围，智能设备周期性地向服务平台请求同步最新的床位置信息，该信息用于判断老人当前是否已离床；

所述步骤S4具体为，智能设备上运行的智能算法模块周期性地向数据读取模块请求一帧最新的图像，将该图像输入一个轻量的单阶段人体检测模型，用矩形框来表示人的位置，当没有检测到人时，什么都不做，等待进入下一个人体检测算法周期，当检测到人时，继续执行后续步骤；

所述步骤S5具体为，人的范围与床的范围重合比例用交并比表示，判断老人是否离床的基本准则是人与床范围的交并比是否低于预设阈值，当人躺或坐在床上休息时，智能算法检测到人的范围与床的范围之间重合比例应当总是高于某一阈值，即当检测结果发现二者重合比例低于该阈值时，可以认为老人已经离床行动。

2.一种如权利要求1所述的夜间离床检测智能看护科学方法的系统，其特征在于，包括硬件部分、软件部分，所述硬件部分包括设备外壳、IO主板、电源座、摄像头、红外灯、光敏传感模块及传感器、IO接口、高速闪存、主控芯片、视频编解码模块、蓝牙与WIFI模块，以及散热部件，所述软件部分，包括摄像头驱动程序、数据读取模块、智能算法模块、消息上报模块、服务平台、智能手机App，数据读取模块用于将摄像头拍摄到的视频数据进行处理并交付给智能算法模块；智能算法模块用于对得到的视频数据进行智能分析和判断，得到老人是否在夜间异常离床行动的结论；消息上报模块用于在智能算法模块得到老人已在夜间离床这一结论时向服务平台上报一条报警消息，随后服务平台将消息推送至与智能设备绑定的手机APP上，并发出消息提示，提醒对应护工跟进照护。

3.根据权利要求2所述的一种夜间离床检测智能看护科学系统，其特征在于，所述硬件部分，还包括：IIO主板集成了各个硬件部件，电源座、摄像头、红外灯、光敏传感器、IO接口在设备外壳上的接口对外开放，用于接收数据或者IO交互，高速闪存、主控芯片、视频编解码模块、蓝牙与WIFI模块被封装于设备外壳内部，电源适配器可将家用220V交流电转换到5V/1A直流电并通过电源座为智能设备供电；摄像头方面采用了广角设计，增大了设备的看护范围；红外灯可以发出肉眼不可见的红外光，配合摄像头可使设备在夜间仍然具备视觉能力；光敏传感器用于分析当前环境的光线强弱，用于控制是否开启红外灯；IO接口是多个接口的抽象统称，用于对设备进行测试和调试；高速闪存提供了存储能力，可以存储程序代码和数据；主控芯片在运行操作系统、控制和调度其他模块进行工作的同时，还承担AI运算的职责；视频编解码模块用于从摄像头读入视频流数据并进行编解码操作；蓝牙与WIFI模块使设备能够支持蓝牙协议和连接到无线局域网；散热部件为所有通电后发热的模块提供冷却，延长设备使用寿命。

4.根据权利要求2所述的一种夜间离床检测智能看护科学系统，其特征在于，所述软件部分，还包括：数据读取模块持续从摄像头驱动程序处读取设备当前拍摄到的视频数据，并向智能算法模块开放数据接口，该接口可返回当前拍摄到最新的一帧图像；智能算法模块调用数据读取模块的数据接口，得到最新的图像数据，随后基于模型进行智能分析和判断，得到老人是否在夜间异常离床行动的结论，在得到老人已离床结论时，调用消息上报模块，将作为输入的原始图像连同结论一起作为参数打包传递给消息上报模块；消息上报模块向服务平台发送报警消息，请求体中将包含设备uuid信息；服务平台收到报警消息后，存入历史报警消息数据库，随后根据报警消息中设备的uuid查询与该设备绑定的智能手机，并通过与这些手机上App之间的WebSocket长连接来推送报警提醒。

Images