CN111507290A - 受抚者监视和看护系统 - Google Patents

Abstract

一种用于受抚者监视和看护的系统，所述系统包括：图像传感器，用于捕获受抚者所在场景的图像数据；控制器，被配置为控制受抚者的环境中的各种模块；处理器，被配置为运行被配置为基于图像数据检测受抚者的状态的判定模块，并执行代码指令用于：从图像传感器接收图像数据；由判定模块对接收到的图像数据进行分析，并基于分析结果来检测受抚者的状态；响应于检测到的状态指示控制器控制受抚者的环境中的各个模块；以及生成并输出关于受抚者状态的报告。

Description

受抚者监视和看护系统

技术领域

本发明涉及一种受抚者监视和看护系统。

背景技术

有一些已知的使用声音检测器和图像检测器的婴儿监视系统。这些监视系统中的大多数将图像和/或声音数据提供给父母或其他看护者，他们需要自己解读声音和/或图像。这可能会引起许多误报，从而给看护者和婴儿带来焦虑、不安和睡眠不足。另外，在某些情况下，看护者需花太多时间行动以响应监视系统显示的情况，错过最佳响应时间。此外，现有系统无法使看护者在最佳治疗时间内注意到婴儿的健康和/或发育异常。

发明内容

本公开的一些实施例的一个方面提供了一种用于受抚者的监视和看护的系统，所述系统包括：图像传感器，用于捕获受抚者所在场景的图像数据；控制器，被配置为控制受抚者的环境中的各种模块；处理器，被配置为运行被配置为基于图像数据检测受抚者的状态的判定模块，并执行代码指令用于：从图像传感器接收图像数据；由判定模块对接收到的图像数据进行分析，并基于分析结果检测受抚者的状态；指示控制器响应于检测到的状态控制受抚者的环境中的各种模块；并生成并输出关于受抚者状态的报告。

可选地，所述处理器被配置为执行指令用于基于接收到的图像数据检测所捕获的图像数据中何时没有受抚者的面部。

可选地，所述处理器被配置为执行指令用于基于接收到的图像数据检测导致图像数据中没有面部的情况。

可选地，所述处理器被配置为执行指令用于指示所述控制器执行动作以检查或处理检测到的受抚者的情况。

可选地，所述处理器被配置为执行指令用于检测是否有对象正在越过场景中的限定区域的边界。

可选地，所述处理器被配置为执行指令用于检测正在越过的对象是受抚者还是经许可的对象。

可选地，所述处理器被配置为执行指令用于在未经许可的对象进入限定区域的情况下或者在受抚者离开限定区域的情况下发送警报。

可选地，所述处理器被配置为执行指令用于检测受抚者是否不满。

可选地，所述处理器被配置为执行指令用于指示所述控制器在受抚者的环境中执行镇静动作。

可选地，所述处理器被配置为执行指令用于通过检测受抚者对所述动作的反应来将图像数据用作对所述控制器的动作的反馈。

可选地，所述处理器被配置为执行指令用于根据所述反馈指示所述控制器。

可选地，所述处理器被配置为执行指令用于通过分析至少几个小时的图像数据来沿着时间检测所述受抚者的异常行为或发育。

附图说明

在以下附图中示出了所公开的主题的一些非限制性示例性实施例或特征。

在附图中：

图1是根据本公开的一些实施例的用于受抚者监视和看护的系统的示意图；

图2是示出根据本公开的一些实施例的受抚者监视和看护的方法的示意性流程图；

图3是示出根据本公开的一些实施例的用于在场景中检测受抚者的面部的方法的示意性流程图；

图4是根据本公开的一些实施例的用于围栏监视的方法的示意图，例如，检测越过边界进入和/或离开场景中的区域；

图5是根据本公开的一些实施例的用于受抚者不满检测的方法的示意图；及

图6是根据本公开的一些实施例的用于检测异常的受抚者发育的方法的示意图。

现在具体地具体参考附图，要强调的是，示出的细节是作为示例并且出于对本公开的实施例的说明性讨论的目的。就这一点而言，结合附图进行的描述对于本领域技术人员而言很清楚可以如何实践本公开的实施例。

出现在一个或多个附图中的相同或重复或等效或相似的结构、元件或部件通常用相同的附图标记标记，可选地还用一个或多个附加字母来区分相似的实体或实体的变体，并且可能不会重复标记和/或描述。暗示了对先前呈现的元件的引用，而不必进一步引用它们出现的附图或描述。

为了表示的方便或清楚起见，选择了图中所示的部件和特征的尺寸，并且不一定按比例或真实的角度示出。为了方便或清楚起见，一些元件或结构未示出或仅部分地和/或以不同角度或从不同角度示出。

具体实施方式

在详细解释本公开的至少一个实施例之前，应理解，本公开的应用并不一定限于以下附图和/或示例中描述和/或阐述中所列部件和/或方法的构造和布置细节。本公开能够具有其他实施例或者能够以各种方式实践或执行。

现在参考图1，图1是根据本公开的一些实施例的用于受抚者监视和看护的系统100的示意图。进一步参考图2，图2是示出根据本公开的一些实施例的受抚者监视和看护的方法200的示意性流程图。系统100可以监视位于场景90中的受抚者/婴儿80和/或为其提供看护。受抚者/婴儿80可以是婴儿、幼儿、老人、宠物、动物和/或任何其他合适的受照料的对象，即其健康依赖他人的治疗和/或看护的对象。在整个本说明书中，术语“婴儿”和“受抚者”可互换使用。将理解的是，本发明的一些实施例可以用于任何其他合适的受抚者以及婴儿。

系统100可以包括至少一个判定模块10、至少一个控制器11、至少一个硬件存储介质12、至少一个硬件处理器14、至少一个图像传感器16、可选的声音传感器17，以及数据库18。处理器14可以包括、控制、和/或与判定模块10、控制器11、存储介质12、图像传感器16和/或数据库18通信，以例如根据存储在存储介质12中的指令执行方法200。例如，存储介质12是存储处理器14可执行的代码指令的非暂时性存储器。代码指令在被执行时使处理器14执行如本文中详细描述的方法200的步骤。处理器14可以执行、运行和/或控制判定模块10。根据本公开的一些实施例，判定模块10被配置为对数据进行分类和/或检测某些状态和/或任何其他合适的目标任务。在一些实施例中，判定模块10被配置为被训练以执行和/或增强分类、检测和/或另一合适任务的性能。例如，判定模块10包括机器学习和/或人工智能能力，例如人工神经网络。

在本公开的一些实施例中，系统100可以包括多个模块，例如，至少一些模块在受抚者80的环境中。例如，系统100可以包括调光器20、声音播放器22、玩具24(例如，移动设备)、状态指示器26和显示设备28。

在本公开的一些实施例中，判定模块10可以被配置为分析所接收的婴儿80所在监视场景90的图像和/或声音数据集，检测监视场景90中的婴儿80的状态，并基于分析执行和/或生成指令。例如，如本文中更详细地描述的，基于检测到的婴儿80的状态，判定模块10可以执行指令以将数据存储在数据库18中，以将数据发送到处理器14，和/或可以生成和/或发送指令到控制器11。例如，控制器11基于从处理器14和/或判定模块10接收的指令来控制婴儿80的环境中的多个模块20-28中的至少一个，如下文更详细地描述。

如框210所示，图像传感器16可以捕获场景90的图像数据并将捕获的数据发送到判定模块10。在一些实施例中，声音传感器17可以检测来自场景90的声音数据(例如与图像传感器16捕获同时进行)，并可以将声音数据发送到判定模块10(例如与捕获的图像数据相关联的，例如可以使图像数据和声音数据之间建立关系的时间戳)。图像数据和/或声音数据可以例如与图像和声音数据之间的关系一同存储在数据库18中。

判定模块10可以接收图像数据和/或声音数据。例如，判定模块10可以接收图像数据和/或声音数据和/或同步的图像和声音数据的数据集。如框220所示，判定模块10可以分析接收到的数据并基于该分析来检测婴儿80的状态。判定模块10可以基于检测到的婴儿80的状态来执行动作，如在下文中更详细地描述的。例如，如框230所示，响应于检测到的婴儿80的状态，判定模块10可以指示控制器11控制模块20-28中的一个或多个。如框240所示，处理器14可以生成分析输出30，例如包括检测到的状态、关于状态随时间的变化的报告、看护者的行动建议或任何其他合适的输出和/或可以显示和/或语音播放所生成的输出和/或将其发送到另一个设备。例如，判定模块10可以基于图像和/或声音数据集检测各种健康状况，例如不规则和/或异常呼吸、心跳率、皮肤状况和/或任何其他合适的状况。响应于检测到不正常和/或异常的健康状况，模块10和/或控制器14可以生成和/或发送警报作为输出30和/或指示控制器11例如通过指示器26来指示该状况。

根据本公开的一些实施例，判定模块10被配置为基于接收到的图像数据和/或声音数据来检测婴儿何时处于危险状态。例如，判定模块10被配置为检测婴儿80的面部何时被毯子覆盖或在场景中未检测到婴儿80的面部。

在本发明的一些实施例中，可以基于由图像传感器和/或声音传感器累积的数据和/或基于预先累积的数据集来训练判定模块10以识别婴儿环境中的床和/或玩具和/或另一个物体，并例如根据已知的标准参数和/或任何其他合适的标准来分析和/或检测物体是否安全。例如，判定模块10可以检测床的长度是否足够，床护栏的高度是否安全以防止婴儿跌落和/或爬过护栏，格栅之间的距离是否合适等。例如，判定模块10可以检测婴儿的环境中是否放置了太小的物体和/或裸露的细绳或电线。例如，判定模块10可以检测危险事件，例如，如果婴儿将小物体放在其嘴中，婴儿将头放在床的格栅之间，婴儿在床的护栏上俯身等等。

根据本发明的一些实施例，基于接收到的图像和/或声音数据，判定模块10可以被配置和/或被训练为自动检测婴儿所在的区域，并聚焦和/或移动图像传感器和/或声音传感器以从限制区域捕获数据，和/或应用遮罩以仅获得、使用和/或存储从模块10识别为婴儿环境的某个检测区域捕获的数据。例如，可以使用它来保护某个房间的其他居住者的隐私。

根据本发明的一些实施例。判定模块10可以被配置为区分几种婴儿声音，例如区分几种哭声，并相应地提供有关婴儿需求的指示。

根据本发明的一些实施例，基于接收到的图像和/或声音数据，判定模块10可以被配置和/或被训练为自动检测和/或识别位于婴儿附近的各种检测器的警报声，例如烟雾和/或运动探测器，并相应地激活警报。

现在参考图3，图3是示出根据本公开的一些实施例的用于在场景90中检测婴儿的面部的方法300的示意性流程图。如框310中所示，判定模块10可以例如基于接收到的图像数据集来检测场景90中不存在婴儿的面部。例如，判定模块10可以被配置为检测场景中何时有婴儿的面部。在其他实施例中，判定模块10可以被配置为检测特定婴儿或特定一组婴儿的面部。例如，处理器14可以接收特定婴儿的图像并且训练判定模块10以检测特定婴儿的面部。然后，如果接收到的图像数据中没有该婴儿的面部，则判定模块可以检测该婴儿的面部不在场景中。如框320所示，判定模块10还可以在场景中检测导致图像数据中没有面部的情况和/或婴儿的状态。例如，模块10可以检测婴儿的面部是否被毯子覆盖，婴儿的面部是否离开图像传感器和/或任何其他适当的情况。此外，判定模块10可以例如基于从传感器16和17接收的声音和/或图像数据来感测婴儿的生命体征，例如婴儿的呼吸和/或心跳状态。在一些实施例中，判定模块10可以分析图像数据集和/或声音数据集，并根据图像数据集检测导致被监视场景中不存在婴儿的面部的一个或一系列事件。例如，判定模块10可以检测到婴儿翻滚到肚皮朝下，婴儿用毯子覆盖了他们的面部，和/或任何其他适当的过程。判定模块10可以将关于检测到的状态和/或原因的信息发送到处理器14。处理器14可以将该信息作为输出30输出，例如以通知看护者。如框330所示，判定模块10和/或处理器14可以生成和/或向控制器11发送指令以响应于检测到的状态执行动作，用以例如检查和/或处理检测到的婴儿90的情况。例如，控制器11可以控制声音播放器22发出声音，和/或控制玩具24移动和/或发出声音，这可能会使得婴儿翻身、转头或从他们的面部移开毯子。例如，控制器11可以控制状态指示器26以提供关于婴儿状态的信息。例如，状态指示器26可以包括显示器、光指示器、声音指示器和/或任何其他合适的指示器以指示婴儿的状态。

根据本公开的一些实施例，判定模块10被配置为检测婴儿80何时离开场景90中的确定的限定区域。例如，用户可以限定场景90中的确定边界91，和/或判定模块10可以被配置为检测婴儿80何时离开和/或越过所限定的边界91，例如，离开由边界91所限定的特定区域。在一些实施例中，判定模块10被配置为检测另一对象，例如人或动物，越过限定的边界91进入婴儿可能位于的区域。

现在参考图4，其是根据本公开的一些实施例用于围栏监视(例如，检测越过边界91进入和/或离开场景90中的区域)的方法400的示意图。如框410中所示，判定模块10可以检测是否有对象正在越过限定的边界91和/或进入场景90中的限定区域。例如，模块10可以被配置为检测该对象是婴儿80、婴儿的父母或看护者还是其他经许可的对象。例如，处理器14可以接收对经许可的对象和/或经许可的对象的图像的限定，和/或可以训练判定模块10以检测被监视场景中的对象是婴儿80还是经许可的对象。因此，如框420中所示，判定模块10可以检测正在越过和/或正在进入的对象是婴儿80还是经许可的对象。如框430所示，在未经许可的对象进入限定区域的情况下，或者在婴儿80离开限定区域的情况下，判定模块10和/或处理器14可以生成和/或发送警报，例如输出30和/或由状态指示器26指示。如果进入区域的对象是经许可的对象，则判定模块10和/或处理器14可以生成关于例如由经许可的对象进入该区域的事件的指示和/或输出，例如具有关于正在进入对象的身份的指示。

根据本公开的一些实施例，判定模块10被配置为检测婴儿80何时不舒服、烦躁或不满。例如，基于图像和/或声音数据集和/或基于婴儿的运动、面部表情和/或人声进行检测。

现在参考图5，其是根据本公开的一些实施例的用于婴儿不满检测的方法500的示意图。如框510所示，判定模块10可以检测婴儿80是否不满、烦躁、不舒服和/或不高兴。例如，模块10可以被配置为基于特定的身体、头部和/或四肢运动来检测婴儿不舒服。例如，模块10可以基于婴儿80的某些面部表情和/或运动来检测婴儿处于疼痛和/或烦躁和/或其他不舒服。模块10和/或处理器14可以生成关于婴儿的不满的指示和/或将该指示作为输出30提供给例如看护者。如框520所示，模块10和/或处理器14可以生成和/或向控制器11发送指令，以例如通过模块20-26和/或任何其他合适的模块在婴儿的环境中执行镇静的变化和/或动作。例如，基于指令，控制器11可以控制调光器20以调节光强度，控制声音发生器22以输出诸如音乐、白噪声、海浪、风声、动物声之类的舒缓声音，控制显示设备28显示熟悉的人的脸和/或平静的图像和/或视频，控制放置婴儿的表面29的倾斜以使婴儿更舒适，和/或任何其他合适的镇静的变化和/或动作。如框530所示，模块10可以从传感器16和17接收进一步的图像和/或声音数据，和/或使用该进一步的图像和/或声音数据作为对由控制器11控制的动作的反馈。如框540所示，模块10可以基于检测到的婴儿的行为、运动、表情和/或声音的变化来继续、改变和/或停止提供给控制器11的指令，基于此，模块10可以检测到控制器11的动作对婴儿有正面影响、负面影响或没有影响。例如，在模块10检测到动作不能以足够的方式使婴儿平静的情况下，例如，如果表示不适的表情、动作和/或声音没有降低到某个阈值以下，则模块10和/或处理器14可以改变对控制器11的指令以执行其他舒缓动作，直到达到期望的镇静结果为止，例如如果表示不适的表情、动作和/或声音降低到某个阈值以下。

在本公开的一些实施例中，可以将分析的图像和/或声音数据集(即与模块10的分析结果相关的图像和/或声音数据集)、指示，警报和/或事件存储在数据库18中。在一些实施例中，数据库18可以与其他系统100在数据云中共享。在一些实施例中，所分析的数据集可以用于进一步训练判定模块10以获得更好的结果，例如更准确地检测状态。

在本公开的一些实施例中，处理器14和/或判定模块10可以基于一系列事件、指示和/或图像和/或声音数据集或警报，连同相应的分析结果来生成报告。例如，判定模块10可以例如沿着几个小时、几天、几周或几个月来分析长期图像和/或声音数据集，并且基于该分析来检测特定条件。例如，处理器14可以接收正常婴儿发育的某些标准，例如对各种刺激、面部表情、咳嗽、发声能力和/或任何其他适当表情的正常反应。判定模块10可以被训练为基于采集的图像和/或声音数据集以及对婴儿的反应、面部表情和/或声音(这些例如可以与相应的时间戳一起存储在数据库18中)的检测来沿时间检测异常婴儿发育。如果判定模块10检测到婴儿的异常发育，则可以作为输出30和/或由指示器26提供指示。

现在参考图6，其是根据本公开的一些实施例的用于检测婴儿异常发育的方法600的示意图。如框610所示，控制器11可以控制各种模块以在婴儿80的环境中发出声音、激活玩具、显示图案和/或图像和/或进行其他调整、变化和动作。图像传感器16和/或声音传感器图17可捕获场景90中婴儿80的图像和/或声音数据集。如框620所示，基于图像和/或声音数据集，模块10可检测婴儿80对控制器11做出的动作的反应。如框630所示，判定模块10可以例如沿着几个小时、几天、几周或几个月来检测婴儿80对控制器11做出的动作的反应的异常量、类型和/或强度。如框640所示，判定模块10和/或处理器16可以通过输出30和/或指示器26提供有关异常行为的指示。例如，判定模块10可以被配置为检测婴儿的听力辨认人脸的能力、运动能力和/或其他适当的行为是否是有序的和/或根据已知的统计发育的。例如，可以根据已知的婴儿发育统计和/或根据累积的数据来训练判定模块10，以识别婴儿的正常反应和/或发育。在一些实施例中，判定模块10可以根据婴儿的年龄和/或发育阶段来检测正常/异常反应和/或发育。例如，在婴儿的某个年龄时，判定模块10可以检查婴儿对不熟悉的人是否具有正常反应，例如恐惧和/或不满的反应。

本公开的一些实施例可以包括系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本公开的各方面的计算机可读程序指令的有形的非暂时性计算机可读存储介质。用于执行本公开的操作的计算机可读程序指令可以是汇编程序指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或源代码或对象用一种或多种编程语言(包括任何面向对象的编程语言和/或常规过程编程语言)的任何组合编写的代码。

在本公开的一些实施例的上下文中，通过示例而非限制的方式，诸如“操作”或“执行”之类的术语也分别暗示诸如“可操作”或“可执行”之类的能力。

除非以其他方式在上下文中明显看出，否则诸如“事物特性”之类的共轭术语表示事物的特性。

术语“处理器”或“计算机”或其系统在本文中用作本领域的普通上下文，例如通用处理器、或便携式设备，例如智能电话或平板计算机，或微处理器、RISC处理器或DSP，可能包含其他元件，例如内存或通信端口。可选地或附加地，术语“处理器”或“计算机”或其派生词表示能够执行所提供或并入的程序和/或能够控制和/或访问数据存储装置和/或其他装置(例如输入和输出端口)的装置。术语“处理器”或“计算机”还表示连接，和/或链接和/或以其他方式通信，可能共享一个或多个其他资源(例如存储器)的多个处理器或计算机。

术语“软件”、“程序”、“软件过程”或“过程”或“软件代码”或“代码”或“应用程序”可根据其上下文互换使用，并表示一个或多个指令或用于执行通常表示算法和/或其他过程或方法的一系列操作的指令或电子电路。程序存储在诸如RAM、ROM或磁盘之类的介质中或之上，或者嵌入在可由诸如处理器或其他电路之类的设备访问和执行的电路中。处理器和程序可以至少部分地构成相同的设备，例如电子门阵列，例如FPGA或ASIC，被设计为执行编程的操作序列，并可选地包括处理器或其他电路或与之链接。

用于目标或其变型的术语“配置”和/或“适应”意味着至少使用设计和/或实现和/或可操作或可操作的软件和/或电子电路和/或辅助装置达到目的。

存储和/或包括程序和/或数据的设备构成制品。除非另有说明，否则程序和/或数据存储在非临时性介质中或非临时性介质上。

在公开电气或电子设备的情况下，假定适当的电源用于其操作。

流程图和框图示出了根据本公开主题的各个实施例的系统，方法和计算机程序产品的可能的实现的架构、功能或操作。在这方面，流程图或框图中的每个框可以表示程序代码的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意，在一些替代实施方式中，示出或描述的操作可以以不同的顺序或以组合的方式或作为并发操作而不是顺序操作发生，以实现相同或等同的效果。

所附权利要求中的所有装置或步骤加上功能元件的对应结构、材料、作用和等同物旨在包括用于与具体要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或作用。如本文所使用的，单数形式的“一”、“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。将进一步理解，当在本说明书中使用术语“包含”、“包括”和/或“具有”以及这些术语的其他变形时，其指定存在所述特征、整数、步骤、操作、元素和/或组件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组。

除非另有说明，否则本文中使用的术语不应理解为限制性的，并且仅出于描述特定实施例的目的，并且不旨在限制所公开的主题。尽管已经示出和描述了所公开的主题的某些实施例，但是将清楚的是，本公开不限于在此描述的实施例。不排除许多修改、改变、变化、替换和等同形式。

Claims (12)

1.一种用于受抚者监视和看护的系统，所述系统包括：

图像传感器，用于捕获受抚者所在场景的图像数据；

控制器，被配置为控制受抚者的环境中的各种模块；以及

处理器，被配置为运行被配置为基于图像数据检测受抚者的状态的判定模块，并执行代码指令用于：

从所述图像传感器接收图像数据；

由所述判定模块对接收到的图像数据进行分析，并基于分析结果检测受抚者的瞬时状态；

响应于检测到的状态指示所述控制器控制受抚者的环境中的各个模块；以及

生成并输出关于受抚者状态的报告。

2.根据权利要求1所述的系统，其中，所述处理器被配置为执行指令用于基于接收到的图像数据检测所捕获的图像数据中何时没有受抚者的面部。

3.根据权利要求2所述的系统，其中，所述处理器被配置为执行指令用于基于接收到的图像数据检测导致图像数据中没有面部的情况。

4.根据权利要求1所述的系统，其中，所述处理器被配置为执行指令用于指示所述控制器执行动作以检查或处理检测到的受抚者的情况。

5.根据权利要求1所述的系统，其中，所述处理器被配置为执行指令用于检测是否有对象正在越过场景中的限定区域的边界。

6.根据权利要求5所述的系统，其中，所述处理器被配置为执行指令用于检测正在越过的对象是受抚者还是经许可的对象。

7.根据权利要求5所述的系统，其中，所述处理器被配置为执行指令用于在未经许可的对象进入限定区域的情况下或者在受抚者离开限定区域的情况下发送警报。

8.根据权利要求1所述的系统，其中，所述处理器被配置为执行指令用于检测受抚者是否不满。

9.根据权利要求1所述的系统，其中，所述处理器被配置为执行指令用于指示所述控制器在受抚者的环境中执行镇静动作。

10.根据权利要求1所述的系统，其中，所述处理器被配置为执行指令用于通过检测受抚者对所述动作的反应来将图像数据用作对所述控制器的动作的反馈。

11.根据权利要求1所述的系统，其中，所述处理器被配置为执行指令用于根据所述反馈指示所述控制器。

12.根据权利要求10所述的系统，其中，所述处理器被配置为执行指令用于通过分析至少几个小时的图像数据来沿着时间检测所述受抚者的异常行为或发育。

Images