CN111886633A - 基于所分析的视频流的利用智能音频提示的婴儿监视 - Google Patents

Abstract

本文提出了用于基于婴儿行为来发出警报的各种布置。对婴儿成像的视频流可以被接收。视频流可以被分析以确定婴儿处于非听觉不适状态。通知可以基于所确定的非听觉不适状态来被确定为输出给看护人。警报可以是指示非听觉不适状态的到终端用户设备的输出。

Description

基于所分析的视频流的利用智能音频提示的婴儿监视

背景技术

父母通常会在晚上监视幼儿，以确保他们入睡或至少感到舒适。对于婴儿，通常涉及使用婴儿监视器。这样的婴儿监视器可以包括作为发射器单元的一部分被并入的相机和麦克风，该发射器单元对准婴儿的睡眠区域，诸如婴儿床。父母可以具有接收器单元，接收器单元允许观看和听到由发射器单元捕捉的视频和音频。通常，接收器单元正在输出的所捕捉的音频提示父母激活接收器单元的显示器以观看视频并确定婴儿是否痛苦。因此，如果婴儿没有发出任何声音，则父母不太可能立即检测婴儿的痛苦，除非他们正在主动观看视频馈送。

发明内容

本文描述了与用于基于婴儿行为来发出警报的方法有关的各种实施例。在一些实施例中，描述了一种用于基于婴儿行为来发出警报的方法。所述方法可以包括由婴儿监视系统接收视频流和音频流。婴儿可能存在于视频流的帧中。所述方法可以包括由婴儿监视系统分析视频流和音频流以确定婴儿处于非听觉不适状态。非听觉不适状态可以指示指示小于阈值量的声音存在于音频流中。所述方法可以包括由婴儿监视系统基于所确定的非听觉不适状态来确定向看护人输出通知。所述方法可以包括由婴儿监视系统将指示非听觉不适状态的警报传输给终端用户设备。

这种方法的实施例可以包括以下特征中的一个或多个：所述方法可以包括由终端用户设备接收指示非听觉不适状态的警报。所述方法可以包括由终端用户设备分析指示非听觉不适状态的警报，以基于所接收的警报来确定听觉警报要被输出。所述方法可以包括由终端用户设备经由扬声器输出听觉警报。经由扬声器输出的听觉警报可以是记录的或合成的婴儿啼哭。所述方法可以包括由婴儿监视系统基于分析视频流来确定不适级别。所述方法可以包括基于所确定的不适级别来确定音量设置。听觉警报可以至少部分地基于所确定的音量设置由终端用户设备经由扬声器来输出。分析视频流和音频流以确定婴儿处于非听觉不适状态可以包括执行对象辨识过程以在视频流的帧内检测婴儿。所述方法可以包括执行对在视频流的帧内检测到的婴儿的运动检测以确定婴儿的运动量。所述方法可以包括至少部分地基于婴儿的运动量来确定婴儿处于非听觉不适状态。分析视频流和音频流以确定婴儿处于非听觉不适状态可以进一步包括确定婴儿的眼睛是睁开的。确定婴儿处于非听觉不适状态可以是至少部分地基于确定婴儿的眼睛是睁开的。所述方法可以包括使用流摄像机捕捉视频流和音频流。所述方法可以包括通过流摄像机将视频流和音频流传输到基于云的视频分析平台。婴儿监视系统可以作为基于云的视频分析平台的一部分被并入。所述方法可以包括使用流摄像机捕捉视频流和音频流。婴儿监视系统可以作为流摄像机的一部分被并入。非听觉不适状态可以表示指示预期婴儿即将醒来的醒来前状态。所述方法可以包括基于小于阈值量的声音存在于音频流中以及婴儿处于舒适状态来停用到终端用户设备的流音频信道。

在一些实施例中，一种用于基于婴儿行为来发出警报的系统可以包括基于云的主机系统。基于云的主机系统可以包括存储布置，所述存储布置从多个流摄像机接收和存储视频流和音频流。基于云的主机系统可以包括婴儿监视系统。婴儿监视系统可以包括一个或多个处理器。婴儿监视系统可以包括存储器，所述存储器与一个或多个处理器通信地耦合并且可由一个或多个处理器读取，并且具有存储在其中的处理器可读指令，所述处理器可读指令在由一个或多个处理器执行时可以使一个或多个处理器接收视频流和音频流。婴儿可能存在于视频流的帧中。一个或多个处理器可以分析视频流和音频流以确定婴儿处于非听觉不适状态。非听觉不适状态可以指示小于阈值量的声音存在于音频流中。一个或多个处理器可以基于所确定的非听觉不适状态来确定向看护人输出通知。一个或多个处理器可以将指示非听觉不适状态的警报传输给终端用户设备。

这种系统的实施例可以包括以下特征中的一个或多个：所述系统可以包括由终端用户设备执行的应用。应用可以被配置成接收指示非听觉不适状态的警报。应用可以分析指示非听觉不适状态的警报，以基于所接收的警报来确定听觉警报要被输出。应用可以经由扬声器输出听觉警报。经由扬声器输出的听觉警报可以是记录的或合成的婴儿啼哭。基于云的主机系统可以进一步被配置成使得处理器可读指令在被执行时可以进一步使一个或多个处理器基于分析视频流来确定不适级别。一个或多个处理器可以基于所确定的不适级别来确定音量设置。听觉警报可以至少部分地基于所确定的音量设置由终端用户设备通过扬声器来输出。当被执行时可以使一个或多个处理器分析视频流和音频流以确定婴儿处于非听觉不适状态的处理器可读指令可以包括用于在被执行时使一个或多个处理器执行对象辨识过程以在视频流的帧中检测婴儿的处理器可读指令。一个或多个处理器可以执行对在视频流的帧内检测到的婴儿的运动检测，以确定婴儿的运动量。一个或多个处理器可以至少部分地基于婴儿的运动量来确定婴儿处于非听觉不适状态。当被执行时可以使一个或多个处理器分析视频流和音频流以确定婴儿处于非听觉不适状态的处理器可读指令可以包括当被执行时使一个或多个处理器确定婴儿的眼睛是睁开的处理器可读指令。确定婴儿处于非听觉不适状态可以至少部分地基于确定婴儿的眼睛是睁开的。所述系统可以进一步包括多个流摄像机中的流摄像机。流摄像机可以被配置成捕捉视频流和音频流。流摄像机可以被配置成将视频流和音频流传输到基于云的主机系统。非听觉不适状态可以表示指示预期婴儿即将醒来的醒来前状态。基于云的主机系统可以进一步被配置成使得处理器可读指令在被执行时还可以基于小于阈值量的声音存在于音频流中并且婴儿处于舒适状态来使一个或多个处理器停用到终端用户设备的流音频信道。

在一些实施例中，描述了一种基于婴儿行为来发出警报的系统。所述系统可以包括基于云的主机系统。基于云的主机系统可以包括存储布置，所述存储布置从多个流摄像机接收和存储视频流和音频流。所述系统可以包括流摄像机，所述流摄像机包括集成的婴儿监视系统。所述系统可以包括一个或多个处理器。所述系统可以包括存储器，所述存储器与一个或多个处理器通信地耦合并且可由一个或多个处理器读取，并且具有存储在其中的处理器可读指令，所述处理器可读指令在由一个或多个处理器执行时可以使一个或多个处理器接收视频流和音频流。婴儿可能存在于视频流的帧中。一个或多个处理器可以分析视频流和音频流以确定婴儿处于非听觉不适状态。非听觉不适状态可以指示小于阈值量的声音存在于音频流中。一个或多个处理器可以基于所确定的非听觉不适状态来确定向看护人输出通知。一个或多个处理器可以将指示非听觉不适状态的警报传输给终端用户设备。

在一些实施例中，描述了一种计算机程序产品。所述计算机程序产品包括程序代码的部分，所述程序代码的部分当被婴儿监视系统的一个或多个处理器执行时，使所述一个或多个处理器：接收视频流和音频流，其中，婴儿存在于视频流的帧中；分析视频流和音频流，以确定婴儿处于非听觉不适状态，其中：非听觉不适状态指示小于阈值量的声音存在于音频流中；基于所确定的非听觉不适状态来确定将通知输出给看护人；以及将指示非听觉不适状态的警报传输给终端用户设备。

附图说明

通过参考以下附图可以实现对各种实施例的性质和优点的进一步理解。在附图中，类似的组件或特征可以具有相同的附图标记。此外，可以通过在附图标记之后加上用于在类似组件之间进行区分的破折号和第二附图标记来区分相同类型的各种组件。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同的第一附图标记的任何类似组件，与第二附图标记无关。

图1示出了婴儿监视系统的实施例。

图2示出了作为基于云的主机系统的一部分并入的婴儿监视系统的实施例。

图3示出了婴儿处于非听觉不适的实施例。

图4示出了其中婴儿监视系统可以操作的智能家庭环境的实施例。

图5示出了用于基于婴儿行为发出警报的方法的实施例。

图6示出了用于基于婴儿行为激活和停用音频流的方法的实施例。

具体实施方式

婴儿的啼哭可能会向父母警报婴儿处于痛苦中，但有时婴儿不会可听地指示他的痛苦。例如，如果婴儿在入睡时翻腾，在预期婴儿入睡时醒着并且四处移动，或更糟糕的是，婴儿窒息、缠在被褥上或以其他方式处于危险姿势，则婴儿处于痛苦中但是可能不会啼哭。因此，在一些情况下，父母可能希望得到这种令人担忧的情况发生的警报。

尽管婴儿没有发出强烈的啼哭或其他形式的可听声音，但可听警报可能是通知父母婴儿正在经受不适的有效方法。例如，在家时，父母可能倾向于不经常携带婴儿监视器或计算机化设备，诸如智能手机。因此，婴儿监视器或计算机化设备呈现的视觉警报可能会在时间段内未被注意。然而，尽管父母可能与输出可听警报的设备相距一定距离，但是父母可能仍会听到可听警报。

可以使可听警报来模仿婴儿并指示婴儿的痛苦程度。可听警报可以是婴儿啼哭的记录、另一婴儿啼哭的记录或合成的啼哭。在一些实施例中，可以使用不同形式的可听警报，诸如钟声或哔哔声。可听警报的音量可以被控制为指示所确定的婴儿痛苦级别。使用模仿婴儿的自然反应(诸如啼哭)的可听警报可能有助于触发父母，尤其是母亲，的生理响应。与其他形式的警报相比，这种生理响应可以触发父母的更立即的行动。

在常规的婴儿监视器布置中，音频可以作为流连续地传输到婴儿监视器接收器。这种布置可能导致父母听到许多不重要的声音，诸如婴儿打喷嚏、咳嗽或入睡。本文详述的布置还可用于停用和重新激活音频流的传输和/或输出。当声音的持续时间足够长和/或声音足够大以超过预定义阈值时，可能会发生重新激活音频流的传输和/或输出。

本文件反复提及“婴儿”。然而，应理解，该术语通常可以适用于四岁以下的儿童。然而，应理解，本文详述的实施例对于监视可能大于四岁的其他人可能也是有用的。例如，本文详述的实施例对于监视难以沟通的老人可能是有用的。此外，本申请反复提及“父母”。虽然收养父母或亲生父母通常是婴儿的监护人，然而，应理解，本文详述的实施例可以适用于父母以外的其他人，诸如任何形式的监护人、看孩子的人、保姆，亲戚、护士、医疗专业人员，或通常是监视婴儿的任何人，或可能从监视中受益的其他类型的人。

图1示出了用于监视婴儿以确定婴儿是否处于不适状态并向监护人警报的系统100的实施例的方框图。系统100可以包括：流摄像机110、婴儿监视器接收器120、一个或多个网络(“网络”)130、婴儿监视系统140和终端用户设备170。流摄像机110可以使用相机捕捉视频帧流，并使用一个或多个麦克风捕捉音频流。在一些实施例中，可以使用单独的设备来捕捉音频流。这些视频帧和音频流可以经由一个或多个网络传输到婴儿监视系统140。网络130可以包括局域网和互联网。在一些实施例中，流摄像机使用有线通信与网关设备通信，网关设备继而与互联网通信。流摄像机110可以包括：有线或无线通信接口；相机；麦克风；一个或多个处理器；和/或一个或多个集成灯。流摄像机110可以提供多种功能。流摄像机110可以用作婴儿监视器发射器，也可以用作摄像机设备，诸如安全系统的一部分。流摄像机110捕捉的视频和可能的音频可以由基于云的服务器系统存储。这样的视频和/或音频也可以实况流传输到一个或多个终端用户设备，诸如最终用户设备170。在一些实施例中，诸如当正在使用流摄像机110来监视婴儿时，可以将视频和/或音频(可能直接或经由网络130)传输到婴儿监视器接收器120。

婴儿监视器接收器120可以从流摄像机110接收视频和/或音频。这样的视频和/或音频可以经由网络130直接从流摄像机110传输到婴儿监视器接收器120，或者经由网络130被婴儿监控系统140中继。婴儿监视器接收器120可以包括扬声器和电子显示器。这样的布置允许由流摄像机110捕捉的视频和音频被实时地输出(例如，在视频和音频被捕捉的一秒钟之内)，以供父母观看和/或收听。在一些实施例中，音频被放大并连续输出。为了省电，婴儿监视器接收器120的电子显示器可以被父母(或如上所述的进行监视的另一方)启用和禁用。婴儿监视系统140可以集成为婴儿监视器接收器120的一部分。

婴儿监视系统140可以经由可以包括互联网的一个或多个网络130与流摄像机110、婴儿监视器接收器120和/或终端用户设备170通信。婴儿监视器系统140可以包括一个或多个计算机系统。关于图2提供了关于婴儿监视器系统140的更多细节。在一些实施例中，不是将婴儿监视器系统140作为一个或多个云可访问计算系统的一部分并入，而是将婴儿监视器系统140作为流摄像机110、婴儿监视器接收器120和/或终端用户设备170的一部分并入。因此，作为流摄像机110、婴儿监视器接收器120和/或终端用户设备170的一部分并入的一个或多个处理器可以执行关于婴儿监视器系统140讨论的一些或全部任务，关于图2详述该婴儿监视器系统140。

终端用户设备170可以用作婴儿监视器接收器。终端用户设备170可以包括扬声器和显示器，扬声器和显示器允许输出由流摄像机110捕捉的视频和音频以进行呈现。终端用户设备170可以是各种形式的计算机化设备，诸如智能手机、游戏设备、平板计算机或膝上型计算机。本机应用可以安装在终端用户设备170上并由其执行，以允许输出流摄像机110所捕捉的视频和音频。在一些实施例中，流摄像机110捕捉的视频和音频可以被传输到婴儿监视系统140，以进行存储和处理。然后，婴儿监视系统140可以将视频和/或音频传输到终端用户设备170，以经由应用或经由可使用终端用户设备170访问的网站进行输出。

流摄像机110、终端用户设备170和/或婴儿监视器接收器120可以用作智能家庭环境的一部分。在智能家庭环境中起作用的智能设备可以用于收集有关占用者的数据和/或输出可听通知，诸如基于婴儿监控系统140输出的警报。因此，例如，如果在家中安装了家庭助理设备，则家庭助理设备可以用于基于流摄像机110捕捉的视频来输出可听通知。关于这种智能家庭环境的进一步细节将关于图4进行详细描述。

图2示出了作为基于云的主机系统200的一部分并入的婴儿监视系统的实施例。除了其他功能之外，还可以由基于云的主机系统200执行婴儿监视系统140。基于云的主机系统200的功能可以是诸如从流摄像机110接收和存储视频流和/或音频流。流处理引擎210可以从包括流摄像机110的许多流摄像机接收视频流和音频流。接收到的视频流和音频流可以被存储到存储215达至少一个时间段。存储215可以表示一种或多种非暂时性处理器可读介质，诸如硬盘驱动器、固态驱动器或存储器。如果链接到所接收到的视频的管理账户启用了婴儿监视，则流处理引擎210可以将视频和音频路由到婴儿监视系统140。

视频流和音频流216可以表示由存储215存储达至少一个时间段的各种视频流和音频流。基于云的主机系统200可以将这样的视频流存储定义的时间窗口，诸如一周或一个月。管理账户数据库217可以存储许多用户账户的账户信息。给定管理账户的账户信息可以包括用户名、密码、与管理账户链接的各种设备的指示(例如，流摄像机110和终端用户设备170)。通过登录到特定的管理账户，终端用户可能能够访问与该管理账户链接的视频流和音频流216的存储的视频流和音频流。终端用户也可能能够实况(即，实时或近实时)流传输视频和/或音频。

流处理引擎210可以对接收到的视频流和音频流执行各种处理功能。如果要分析特定的视频流和/或音频流以确定婴儿是否不适，则流处理引擎210可以将子集或所有视频帧和音频数据路由到婴儿监视系统140。在一些实施例中，为了在仍保持高准确度的同时降低所执行的处理量，婴儿监视系统140可以分析流处理引擎210接收的仅一些帧。例如，可以仅将每秒的一帧或两帧路由到婴儿监视系统140。应理解，视频流和音频流可以作为视频数据和音频数据的单个流共存，或者可以是不同的流。

婴儿监视系统140可以包括婴儿分析引擎250、不适状态引擎260、不适状态数据库261、警报引擎270、警报数据库271以及音频传输控制引擎280。可以使用诸如可以是分布式的服务器的一个或多个计算系统来执行婴儿监视系统140的功能。这些服务器可以专用于执行婴儿监视系统140的任务，或者可以执行其他附加功能。

婴儿分析引擎250可以分析接收到的音频和视频以确定是否应向父母警报被监视的婴儿处于不适，诸如非听觉不适。“非听觉不适”被定义为其中婴儿没有生成大声和/或持续声音(例如，啼哭)的不安状态。因此，非听觉不适警报意在向父母或另一方警报婴儿处于其中婴儿没有生成大声和/或持续声音的不安状态。音频检测引擎255可以监视从流处理引擎210接收的音频流，以确定婴儿是否正在发出超过定义的声音阈值级别的连续声音。音频检测引擎255可以存储声音的预定义阈值级别。如果记录的声音超过此阈值，则可能不会将婴儿视为非听觉不适。相反，这种情况可能与诸如其中婴儿正在啼哭的常规不适更为一致。除了声音的音量之外，还可以通过音频检测引擎255分析声音的持续时间。可以与声音的最大音量一起分析声音的持续时间(或时间段内声音的平均分贝级别)。例如，为了将音频输出到设备以供父母收听，声音可能需要超过阈值级别，并且可能需要在预定义持续时间内平均高于第二定义阈值。这样的布置可以防止诸如婴儿打喷嚏或咳嗽之类的简短声音触发将音频输出到设备从而被父母观看和/或收听。

确定婴儿处于非听觉不适的条件可能是，在婴儿环境中检测到的声音(例如，婴儿生成的声音，婴儿附近物体产生的声音)的音量足够低，以使该音量或测得的分贝级别保持在预定义阈值水平以下。超过预定义阈值级别的任何声音都可能需要足够短的持续时间，以在声音比定义的阈值大声时，不超过预定义持续时间。例如，婴儿的打喷嚏或咳嗽声可能足够大声以超过音量阈值，但可能不会超过预定义阈值持续时间。相反，婴儿的持续啼哭可能超过音量阈值和预定义时间阈值两者。在其他实施例中，持续时间和音量的可变组合可以用于确定婴儿是否非听觉不适。在婴儿的环境中(例如，由婴儿本身)生成的声音的音量越大，为了确定是否存在不适情况可能必需的声音持续时间越短。例如，烟雾检测器或一氧化碳检测器发出的“电量不足”啾啾声可能会持续时间很短，但声音足够大声，使得视频流和音频流中接收到的视频和/或音频会被立即输出给终端用户，或者输出一些其他形式的警报以将情况通知给父母。

婴儿辨识引擎251可以执行对象辨识过程以确定婴儿是否存在于流摄像机的视场内及其存在于流摄像机的视场内何处。婴儿辨识引擎251可以经训练以辨识婴儿。例如，神经网络过程可能会暴露于大量的训练图像和/或视频，这些图像和/或视频包括和不包括婴儿。这种训练集可以用于允许神经网络过程“学习”如何识别帧和/或视频流内的婴儿。可以将由婴儿辨识引擎251确定为与婴儿相对应的视频部分传递给运动检测引擎252。

运动检测引擎252可以确定婴儿的移动量。婴儿表现出的移动量越大，就可以认为婴儿处于的痛苦越大。可以随时间测量移动量。例如，可以在滚动的时间窗口内对移动量进行分类或评分。作为运动如何反映不适的示例，当婴儿可能正在睡觉时，如果婴儿不断地翻腾和转身，则婴儿可能会处于某种形式的不适，诸如太热或太冷。可以基于定义的时间窗口内的移动幅度来确定运动量。

姿势检测引擎253可以确定婴儿的姿势。姿势检测引擎253可以确定婴儿是否站立、跪着、躺下、爬行、行走、攀爬或处于一些其他静止或移动姿势。姿势检测引擎253也可能能够确定婴儿是否正在离开相机的视场。例如，如果流摄像机对准婴儿床，则离开视场的婴儿可能特别令人担忧，因为这可能指示婴儿正在从婴儿床中爬出来。

如果婴儿的面部大致指向流摄像机，则眼睛状态分析引擎254可以分析婴儿眼睛的状态。如果婴儿的眼睛睁开，则这种眼睛状态可以指示婴儿处于醒来。如果婴儿闭上眼睛，则这种眼睛状态可以指示婴儿正在入睡。眼睛状态分析引擎254可以被训练为辨识睁开和闭上的眼睛，诸如通过检测眼睛瞳孔、眼白和/或虹膜。

不适状态引擎260可以使用来自运动检测引擎252、姿势检测引擎253、眼睛状态分析引擎254以及音频检测引擎255的数据来确定是否应将非听觉不适警报传输给父母或其他形式的用户。为了使非听觉不适警报具备进行传输的条件，可能要求由音频检测引擎255检测到的音频基于声音的测得音量和/或持续时间是足够低的而合格。如果由音频检测引擎255检测到的音频不合格，仍可以通知父母或用户，然而可以传输除了非听觉不适警报之外的警报形式。不适状态引擎260可以分析由运动检测引擎252检测到的运动量、由姿势检测引擎253确定的婴儿的当前姿势以及由眼睛状态分析引擎254检测到的婴儿眼睛的状态。不适状态引擎260可以访问不适状态数据库261来确定运动、姿势和/或眼睛状态的特定组合是否应引起经由终端用户设备、婴儿监控器接收器或者已经通过与流摄像机的相同管理账号链接的家庭自动化设备将非听觉不适警报传输给父母或其他形式的用户。

不适状态数据库261可以是例如要引起不适状态引擎260触发警报引擎270以传输非听觉不适警报的可能组合的表。表1列出了要传输警报的各种示例。此外，不适状态数据库261可以指示不适状态的严重性或级别。这种严重性或级别可能会影响警报的输出方式，诸如警报输出的音量。

表1

在确定是否应发送非听觉不适警报并分配严重性或级别不适警报之后，不适状态引擎260可以将数据传输到警报引擎270。警报引擎270可以将警报传输到终端用户设备或婴儿监视器接收器以进行输出。警报引擎270可以访问管理账户数据库217以确定与所分析的视频和音频馈送链接的用户账户。因此，只有与视频流和音频流所链接到的相同管理账户链接的父母或其他授权用户才能收到警报。警报引擎270可以访问警报数据库271，以基于级别选择要输出的警报的类型。警报数据库271可以存储不同的音量级别，可以基于非听觉不适警报的严重性级别以所述音量级别输出警报。在一些实施例中，警报数据库271可以存储正针对其输出警报的婴儿的预先记录的啼哭。在其他实施例中，可以输出所存储的通用记录或合成的啼哭作为非听觉不适警报的听觉指示。可以基于非听觉不适警报的严重性或级别来改变啼哭的类型或啼哭的音量。在一些实施例中，警报数据库271可以存储用于警告父母或用户的其他声音，诸如叮叮声、钟声或啾啾声。在一些实施例中，警报数据库271由将要输出警报的设备存储，而不是由婴儿监视系统140存储。例如，警报数据库271可以由终端用户设备存储，诸如作为安装在终端用户设备上的应用的部分。

音频传输控制引擎280可以用于控制何时将音频流传输到婴儿监视器接收器、终端用户设备和/或智能家庭设备。音频传输控制引擎280可以可替代地控制婴儿监视器接收器、终端用户设备和/或智能家庭设备何时输出音频流。常规而言，婴儿监视器接收器可以连续地输出来自监视婴儿的音频捕捉设备(诸如流摄像机)的音频。相反，本文详述的布置可以通过滤除无关紧要的声音来停止传输或输出音频，以节省功率和/或减少对执行监视的父母的干扰。音频传输控制引擎280可以基于以下来停止将音频流传输给婴儿监视器接收器、终端用户设备和/或智能家庭设备：1)音频音量保持在阈值音量级别以下达至少预定义时间段；2)不适状态引擎260确定婴儿不处于不适状态；3)如果在婴儿附近检测到的声音超过阈值音量级别，但是没有超过阈值音量级别达多于预定义偏移时间段。因素3可以帮助音频传输控制引擎280滤除诸如婴儿打饱嗝、打嗝、咳嗽或打喷嚏的轻微噪声以防终端用户设备输出并打扰父母。如果违反了任何因素，则音频传输控制引擎280可以使音频流在再次停止传输或输出之前，被传输到婴儿监视器接收器、终端用户设备和/或智能家庭设备和/或由这些设备输出。当由不适状态引擎260检测到不适事件时，即使该不适事件可能是非听觉的，音频传输控制引擎280也可以使音频流被输出到婴儿监视器接收器、终端用户设备和/或智能家庭设备，以允许父母可以在婴儿可能痛苦时对其进行密切监视。应理解，可以对视频执行类似的传输和/或输出控制。

图3示出了婴儿处于非听觉不适的实施例300。在实施例300中，婴儿301在婴儿床上睁开眼睛坐起来。婴儿301位于流摄像机110的如虚线305所指示的视场内。在实施例300中，婴儿301没有发出任何大声的声音，并且婴儿所位于的环境通常是安静的。在该示例中，可以基于对婴儿301的分析，将非听觉不适警报传输给父母或其他形式的监护人的设备。对婴儿301的分析可以确定婴儿正在少量移动、处于坐着姿势并且睁开眼睛。通过查询不适状态数据库261，不适状态引擎260可以确定传输具有低严重性的非听觉不适警报。这可以涉及由终端用户设备、婴儿监视器接收器和/或智能家庭设备输出记录或合成的啼哭。使用模仿婴儿自然响应(例如，啼哭)的可听警报可能有助于触发父母，尤其是母亲，的生理响应。与其他形式的警报相比，这种生理响应可以触发父母采取更立即的行动。在其他实施例中，可以使用不同形式的声音来向父母或用户警报非听觉不适警报。在一些实施例中，非听觉不适警报具有视觉组成部分，诸如屏幕上的通知。在一些实施例中，通知可以采取在终端用户设备上激活的婴儿301的实况视频馈送的形式。

图4示出了其中可以监视婴儿的智能家庭环境400的实施例。流摄像机可以被合并为智能家庭环境的一部分。另外或可替代地，流摄像机可以被合并为一些其他智能家庭设备的一部分，诸如关于智能家庭环境400详述的那些设备。

智能家庭环境400包括具有各种集成设备的结构450(例如，房屋、日托所、办公楼、车库或移动房屋)。应明白，设备也可以被集成到不包括整个结构450的智能家庭环境400中，诸如公寓或私有公寓。此外，智能家庭环境400可以控制和/或耦合到实际结构450之外的设备。智能家庭环境400中的多个设备确实不需要物理上位于结构450内。例如，控制泳池加热器监视器414或灌溉系统监视器416的设备可以位于结构450之外。

应明白，“智能家庭环境”可以指用于诸如单户住宅的家庭的智能环境，但是本教导的范围不限于此。本教导也可以适用于但不限于双层寓公、联排别墅、多单元公寓楼、酒店、零售店、办公楼、工业建筑，更一般地说是任何居住空间或工作空间。

本文详述的非听觉不适警报可以由各种智能家庭设备输出。例如，如果正在监视婴儿，则父母可能会在整个家庭中移动。因此，非听觉不适警报的指示由诸如在智能家庭环境400中详述的那些设备的一个或多个智能设备在整个家庭中输出可能是有用的。

还应明白，尽管可能使用术语用户、客户、安装者、房主、居住者、客人、房客、房东、维修人员等来指代在本文所述的某些特定情况的场境中行动的一个人或多个人，但这些引用并非关于执行此类动作的一个或多个人将本教导的范围进行限制。因而，例如，在单户住宅的情况下，术语用户、客户、购买者、安装者、订户和房主可能经常指同一个人，因为户主通常是做出购买决定、购买该单元，以及安装和配置该单元的人，也可能是该单元的用户之一。然而，在其他情况下，诸如房东-租户环境，就购买单位而言，客户可能是房东，安装者可能是本地公寓管理员，第一用户可能是房客，第二用户可能又是关于远程控制功能性的房东。重要的是，虽然执行该动作的人的身份可能与一个或多个实施方式所提供的特定优点密切相关，但这种身份不应在之后的描述中解释为必然将本教导的范围限制为具有哪些特定身份的那些特定个人。

所示结构450包括经由墙壁454至少部分地彼此分开的多个房间452。墙壁454可以包括内墙壁或外墙壁。每个房间都可以进一步包括地板456和天花板458。设备可以安装在墙壁454、地板456或天花板458上，与其集成和/或被这些结构支撑。

在一些实施方式中，智能家庭环境400的集成设备包括智能、多感测、联网的设备，这些设备在智能家庭网络(例如，图2的202)中彼此无缝集成和/或与中央服务器或云计算系统无缝集成，以提供各种有用的智能家庭功能。智能家庭环境400可以包括一个或多个智能、多感测、联网的恒温器402(下面称为“智能恒温器402”)、一个或多个智能、联网、多感测的危险检测单元404(下面称为“智能危险检测器404”)、一个或多个智能、多感测、联网的入口接口设备406和420(下面称为“智能门铃406”和“智能门锁420”)，以及一个或多个智能、多感测、联网的报警系统422(下面称为“智能报警系统422”)。

在一些实施方式中，一个或多个智能恒温器402检测周围气候特征(例如，温度和/或湿度)并相应地控制HVAC系统403。例如，相应的智能恒温器402包括周围温度传感器。

一个或多个智能危险检测器404可以包括指向相应热源(例如，炉灶、烤箱、其他电器、壁炉等)的热辐射传感器。例如，厨房453中的智能危险检测器404包括指向炉灶/烤箱412的热辐射传感器。热辐射传感器可以确定其指向的相应热源(或其一部分)的温度，并且可以提供对应的黑体辐射数据作为输出。

智能门铃406和/或智能门锁420可以检测人接近或离开某一位置(例如，外门)、控制门铃/门锁定功能性(例如，从便携式电子设备466-1接收用户输入，以致动智能门锁420的螺栓)、经由音频或视觉手段宣布人的接近或离开，和/或控制安全系统上的设置(例如，当占用者进出时激活或停用安全系统)。在一些实施方式中，智能门铃406包括相机418-1的组件和特征中的一些或全部。在一些实施方式中，智能门铃406包括相机418-1，因此在本文件中也被称为“门铃相机406”。相机418-1和/或418-2可以用作关于本文的各个实施例详述的流摄像机(类似于流摄像机110)和流音频设备。相机418可以安装在诸如室内的位置并安装到墙壁上，或者可以是可移动的并放置在表面上，诸如关于相机418-2所示。相机418的各种实施例可以安装在室内或室外。为了执行婴儿监视，可以将相机418放置在婴儿偶尔位于的位置附近，诸如婴儿床、婴儿围栏、摇篮、床等。

智能报警系统422可以检测到近距离内个人的存在(例如，使用内置的IR传感器)、发出报警(例如，通过内置扬声器，或者通过向一个或多个外部扬声器发送命令)，并向智能家庭环境400内部/外部的实体或用户发送通知。在一些实施方式中，智能报警系统422还包括一个或多个输入设备或传感器(例如，小键盘、生物特征扫描仪、NFC收发器、麦克风)来验证用户的身份，并包括一个或多个输出设备(例如，显示器、扬声器)。在一些实施方式中，智能报警系统422也可以被设置为布防模式，使得检测到触发条件或事件使得报警被听到，除非执行了撤防动作。在本文详述的实施例中，报警系统可以与除相机418的提供商以外的服务提供商链接。这样，由报警系统提供的远程服务可以由不提供视频和/或音频存储和分析的实体提供。

在一些实施方式中，智能家庭环境400包括一个或多个智能、多感测、联网的墙壁开关408(下面称为“智能墙壁开关408”)，以及一个或多个智能、多感测、联网的墙壁插头接口410(下面称为“智能墙壁插头410”)。智能墙壁开关408可以检测周围照明条件，检测房间占用状态，并控制一个或多个灯的电力和/或暗淡状态。在一些情况下，智能墙壁开关408还可以控制诸如吊扇的风扇的功率状态或速度。智能墙壁插头410可以检测房间或封闭空间的占用并控制向一个或多个墙壁插头的供电(例如，使得如果没有人在家，则不向插头供电)。

在一些实施方式中，图4的智能家庭环境400包括多个智能、多感测、联网的电器412(下面称为“智能电器412”)，诸如冰箱、炉灶、烤箱、电视、洗衣机、干衣机、灯、音响、对讲系统、车库门开启器、落地扇、吊扇、壁式空调、泳池加热器、灌溉系统、安全系统、空间加热器、窗式AC单元、电动风管通风口等。在一些实施方式中，当插入时，电器可以诸如通过指示家用电器是什么类型来向智能家庭网络宣告其自身，并且它可以自动地与智能家庭的控件集成。可以通过有线或无线通信协议来促进电器与智能家庭的这种通信。智能家庭还可以包括各种非通信遗留电器440，诸如旧的传统洗衣机/干衣机、冰箱等，它们可以由智能墙壁插头410控制。智能家庭环境400还可以包括各种部分通信遗留电器442，诸如红外(“IR”)控制的壁式空调或其他IR控制的设备，这些设备可以通过智能危险检测器404或智能墙壁开关408提供的IR信号来控制。

在一些实施方式中，智能家庭环境400包括一个或多个联网的相机418，这些相机被配置成在智能家庭环境400中提供视频监视和安全性。相机418可以用于确定结构450和/或结构450中的特定房间452的占用，因而可以用作占用传感器。例如，可以处理由相机418捕捉的视频，以识别结构450中(例如，特定房间452中)占用者的存在。可以基于例如其外观(例如，身高、面部)和/或移动(例如，他们的行走/步态)来识别特定个人。相机418可以另外包括一个或多个传感器(例如，IR传感器、运动检测器)、输入设备(例如，用于捕捉音频的麦克风)和输出设备(例如，用于输出音频的扬声器)。在一些实施方式中，相机418每个都被配置成以白天模式和低光照模式(例如，夜间模式)操作。在一些实施方式中，相机418每个都包括一个或多个IR照明器，以在相机以低光照模式操作时提供照明。在一些实施方式中，相机418包括一个或多个室外相机。在一些实施方式中，室外相机包括附加特征和/或组件，诸如防风雨罩和/或太阳光线补偿。

智能家庭环境400可以另外或可替代地包括一个或多个其他占用传感器(例如，智能门铃406、智能门锁420、触摸屏、IR传感器、麦克风、周围光传感器、运动检测器、智能夜灯470等)。在一些实施方式中，智能家庭环境400包括射频识别(RFID)读取器(例如，在每个房间452中或其一部分中)，其基于位于或嵌入在占用者身上的RFID标签来确定占用。例如，RFID读取器可以集成到智能危险检测器404中。

智能家庭环境400还可包括与处于物理家庭外部但在家庭的邻近地理范围内的设备进行通信。例如，智能家庭环境400可以包括泳池加热器监视器414，该泳池加热器监视器将当前泳池温度传达给智能家庭环境400内的其他设备和/或接收用于控制泳池温度的命令。类似地，智能家庭环境400可以包括灌溉系统监视器416，其传达关于智能家庭环境400内的灌溉系统的信息和/或接收用于控制这些灌溉系统的控制信息。

智能家庭助理419可以具有连续收听周围环境的一个或多个麦克风。智能家庭助理419可能能够响应用户提出的口头查询，该口头查询可能前面是触发短语。智能家庭助理419可以将音频和可能地，将视频(如果将相机集成为设备的一部分)流传输到基于云的主机系统464(其表示图2的基于云的主机系统200的实施例)。在一些实施例中，用户可以向智能家庭助理419提出关于由相机418中的至少一个监视的婴儿的查询。智能家庭助理419可以是可以通过其可以输出非听觉不适警报和/或可以输出来自流摄像机的音频流的智能设备。例如，如果在婴儿附近测得的音频音量足够大声，则可以将该音频流传输到智能家庭助理419以进行输出。

借助于网络连接，图4的智能家庭设备中的一个或多个还可以允许用户与设备进行交互，即使用户不在设备附近也是如此。例如，用户可以使用计算机(例如，台式计算机、笔记本电脑或平板电脑)或其他便携式电子设备466(例如，移动电话，诸如智能电话)与设备进行通信。可以将网页或应用配置成接收来自用户的通信，并基于通信控制设备和/或向用户呈现关于设备操作的信息。例如，用户可以观看设备(例如，炉灶)的当前设置点温度，并使用计算机调整温度。用户在这种远程通信期间可以处于结构内，或者处于结构外。

如上所述，用户可以使用联网的计算机或便携式电子设备466来控制智能家庭环境400中的智能设备。在一些示例中，一些或全部占用者(例如，居住在家庭中的个人)可以将他们的便携式电子设备466在智能家庭环境400中注册。可以在中央服务器400上进行这样的注册，以将占用者和/或设备认证为与家庭相关联，并向占用者给予使用该设备来控制家庭中的智能设备的许可。占用者可以使用其注册的便携式电子设备466来远程控制家庭中的智能设备，诸如当占用者在上班或度假时。当占用者实际上位于家庭中时，诸如当占用者坐在家庭中的沙发上时，占用者还可以使用其注册的设备来控制智能设备。应明白，代替注册便携式电子设备466或除了注册便携式电子设备466之外，智能家庭环境400还可以推断哪些个人生活在家里并且因此是占用者，以及哪些便携式电子设备466与那些个人相关联。因此，智能家庭环境可以“学习”谁是占用者并允许与那些个人相关联的便携式电子设备466控制家庭中的智能设备。

在一些实施方式中，除了包括处理和感测能力之外，设备402、404、406、408、410、412、414、416、418、420和/或422(统称为“智能设备”)还能够与其他智能设备、中央服务器或云计算系统和/或联网的其他设备进行数据通信和信息共享。可以使用多种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、BluetoothSmart、ISA100.5A、WirelessHART、MiWi等)中的任何一种和/或多种定制或标准有线协议(例如，以太网、HomePlug等)中的任何一种，或者包括本文件提交日期还未开发的通信协议的任何其他适当的通信协议来执行数据通信。

在一些实施方式中，智能设备可以用作无线或有线中继器。在一些实施方式中，智能设备中的第一智能设备经由无线路由器与智能设备中的第二智能设备通信。智能设备可以进一步经由与诸如互联网的网络的连接(例如，网络接口460)彼此通信。通过互联网，智能设备可以与基于云的主机系统464(在本文中也称为基于云的服务器系统、中央服务器系统和/或云计算系统)通信，基于云的主机系统464表示图2的基于云的主机系统200的实施例。基于云的服务器系统464可以与和智能设备相关联的制造商、支持实体或者服务提供商相关联。在一些实施方式中，用户能够使用智能设备本身来联系客户支持，而不是使用其他通信手段，诸如电话或连接互联网的计算机。在一些实施方式中，软件更新被自动地从基于云的服务器系统464发送到智能设备(例如，当可用时、当购买时或以例行间隔)。

在一些实施方式中，网络接口460包括常规网络设备(例如，路由器)，并且图4的智能家庭环境400包括集线器设备480，集线器设备480直接地或经由网络接口460通信地耦合到网络462。集线器设备480还通信地耦合到上述智能、多感测、联网设备中的一个或多个(例如，智能家庭环境400的智能设备)。这些智能设备中的每一个都可选地使用至少在智能家庭环境400中可用的一个或多个无线电通信网络(例如，ZigBee、Z-Wave、Insteon、Bluetooth、Wi-Fi和其他无线电通信网络)与集线器设备480通信。在一些实施方式中，可以经由在智能手机、住户控制器、膝上型计算机、平板计算机、游戏控制台或类似的电子设备上运行的应用来控制集线器设备480和与集线器设备耦合和/或耦合到集线器设备的设备和/或与集线器设备480和与集线器设备耦合和/或耦合到集线器设备的设备交互。在一些实施方式中，这种控制器应用的用户可以查看集线器设备或耦合的智能设备的状态，配置集线器设备以与新引入到家庭网络的智能设备进行互操作，调试新智能设备，以及调整或查看所连接的智能设备的设置等。在一些实施方式中，集线器设备扩展了低能力智能设备的能力，以匹配相同类型的高能力智能设备的能力，集成了多种不同设备类型的功能性——甚至跨不同的通信协议——并被配置成简化新设备的添加和集线器设备的调试。在一些实施方式中，集线器设备480还包括本地存储设备，以存储与智能家庭环境400的智能设备有关的数据或由智能家庭环境400的智能设备输出的数据。在一些实施方式中，数据包括以下中的一个或多个：相机设备输出的视频数据、智能设备输出的元数据、智能设备的设置信息、智能设备的使用日志等。

在一些实施方式中，智能家庭环境400包括本地存储设备490，以存储与智能家庭环境400的智能设备有关的数据或由智能家庭环境400的智能设备输出的数据。在一些实施方式中，数据包括以下中的一个或多个：相机设备(例如，相机418或门铃相机406)输出的视频数据、智能设备输出的元数据、智能设备的设置信息、智能设备的使用日志等。在一些实施方式中，本地存储设备490经由智能家庭网络(例如，图2的智能家庭网络202)通信地耦合到一个或多个智能设备。在一些实施方式中，本地存储设备490经由有线和/或无线通信网络选择性地耦合到一个或多个智能设备。在一些实施方式中，当外部网络条件差时，本地存储设备490用于存储视频数据。例如，当相机418的编码比特率超过外部网络(例如，网络462)的可用带宽时，使用本地存储设备490。在一些实施方式中，本地存储设备490在将视频数据传送到服务器系统(例如，基于云的服务器系统464)之前临时存储来自一个或多个相机(例如，相机418)的视频数据。

在图4的示例性智能家庭环境400中还包括并示出了服务机器人468，每个服务机器人都被配置成以自主方式执行多种住户任务中的任何一种。对于一些实施例，服务机器人468可以分别被配置成以类似于已知的市售设备——诸如，由马萨诸塞州贝德福德的iRobot公司销售的Roomba^TM和Scooba^TM产品——的方式执行地板清扫、地板清洗等。出于本说明的目的，诸如地板清扫和地板清洗之类的任务可以被视为“离开”或“离开时”任务，因为通常更期望在不存在占用者的情况下执行这些任务。对于其他实施例，服务机器人468中的一个或多个被配置成执行任务，诸如为占用者播放音乐、充当占用者的本地化恒温器、充当占用者的本地化空气监测器/净化器、充当本地化婴儿监视器、充当占用者的局部危险检测器等等，通常更期望在占用者存在的情况下立即执行此类任务。出于本说明的目的，这些任务可以被认为是“面向人类”或“以人类为中心”的任务。此外，这样的服务机器人可以具有一个或多个相机和/或麦克风，这些相机和/或麦克风使服务机器人468能够将视频和/或音频流传输到基于云的主机系统464(并因而执行与相机418中的一个类似的流摄像机的功能)。

在充当占用者的本地化空气监测器/净化器时，可以将特定的服务机器人468视为促进占用者的所谓“个人健康区域网络”，目标在于保持占用者附近空间的空气质量处于健康级别。可替代地或与其结合地，可以提供与健康有关的其他功能，诸如监视占用者的体温或心率(例如，使用精细的远程传感器、与随身携带的监视器近场通信等)。当充当占用者的局部危险检测器时，可以将特定的服务机器人468视为促进占用者的所谓“个人安全区域网络”，目标在于确保占用者附近空间中不存在过量的一氧化碳、烟、火等。在占用者识别和跟踪方面类似于上述用于个人舒适区域网络的那些方法的方法同样适用于个人健康区域网络和个人安全区域网络实施例。

根据一些实施例，通过与家中的其他智能传感器进行逻辑集成，根据基于规则的推理技术或人工智能技术进一步提高了个人舒适区域网络、个人健康区域网络、个人安全区域网络和/或服务机器人468的其他此类面向人类的功能性的上述促进，以实现那些面向人类功能性的更好性能和/或以通过能量节约或其他资源节约的方式实现那些目标。因而，对于与个人健康区域网络有关的一个实施例，空气监测器/净化器服务机器人468可以被配置成检测住户宠物是否朝着占用者的当前停留位置移动(例如，使用板上传感器和/或通过与其他智能家庭传感器进行数据通信，以及基于规则的推理/人工智能技术)，如果是这样，则立即提高空气净化率，以为更多空气扩散的宠物皮屑的到来做准备。对于与个人安全区域网络有关的另一实施例，可以通过其他智能家庭传感器向危险检测器服务机器人468告知：厨房中的温度和湿度级别正在升高，厨房在占用者的当前饭厅位置附近，并且响应于这种告知，危险检测器服务机器人468将在推断出周围烟雾级别的任何小幅增加很可能是由于烹饪活动而不是由于真正的危险状况的情况下，暂时提高诸如烟雾检测阈值之类的危险检测阈值。

各种方法可以使用关于图1至图4详述的系统和设备来执行。图5示出了用于基于婴儿行为发出警报的方法500的实施例。这种警报可以被称为非听觉不适警报，因为它表明婴儿感到不适，但是没有发出很大量的声音。方法500可以由婴儿监视系统140执行，婴儿监视系统可以被集成在流摄像机110、婴儿监视器接收器120、终端用户设备170中，或者是作为使用一个或多个远程服务器系统执行的基于云的服务。

在方框505，视频流和音频流可以由流摄像机或其他形式的具有集成相机和麦克风的设备捕捉。在一些实施例中，使用单独的设备捕捉视频和音频。可以将视频和音频流传输到充当婴儿监视系统140的系统或设备。如果将婴儿监视系统140作为流摄像机的一部分并入，则可以在本地分析视频流和音频流，并且不一定要传输。在方框510，婴儿监视系统可以接收视频流和音频流，这可以使用一个或多个基于云的服务器来执行。

在方框515，可以分析音频流以确定平均音频音量是否保持在预定义阈值以下达至少在预定义时间段。这种音量阈值可以由用户设置或可以由服务提供商定义。在一些实施例中，如果超过阈值的偏移短于预定义偏移持续时间，则可以允许在时间段内超过阈值的偏移，而不会触发转换到方框520。这种偏移时间段可能很简短，诸如少于一或两秒钟。例如，婴儿的咳嗽或打喷嚏的持续时间可能足够短，使得方框515仍可以前进到方框525。如果接收到的音频超过平均阈值和/或关于阈值的偏移持续时间长于预定义偏移持续时间，则非听觉不适警报可能不合适，并且方法500可以前进到方框520。在方框520，可以将视频流和/或音频流输出到终端用户设备、智能家庭设备和/或婴儿监视器接收器。例如，接收到的音频可以被传输到终端用户设备并由其输出，使得父母可以听到婴儿正在发出的声音。除了视频流和/或音频流之外或作为替代，终端用户设备还可以输出其他形式的警报，诸如推送通知、报警、哔哔声、合成或记录的语音宣告或钟声。

如果在方框515未超过预定义声音阈值，则方法500可以前进到方框525。方框525至540可以是用于分析所接收的视频流的过程集。在方框525，可以执行对象辨识过程以识别视频流内的婴儿(如果存在)。对象辨识过程可以是神经网络过程，其可以已经使用婴儿图像的训练集进行了训练，以便在相对于流摄像机的各种位置和定向上识别婴儿。可以训练对象辨识过程以在弱光下或基于红外光起作用，以便可以将流摄像机用于在弱可见光环境(例如，夜晚的黑暗房间)下监视婴儿。在方框525，可以将与婴儿相对应的视频流的多个部分与视频流的背景剩余部分隔离。

在方框530，在方框525中隔离的视频流中已被识别为婴儿的部分上，可以执行运动检测以确定婴儿是否在移动，并且可能地，确定婴儿正在移动多大幅度。可以建立与时间链接的各种移动阈值。阈值可以定义时间和距离，诸如婴儿是否在十秒钟内移动了不到一英寸。这种移动量可以被分类为“低”移动级别。第二阈值与第一阈值结合可以定义“中”移动级别，诸如在十秒钟内移动大于一英寸但小于六英寸。第三阈值与第二阈值结合可以定义“高”移动级别，诸如在十秒内移动超过六英寸。移动测量可以仅限于婴儿的躯干和/或头部，可能集中于婴儿的四肢，或者可以集中于婴儿的质心的移动量。

在方框535，可以确定婴儿的眼睛状态。当婴儿大致面对流摄像机的方向时，可能确定婴儿的眼睛是否完全睁开、部分睁开或闭上。如果婴儿不面对流摄像机，则方框535可以被跳过，可以不用于评定婴儿的不适级别。与方框525类似，可以将使用训练图像集的训练过程用于训练神经网络，从而识别婴儿眼睛的各种状态。

在方框540，可以评定婴儿的姿势。可以将婴儿的姿势确定为：仰卧、趴着、侧躺、爬行、坐着、无支撑站立、支撑站立、攀爬等。使用训练图像集的训练过程可以用来训练神经网络从而识别各种婴儿姿势。

在方框545，可以做出关于婴儿是否处于非听觉不适状态的确定。方框545可以涉及使用方框525至540的经分析数据。方框545可以涉及基于方框525至540的结果来计算度量。即，可以向各种运动量、各种婴儿眼睛状态以及各种婴儿姿势均分配得分值，该得分值可以用于计算度量值。如果度量值高于定义的阈值(或低于阈值，取决于如何分配点值)，则可以确定婴儿处于不适状态。点值越大(或越低)，不适级别或严重性就越大。在其它实施例中，可以维护表、数据库或其他数据存储布置，该表、数据库或其他数据存储布置将运动、眼睛状态和姿势的特定组合与婴儿是否处于非听觉不适，以及可能地，严重性或级别的确定相关。这种布置可以类似于表1。因此，可以在方框545执行在表内查找。在方框545，如果未确定婴儿处于不适状态(即，确定婴儿处于舒适状态)，则方法500可以返回到方框505从而继续监视婴儿。

在一些实施例中，可以根据方法500将被确定为处于婴儿可能即将醒来(例如，在接下来的五分钟内、在接下来的十分钟内、在接下来的两分钟内)的状态的婴儿类似地确定为处于非听觉不适状态。指示婴儿开始移动(例如，在已经静止不动达扩展的时间段之后，指示睡眠)、眼睛闭上、婴儿处于躺着姿势的视频流可以指示婴儿即将醒来。在这种情况下，在方框555输出的警报(听觉或其他方式)可以指示婴儿可能马上醒来，而不是婴儿感到不适。

如果在方框545确定婴儿处于非听觉不适状态，则方法500可以前进到方框550。在方框550，可以将级别或严重性分配给所确定的不适级别。可以类似于在方框545中对不适状态的确定来分配级别或严重性，诸如通过使用度量或通过在数据库或表中执行查找。级别或严重性可能会影响：是否输出警报和/或如何输出警报。终端用户可能能够定义关于输出警报所需的非听觉不适级别的偏好。警报的类型(例如，听觉，视觉)可以基于级别或严重性。例如，对于低严重性的非听觉不适警报，可以将推送通知或文本发送给终端用户设备。对于中或高严重性警报，可以输出可能由多个智能家庭设备输出的听觉警报。

可以通过视觉和/或听觉形式输出非听觉不适警报。如果父母或其他监护人未监视终端用户设备或婴儿监视器接收器，则听觉形式可能特别有用。用于非听觉不适警报的这种听觉形式可以采取钟声、啾啾声、哔哔声(或在终端用户设备上可用的其他类似铃声的声音)、所记录的婴儿啼哭(诸如正被监视的婴儿或其他一些婴儿的)、合成婴儿啼哭，或所记录或合成的说出语言消息(例如，“Your baby isn’t crying,but seems to be indiscomfort.(您的婴儿没有啼哭，但似乎处于不适)”)的形式。这样的说出消息可能对通告父母以下特别有用：婴儿所在的位置，婴儿处于非听觉不适，婴儿所处不适状态的严重程度以及可能地，婴儿状况的详情，诸如婴儿的姿势、眼睛状态以及婴儿的移动多少。警报输出的音量可以基于不适状态的严重性或级别：不适越大，音量越大。这样的布置可以是用户可配置的。如果将记录或合成的婴儿啼哭用作非听觉不适级别的听觉表示，则啼哭的音量的调整可能会特别有效地通告父母婴儿的不适级别。

在方框555，警报可以由终端用户设备、婴儿监视器接收器和/或诸如关于图4详述的那些设备的一个或多个智能家庭设备输出。在一些实施例中，终端用户设备、婴儿监视器接收器和/或智能家庭设备接收与非听觉不适状态和不适级别有关的信息。然后，接收设备确定是否以及应该如何输出非听觉不适警报。输出的警报可以至少部分地基于所确定的不适级别或严重性。用于警报的声音可以从婴儿监视系统传输到终端用户设备，或者创建声音所需的数据可以由输出设备本地存储以用于输出声音。一个或多个视觉警报可以伴随非听觉警报的听觉表示。例如，如果终端用户设备是智能手机，则视觉消息可以提供有关非听觉不适状态的细节，诸如：时间戳、婴儿的眼睛状态、婴儿的确定姿势、婴儿的移动量、对应于确定婴儿处于不适状态的时间的婴儿视频剪辑、婴儿的实况视频和/或音频馈送、启动婴儿实况视图的选项等。

图6示出了基于婴儿行为来激活和停用传输和/或输出音频流的方法的实施例。方法600可以由可以集成在流摄像机110、婴儿监视器接收器120、终端用户设备170中的婴儿监视系统140执行，或者是作为使用一个或多个远程服务器系统执行的基于云的服务。在其他实施例中，方法600可以由用于输出视频和/或音频的终端用户设备、婴儿监视器接收器或智能家庭设备执行。方法600可以与方法500一起执行。也就是说，作为对是否要输出非听觉警报的分析的一部分，可以对方法600进行评估以确定音频流(和/或视频流)是否应当被终端用户设备、婴儿监视器接收器或智能家庭设备传输和/或输出。

在方框605，视频流和音频流可以由流摄像机或具有集成的相机和麦克风的其他形式的设备捕捉。在一些实施例中，使用单独的设备来捕捉视频和音频。可以将视频和音频传输到充当婴儿监视系统140的系统或设备。如果将婴儿监视系统140作为流摄像机的一部分并入，则可以在本地分析视频流和音频流，并且不一定要传输。在方框610，婴儿监视系统可以接收视频流和音频流，这可以使用一个或多个基于云的服务器来执行。

在方框615，可以确定平均测量的音频音量是否超过预定义阈值达至少定义的时间段。阈值可以是用户定义的或提供商定义的，作为可以是定义的时间段。方框615的阈值确定可以使用与方法500的方框515相同或不同的阈值。如果平均音频音量超过定义的音量阈值达至少定义的时间段，则方法600可以前进到方框625，通过方框625，音频(和/或视频)流被终端用户设备、智能家庭设备和/或婴儿监视器接收器传输和/或输出。如果平均音频音量没有超过定义的音量阈值达至少定义的时间段，则方法600可以前进到方框620。在方框620，停用对音频(和/或视频)流的传输或输出。为了执行方框620，可能需要根据方法500将婴儿分类为处于舒适状态。可以连续地重复方法600，从而确定是否应激活或停用音频(和/或视频)的传输和/或输出。

上面讨论的方法、系统和设备是示例。各种配置可以视需要省略、代替或添加各种程序或组件。例如，在可替代配置中，可以以与所描述的顺序不同的顺序执行这些方法，和/或可以添加、省略和/或组合各个阶段。而且，关于特定配置描述的特征可以在各种其他配置中组合。可以以类似方式组合配置的不同方面和元素。而且，技术在发展，因而，许多元素是示例，并且不限制本公开或权利要求的范围。

在说明书中给出了具体细节，以提供对示例配置(包括实施方式)的透彻理解。然而，可以在没有这些具体细节的情况下实践多种配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以避免使配置模糊。本说明仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，对配置的先前描述将为本领域技术人员提供用于能够实现所述技术的描述。在不脱离本公开的精神或范围的情况下，可以对元素的功能和布置进行各种改变。

同样地，可以将配置描述为以流程图或方框图示出的过程。尽管每个图都可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新布置操作的顺序。一个过程可能具有图中未包括的附加步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以被存储在诸如存储介质的非暂时性计算机可读介质中。处理器可以执行所述任务。

已经描述了几个示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同形式。例如，以上元素可以是较大系统的组件，其中，其他规则可以优先于或以其他方式修改本发明的应用。同样地，在考虑以上元素之前、之中或之后可以采取许多步骤。

Claims (21)

1.一种用于基于婴儿行为来发出警报的方法，所述方法包括：

由婴儿监视系统接收视频流和音频流，其中，婴儿存在于所述视频流的帧中；

由所述婴儿监视系统分析所述视频流和所述音频流以确定婴儿处于非听觉不适状态，其中：

所述非听觉不适状态指示小于阈值量的声音存在于所述音频流中；

由所述婴儿监视系统基于所确定的非听觉不适状态来确定向看护人输出通知；以及

由所述婴儿监视系统将指示所述非听觉不适状态的警报传输给终端用户设备。

2.根据权利要求1所述的用于基于所述婴儿行为来发出警报的方法，进一步包括：

由所述终端用户设备接收指示所述非听觉不适状态的所述警报；

由所述终端用户设备分析指示所述非听觉不适状态的所述警报，以基于所接收的警报来确定听觉警报要被输出；以及

由所述终端用户设备经由扬声器输出所述听觉警报。

3.根据权利要求2所述的用于基于所述婴儿行为来发出警报的方法，其中，经由所述扬声器输出的所述听觉警报是记录的或合成的婴儿啼哭。

4.根据权利要求3所述的用于基于所述婴儿行为来发出警报的方法，进一步包括：

由所述婴儿监视系统基于分析所述视频流来确定不适级别；和

基于所确定的不适级别来确定音量设置，其中，所述听觉警报至少部分地基于所确定的音量设置由所述终端用户设备经由所述扬声器来输出。

5.根据权利要求1所述的用于基于所述婴儿行为来发出警报的方法，其中，分析所述视频流和所述音频流以确定婴儿处于所述非听觉不适状态包括：

执行对象辨识过程以在所述视频流的所述帧内检测婴儿；

执行对在所述视频流的所述帧内检测到的婴儿的运动检测以确定婴儿的运动量；以及

至少部分地基于婴儿的所述运动量来确定婴儿处于所述非听觉不适状态。

6.根据权利要求5所述的用于基于所述婴儿行为来发出警报的方法，其中，分析所述视频流和所述音频流以确定婴儿处于所述非听觉不适状态进一步包括：

确定婴儿的眼睛是睁开的，其中，确定婴儿处于所述非听觉不适状态是至少部分地基于确定婴儿的眼睛是睁开的。

7.根据权利要求1所述的用于基于所述婴儿行为来发出警报的方法，进一步包括：

使用流摄像机捕捉所述视频流和所述音频流；和

通过所述流摄像机将所述视频流和所述音频流传输到基于云的视频分析平台，其中，所述婴儿监视系统作为所述基于云的视频分析平台的部分被并入。

8.根据权利要求1所述的用于基于所述婴儿行为来发出警报的方法，进一步包括：

使用流摄像机捕捉所述视频流和所述音频流，其中，所述婴儿监视系统作为所述流摄像机的部分被并入。

9.根据权利要求1所述的用于基于所述婴儿行为来发出警报的方法，其中，所述非听觉不适状态表示指示预期婴儿即将醒来的醒来前状态。

10.根据权利要求1所述的用于基于所述婴儿行为来发出警报的方法，进一步包括：

基于小于所述阈值量的声音存在于所述音频流中以及婴儿处于舒适状态来停用到所述终端用户设备的流音频信道。

11.一种用于基于婴儿行为来发出警报的婴儿监视系统，包括：

基于云的主机系统，包括：

存储布置，所述存储布置从多个流摄像机接收和存储视频流和音频流；和

婴儿监视系统，包括：

一个或多个处理器；和

存储器，所述存储器与所述一个或多个处理器通信地耦合并且能够由所述一个或多个处理器读取，并且具有存储在其中的处理器可读指令，所述处理器可读指令在由所述一个或多个处理器执行时使所述一个或多个处理器：

接收视频流和音频流，其中，婴儿存在于所述视频流的帧中；

分析所述视频流和所述音频流以确定婴儿处于非听觉不适状态，其中：

所述非听觉不适状态指示小于阈值量的声音存在于所述音频流中；

基于所确定的非听觉不适状态来确定向看护人输出通知；以及

将指示所述非听觉不适状态的警报传输给终端用户设备。

12.根据权利要求11所述的婴儿监视系统，进一步包括由终端用户设备执行的应用，所述应用被配置成：

接收指示所述非听觉不适状态的所述警报；

分析指示所述非听觉不适状态的所述警报，以基于所接收的警报来确定听觉警报要被输出；以及

经由扬声器输出所述听觉警报。

13.根据权利要求12所述的婴儿监视系统，其中，经由所述扬声器输出的所述听觉警报是记录的或合成的婴儿啼哭。

14.根据权利要求13所述的婴儿监视系统，其中，所述基于云的主机系统进一步被配置成使得所述处理器可读指令在被执行时进一步使所述一个或多个处理器：

基于分析所述视频流来确定不适级别；和

基于所确定的不适级别来确定音量设置，其中，所述听觉警报至少部分地基于所确定的音量设置由所述终端用户设备经由所述扬声器来输出。

15.根据权利要求11所述的婴儿监视系统，其中，在被执行时使所述一个或多个处理器分析所述视频流和所述音频流以确定婴儿处于所述非听觉不适状态的所述处理器可读指令包括在被执行时使所述一个或多个处理器执行以下操作的处理器可读指令：

执行对象辨识过程，以在所述视频流的所述帧中检测婴儿；

执行对在所述视频流的所述帧中检测到的婴儿的运动检测，以确定婴儿的运动量；以及

至少部分地基于婴儿的所述运动量来确定婴儿处于所述非听觉不适状态。

16.根据权利要求15所述的婴儿监视系统，其中，在被执行时使所述一个或多个处理器分析所述视频流和所述音频流以确定婴儿处于所述非听觉不适状态的所述处理器可读指令包括在被执行时使所述一个或多个处理器执行以下操作的处理器可读指令：

确定婴儿的眼睛是睁开的，其中，确定婴儿处于所述非听觉不适状态是至少部分地基于确定婴儿的眼睛是睁开的。

17.根据权利要求11所述的婴儿监视系统，进一步包括所述多个流摄像机中的流摄像机，其中，所述流摄像机被配置成：

捕捉所述视频流和所述音频流；和

将所述视频流和所述音频流传输到所述基于云的主机系统。

18.根据权利要求11所述的婴儿监视系统，其中，所述非听觉不适状态表示指示预期婴儿即将醒来的醒来前状态。

19.根据权利要求11所述的婴儿监视系统，其中，所述基于云的主机系统进一步被配置成使得所述处理器可读指令在被执行时进一步使所述一个或多个处理器：

基于小于所述阈值量的声音存在于所述音频流中并且婴儿处于舒适状态来停用到所述终端用户设备的流音频信道。

20.一种用于基于婴儿行为来发出警报的婴儿监视系统，所述系统包括：

基于云的主机系统，包括：

存储布置，所述存储布置从多个流摄像机接收和存储视频流和音频流；和

流摄像机，所述流摄像机包括集成的婴儿监视系统，所述集成的婴儿监视系统包括：

一个或多个处理器；和

存储器，所述存储器与所述一个或多个处理器通信地耦合并且能够由所述一个或多个处理器读取，并且具有存储在其中的处理器可读指令，所述处理器可读指令在由所述一个或多个处理器执行时使所述一个或多个处理器：

接收视频流和音频流，其中，婴儿存在于所述视频流的帧中；

分析所述视频流和所述音频流以确定婴儿处于非听觉不适状态，其中：

所述非听觉不适状态指示小于阈值量的声音存在于所述音频流中；

基于所确定的非听觉不适状态来确定向看护人输出通知；以及

将指示所述非听觉不适状态的警报传输给终端用户设备。

21.一种计算机程序产品，所述计算机程序产品包括程序代码的部分，所述程序代码的部分在被婴儿监视系统的一个或多个处理器执行时，使所述一个或多个处理器：

接收视频流和音频流，其中，婴儿存在于所述视频流的帧中；

分析所述视频流和所述音频流，以确定婴儿处于非听觉不适状态，其中：

所述非听觉不适状态指示小于阈值量的声音存在于所述音频流中；

基于所确定的非听觉不适状态来确定将通知输出给看护人；以及

将指示所述非听觉不适状态的警报传输给终端用户设备。

Images