CN101937605B - 基于人脸检测的睡眠监控系统 - Google Patents

Abstract

本发明提出一种基于人脸检测的睡眠监控系统，通过红外/近红外摄像头拍摄人体睡眠的图像，然后对图像中监控区域内的部分进行分析，确定睡眠者的睡眠状态，然后根据分析的结果进行报警。红外/近红外光源不会对人产生影响，因此不会对使用者的睡眠产生干扰。

Description

基于人脸检测的睡眠监控系统

【技术领域】

本发明涉及家庭智能监控领域，特别是关于一种基于人脸检测的睡眠监控系统及其方法。

【背景技术】

儿童包括婴儿由于体质弱、抵抗力差，如果睡眠时着凉可能会引起生病，因此，儿童包括婴儿的睡眠状况是许多家长关心的。可是家长由于工作、休息等的需要，不可能一直陪伴在睡着的孩子旁边。许多家长在晚上睡觉时由于想着孩子是不是踢了被子、是不是半夜醒了等问题而经常睡不踏实，甚至一个晚上去孩子的房间多次。如果存在一种监控系统，当儿童的睡眠状况出现问题时，可以通过提示音提示睡着的或者不在身边的监护人员，可以让监护人员第一时间发现问题并进行解决，这样不仅可以提高儿童的睡眠质量，也可以使监护人员放心地做自己的事情，给她们提供了许多时间。由于是监控睡眠状况，监控系统的存在不应该对睡眠造成干扰。目前已有的家庭用的视频监控系统多是基于可见光环境的，对于睡眠情况监控的应用，可见光的存在可能会降低被监控者的睡眠质量，如果，可见光的强度过低，会降低监控系统的监控效果。对儿童睡眠状况的监控系统还很少，除了踢被子等情况，目前对儿童是否掉下床等相关状况的监控报警系统还很少。

当然，儿童的睡眠监控是其中一个方面，此类情况也可以推广到各种病人或者老人的睡眠监控中。

【发明内容】

本发明的目的在于提供一种基于人脸检测的睡眠监控系统，能够对睡眠者的状态进行监控并及时报警提醒监控者。

为达成前述目的，本发明提供一种基于人脸检测的睡眠监控系统，该睡眠监控系统包括：

图像采集单元，采集监控图像；

图像分析单元，其包括人脸检测模块，人脸检测模块检测人脸的状态，并在检测到的人脸状态为非正常睡眠状态时，发出表示应当进行报警的输出信号；及

报警信息输出单元，其依据图像分析单元的输出信号发出报警信息。

本发明的基于人脸检测的的睡眠监控系统及其方法，通过对睡眠者的监控图像进行人脸检测分析，分析睡眠者的睡眠状态，然后根据分析的结果进行报警。这样不仅可以提高睡眠者的睡眠质量，也可以使监护人员放心地做自己的事情，给她们提供了许多时间。

【附图说明】

图1为实施例中睡眠监控系统的结构框图。

图2为实施例中睡眠监控系统的流程图。

图3A为实施例中踢被监控方法的其中一个实施例的流程图。

图3B为实施例中踢被监控方法的其中一个实施例的流程图。

图3C为实施例中踢被监控方法的其中一个实施例的流程图。

图3D为实施例中踢被监控方法的其中一个实施例的流程图。

图4为实施例中人掉下床监控方法的流程图。

图5为实施例中人在床边缘监控方法的流程图。

图6为实施例中睡醒监控方法的流程图。

图7为实施例中梦魇监控方法的流程图。

【具体实施方式】

本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说，为避免混淆本发明的目的，由于熟知的方法和程序已经容易理解，因此它们并未被详细描述。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的单元顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

请参阅图1所示，其显示本发明一个实施例中基于人脸检测的睡眠监控系统100的结构框图。如图1所示，睡眠监控系统100包括图像采集单元1、图像分析单元2以及报警信息输出单元3。下面将分别介绍各单元的结构。

所述图像采集单元1包括监控区域设定单元11及监控摄像头12。

监控区域设定单元11用于设定监控范围。为了保证监控需要的范围，通常摄像头都安装在较高的位置，此时摄像头摄像的区域中有些是不需要监控的，为了减少后续图像分析的运算量，可以只将床及其附近的区域设定为监控区域。由于床一般为矩形，因此可以通过监控区域设定单元11将四条首尾相连的线段确定的框内的区域作为监控区域。

监控摄像头12用于采集视频图像。对于睡眠情况监控的应用，可见光的存在可能会降低被监控者的睡眠质量，如果，可见光的强度过低，会降低监控系统的监控效果，因此本发明的一个实施例中，所述监控摄像头12采用的是固定红外/近红外摄像头，并从摄像头获取图像。红外/近红外摄像头是指工作在红外/近红外波段的摄像头，要求摄像头的镜头能够通过可见光，传感器能够响应对应波段的光线，并进行成像。红外光是指波长大于700nm的光线，人眼对这个波长的光线是感应不到的，因此利用此波长的光源作为主动光源，不会引起人的不适。常用的是波长为850nm左右的近红外光源和对应的摄像头。在本发明的一个实施例中只是利用一个摄像头，在其他实施例中也可以采用两个或多个摄像头从多个角度进行监控。

请继续参阅图1所示，在一个实施例中前述图像分析单元2包括监控功能选择单元21以及人脸检测模块22、人体检测模块23、床位置分析模块24、被子检测模块25以及比较模块26。

监控功能选择单元21用于选定需要执行的监控功能。所述监控功能可以包括多种监控功能，包括踢被检测、睡觉位置检测、掉下床检测、梦魇检测、睡醒检测等，每种功能的实现将在后面具体的图像分析过程部分中进行详细介绍。针对不同的年龄、不同的睡眠环境，需要的监控功能可能是不同的。比如，孩子使用的是四周带有围栏的儿童床，孩子就不会存在掉下床的危险，因此睡觉位置检测和掉下床检测就是不需要的；如果孩子使用的是睡袋，就不会存在踢掉被子的可能，也就不需要进行踢被检测。根据需要选择少的监控功能，可以降低系统的运算量，降低对设备的要求。因此，在进行监控之前可以通过监控功能选择单元21选择需要进行的监控功能。

人脸检测模块22检测人脸的状态，并在检测到的人脸状态为非正常睡眠状态时，发出表示应当发出报警信号的输出信号。所述非正常睡眠状态包括梦魇状态、睡醒(眼睛睁开)及哭泣等。人脸检测模块22进一步包括表情分析模块221、眼睛检测模块222和哭泣检测模块223。表情分析模块221分析人脸的表情状况，其包括一个经过输入多个正常睡觉表情及梦魇表情的图像训练得到的一个正常睡觉表情与梦魇表情的分类器(未图示)，进行表情分析时输入图像经过该分类器即可确定是正常睡觉表情还是梦魇表情。在检测到梦魇表情时，表情分析模块221发出表示应当进行梦魇报警。眼睛检测模块222检测人体的眼睛是否睁开。眼睛检测模块222在检测到人体的眼睛睁开时发出表示应当进行睡醒报警的输出信号。哭泣检测模块223分析人体是否在哭泣，例如通过检测人脸的嘴巴是否张开，人体的脸部是否有眼泪等方式来判断人体是否在哭泣。。哭泣检测模块223在检测到人体在哭泣时发出表示应当进行哭泣报警的输出信号。人脸检测模块22的检测结果可以单独判断是否需要发出报警信号，例如如果人脸的表情是梦魇表情，或者如果眼睛检测模块222检测到被监控者的眼睛睁开，都可以直接判断需要发出报警信号。

人体检测模块23检测人体的具体位置及状态，其中检测人体状态的包括姿势分析模块231和肤色分析模块232。其中姿势分析模块231分析人体是否是躺下的睡眠姿势，若人体为坐起或站立或蹲下等非睡眠姿势，则人体检测模块23判断需要发出睡醒报警信息。其中肤色分析模块232用于分析人体露出的皮肤是否超过预定值，若人体露在外面的皮肤超过预定值，则表示人体踢被，需要发出踢被报警信息。人体检测模块23的检测结果可以单独判断是否需要发出报警信号，例如如果人体是坐起的，或者人体露出的皮肤超过预定值，都可以直接判断需要发出报警信号。后面将会说明前述人体检测模块23的检测结果也可以与其他模块的检测结果相互结合，共同作为是否需要发出报警信号的判断标准。

床位置分析模块24识别床体的位置。被子检测模块25则检测被子的位置。

比较模块26可以比较人体检测模块23获得的人体位置与床位置分析模块24获得的床体位置以确定人体与床体之间的位置关系，也可以比较人体检测模块23获得的人体位置与被子检测模块25获得的被子位置以确定人体是否有踢开被子，或者通过比较床体位置与被子位置之间的关系来确定人体是否有踢被情形。如果人体的中心位置与床体的中心位置的差值大于预定值，则表示人体在床的边缘，则需要发出可能掉下床报警信息，如果在床体范围内未检测到人体，则表示人在床外，则需要发出睡眠者掉下床报警信息。若人体检测模块23检测的人体中心与被子检测模块25检测的被子中心位置的距离大于预定值，说明人体未盖好被子，则需要发出人体踢被报警信号。若被子中心位置与床体中心位置的差值大于预定值则表示被子位于床外，则需要发出人体踢被报警信号。

所述图像分析单元2还可以进一步包括一个采用大量盖被子和踢被子图像进行训练得到的踢被分类器27，输入图像经过该踢被分类器27即可得出是否踢被的分析结果。如果经过该踢被分类器分析，人体存在踢被的情况，则需要发出踢被报警信号。

请继续参阅图1所示，前述报警信息输出单元3可以根据前述图像分析单元2的各种分析结果输出不同的报警信息，例如在检测到梦魇表情时发出梦魇报警；在检测到人体眼睛睁开时发出睡醒报警；在检测到人体哭泣时发出；哭泣报警。所述报警信息的输出可以采用声音、图像上的字迹闪动等方法进行，可以对不同的监控功能设定不同的报警声音或图案变化，这样监控人员就可以根据报警声音或图像变化的不同知道是何种报警状况，从而快速地进行解决。也可以都采用相同的报警信息。

可以理解地，当睡眠监控系统100只需要人脸检测功能时，睡眠监控系统100的人体检测模块23、床位置分析模块24、被子检测模块25以及比较模块26是可以省略的。相应地，因为只需要人脸检测功能，监控功能选择单元21也是可以省略的。

下面将结合具体实施例对本发明的整个系统的工作流程和方法进行详细说明。

请参阅图2所示，其显示本发明一个实施例中整个睡眠监控系统的工作流程图，如图所示，本发明睡眠监控系统的工作流程包括如下步骤：

步骤21：设定监控区域，由于床一般为矩形，因此可以通过监控区域设定单元将四条首尾相连的线段确定的框内的区域作为监控区域；

步骤22：选择需要监控的功能；

步骤23：启动摄像头进行监控，采集监控区域内的视频图像，并将视频图像数据传输给图像分析单元；

步骤24：图像分析单元对视频图像数据进行分析并将分析结果传输给报警信息输出单元，其中图像分析的具体步骤将在后面逐一详细说明；

步骤25：报警信息输出单元输出不同的报警信号提示监控者。

其中前述图像分析步骤24是根据输入的监控图像和选定的监控功能对图像进行分析，确定是否需要报警，其进一步包含各种不同的监控功能分析，下面分别对几种不同的监控功能的分析过程进行说明。

首先将对踢被监控功能做详细说明。

请参阅图3A所示，其显示踢被检测的一个实施例的流程图，其包括如下步骤：

步骤301：对输入图像中的被子进行检测；

步骤302：对输入图像中的床的位置进行检测；

步骤303：对输入图像中的被子和床的位置进行比较，如果被子与床的位置的差值超过预定值，则认为被子掉下了床，则表示人体没有盖好被子，则报警信息输出单元发出报警信号；如果被子与床的位置的差值小于预定值，返回继续检测。

请参阅图3B所示，其显示踢被检测的另一实施例的流程图，其包括如下步骤：

步骤311：对输入图像进行人体检测，通过肤色分析模块提取肤色区域；

步骤312：计算人体露出皮肤的区域的比例；

步骤313：判断人体露出皮肤的区域的比例是否达到预定值，若人体露出皮肤的区域超过预定值则认为被子被踢掉，则报警信息输出单元发出报警信号；若人体露出皮肤的区域未超过预定值则返回继续进行人体检测。

请参阅图3C所示，其显示踢被检测的再一实施例的流程图，其包括如下步骤：

步骤321：对输入图像进行被子检测；

步骤322：对输入图像进行人体检测；

步骤323：对输入图像中的被子和人体进行比较，如果人体中心与被子中心的位置差值小于预定值，则判断人体是盖着被子，返回继续进行检测；如果人体与被子位置差值超过预定值，则表示睡眠者踢掉了被子，则报警信息输出单元发出报警信号。

请参阅图3D所示，其显示踢被检测的又一实施例的流程图，其包括如下步骤：

步骤331：采集大量的盖被子和踢被子的图像进行训练，得到一个盖被与踢被的分类器；

步骤332：将输入图像经过分类器进行分析；

步骤333：分类器判断人体是否踢被，若人体存在踢被行为，则经过报警信息输出单元发出报警信号，若人体不存在踢被行为，则返回继续进行分析。

下面将对掉下床监控功能做详细说明。

请参阅图4所示，其显示人体掉下床监控的一个实施例的流程图，其包括如下步骤：

步骤401：对输入图像进行人体检测，确定人体的位置；

步骤402：如果在输入图像中未检测到人体，则表示人体已经超出床体的范围，可能掉下了床，此时报警信息输出单元发出报警信号。

下面将对人体睡觉位置监控功能做详细说明。

请参阅图5所示，其显示人体位于床边缘可能掉下床监控的一个实施例的流程图，其包括如下步骤：

步骤501：对输入图像进行人体检测，确定人体的位置；

步骤502：对输入图像进行床体检测，确定床体的位置：

步骤503：将人体位置与床体位置进行比较，如果人体中心位置与床体中心位置的差值超过预定值，则表示人体的睡觉位置是在床的边缘，则认为可能存在掉下床的危险，则报警信息输出单元发出报警信号。

下面将对睡醒监控功能做详细说明。

请参阅图6所示，其显示睡醒监控功能的一个实施例的流程图，其包括如下步骤：

步骤601：输入图像；

步骤602：对输入图像进行人脸检测的眼睛检测，判断眼睛是睁着还是闭着，如果眼睛是睁着，则认为是睡醒，发出报警信号；如果眼睛是闭着，则返回继续检测；

步骤612：对输入图像进行人体行为的人体姿势检测；并判断人体姿势是否是坐起，如果是坐起，则表示睡眠者睡醒，则发出报警信号；

步骤622：对输入图像进行人体行为的哭泣行为检测，并判断人体是否存在张口哭泣或者人体面部有眼泪等哭泣行为。如果人体是在哭泣，则表示睡眠者睡醒，则发出报警信号。

下面将对梦魇监控功能做详细说明。

请参阅图7所示，其显示梦魇监控功能的一个实施例的流程图，其包括如下步骤：

步骤701：采集大量的正常睡觉表情和非正常睡觉表情的图像进行训练得到正常睡觉表情分类器；

步骤702：将图像输入表情分类器进行分析；

步骤703：经过表情分类器的分析，如果表情不是正常的睡觉表情，而是比较紧张奇怪的表情，则表示可能是梦魇了，此时进行梦魇的报警。

本发明提出一种基于红外/近红外摄像头的睡眠监控系统，通过红外/近红外摄像头拍摄人体睡眠的图像，然后对图像中监控区域内的部分进行分析，确定睡眠者是否踢被子、是否接近床的边缘、是否掉下床、是否梦魇、是否睡醒等，然后根据分析的结果进行报警。红外/近红外光源不会对人产生影响，因此不会对使用者的睡眠产生干扰。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (8)

1.一种基于人脸检测的睡眠监控系统，其特征在于其包括：

图像采集单元，采集监控图像；

图像分析单元，其包括人脸检测模块，人脸检测模块包括表情分析模块；表情分析模块判断人脸表情为正常睡眠表情还是梦魇表情，并在检测到人脸表情为梦魇表情时输出表示梦魇的输出信号；

报警信息输出单元，其依据图像分析单元的输出信号发出报警信息。

2.如权利要求1所述的基于人脸检测的睡眠监控系统，其特征在于：所述表情分析模块包括一个经过输入多个正常睡觉表情及梦魇表情的图像训练得到的一个正常睡觉表情与梦魇表情的分类器，进行表情分析时输入图像经过该分类器即可确定是正常睡觉表情还是梦魇表情。

3.如权利要求1所述的基于人脸检测的睡眠监控系统，其特征在于：人脸检测模块包括眼睛检测模块；眼睛检测模块检测人体的眼睛是否睁开，在检测到人体眼睛睁开时，眼睛检测模块输出表示应当进行睡醒报警的输出信号；报警信息输出单元根据该输出信号发出睡醒报警。

4.如权利要求1所述的基于人脸检测的睡眠监控系统，其特征在于：人脸检测模块包括哭泣检测模块，哭泣检测模块检测人体是否哭泣，并在检测到人体哭泣时发出应当进行哭泣报警输出信号；报警信息输出单元根据该输出信号发出哭泣报警。

5.如权利要求1所述的基于人脸检测的睡眠监控系统，其特征在于：所述图像采集单元包括摄像头及用于设定该摄像头监控画面范围的监控区域设定单元。

6.如权利要求5所述的基于人脸检测的睡眠监控系统，其特征在于：所述摄像头为固定红外/近红外摄像头。

7.如权利要求5所述的基于人脸检测的睡眠监控系统，其特征在于：所述摄像头为多个摄像头，该多个摄像头从多个角度进行监控。

8.如权利要求1所述的基于人脸检测的睡眠监控系统，其特征在于：所述报警信息输出单元可以采用声音、图像上的字迹闪动进行报警，可以对不同的监控功能设定不同的报警声音或图案变化。

Images