CN109886137A - 婴幼儿睡姿检测方法、装置及计算机可读存储介质 - Google Patents

婴幼儿睡姿检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109886137A
CN109886137A CN201910076988.2A CN201910076988A CN109886137A CN 109886137 A CN109886137 A CN 109886137A CN 201910076988 A CN201910076988 A CN 201910076988A CN 109886137 A CN109886137 A CN 109886137A
Authority
CN
China
Prior art keywords
convolutional neural
neural networks
face
video image
forms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910076988.2A
Other languages
English (en)
Inventor
陈辉
张晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Star Tour Intelligent Technology Co Ltd
Original Assignee
Wuhan Star Tour Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Star Tour Intelligent Technology Co Ltd filed Critical Wuhan Star Tour Intelligent Technology Co Ltd
Priority to CN201910076988.2A priority Critical patent/CN109886137A/zh
Publication of CN109886137A publication Critical patent/CN109886137A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开一种婴幼儿睡姿检测方法、装置及计算机可读存储介质,所述方法包括:获取婴幼儿睡眠状态的基于可见光的视频图像;通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;判断所述视频图像中是否存在人脸目标;若不存在人脸目标,则将异常信息发送至所述移动终端。本发明具有监控准确,使用方便及安全性高的优点。

Description

婴幼儿睡姿检测方法、装置及计算机可读存储介质
技术领域
本发明涉及婴幼儿监控技术领域,特别涉及一种基于人脸检测器的婴幼儿睡姿检测方法、装置及计算机可读存储介质。
背景技术
婴幼儿在睡觉时经常会翻身、踢被子等,这就有可能出现衣物压迫口鼻情况、未盖被子、越过安全区域以致掉下床等现象,影响婴幼儿的睡眠质量,甚至危害婴幼儿的身体健康,而婴儿的大量时间又处于睡眠状态,因此,一种用于检测婴儿睡姿的设备应运而生。
现有的检测婴儿睡姿的检测方法通常包括两种:一种是采用具有单一传感器的装置监测婴儿的状态;另一种是采用摄像头进行监控。第一种装置采用的传感器通常为光传感器,红外传感器,温度传感器的其中一种,通过这些传感器检测时,传感器通常需要放在被子里面,不方便使用,而且监控不准确,很容易出现误判的情况,反而加重家长的负担。另一种监控方法不仅成本高,而且没有设置交互模块或报警装置,及时出现危险情况或危急情况,家长也可能无法第一时间获知。
发明内容
本发明解决的技术问题是,提供一种监控准确,使用方便及安全性高的婴幼儿睡姿检测方法。
为实现上述目的,本发明提供了一种婴幼儿睡姿检测方法,其包括:
获取婴幼儿睡眠状态的基于可见光或红外光的视频图像;
通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;
判断所述视频图像中是否存在人脸目标;
若不存在人脸目标,则将异常信息发送至所述移动终端。
优选地,所述婴幼儿睡姿检测方法还包括:
将所述视频图像显示在所述移动终端上;
获取用户在所述移动终端上输入的安全休息区;
根据所述视频图像,判断所述人体目标与所述安全休息区的边界距离是否小于预设值;
当所述人体目标与所述安全休息区的边界距离小于预设值时,则发出风险提示信息。
优选地,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。
优选地,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过语音在所述移动终端输入的安全休息区。
优选地,所述通过第一卷积神经网络快速产生候选窗体包括:采用全卷积神经网络对所述视频图像处理,以获得候选窗体和边界回归向量,同时,候选窗体根据边界框进行校准,然后利用非极大值抑制法去除重叠窗体。
优选地,所述通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体包括:将包含所述候选窗体的图片在第三卷积神经网络精炼,该网络选用全连接的方式进行训练,利用边界框向量微调候选窗体,再利用非极大值抑制法去除重叠窗体。
优选地,在所述获取婴幼儿睡眠状态的基于可见光的视频图像之前还包括如下训练步骤:
读入人脸图像;
求人脸样本平均脸;
获取非脸特征;
通过线性分类器进行人脸和非人脸判别,并输出判别结果。
优选地,所述婴幼儿睡姿检测方法还包括:
基于人脸先验知识构建三维人脸的特征点模型;
提取人脸特征点的局部特征并计算特征点间的测地线距离,以获取人脸表述;
将所述人脸表述输入LeNet-5卷积神经网络进行分类,以获取识别结果。
本发明另一方面还提供一种婴幼儿睡姿检测装置,包括:
图像获取模块,用于获取婴幼儿睡眠状态的基于可见光的视频图像;
图像获取模块,用于获取婴幼儿睡眠状态的基于可见光的视频图像;
第一处理模块,用于通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
第二处理模块,用于通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
第三处理模块,用于通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;
判断模块,用于判断所述视频图像中是否存在人脸目标;
信息发送模块,用于若不存在人脸目标,则将异常信息发送至所述移动终端。
本发明另一方面还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述任一所述的婴幼儿睡姿检测方法的各个步骤。
本发明的婴幼儿睡姿检测方法、装置及计算机可读存储介质具有如下有益效果:由于所述方法包括,获取婴幼儿睡眠状态的基于可见光的视频图像;通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;判断所述视频图像中是否存在人脸目标;若不存在人脸目标,则将异常信息发送至所述移动终端。也就是说,通过可见光视频的方式获取婴幼儿睡眠状态,无需与婴幼儿的身体产生接触,能够实时地监控婴幼儿的睡眠状态,此外,通过所述第一卷积神经网络、所述第二卷积神经网络及所述第三卷积神经网络之间的配合,所述人脸目标的识别较准确,因而,不仅用户体验好,而且监控准确,使用方便及安全性高。
附图说明
图1为本发明婴幼儿睡姿检测方法优选实施例的流程图;
图2为本发明婴幼儿睡姿检测装置的原理框图。
具体实施方式
下面结合附图和实施例对发明进行详细说明。需要说明的是,如果不冲突,发明实施例以及实施例中的各个特征可以相互结合,均在发明的保护范围之内。
实施例1
请参阅图1,本发明提供了一种婴幼儿睡姿检测方法,其包括如下步骤:
S100、获取婴幼儿睡眠状态的基于可见光的视频图像;
通过CCD摄像头等基于可见光的摄像装置对婴儿头部所在的预设区域进行拍摄,以获取婴幼儿睡眠状态。
S200、通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
在本发明优选的实施方式中,所述通过第一卷积神经网络快速产生候选窗体包括:采用全卷积神经网络对所述视频图像处理,以获得候选窗体和边界回归向量,同时,候选窗体根据边界框进行校准,然后利用非极大值抑制法去除重叠窗体。
S300、通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
在本发明优选的实施方式中,所述通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体包括:将包含所述候选窗体的图片在第三卷积神经网络精炼,该网络选用全连接的方式进行训练,利用边界框向量微调候选窗体,再利用非极大值抑制法去除重叠窗体。
S400、通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;
具体地,在本实施例中,所述第一卷积神经网络、所述第二卷积神经网络及所述第三卷积神经网络均位于人脸检测器内。原始待检测图像经过改变大小后,生成不同尺寸的图像,并构建图像金字塔作为网络的输入。构建的图像金字塔,其层数由两个因素决定,第一个是设置的最小人脸minSize,第二个是缩放因子factor,最小人脸表示min(w,h),在本实施例中,最小人脸不能小于12,缩放因子为0.709,可以根据公式计算图像金字塔的层数:
minL=org_L*(12/minsize)*factor^(n),n={0,1,2,3,...,N};
其中n就是金字塔的层数,org_L是输入原始图像的最小边min(W,H),minisize是人为根据应用场景设定,在保证minL大于12的情况下,所有的n就构成金字塔的层。所以minsize的值越小,n的取值范围就越大,计算量就相应地增加,能够检测到的人脸越小。
第一阶段通过浅层的卷积神经网络快速生成候选窗口,该网络全部由卷积层实现,获取到候选人脸窗和人脸窗的回归向量,基于人脸窗的回归向量对人脸窗进行校正,然后对所有人脸窗进行非极大值抑制(NMS),合并高度重叠的人脸窗。其具体过程就是通过图像金字塔生成的各种尺寸大小的图片,每一张图都进行一次前向传播,在每个图上得到的结果之后利用设置的阈值去掉一部分,剩下的根据缩放尺度还原到原图上的坐标,将所有的坐标信息汇总,然后进行非极大值抑制去除一部分冗余。
第二阶段再通过一个更复杂的卷积神经网络来处理第一阶段中被误认为人脸的“人脸窗”从而精细化人脸窗,第一阶段的输出作为第二阶段的输入,第一阶段最后产生了大量的边界框,将这些边界框根据缩放因子回推到原图上之后,将他们全部修改尺寸到24x24大小,作为第二阶段的输入。第二阶段经过网络之后同样产生大量的边界框,同样的根据阈值去掉一部分,再利用非极大值抑制法去掉一部分。
最后使用第二阶段中最后留下来的边界框,还原到原来的图片上之后,全部修改尺寸到48x48大小,然后输入到第三阶段,通过第三阶段的卷积神经网络进一步精细化结果并输出人脸上的5个特征点。即通过三阶的级联卷积神经网络对任务进行从粗到细的处理,最终输出人脸框位置和五个特征点位置,其利用检测和校准之间固有的相关性在深度级联的多任务框架下来提升它们的性能,具有精度高和实时性良好的优点。
S500、判断所述视频图像中是否存在人脸目标;
通过对所述视频图像进行处理后,便可获取相对清晰的图像,根据所述图像,便可判断所述视频图像中是否存在人脸目标。
S600、若不存在人脸目标,则将异常信息发送至所述移动终端。
所述移动终端可以是手机、笔记本电脑或智能手表等,在此不做具体限定。所述移动终端上安装有用于收发信息的应用程序(app),用户可通过所述移动终端了解婴幼儿的睡眠状况,因而使用较方便,而且能够较及时地了解婴幼儿的状况,安全性高。
在本发明的实施方式中,所述检测是否存在人脸目标是通过卷积神经网络算法对所述视频图像处理实现。通过卷积神经网络算法对所述视频图像处理,因而较好地避免由于姿势、光照或遮挡等原因导致识别准确性差的问题。
在本发明优选的实施方式中,所述婴幼儿睡姿检测方法还包括:
将所述视频图像显示在所述移动终端上;
用户可以通过远程的移动终端观看视频图像,从而可实时的了解婴幼儿的睡眠状态。
获取用户在所述移动终端上输入的安全休息区;
用户在看到所述视频图像后,可在移动终端上输入安全休息区,以设定安全区域。也就是说,所述安全休息区可随时在移动终端上进行设置,因而可提高安全性,避免了固定设置时婴儿床椅的某个区域由于脱落或损坏导致安全隐患的问题。
根据所述视频图像,判断所述人体目标与所述安全休息区的边界距离是否小于预设值;
所述预设值可根据需要进行设置,其可以是10厘米、15厘米或20厘米等,在此不做具体限定。例如,在没有护栏或者护栏较低的床时,则所述预设值较大,否则所述预设值较小,从而保证安全性。
当所述人体目标与所述安全休息区的边界距离小于预设值时,则发出风险提示信息。
通过实时地将风险提示信息发送给用户的移动终端,因而安全性较高,用户体验好。可以理解的是,所述风险提示信息可以是文字或声音等提示信息,在此不做具体限定。
在本发明优选的实施方式中,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。
也就是说用户通过在手机的显示屏显示的视频图像上通过触摸的方式圈画一个区域,将该区域定义为安全休息区。其中,所述显示屏为触摸屏。该种输入安全休息区的方式较便于用户使用,用户体验好,监控效率高。
在本发明优选的实施方式中,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过语音在所述移动终端输入的安全休息区。
也就是说用户通过语音的方式进行输入,例如,可以输入“距离护栏大于厘米的区域为安全休息区”,则手机等移动终端便自动根据获取的语音信号进行设置所述安全休息区。此种方式较好地避免误触发,以致错发指令的问题。
在本发明优选的实施方式中,在所述获取婴幼儿睡眠状态的基于可见光的视频图像之前还包括如下训练步骤:
读入人脸图像;
求人脸样本平均脸;
获取非脸特征;
通过线性分类器进行人脸和非人脸判别,并输出判别结果。
也就是说,在正式进行婴幼儿睡姿检测之前,首先训练人脸与非人脸样本,以获取人脸与非人脸特征,再利用训练得出的结果用于检测。其中,平均脸是对总体人脸样本求平均,在读入图像后对图像进行处理及特征提取时,先减去平均脸。由于通过线性分类器进行人脸与非人脸两个类别进行分类,因而使两类的类内聚合度很好,从而可提高判别人脸与非人脸的准确率。较佳地,所述线性分类器为Fisher线性分类器。
其中,在本实施例中,通过二维主成分分析方法进行图像特征提取,其方法为:利用原始图像矩阵构造图像的协方差矩阵,然后提取协方差矩阵的特征向量并构建特征矩阵。通过二维主成分分析方法进行图像特征提取,有效的找出数据中最主要的元素和结构,去噪声和冗余,将原有复杂数据降维,同时最大长度的保持了原有数据的信息,较好地避免了现有技术中基于向量进行提取时,运算量大,识别效率低的问题。
在本发明优选的实施方式中,所述婴幼儿睡姿检测方法还包括:
基于人脸先验知识构建三维人脸的特征点模型;
提取人脸特征点的局部特征并计算特征点间的测地线距离,以获取人脸表述;
将所述人脸表述输入LeNet-5卷积神经网络进行分类,以获取识别结果。
在本实施例中,通过Gabor小波提取所述人脸特征点的局部特征,挑选人脸特征点的方法是:该特征点所在的区域属于面部显著区域,即该区域对于识别较为重要,例如,鼻子或/和眼镜区域。其中,所述LeNet-5卷积神经网络为现有技术,在此不再赘述。
所述Gabor小波的表达式为:
x′=xcosθ+ysinθ
y′=-xsinθ+ycosθ
式中:x、y表示空间域像素的位置;θ表示的是旋转方向,在此设置为θ=π/8,2π/8,3π/8,4π/8,5π/8,6π/8,7π/8共8个方向。λ表示波长,设定为λ=1,2,3,4,5共5个尺度;表示相位偏移,一般默认为0;γ代表横纵比,设置为1来平衡水平与垂直方向;σ代表Gabor函数中高斯成分的标准差,默认为1。由此,构建出一个包含40个滤波器的Gabor滤波组。
将三维人脸投影至深度图上,并通过双线性插值法补全人脸。如果只提取特征点本身信息,无法反映出三维数据丰富的几何信息,故使用Gabor滤波器提取特征点邻域特征,设置滤波窗口的大小为3×3,滤波后每个滤波器下的邻域特征扩展为5×5,对每个滤波器下的矩阵求取加权均值,由此每个特征点将具有5×8的矩阵特征描述。该方法对表情变化具有很好的稳健性,不需要人工标定特征点,正确识别率达到97.6%。
由上可知,由于所述方法包括,获取婴幼儿睡眠状态的基于可见光的视频图像;通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;通过第三卷积神经网精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;判断所述视频图像中是否存在人脸目标;若不存在人脸目标,则将异常信息发送至所述移动终端。也就是说,通过可见光视频的方式获取婴幼儿睡眠状态,无需与婴幼儿的身体产生接触,能够实时地监控婴幼儿的睡眠状态,此外,通过所述第一卷积神经网络、所述第二卷积神经网络及所述第三卷积神经网络之间的配合,所述人脸目标的识别较准确,因而,不仅用户体验好,而且监控准确,使用方便及安全性高。
实施例2
请参阅图2,本发明另一方面还提供一种婴幼儿睡姿检测装置,包括:
图像获取模块1,用于获取婴幼儿睡眠状态的基于可见光的视频图像;
第一处理模块2,用于通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
第二处理模块3,用于通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
第三处理模块4,用于通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;
判断模块5,用于判断所述视频图像中是否存在人脸目标;
信息发送模块6,用于若不存在人脸目标,则将异常信息发送至所述移动终端。
本发明的所述婴幼儿睡姿检测装置通过可见光视频的方式获取婴幼儿睡眠状态,无需与婴幼儿的身体产生接触,能够实时地监控婴幼儿的睡眠状态,此外,通过所述第一处理模块、所述第二处理模块及所述第三处理模块之间的配合,所述人脸目标的识别较准确,因而,不仅用户体验好,而且监控准确,使用方便及安全性高。
实施例3
本发明另一方面还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
获取婴幼儿睡眠状态的基于可见光的视频图像;
通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;
判断所述视频图像中是否存在人脸目标;
若不存在人脸目标,则将异常信息发送至所述移动终端。
在一种优选的实施方式中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
将所述视频图像显示在所述移动终端上;
获取用户在所述移动终端上输入的安全休息区;
根据所述视频图像,判断所述人体目标与所述安全休息区的边界距离是否小于预设值;
当所述人体目标与所述安全休息区的边界距离小于预设值时,则发出风险提示信息。
在一种优选的实施方式中,所述获取用户在所述移动终端上输入的安全休息区步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。
在一种优选的实施方式中,所述获取用户在所述移动终端上输入的安全休息区步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
获取用户通过语音在所述移动终端输入的安全休息区。
在一种优选的实施方式中,所述通过第一卷积神经网络快速产生候选窗体步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:采用全卷积神经网络对所述视频图像处理,以获得候选窗体和边界回归向量,同时,候选窗体根据边界框进行校准,然后利用非极大值抑制法去除重叠窗体。
在一种优选的实施方式中,所述通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:将包含所述候选窗体的图片在第三卷积神经网络精炼,该网络选用全连接的方式进行训练,利用边界框向量微调候选窗体,再利用非极大值抑制法去除重叠窗体。
在一种优选的实施方式中,在所述获取婴幼儿睡眠状态的基于可见光的视频图像之前步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
读入人脸图像;
求人脸样本平均脸;
获取非脸特征;
通过线性分类器进行人脸和非人脸判别,并输出判别结果。
在一种优选的实施方式中,所述婴幼儿睡姿检测步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
基于人脸先验知识构建三维人脸的特征点模型;
提取人脸特征点的局部特征并计算特征点间的测地线距离,以获取人脸表述;
将所述人脸表述输入LeNet-5卷积神经网络进行分类,以获取识别结果。
以上对发明所提供的婴幼儿睡姿检测方法、装置及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容仅为发明的实施方式,并非因此限制发明的专利范围,凡是利用发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在发明的专利保护范围内,不应理解为对发明的限制。

Claims (10)

1.一种婴幼儿睡姿检测方法,其特征在于,包括如下步骤:
获取婴幼儿睡眠状态的基于可见光或红外光的视频图像;
通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;
判断所述视频图像中是否存在人脸目标;
若不存在人脸目标,则将异常信息发送至所述移动终端。
2.如权利要求1所述的婴幼儿睡姿检测方法,其特征在于,所述婴幼儿睡姿检测方法还包括:
将所述视频图像显示在所述移动终端上;
获取用户在所述移动终端上输入的安全休息区;
根据所述视频图像,判断所述人体目标与所述安全休息区的边界距离是否小于预设值;
当所述人体目标与所述安全休息区的边界距离小于预设值时,则发出风险提示信息。
3.如权利要求2所述的婴幼儿睡姿检测方法,其特征在于,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。
4.如权利要求2所述的婴幼儿睡姿检测方法,其特征在于,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过语音在所述移动终端输入的安全休息区。
5.如权利要求1至4任一项所述的婴幼儿睡姿检测方法,其特征在于,所述通过第一卷积神经网络快速产生候选窗体包括:采用全卷积神经网络对所述视频图像处理,以获得候选窗体和边界回归向量,同时,候选窗体根据边界框进行校准,然后利用非极大值抑制法去除重叠窗体。
6.如权利要求5所述的婴幼儿睡姿检测方法,其特征在于,所述通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体包括:将包含所述候选窗体的图片在第三卷积神经网络精炼,该网络选用全连接的方式进行训练,利用边界框向量微调候选窗体,再利用非极大值抑制法去除重叠窗体。
7.如权利要求1至4任一项所述的婴幼儿睡姿检测方法,其特征在于,在所述获取婴幼儿睡眠状态的基于可见光的视频图像之前还包括如下训练步骤:
读入人脸图像;
求人脸样本平均脸;
获取非脸特征;
通过线性分类器进行人脸和非人脸判别,并输出判别结果。
8.如权利要求1至4任一项所述的婴幼儿睡姿检测方法,其特征在于,所述婴幼儿睡姿检测方法还包括:
基于人脸先验知识构建三维人脸的特征点模型;
提取人脸特征点的局部特征并计算特征点间的测地线距离,以获取人脸表述;
将所述人脸表述输入LeNet-5卷积神经网络进行分类,以获取识别结果。
9.一种婴幼儿睡眠状态检测装置,其特征在于,包括:
图像获取模块,用于获取婴幼儿睡眠状态的基于可见光的视频图像;
第一处理模块,用于通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
第二处理模块,用于通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
第三处理模块,用于通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数;
判断模块,用于判断所述视频图像中是否存在人脸目标;
信息发送模块,用于若不存在人脸目标,则将异常信息发送至所述移动终端。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-8任一所述的婴幼儿睡姿检测方法的各个步骤。
CN201910076988.2A 2019-01-27 2019-01-27 婴幼儿睡姿检测方法、装置及计算机可读存储介质 Pending CN109886137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910076988.2A CN109886137A (zh) 2019-01-27 2019-01-27 婴幼儿睡姿检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910076988.2A CN109886137A (zh) 2019-01-27 2019-01-27 婴幼儿睡姿检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109886137A true CN109886137A (zh) 2019-06-14

Family

ID=66927138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910076988.2A Pending CN109886137A (zh) 2019-01-27 2019-01-27 婴幼儿睡姿检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109886137A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472481A (zh) * 2019-07-01 2019-11-19 华南师范大学 一种睡姿检测方法、装置及设备
CN110751063A (zh) * 2019-09-29 2020-02-04 四川工商学院 一种基于深度学习的幼儿防踢被子识别装置及方法
CN112102946A (zh) * 2019-11-21 2020-12-18 北京健康有益科技有限公司 一种基于深度学习的睡眠质量检测方法和装置
CN112784712A (zh) * 2021-01-08 2021-05-11 重庆创通联智物联网有限公司 一种基于实时监控的失踪儿童预警实现方法、装置
CN112971730A (zh) * 2021-04-20 2021-06-18 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN113298062A (zh) * 2021-07-28 2021-08-24 宁波星巡智能科技有限公司 婴幼儿睡眠活动状态检测方法、装置、设备及介质
CN113505742A (zh) * 2021-07-27 2021-10-15 宁波星巡智能科技有限公司 婴幼儿睡眠跟踪监控方法、装置、设备及存储介质
CN116313164A (zh) * 2023-05-22 2023-06-23 亿慧云智能科技(深圳)股份有限公司 抗干扰的睡眠监控方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236781A (zh) * 2010-04-22 2011-11-09 鸿富锦精密工业(深圳)有限公司 婴儿睡眠侦测系统及方法
CN104091408A (zh) * 2014-05-09 2014-10-08 郑州轻工业学院 一种基于热红外成像的婴幼儿睡姿智能识别方法及装置
CN108566534A (zh) * 2018-04-23 2018-09-21 Oppo广东移动通信有限公司 基于视频监控的报警方法、装置、终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236781A (zh) * 2010-04-22 2011-11-09 鸿富锦精密工业(深圳)有限公司 婴儿睡眠侦测系统及方法
CN104091408A (zh) * 2014-05-09 2014-10-08 郑州轻工业学院 一种基于热红外成像的婴幼儿睡姿智能识别方法及装置
CN108566534A (zh) * 2018-04-23 2018-09-21 Oppo广东移动通信有限公司 基于视频监控的报警方法、装置、终端及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAIPENG ZHANG ET AL.: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 *
范自柱: "《新型特征抽取算法研究》", 31 December 2016 *
陈志轩: "表情不变的三维人脸识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472481B (zh) * 2019-07-01 2024-01-05 华南师范大学 一种睡姿检测方法、装置及设备
CN110472481A (zh) * 2019-07-01 2019-11-19 华南师范大学 一种睡姿检测方法、装置及设备
CN110751063A (zh) * 2019-09-29 2020-02-04 四川工商学院 一种基于深度学习的幼儿防踢被子识别装置及方法
CN112102946A (zh) * 2019-11-21 2020-12-18 北京健康有益科技有限公司 一种基于深度学习的睡眠质量检测方法和装置
CN112102946B (zh) * 2019-11-21 2021-08-03 北京健康有益科技有限公司 一种基于深度学习的睡眠质量检测方法和装置
CN112784712B (zh) * 2021-01-08 2023-08-18 重庆创通联智物联网有限公司 一种基于实时监控的失踪儿童预警实现方法、装置
CN112784712A (zh) * 2021-01-08 2021-05-11 重庆创通联智物联网有限公司 一种基于实时监控的失踪儿童预警实现方法、装置
CN112971730B (zh) * 2021-04-20 2021-08-06 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN112971730A (zh) * 2021-04-20 2021-06-18 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN113505742A (zh) * 2021-07-27 2021-10-15 宁波星巡智能科技有限公司 婴幼儿睡眠跟踪监控方法、装置、设备及存储介质
CN113298062A (zh) * 2021-07-28 2021-08-24 宁波星巡智能科技有限公司 婴幼儿睡眠活动状态检测方法、装置、设备及介质
CN116313164A (zh) * 2023-05-22 2023-06-23 亿慧云智能科技(深圳)股份有限公司 抗干扰的睡眠监控方法、装置、设备及存储介质
CN116313164B (zh) * 2023-05-22 2023-08-22 亿慧云智能科技(深圳)股份有限公司 抗干扰的睡眠监控方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109886137A (zh) 婴幼儿睡姿检测方法、装置及计算机可读存储介质
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN105335722B (zh) 一种基于深度图像信息的检测系统及方法
CN107784282B (zh) 对象属性的识别方法、装置及系统
Huang et al. Robust face detection using Gabor filter features
CN109872359A (zh) 坐姿检测方法、装置及计算机可读存储介质
CN109840493A (zh) 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质
CN106485191B (zh) 一种驾驶员疲劳状态检测方法及系统
CN105354985B (zh) 疲劳驾驶监控装置及方法
JPH0944685A (ja) 顔画像処理装置
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
KR101449744B1 (ko) 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
CN106648078A (zh) 应用于智能机器人的多模态交互方法及系统
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
JP5653404B2 (ja) 居眠り注意喚起装置
CN108664887A (zh) 一种虚拟现实体验中的摔倒预警装置和方法
JP2011210054A (ja) 対象物検知装置及びその学習装置
JP2015197708A (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN110728242A (zh) 基于人像识别的图像匹配方法、装置、存储介质及应用
JP5995217B2 (ja) 瞳孔部分を近似する楕円の検出を行う方法
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
Hsu Automatic pedestrian detection in partially occluded single image
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
JP5694471B2 (ja) 眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination