CN109840493A - 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质 - Google Patents

婴幼儿睡眠状态检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109840493A
CN109840493A CN201910076987.8A CN201910076987A CN109840493A CN 109840493 A CN109840493 A CN 109840493A CN 201910076987 A CN201910076987 A CN 201910076987A CN 109840493 A CN109840493 A CN 109840493A
Authority
CN
China
Prior art keywords
video image
human body
convolutional neural
neural networks
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910076987.8A
Other languages
English (en)
Inventor
陈辉
张晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Star Tour Intelligent Technology Co Ltd
Original Assignee
Wuhan Star Tour Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Star Tour Intelligent Technology Co Ltd filed Critical Wuhan Star Tour Intelligent Technology Co Ltd
Priority to CN201910076987.8A priority Critical patent/CN109840493A/zh
Publication of CN109840493A publication Critical patent/CN109840493A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种婴幼儿睡眠状态检测方法、装置及计算机可读存储介质,所述方法包括:获取婴幼儿睡眠状态的基于可见光的视频图像;判断所述视频图像中是否存在人体目标;若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;若不存在人脸目标,则将异常信息发送至所述移动终端。本发明具有监控准确,使用方便及安全性高的优点。

Description

婴幼儿睡眠状态检测方法、装置及计算机可读存储介质
技术领域
本发明涉及婴幼儿监控技术领域,特别涉及一种基于可见光视频的婴幼儿睡眠状态检测方法、装置及计算机可读存储介质。
背景技术
婴幼儿在睡觉时经常会翻身、踢被子等,这就有可能出现衣物压迫口鼻情况、未盖被子、越过安全区域以致掉下床等现象,影响婴幼儿的睡眠质量,甚至危害婴幼儿的身体健康,而婴儿的大量时间又处于睡眠状态,因此,一种用于检测婴儿睡眠状态的设备应运而生。
现有的检测婴儿睡眠状态的设备通常是基于传统的测温传感器,且大多安装在被子中,通过测量被子是否温度下降来达到判断小孩是否踢被子的目的,但此类产品具有如下缺点:a、只能测量局部被子温度,如果测量点没盖在身上,而被子的其他地方盖在身上,则会误判;b、有些产品需要放在被子里面,不方便使用;c、有些产品是放在小孩的身上,容易被小孩拿去玩耍,有一定误食的风险,安全性差;d、有些产品在被子一提掉就报警,而不管婴幼儿的冷热状态,报警太频繁,影响小孩睡觉,用户体验差。
发明内容
本发明解决的技术问题是,提供一种监控准确,使用方便及安全性高的婴幼儿睡眠状态检测方法。
为实现上述目的,本发明提供了一种婴幼儿睡眠状态检测方法,其包括:
获取婴幼儿睡眠状态的基于可见光的视频图像;
判断所述视频图像中是否存在人体目标;
若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;
若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;
若不存在人脸目标,则将异常信息发送至所述移动终端。
优选地,所述婴幼儿睡眠状态检测方法还包括:
将所述视频图像显示在所述移动终端上;
获取用户在所述移动终端上输入的安全休息区;
根据所述视频图像,判断所述人体目标与所述安全休息区的边界距离是否小于预设值;
当所述人体目标与所述安全休息区的边界距离小于预设值时,则发出风险提示信息。
优选地,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。
优选地,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过语音在所述移动终端输入的安全休息区。
优选地,所述检测是否存在人脸目标是通过卷积神经网络算法对所述视频图像处理实现。
优选地,所述卷积神经网络算法包括如下步骤:
通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数。
优选地,所述通过第一卷积神经网络快速产生候选窗体包括:采用全卷积神经网络对所述视频图像处理,以获得候选窗体和边界回归向量,同时,候选窗体根据边界框进行校准,然后利用非极大值抑制法去除重叠窗体。
优选地,所述通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体包括:将包含所述候选窗体的图片在第三卷积神经网络精炼,该网络选用全连接的方式进行训练,利用边界框向量微调候选窗体,再利用非极大值抑制法去除重叠窗体。
本发明另一方面还提供一种婴幼儿睡眠状态检测装置,包括:
图像获取模块,用于获取婴幼儿睡眠状态的基于可见光的视频图像;
第一判断模块,用于判断所述视频图像中是否存在人体目标;
第二判断模块,用于在若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;
第一处理模块,用于在若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;
第二处理模块,用于在若不存在人脸目标,则将异常信息发送至所述移动终端。
本发明另一方面还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述任一所述的婴幼儿睡眠状态检测方法的各个步骤。
本发明的婴幼儿睡眠状态检测方法、装置及计算机可读存储介质具有如下有益效果:由于所述方法包括,获取婴幼儿睡眠状态的基于可见光的视频图像;判断所述视频图像中是否存在人体目标;若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;若不存在人脸目标,则将异常信息发送至所述移动终端。也就是说,通过可见光视频的方式获取婴幼儿睡眠状态,无需与婴幼儿的身体产生接触,能够实时地监控婴幼儿的睡眠状态,因而,不仅用户体验好,而且监控准确,使用方便及安全性高。
附图说明
图1为本发明婴幼儿睡眠状态检测方法优选实施例的流程图;
图2为本发明婴幼儿睡眠状态检测方法的卷积神经网络算法流程图;
图3为本发明婴幼儿睡眠状态检测装置的原理框图
具体实施方式
下面结合附图和实施例对发明进行详细说明。需要说明的是,如果不冲突,发明实施例以及实施例中的各个特征可以相互结合,均在发明的保护范围之内。
实施例1
请参阅图1及图2,本发明提供了一种婴幼儿睡眠状态检测方法,其包括如下步骤:
S100、获取婴幼儿睡眠状态的基于可见光的视频图像;
通过CCD摄像头等基于可见光的摄像装置对婴儿进行拍摄,以获取婴幼儿睡眠状态。为了画面更全,提高检测的准确率,所述摄像装置正对婴儿身高方向进行拍摄。
S200、判断所述视频图像中是否存在人体目标;
可根据拍摄到的视频图像与预设图像对比,以判断所述视频图像中是否存在人体目标。较佳地,在本实施例中,采用基于深度学习的人体骨骼检测方法来判断视频图像中是否有人体目标,并根据检测到的人体目标的部位或者比例来判断睡眠状态:在视频图像中检测到躯干目标,说明躯干未被遮挡,可判断该目标未正常盖被子;若未在视频图像中检测到躯干目标,说明躯干被遮挡,可判断有被子盖在该目标上。
本实施例的深度学习网络采用视角几何预训练网络(VGG pre-train network)作为骨架,有两个分支分别回归L(p)和S(p)。每一个阶段(stage)算一次损耗(loss),之后把L和S以及原始输入数据,继续下一个阶段的训练。随着迭代次数的增加,S能够一定程度上区分结构的左右。损耗(loss)用的L2范数,S和L的参考标准(ground-truth)需要从标注的关键点生成,如果某个关键点在标注中有缺失则不计算该点。
对于S,每一类关键点有一个通道(channel),生成参考标准(ground-truth)的时候是按照多个高斯分布取最大值(max)的方法来保留各个点的响应峰值。对于L则复杂一点,先看准确定义,对于第k个person的第c个肢干上的PAFs(Part Affinity Fields):
xj,k表示第k个person第j个关键点的位置。而像素点p是否落在limb(肢干)则设了一个阈值范围:
其中lc,k和σl分别表示limb长度和宽度。最后也会对所有person相同类别肢干进行平均,使得L的输出的通道(channel)与肢干种数相等:
知道PAFs(Part Affinity Fields)和关键点位置dj之后,需要评估这俩关键点的相关性。然后这两个关键点连线上各像素点PAF向量与连线向量的点积的积分:
在得到关键节点以及边权之后,计算姿态骨架已经完全转化成了一个图问题。然后,利用匈牙利算法对相邻节点进行了最优匹配(比如一堆左手腕节点和一堆左手肘节点,利用小臂的PAF计算边权,再进行最优匹配),最后获得整个的人形姿态骨架。本实施例根据检测到的人体目标的部位或比例来判断睡眠状态,具有检测速度快,效率高及准确率高的优点。
S300、若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;
在本实施例中,所述躯干是指人体除头、颈和四肢外的躯体部分。
S400、若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;
所述移动终端可以是手机、笔记本电脑或智能手表等,在此不做具体限定。所述移动终端上安装有用于收发信息的应用程序(app),用户可通过所述移动终端了解婴幼儿的睡眠状况,因而使用较方便。
S500、若不存在人脸目标,则将异常信息发送至所述移动终端。
在本发明优选的实施方式中,所述婴幼儿睡眠状态检测方法还包括:
将所述视频图像显示在所述移动终端上;
用户可以通过远程的移动终端观看视频图像,从而可实时的了解婴幼儿的睡眠状态。
获取用户在所述移动终端上输入的安全休息区;
用户在看到所述视频图像后,可在移动终端上输入安全休息区,以设定安全区域。也就是说,所述安全休息区可随时在移动终端上进行设置,因而可提高安全性,避免了固定设置时婴儿床椅的某个区域由于脱落或损坏导致安全隐患的问题。
根据所述视频图像,判断所述人体目标与所述安全休息区的边界距离是否小于预设值;
所述预设值可根据需要进行设置,其可以是10厘米、15厘米或20厘米等,在此不做具体限定。例如,在没有护栏或者护栏较低的床时,则所述预设值较大,否则所述预设值较小,从而保证安全性。
当所述人体目标与所述安全休息区的边界距离小于预设值时,则发出风险提示信息。
通过实时地将风险提示信息发送给用户的移动终端,因而安全性较高,用户体验好。可以理解的是,所述风险提示信息可以是文字或声音等提示信息,在此不做具体限定。
在本发明优选的实施方式中,所述获取用户在所述移动终端上输入的安全休息区具体包括:获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。
也就是说用户通过在手机的显示屏显示的视频图像上通过触摸的方式圈画一个区域,将该区域定义为安全休息区。其中,所述显示屏为触摸屏。该种输入安全休息区的方式较便于用户使用,用户体验好,监控效率高。
在本发明优选的实施方式中,所述获取用户在所述移动终端上输入的安全休息区具体包括:获取用户通过语音在所述移动终端输入的安全休息区。
也就是说用户通过语音的方式进行输入,例如,可以输入“距离护栏大于厘米的区域为安全休息区”,则手机等移动终端便自动根据获取的语音信号进行设置所述安全休息区。此种方式较好地避免误触发,以致错发指令的问题。
在本发明优选的实施方式中,所述检测是否存在人脸目标是通过卷积神经网络算法对所述视频图像处理实现。通过卷积神经网络算法对所述视频图像处理,因而较好地避免由于姿势、光照或遮挡等原因导致识别准确性差的问题。
在本发明优选的实施方式中,所述卷积神经网络算法包括如下步骤:
S101、通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
在本发明优选的实施方式中,所述通过第一卷积神经网络快速产生候选窗体包括:采用全卷积神经网络对所述视频图像处理,以获得候选窗体和边界回归向量,同时,候选窗体根据边界框进行校准,然后利用非极大值抑制法去除重叠窗体。
S102、通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
在本发明优选的实施方式中,所述通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体包括:将包含所述候选窗体的图片在第三卷积神经网络精炼,该网络选用全连接的方式进行训练,利用边界框向量微调候选窗体,再利用非极大值抑制法去除重叠窗体。
S103、通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数。
具体地,在本实施例中,原始待检测图像经过改变大小后,生成不同尺寸的图像,并构建图像金字塔作为网络的输入。构建的图像金字塔,其层数由两个因素决定,第一个是设置的最小人脸minSize,第二个是缩放因子factor,最小人脸表示min(w,h),在本实施例中,最小人脸不能小于12,缩放因子为0.709,可以根据公式计算图像金字塔的层数:
minL=org_L*(12/minsize)*factor^(n),n={0,1,2,3,...,N};
其中n就是金字塔的层数,org_L是输入原始图像的最小边min(W,H),minisize是人为根据应用场景设定,在保证minL大于12的情况下,所有的n就构成金字塔的层。所以minsize的值越小,n的取值范围就越大,计算量就相应地增加,能够检测到的人脸越小。
第一阶段通过浅层的卷积神经网络快速生成候选窗口,该网络全部由卷积层实现,获取到候选人脸窗和人脸窗的回归向量,基于人脸窗的回归向量对人脸窗进行校正,然后对所有人脸窗进行非极大值抑制(NMS),合并高度重叠的人脸窗。其具体过程就是通过图像金字塔生成的各种尺寸大小的图片,每一张图都进行一次前向传播,在每个图上得到的结果之后利用设置的阈值去掉一部分,剩下的根据缩放尺度还原到原图上的坐标,将所有的坐标信息汇总,然后进行非极大值抑制去除一部分冗余。
第二阶段再通过一个更复杂的卷积神经网络来处理第一阶段中被误认为人脸的“人脸窗”从而精细化人脸窗,第一阶段的输出作为第二阶段的输入,第一阶段最后产生了大量的边界框,将这些边界框根据缩放因子回推到原图上之后,将他们全部修改尺寸到24x24大小,作为第二阶段的输入。第二阶段经过网络之后同样产生大量的边界框,同样的根据阈值去掉一部分,再利用非极大值抑制法去掉一部分。
最后使用第二阶段中最后留下来的边界框,还原到原来的图片上之后,全部修改尺寸到48x48大小,然后输入到第三阶段,通过第三阶段的卷积神经网络进一步精细化结果并输出人脸上的5个特征点。即通过三阶的级联卷积神经网络对任务进行从粗到细的处理,最终输出人脸框位置和五个特征点位置,其利用检测和校准之间固有的相关性在深度级联的多任务框架下来提升它们的性能,具有精度高和实时性良好的优点。
由上可知,由于所述方法包括,获取婴幼儿睡眠状态的基于可见光的视频图像;判断所述视频图像中是否存在人体目标;若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;若不存在人脸目标,则将异常信息发送至所述移动终端。也就是说,通过可见光视频的方式获取婴幼儿睡眠状态,无需与婴幼儿的身体产生接触,能够实时地监控婴幼儿的睡眠状态,因而,不仅用户体验好,而且监控准确,使用方便及安全性高。
在一个变形实施例中,本发明的婴幼儿睡眠状态检测方法,先检测有无人体目标,当被子盖住或者衣服遮住时未检测到人体时则继续找寻,防止因而被被子盖住影响呼吸。当检测到人后检测确定是否为婴儿,这个可以通过图像比对来确定。当确定为婴儿后,检测婴儿头部,若婴儿头部在外面,则说明无被子等遮挡物影响婴儿呼吸,然后检测婴儿的躯干,检测到婴儿躯干时,进一步检测婴儿的睡姿是否准确,结合人脸判断出婴儿睡姿。这样可以较好地监控婴儿的睡眠状态。
实施例2
请参阅图3,本发明还提供一种婴幼儿睡眠状态检测装置,包括:
图像获取模块1,用于获取婴幼儿睡眠状态的基于可见光的视频图像;
第一判断模块2,用于判断所述视频图像中是否存在人体目标;
第二判断模块3,用于在若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;
第一处理模块4,用于在若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;
第二处理模块5,用于在若不存在人脸目标,则将异常信息发送至所述移动终端。
由于所述婴幼儿睡眠状态检测装置的检测方法包括,获取婴幼儿睡眠状态的基于可见光的视频图像;判断所述视频图像中是否存在人体目标;若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;若不存在人脸目标,则将异常信息发送至所述移动终端。也就是说,通过可见光视频的方式获取婴幼儿睡眠状态,无需与婴幼儿的身体产生接触,能够实时地监控婴幼儿的睡眠状态,因而,不仅用户体验好,而且监控准确,使用方便及安全性高。
实施例3
本发明另一方面还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
获取婴幼儿睡眠状态的基于可见光的视频图像;
判断所述视频图像中是否存在人体目标;
若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;
若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;
若不存在人脸目标,则将异常信息发送至所述移动终端。
在一种优选的实施方式中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
将所述视频图像显示在所述移动终端上;
获取用户在所述移动终端上输入的安全休息区;
根据所述视频图像,判断所述人体目标与所述安全休息区的边界距离是否小于预设值;
当所述人体目标与所述安全休息区的边界距离小于预设值时,则发出风险提示信息。
在一种优选的实施方式中,所述获取用户在所述移动终端上输入的安全休息区步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。
在一种优选的实施方式中,所述获取用户在所述移动终端上输入的安全休息区步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
获取用户通过语音在所述移动终端输入的安全休息区。
在一种优选的实施方式中,所述检测是否存在人脸目标的步骤中是通过卷积神经网络算法对所述视频图像处理实现。
在一种优选的实施方式中,所述卷积神经网络算法步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:
通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二预卷积层大于所述第一预设卷积层;
通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三预设卷积层大于所述第二预设卷积层。
在一种优选的实施方式中,所述通过第一卷积神经网络快速产生候选窗体步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:采用全卷积神经网络对所述视频图像处理,以获得候选窗体和边界回归向量,同时,候选窗体根据边界框进行校准,然后利用非极大值抑制法去除重叠窗体。
在一种优选的实施方式中,所述通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体步骤中,所述一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:将包含所述候选窗体的图片在第三卷积神经网络精炼,该网络选用全连接的方式进行训练,利用边界框向量微调候选窗体,再利用非极大值抑制法去除重叠窗体。
以上对发明所提供的婴幼儿睡眠状态检测方法、装置及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容仅为发明的实施方式,并非因此限制发明的专利范围,凡是利用发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在发明的专利保护范围内,不应理解为对发明的限制。

Claims (10)

1.一种婴幼儿睡眠状态检测方法,其特征在于,包括如下步骤:
获取婴幼儿睡眠状态的基于可见光的视频图像;
判断所述视频图像中是否存在人体目标;
若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;
若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;
若不存在人脸目标,则将异常信息发送至所述移动终端。
2.如权利要求1所述的婴幼儿睡眠状态检测方法,其特征在于,所述婴幼儿睡眠状态检测方法还包括:
将所述视频图像显示在所述移动终端上;
获取用户在所述移动终端上输入的安全休息区;
根据所述视频图像,判断所述人体目标与所述安全休息区的边界距离是否小于预设值;
当所述人体目标与所述安全休息区的边界距离小于预设值时,则发出风险提示信息。
3.如权利要求2所述的婴幼儿睡眠状态检测方法,其特征在于,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。
4.如权利要求2所述的婴幼儿睡眠状态检测方法,其特征在于,所述获取用户在所述移动终端上输入的安全休息区具体包括:
获取用户通过语音在所述移动终端输入的安全休息区。
5.如权利要求1至4任一项所述的婴幼儿睡眠状态检测方法,其特征在于,所述检测是否存在人脸目标是通过卷积神经网络算法对所述视频图像处理实现。
6.如权利要求5所述的婴幼儿睡眠状态检测方法,其特征在于,所述卷积神经网络算法包括如下步骤:
通过第一卷积神经网络对所述视频图像处理快速产生候选窗体;
通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体,其中,所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数;
通过第三卷积神经网络精炼所述候选窗体,同时显示预设数量的面部特征点位置,其中,所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数。
7.如权利要求6所述的婴幼儿睡眠状态检测方法,其特征在于,所述通过第一卷积神经网络快速产生候选窗体包括:采用全卷积神经网络对所述视频图像处理,以获得候选窗体和边界回归向量,同时,候选窗体根据边界框进行校准,然后利用非极大值抑制法去除重叠窗体。
8.如权利要求7所述的婴幼儿睡眠状态检测方法,其特征在于,所述通过第二卷积神经网络精炼所述候选窗体,丢弃至少部分重叠窗体包括:将包含所述候选窗体的图片在第三卷积神经网络精炼,该网络选用全连接的方式进行训练,利用边界框向量微调候选窗体,再利用非极大值抑制法去除重叠窗体。
9.一种婴幼儿睡眠状态检测装置,其特征在于,包括:
图像获取模块,用于获取婴幼儿睡眠状态的基于可见光的视频图像;
第一判断模块,用于判断所述视频图像中是否存在人体目标;
第二判断模块,用于在若所述视频图像中存在人体目标,则判断人体目标是否有躯干,否则检测是否存在人脸目标;
第一处理模块,用于在若所述人体目标有躯干,则将异常信息发送至移动终端,否则检测是否存在人脸目标;
第二处理模块,用于在若不存在人脸目标,则将异常信息发送至所述移动终端。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-8任一所述的婴幼儿睡眠状态检测方法的各个步骤。
CN201910076987.8A 2019-01-27 2019-01-27 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质 Pending CN109840493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910076987.8A CN109840493A (zh) 2019-01-27 2019-01-27 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910076987.8A CN109840493A (zh) 2019-01-27 2019-01-27 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109840493A true CN109840493A (zh) 2019-06-04

Family

ID=66884198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910076987.8A Pending CN109840493A (zh) 2019-01-27 2019-01-27 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109840493A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751063A (zh) * 2019-09-29 2020-02-04 四川工商学院 一种基于深度学习的幼儿防踢被子识别装置及方法
CN111402987A (zh) * 2019-12-31 2020-07-10 武汉星巡智能科技有限公司 基于可见光视频的用药提醒方法、装置、设备及存储介质
CN112001230A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 睡觉行为的监控方法、装置、计算机设备和可读存储介质
CN112802300A (zh) * 2020-12-23 2021-05-14 张慧东 基于无线通信的动态触发系统
CN112971730A (zh) * 2021-04-20 2021-06-18 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN113298062A (zh) * 2021-07-28 2021-08-24 宁波星巡智能科技有限公司 婴幼儿睡眠活动状态检测方法、装置、设备及介质
CN113674507A (zh) * 2021-08-18 2021-11-19 建信金融科技有限责任公司 婴儿监控方法、装置、计算机设备及计算机可读存储介质
CN114098654A (zh) * 2022-01-24 2022-03-01 南京信息工程大学 一种人体睡眠状态检测方法及装置
CN115546292A (zh) * 2022-12-02 2022-12-30 首都医科大学附属北京同仁医院 头位判读方法、体位验证方法、计算设备和存储介质
CN116189072A (zh) * 2022-12-13 2023-05-30 合肥六角形半导体有限公司 一种基于机器视觉的面部防遮挡装置及方法
CN116313164A (zh) * 2023-05-22 2023-06-23 亿慧云智能科技(深圳)股份有限公司 抗干扰的睡眠监控方法、装置、设备及存储介质
CN117690159A (zh) * 2023-12-07 2024-03-12 武汉星巡智能科技有限公司 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876815A (zh) * 2009-04-28 2010-11-03 深圳富泰宏精密工业有限公司 婴儿睡眠监控系统及方法
CN104077881A (zh) * 2014-06-30 2014-10-01 天津大学 一种基于机器视觉的婴幼儿监测方法及装置
CN105096527A (zh) * 2015-06-04 2015-11-25 上海卓易科技股份有限公司 一种基于儿童睡眠状态的监控提醒方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876815A (zh) * 2009-04-28 2010-11-03 深圳富泰宏精密工业有限公司 婴儿睡眠监控系统及方法
CN104077881A (zh) * 2014-06-30 2014-10-01 天津大学 一种基于机器视觉的婴幼儿监测方法及装置
CN105096527A (zh) * 2015-06-04 2015-11-25 上海卓易科技股份有限公司 一种基于儿童睡眠状态的监控提醒方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAIPENG ZHANG ET AL.: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 *
ZHE CAO ET AL.: ""Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
孔小红 等: ""移动视频监控的预警区域划分方法"", 《应用科技》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751063A (zh) * 2019-09-29 2020-02-04 四川工商学院 一种基于深度学习的幼儿防踢被子识别装置及方法
CN111402987B (zh) * 2019-12-31 2024-05-10 武汉星巡智能科技有限公司 基于可见光视频的用药提醒方法、装置、设备及存储介质
CN111402987A (zh) * 2019-12-31 2020-07-10 武汉星巡智能科技有限公司 基于可见光视频的用药提醒方法、装置、设备及存储介质
CN112001230A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 睡觉行为的监控方法、装置、计算机设备和可读存储介质
CN112802300A (zh) * 2020-12-23 2021-05-14 张慧东 基于无线通信的动态触发系统
CN112971730A (zh) * 2021-04-20 2021-06-18 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN112971730B (zh) * 2021-04-20 2021-08-06 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN113298062A (zh) * 2021-07-28 2021-08-24 宁波星巡智能科技有限公司 婴幼儿睡眠活动状态检测方法、装置、设备及介质
CN113674507A (zh) * 2021-08-18 2021-11-19 建信金融科技有限责任公司 婴儿监控方法、装置、计算机设备及计算机可读存储介质
CN114098654A (zh) * 2022-01-24 2022-03-01 南京信息工程大学 一种人体睡眠状态检测方法及装置
CN114098654B (zh) * 2022-01-24 2022-04-08 南京信息工程大学 一种人体睡眠状态检测方法及装置
CN115546292A (zh) * 2022-12-02 2022-12-30 首都医科大学附属北京同仁医院 头位判读方法、体位验证方法、计算设备和存储介质
CN115546292B (zh) * 2022-12-02 2023-03-17 首都医科大学附属北京同仁医院 头位判读方法、体位验证方法、计算设备和存储介质
CN116189072A (zh) * 2022-12-13 2023-05-30 合肥六角形半导体有限公司 一种基于机器视觉的面部防遮挡装置及方法
CN116189072B (zh) * 2022-12-13 2024-02-13 合肥六角形半导体有限公司 一种基于机器视觉的面部防遮挡装置及方法
CN116313164A (zh) * 2023-05-22 2023-06-23 亿慧云智能科技(深圳)股份有限公司 抗干扰的睡眠监控方法、装置、设备及存储介质
CN116313164B (zh) * 2023-05-22 2023-08-22 亿慧云智能科技(深圳)股份有限公司 抗干扰的睡眠监控方法、装置、设备及存储介质
CN117690159A (zh) * 2023-12-07 2024-03-12 武汉星巡智能科技有限公司 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备

Similar Documents

Publication Publication Date Title
CN109840493A (zh) 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质
CN109872359A (zh) 坐姿检测方法、装置及计算机可读存储介质
CN104157107B (zh) 一种基于Kinect传感器的人体姿势矫正装置
CN109886137A (zh) 婴幼儿睡姿检测方法、装置及计算机可读存储介质
CN106265004A (zh) 多传感器智能盲人指路方法与装置
CN109614939A (zh) 基于人体姿态估计的“玩手机”行为检测识别方法
US9117138B2 (en) Method and apparatus for object positioning by using depth images
CN104616028B (zh) 基于空间分割学习的人体肢体姿势动作识别方法
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
CN111241913A (zh) 一种检测人员摔倒的方法、装置及系统
CN106572304A (zh) 基于眨眼检测的智能手机拍照系统和方法
CN106022264A (zh) 基于多任务自编码器的交互式人脸活体检测方法和装置
CN110414400A (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN103777821B (zh) 一种触控系统的抗干扰方法和装置
CN102914286B (zh) 基于手持设备对使用者坐姿进行自动检测方法
Bastomi et al. Object detection and distance estimation tool for blind people using convolutional methods with stereovision
CN105139869B (zh) 一种基于区间差分特征的婴儿啼哭检测方法
CN113723185A (zh) 动作行为识别方法、装置、存储介质及终端设备
CN113450534A (zh) 检测儿童靠近危险品的装置及方法
Docto et al. Third Eye Hand Glove Object Detection for Visually Impaired using You Only Look Once (YOLO) v4-Tiny Algorithm
Alaoui et al. Video based human fall detection using von mises distribution of motion vectors
CN102867214A (zh) 区域范围内人数统计管理方法
CN109986553A (zh) 一种主动交互的机器人、系统、方法及存储装置
CN110309786A (zh) 一种基于深度视频的哺乳母猪姿态转换识别方法
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination