CN102789672A - 一种婴儿睡姿智能识别方法及装置 - Google Patents

Abstract

本发明公开了一种婴儿睡姿智能识别方法及装置，该方法及装置采用视频分析与模式识别的方法，进行婴儿睡姿的识别，能及时发现婴儿踢开被子，婴儿被衣物覆盖脸部，婴儿趴睡等重要婴儿事件，其由样例特征建模、实时特征分析和报警判决三部分组成，在样例特征建模中，对样例图像的纹理特征及SIFT特征进行了分析，通过特征融合生成样例特征模板库，进一步的，在实时特征分析时对设定的监控区域进行特征分析处理，并结合样例特征模板库进行睡姿识别，判断报警类型，输出报警信息。本发明使得对婴儿的监护无需监护人时刻关注监控视频或现场观看，特别是监护人晚上熟睡时，也能有效的对重要婴儿事件进行智能检测识别和及时预警。

Description

一种婴儿睡姿智能识别方法及装置

技术领域

本发明涉及婴儿监控领域，尤其涉及一种婴儿睡姿智能识别方法及装置。 

背景技术

婴儿安全监护越来越被家长重视，婴儿睡姿监护是婴儿安全监控的重要组成部分，但目前的婴儿监控系统都缺乏对婴儿睡姿的智能分析识别，容易造成重要婴儿事件不被及时发现。现有的婴儿监护系统主要通过两类技术实现：第一类是通过视频监控，采用摄像头对婴儿进行实时监视，监护人可以通过显示终端观看婴儿的情况，该类系统技术的缺陷是需要监护人主动时刻关注显示终端，往往不能及时处理婴儿事件，特别是晚上监护人熟睡时。第二类是通过声音的婴儿监护，通过婴儿哭声报警婴儿事件，该类系统技术的缺陷是对于婴儿事件不能事前发现，只有等婴儿事件发生，婴儿哭闹时才被报警。比如专利【一种婴儿监控系统及该监控系统的控制方法，申请号：201110244495.9】，该专利包括婴儿端和父母端；所述婴儿端包括：摄像头，摄像头控制机构，通信模块；所述父母端包括：触摸屏，数据处理单元，通信模块；所述的数据处理单元将用户的两个手指在触摸屏上滑动开闭的操作转换为控制命令，所述的父母端的通信模块和婴儿端的通信模块将所述的控制命令传输到摄像头控制机构，以控制摄像头的变焦倍数。专利【婴儿监控系统，申请号：200880023189.9】，该专利包括婴儿单元和父母单元，婴儿单元用于婴儿或儿童附近，婴儿单元检测噪声以及将对应声频采样流发射至父母单元，父母单元包括：视觉指示器；以及处理器，用于分析声频采样流以确定噪声历史以及用于对视觉指示器提供第一控制信号从而使得视觉指示器提供噪声历史的视觉指示。 

通过国内外大量的技术检索发现，目前的对婴儿监控的方法中，都缺乏对婴儿睡姿的监控识别，从而无法对婴儿踢开被子，婴儿肚子裸露，婴儿被衣物覆盖脸部，婴儿趴睡等重要婴儿事件进行及时发现，容易造成婴儿着凉或窒息。 

本发明的婴儿睡姿智能识别方法及装置，采用视频分析与模式识别的方法，通过特征提取和识别，进行婴儿睡姿的识别，并输出报警，让监护人及时发现婴儿事件，不需监护人时刻观看婴儿视频监控或现场观看，晚上也可安心睡觉。该方法的实现包括三部分：样例特征建模、实时特征分析和报警判决三部分。 

本发明的方法，克服了现有婴儿监控系统存在的缺陷，同时无需监护人时刻关注监控视频或现场观看，特别是监护人晚上熟睡时，也能有效的对重要婴儿事件进行智能检测识别和及时预警。 

发明内容

本发明实施例提供了一种婴儿睡姿智能识别方法及装置，旨在解决现有婴儿监控系统存在的缺乏对婴儿睡姿的监控识别，从而无法对婴儿踢开被子，婴儿被衣物覆盖脸部，婴儿趴睡等重要婴儿 事件进行及时发现，容易造成婴儿着凉或窒息的问题。 

本发明实施例是这样实现的，一种婴儿睡姿智能识别方法及装置，包括如下三个部分： 

第一部分：样例特征建模 

第一步、视频采集 

1)通过驱动采集摄像机视频； 

2)调用解码表对视频解，提取视频帧图像； 

第二步、特征提取 

1)色彩空间转换，生成灰度图像； 

2)用鼠标手动勾画出样例区域，提取出样例区域； 

3)纹理特征分析； 

4)SIFT特征分析 

SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。其主要检测步骤如下： 

a)检测尺度空间生成及极值点检测； 

b)精确定位极值点； 

c)为每个关键点指定方向参数； 

d)关键点描述子的生成。 

第三步、特征模板库建模 

特征提取后，生成样例的纹理特征和SIFT特征描述，通过特征加权融合形成特征模板。 

第二部分：实时特征分析 

第一步、视频输入 

1)通过驱动采集摄像机视频； 

2)根据婴儿睡觉位置，采用鼠标设置检测分析区域，完成区域设置 

第二步、特征提取融合 

1)颜色空间转换 

2)纹理特征分析 

3)SIFT特征分析 

4)特征加权融合 

第三部分：报警判决 

第一步、婴儿睡姿分类判决 

将实时帧图像特征f_t和模板特征集f_m采用公式(3)进行距离比较，如果距离ρ小于0.2， 则认为出现了该种类型的非正常睡姿，输出睡姿类型，否则认为属于正常状态。 

第二步、报警判断 

根据睡姿识别结果，判断是否需要报警，否则继续保持监控状态。 

第三步、报警输出 

报警输出信号包括视频、图片和开关量信号，可与报警联动装置(监视器、蜂鸣器、短信发送模块等)连接，根据睡姿类别，触发声音报警，或通过手机彩信发送报警图片到指定监护人的手机上。 

有益效果 

本发明的有益效果是：与现有技术相比，采用多样例模板特征融合判决，解决了现有婴儿监控系统无法对婴儿踢开被子，婴儿肚子裸露，婴儿被衣物覆盖脸部，婴儿趴睡等重要婴儿事件进行及时发现，容易造成婴儿着凉或窒息的问题。本发明的实施，使得对婴儿的监护无需监护人时刻关注监控视频或现场观看，特别是监护人晚上熟睡时，也能有效的对重要婴儿事件进行智能检测识别和及时预警。 

附图说明

图1为本发明一种婴儿睡姿智能识别方法及装置的模块图； 

图2为本发明一种婴儿睡姿智能识别方法及装置的流程图； 

具体实施方式

下面结合附图对技术方案的实施作进一步的详细描述。 

请参考图1，一种婴儿睡姿智能识别方法及装置，包括步骤： 

S1、样例特征建模：通过样例抠图，样例特征提取和特征融合，构建特征模板库； 

S2、实时特征分析：对监控视频设置监控区域，通过对监控区域的纹理特征分析和SIFT特征分析，生成监控区域的融合特征； 

S3、报警判决：根据样例模板库特征和监控区域的实时分析特征，进行婴儿睡姿分类判决，输出报警信息； 

请参考图2，在本发明的一种实施例中，步骤S1包括如下步骤： 

S11、调用摄像机驱动程序及视频软解码程序，从摄像机中读取一帧图像； 

S12、判断是否进行特征建模，如果尚未生成多样例特征模板库，则需要进行特征建模，否则可以不进入特征建模流程； 

S13、将图像转为灰度图像，具体的方法是：设样例RGB图像G(x，y)为M*N大小，由公式 

(1)对图像的各像素点(x，y)进行计算，提取出各像素点(x，y)的亮度分量V(x，y)，得到M*N大小的灰度图像G′(x，y)； 

V(x，y)＝(R_x，y+G_x，y+B_x，y)/3            (1) 

式中R_x，y，G_x，y，B_x，y分别代表样例RGB图像(x，y)处的红，绿，蓝三个分量的值； 

S14、样例抠图：用鼠标手动勾画出样例区域，提取出样例区域； 

S15、对样例抠图进行纹理特征分析，具体的方法是：设样例灰度图像的灰度级为N，则其共生矩阵为N*N维的矩阵，即 

其中，位于(h，k)的元素m_hk的值表示相距为(h，k)的灰度h和灰度k像素对出现的次数。 

根据纹理共生矩阵的原理，提取出四个特征量，分别为： 

反差： $\mathrm{CON}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{(h-k)}^2{m}_{\mathrm{hk}}---\left(2\right)$

能量： $\mathrm{ASM}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\left(m_{\mathrm{hk}}\right)}^2---\left(3\right)$

熵： $\mathrm{ENT}=-\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{m}_{\mathrm{hk}}1g\left(m_{\mathrm{hk}}\right)---\left(4\right)$

相关： $\mathrm{COR}=[\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\mathrm{hkm}}_{\mathrm{hk}}-{\mathrm{\μ}}_x{\mathrm{\μ}}_y)]/{\mathrm{\σ}}_x{\mathrm{\σ}}_y---\left(5\right)$

其中， 

代表矩阵M中每列元素之和； 

代表每行元素之和；μ_x、μ_y、σ_x、σ_y分别代表m_x、m_y的均值和标准差。 

进一步的步骤如下： 

A、将样例灰度图像进行灰度级划分，N＝64； 

B、构造4个方向灰度共生矩阵：M(1，0)，M(0，1)，M(1，1)，M(1，-1) 

C、分别计算每个共生矩阵上的四个纹理特征量； 

由各特征量的均值和标准差：μ_CON、σ_CON、μ_ASM、σ_ASM、μ_ENT、σ_ENT、μ_COR、σ_COR 生成纹理特征的八个特征分量。 

S16、对样例抠图进行SIFT特征分析，具体的步骤是：在尺度空间寻找极值点，提取位置，尺度，旋转不变量，实施方法如下： 

●尺度空间的生成 

尺度空间理论的目的是模拟图像数据的多尺度特征，采用高斯卷积核实现空间的尺度 变换，定义样例图像的尺度空间为： 

L(x，y，σ)＝G(x，yσ)*I(x，y)            (6) 

其中G(x，y，σ)是尺度可变的高斯函数。 

$G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)}/{2\mathrm{\σ}}^2---\left(7\right)$

(x，y)是空间坐标，σ是尺度坐标。 

为了有效的在尺度空间检测到稳定的关键点，引入图像金字塔模型，设金字塔共有0组，每组有S层，下一组的图像由上一组下采样得到，O和S的值可根据实验设定，再利用公式(8)用不同尺度高斯核与图像进行卷积，生成差分尺度空间(DOG scale-space)D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)(8) 

●空间极值点检测 

为了寻找尺度空间的极值点，遍历图像，对每个像素点，对比其在图像域和尺度域中与相邻点的比值，共比较26点，分别是该像素点同尺度的8个相邻点和上下相邻尺度对应的18个点，以确保在尺度空间和二维图像空间都检测到极值点。 

●构建尺度空间需确定的参数 

σ-尺度空间坐标 

O-octave坐标 

S-sub-level坐标 

σ和O、S的关系σ(o，s)＝σ02^o+s/S，o∈o_min+[0，...，O-1]，s∈[0,...，S-1]其中σ₀是基准层尺度。 

空间坐标x是组octave的函数，设x₀是0组的空间坐标，则 

x＝2^ox₀，o∈Z，x₀∈[0，...，N₀-1]×[0，...，M₀-1] 

一般使用如下的参数： 

σ_n＝0.5，σ₀＝1.6·2^1/S，o_min＝-1，S＝3 

在组o＝-1，图像用双线性插值扩大一倍(对于扩大的图像σ_n＝1)。 

●精确确定极值点位置 

为了精确确定关键点的位置和尺度，采用三维二次函数进行拟合，使位置点达到亚像素精度，以消除DoG算子的边缘效应，增强匹配稳定性、提高抗噪声能力。 

设高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较 小的主曲率。主曲率通过一个2x2的Hessian矩阵H求出： 

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]---\left(10\right)$

导数由采样点相邻差估计得到； 

D的主曲率和H的特征值成正比，令α为最大特征值，β为最小的特征值，则 

Tr(H)＝D_xx+D_yy＝α+β       (11) 

Det(H)＝D_xxD_yy-(D_xy)²＝αβ (12) 

令α＝γβ，则： 

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{r\β}+\mathrm{\β})}^2}{r{\mathrm{\β}}^2}=\frac{{(r+1)}^2}{r}---\left(13\right)$

(r+1)²/r的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测： 

$\frac{{\mathrm{Tr}\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}---\left(14\right)$

一般取r＝10。 

●关键点方向分配 

以关键点为中心，用直方图统计其邻域内像素的梯度方向，梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。 

$\mathrm{\&theta;}(x,y)=\sqrt{\mathrm{\&alpha;}\tan 2((L(x,y+1)-L(x,y-1))/((L(x+1,y)-L(x-1,y)))}---\left(16\right)$

上两式为(x，y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。 

为了增强匹配的鲁棒性，一个关键点可能会被赋予多个方向(一个主方向，一个以上辅方向)，辅方向的定义是其峰值能量是主峰值能量的80％左右。检测完关键点，得到每个关键点的三个信息：位置、尺度、方向，由此可以确定一个SIFT特征区域。 

●特征点描述子生成 

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。 

接下来以关键点为中心取8×8的窗口，中心点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，然后在每4×4的小块上计算8个方向的梯度方向直方 图，绘制每个梯度方向的累加值，即可形成一个种子点。 

计算过程中，为了增强匹配的稳健性，去除光照变化的影响，对每个关键点使用4×4共16个种子点来描述，并进行长度归一化，这样对于一个关键点就可以产生128个数据，即最终形成128维的去除了尺度变化、旋转等几何变形因素影响的SIFT特征向量； 

S17、样例特征加权融合，具体的方法是：将纹理和SIFT特征相结合，构造结构化特征集，采用公式(17)对混合特征做权重融合处理，生成16种类型的模板： 

f_m＝w₁f_m1+w₂f_m2            (17) 

其中，f_m1，f_m2分别表示样例图像的纹理特征集和SIFT特征集；w₁、w₁分别表示样例图像的纹理特征和SIFT特征的权重(0≤w₁≤1，且w₁+w₁＝1)，通过实验测试，w1取值为0.25～0.35范围内； 

S18、通过人工对婴儿的睡姿进行模拟，用摄像机对婴儿睡姿进行录像并抠图，睡姿包括婴儿不盖被子、婴儿肚子裸露、被子覆盖婴儿头部、婴儿趴睡4种模式，对每一种模式分别采集白天正常照度、白天室内低照度、晚上有灯光、晚上无灯光4种照度环境下的睡姿进行特征提取建模，生成具有16种类型模板的样例特征模板库，如果样例特征模板数量不够则继续重复样例特征提取流程。 

请参考图2，在本发明的一种实施例中，步骤S2包括如下步骤： 

S21、划定监控区域，根据监控时婴儿在摄像机视频场景中出现的位置，用鼠标勾画出一个矩形框或多边型框将婴儿出现的区域框出，作为视频识别分析的区域，避免实时分析过程中引用不必要的干扰因素； 

S22、将待分析图像转换为灰度图像，具体的方法如S13所述； 

S23、对监控区域进行纹理特征分析，具体的方法如S15所述； 

S24、对监控区域进行SIFT特征分析，具体的方法如S16所述； 

S25、特征加权融合，具体的方法是：将提取的纹理特征和SIFT特征，采用公式(18)进行权重融合处理： 

f_t＝w₁f_t1+w₂f_t2    (18) 

其中，f_t1，f_t2分别代表样例图像的纹理特征集和SIFT特征集；w₁、w₁分别表示样例图像的纹理特征和SIFT特征的权重(0≤w₁≤1，且w₁+w₁＝1)，通过实验测试，w₁取值为0.25～0.35范围内。 

请参考图2，在本发明的一种实施例中，步骤S3包括如下步骤： 

S31、睡姿判决，具体的方法是：将步骤S25输出的融合特征f_t和步骤S18中的模板特征集f_m 采用公式(19)进行距离比较，如果距离ρ小于0.2，则认为出现了该种类型的非正常睡姿，输出睡姿类型，否则认为属于正常状态； 

ρ(f_t，f_m[p])＝sqrt[∑(f_t[i]-f_m[p][i])^2]    (19) 

式中，i＝[1，2，3，...，n]表示特征向量值，f_m[p]表示特征模板库中的第p类模板p＝[1，2，...，16]； 

S32、根据步骤S31的睡姿判决结果，如果有设定的婴儿重要事件发生，则需要报警，否则继续保持监控状态； 

S33、报警输出：报警输出信号包括视频、图片和开关量信号，可与报警联动装置(监视器、蜂鸣器、短信发送模块、手持式智能家庭终端等)连接，根据睡姿类别，触发声音报警，或通过手机彩信发送报警图片到指定监护人的手机上。 

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。 

Claims (8)

1.一种婴儿睡姿智能识别方法及装置，其特征在于，包括步骤：

S1、样例特征建模：通过样例抠图，样例特征提取和特征融合，构建特征模板库；

S2、实时特征分析：对监控视频设置监控区域，分析生成监控区域的融合特征；

S3、报警判决：根据样例模板库特征和监控区域的实时分析特征，进行婴儿睡姿分类判决，输出报警信息。

2.如权利要求1所述的方法，步骤S1的特征在于：读取一帧图像，用鼠标勾画出样例区域，将样例区域转换为灰度图像，在灰度图像中提取图像的纹理特征和SIFT特征，并进行特征加权融合，生成模板特征库。

3.如权利要求2所述的方法，灰度图像转换，其特征在于：设样例RGB图像G(x，y)为M*N大小，由公式(1)对图像的各像素点(x，y)进行计算，提取出各像素点(x，y)的亮度分量V(x，y)，得到M*N大小的灰度图像G′(x，y)，

V(x，y)＝(R_x，y+G_x，y+B_x,y)/3    (1)

式中R_x,y，G_x，y，B_x，y分别代表样例RGB图像(x，y)处的红，绿，蓝三个分量的值。

4.如权利要求2所述的方法，图像的纹理特征提取，其特征在于：根据纹理共生矩阵的原理，提取出四个特征量，分别为：

反差：

能量：

熵：

相关：

其中， 

代表矩阵M中每列元素之和； 

代表每行元素之和；μ_x、μ_y、σ_x、σ_y分别代表m_x、m_y的均值和标准差；

进一步的步骤如下：

A、将样例灰度图像划分为64个灰度级；

B、构造4个方向灰度共生矩阵：M(1，0)，M(0，1)，M(1，1)，M(1，-1)

C、分别计算每个共生矩阵上的四个纹理特征量；

由各特征量的均值和标准差：μ_CON、σ_CON、μ_ASM、σ_ASM、μ_ENT、σ_ENT、μ_COR、σ_COR生成纹理特征的八个特征分量。

5.如权利要求2所述的方法，SIFT特征提取，其特征在于：在尺度空间寻找极值点，提取位置，尺度，旋转不变量，进一步的检测步骤如下：a)检测尺度空间生成及极值点检测；b)精确定位极值 点；c)为每个关键点指定方向参数；d)关键点描述子的生成。

6.如权利要求2所述的方法，特征加权融合，生成模板特征库的方法，其特征在于：通过人工对婴儿的睡姿进行模拟，用摄像机对婴儿睡姿进行录像并抠图，睡姿包括婴儿不盖被子、婴儿肚子裸露、被子覆盖婴儿头部、婴儿趴睡4种模式，对每一种模式分别采集白天正常照度、白天室内低照度、晚上有灯光、晚上无灯光4种照度环境下的睡姿进行特征提取建模，将纹理和SIFT特征相结合，构造结构化特征集，采用公式(2)对混合特征做权重融合处理，生成16种类型的模板：

f_m＝w₁f_m1+w₂f_m2        (2)

其中，f_m1，f_m2分别表示样例图像的纹理特征集和SIFT特征集；w1、w1分别表示样例图像的纹理特征和SIFT特征的权重(0≤w1≤1，且w1+w1＝1)，通过实验测试，w1取值为0.25～0.35范围内。

7.如权利要求1所述的方法，步骤S2的特征在于：针对设置的监控区域，采用与权利要求3～6项相同的方法进行特征的提取融合。

8.如权利要求1所述的方法，步骤S3的婴儿睡姿分类判决，其特征在于：将实时帧图像特征f_t和模板特征集f_m采用公式(3)进行距离比较，如果距离ρ小于0.2，则认为出现了该种类型的非正常睡姿，输出睡姿类型，否则认为属于正常状态。

ρ(f_t，f_m[p])＝sqrt[∑(f_t[i]-f_m[p][i])^2]    (3)

式中，i＝[1，2，3，...，n]表示特征向量值，f_m[p]表示特征模板库中的第p类模板p＝[1，2，...，16]。 

Images