CN103278141B - 婴幼儿睡眠监控系统及方法 - Google Patents

Abstract

婴幼儿睡眠监控系统及方法，涉及计算机视觉监控领域。红外激光器和数字CCD摄像机组成视觉感知系统，红外激光器通过传感器支架固定在CCD摄像机的下方；婴幼儿睡眠的床上置有被褥，红外激光器投射的线激光投射在被褥上，线激光位于婴幼儿下半身的位置，线激光的方向与婴幼儿躯干方向垂直；红外激光器投射到被褥上形成光带，光带被数字CCD摄像机采集成像；CCD摄像机在传感器支架上可调整俯仰角度，使得所述的狭长的光带出现在CCD摄像机的视场中央；CCD摄像机捕获的狭长的光带的数字图像通过1394图像采集卡由传输电缆传输至计算机，完成信息处理判别是否有婴幼儿蹬被的发生，即通过视觉测量软件检测光带并判别是否有婴幼儿蹬被的发生。

Description

婴幼儿睡眠监控系统及方法

技术领域

本发明涉及计算机视觉监控领域，设计了一种基于红外结构光视觉原理的婴幼儿睡眠监控系统装置，并实现了基于该装置的监控方法。

背景技术

计算机视觉技术是用计算机实现人的视觉功能—对客观世界的三维场景的感知、识别和理解，在国民经济、科学研究及国防建设等领域都有着广泛的应用。视觉技术的最大优点是与被观测的对象无接触，因此对观测与被观测者都不会产生任何损伤；此外，借助红外线、微波、超声波等视觉方式，能检测到人眼观察不到的范围，因而极大地拓展了人类的视觉局限。

结构光视觉三维测量是一种基于三角摄影测量原理的，既利用图像作为信息载体又利用可控光源的主动式测量技术。测量系统在硬件上由结构光发生源和摄像机两部分组成，而且被测三维物体、结构光源和摄像机三者之间形成三角结构。简单的结构光是一扇激光平面，与三维物体表面相交，交线为含有三维物体形状信息的曲线。该交线是比自然光照射下的物体其他部位亮得多的光条，所以在摄像机中成像为一条亮带。对于物体表面光条上的某一光点，一定位于摄像机光心和该点对应像点构成的空间直线上，同时，该点又位于光平面上，因此由直线和平面的相交，唯一地确定一个三维空间点。

对于夜晚黑暗状态下的视觉检测，人们不希望明亮的激光条纹产生环境光照，因此可以将可见光波段的激光源替换为红外波段的激光源。近年来，红外视觉技术在车辆辅助驾驶、高温构件的尺寸测量、军事目标跟踪、机器人及无人飞行器的导航定位等领域取得了一定的研究进展，且在军事和民用领域的应用范围仍在日益扩展。

完全缺乏自理能力的婴幼儿是需要监护人一直监视的对象。当今社会，随着生活节奏的加快和工作压力的增大，婴幼儿的监护人（如父母）很难做到夜间睡眠期间的全程监护，如监护婴幼儿的被褥是否盖好等；且夜间的监护工作使监护人长期得不到良好休息，导致身体逐渐趋于亚健康状态。婴幼儿睡眠过程中，由于翻身、暂时温度不适等原因导致的蹬被子动作，在不能及时发现的情况下，会使婴幼儿的躯体长时间暴露在空气中，容易致使其发生感冒，甚至更为严重的疾病。若能利用计算机视觉技术辅助人去完成或部分完成监护任务，则有助于将监护人从长期的疲劳状态解脱出来，因而具有十分重要的现实意义。

发明内容

针对婴幼儿睡眠过程中，由于翻身、暂时温度不舒适等原因导致的蹬被子的问题，本发明提出了一种基于红外结构光视觉的监控装置及监控方法，由于借助了主动红外光源，能够在夜间缺失可见光的条件下，有效地检测出婴幼儿的被褥是否覆盖良好。若未盖好，则向监护人及时发出报警声，提示监护人为婴幼儿盖好被褥。

本发明采用如下技术方案：

婴幼儿睡眠监控系统，包括有CCD摄像机1、红外激光器2、激光器电源3，传感器支架4，传输电缆5，1394图像采集卡6，计算机7，由红外激光器2和数字CCD摄像机1安装于传感器支架4上，红外激光器2和数字CCD摄像机1组成视觉感知系统，红外激光器2通过传感器支架4固定在CCD摄像机1的下方；婴幼儿睡眠的床上置有被褥，红外激光器2投射的线激光投射在被褥上，线激光位于婴幼儿下半身的位置，线激光的方向与婴幼儿躯干方向垂直；红外激光器2投射到被褥上形成狭长的光带，所述的狭长的光带被数字CCD摄像机采集成像；CCD摄像机1在传感器支架上可调整俯仰角度，使得所述的狭长的光带出现在CCD摄像机1的视场中央；CCD摄像机1捕获的狭长的光带的数字图像通过1394图像采集卡6由传输电缆5传输至计算机7，完成信息处理判别是否有婴幼儿蹬被的发生，即通过视觉测量软件检测光带并判别是否有婴幼儿蹬被的发生。

红外激光器投射的红外光线条频率为850nm，功率为50mw。

本发明提供了一种基于红外结构光视觉的婴幼儿睡眠监控方法，其特征在于，包括如下步骤：

S1：建立激光平面和床平面；

①在A3页面的白纸上打印黑白方格图案，粘贴于平整的木板上，做成一个平面靶标；

②将①中所述的靶标放置在CCD摄像机1前面，关闭激光器，使得靶标在CCD摄像机1中成清晰、完整的图像，采集该图像；在保持靶标不动的前提下，打开激光器，线激光投射在靶标平面上，此时采集投射有激光的靶标图像。

接下来，连续变换5次靶标的位置和方向，注意使其中一个位置在床平面上。该过程共采集6幅无激光投射的靶标图像（I₁,I₂,…I₆）和6幅投射有激光的靶标图像（L₁,L₂,…L₆）；

③在6个不同位置的靶标上，建立局部世界坐标系O_i-x_iy_iz_i（i=1,2,…,6）。该坐标系的原点位于左上角黑色方块的左上角，x_i轴沿靶标最上方的一条横向直线指向右，y_i轴沿最左方的一条纵向直线指向下，根据右手螺旋法则确定z_i轴的方向；在摄像机上建立摄像机坐标系O_c-x_cy_cz_c，其坐标原点位于镜头光心，x_c轴平行于成像平面的横轴，y_c轴平行于成像平面的纵轴，根据右手螺旋法则确定z_c轴的方向；

④根据张正友提出的基于平面靶标的摄像机标定方法（该方法为业内所熟知）确定出CCD摄像机1的内部参数，包括归一化焦距（f_x,f_y），主点坐标（u₀,v₀），图像坐标轴倾斜因子γ，镜头的二阶径向畸变系数k_d=(k₁,k₂)（这些符号的意义也为业内所共识）；该标定过程能够确定出③中所述的每个局部世界坐标系相对于摄像机坐标系O_c-x_cy_cz_c的位置关系（R_i，T_i）（i=1,2,…,6），满足

X_c=R_iX+T_i(1)

式（1）中，X表示空间一个点在局部世界坐标系下的坐标，X_c表示该点在摄像机坐标系O_c-x_cy_cz_c下的坐标，R_i为局部世界坐标系与摄像机坐标系之间的旋转矩阵，T_i为局部世界坐标系与摄像机坐标系之间的平移向量。由于其中一个靶标位置在床平面上，记录其相应的（R_i，T_i）（i=1,2,…,6）为（R_b,T_b），通过（R_b,T_b）可描述床平面的位置；

⑤利用一种基于交比不变的方法建立起激光平面的方程Ax+By+Cz+1=0（A，B，C为描述该平面位置与方向等几何信息的数学参数，该标定方法为业内所熟知）。

S2：采集图像；

连接硬件，系统上电，利用CCD摄像机1的软件驱动程序采集当前图像；

S3：图像处理；

利用C.Steger提出的方法，在图像（L₁,L₂,…L₆）上分别提取线激光的中心线，并根据如下步骤求取线点对应的三维坐标。

①利用内参矩阵将以像素为单位的图像点坐标(u，v)（图像坐标系的原点位于图像的左上角，u轴沿水平方向，v轴沿垂直方向）转化为以毫米为单位的规一化像点坐标(x_nd，y_nd)（规一化图像坐标系的原点位于CCD成像面的光学中心，x轴沿水平方向，y轴沿垂直方向）：

$\left[\begin{array}{c}{x}_{\mathrm{nd}}\\ y_{\mathrm{nd}}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{f}_x& \mathrm{\γ}& C_x\\ 0& f_y& C_y\\ 0& 0& 1\end{array}\right]}^{-1}\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(2\right)$

②利用式(2)校正像点(x_nd，y_nd)的畸变，得到规一化图像坐标系下的校正后的像点坐标(x_nu，y_nu)

$\left\{\begin{array}{c}{X}_{\mathrm{nu}}=X_{\mathrm{nd}}(1+k_1{r}^2+k_2{r}^4)\\ Y_{\mathrm{nu}}=Y_{\mathrm{nd}}(1+k_1{r}^2+k_2{r}^4)\end{array}\right.---\left(3\right)$

(k₁,k₂)标定出的镜头二阶径向畸变系数,r为像点到主点的距离。

③建立摄像机坐标系下三维激光点的坐标方程

x_nu=X_c/Z_cx_nu=X_c/Z_c(4)

④假定拟合得到的摄像机坐标系下的线结构光的平面方程为：

Ax+By+Cz+1=0(5)

则在摄像机中成像的空间激光点同时满足式(4)和(5)。因此，摄像机坐标系下的三维激光点坐标表示为：

X_c=x_nu·Z_c，Y_c=y_nu·Z_c， $Z_c=\frac{-D}{{\mathrm{Ax}}_{\mathrm{nu}}+B{y}_{\mathrm{nu}}+C}---\left(6\right)$

S4：将已经求取的三维坐标转换至世界坐标系，判定婴幼儿的被褥是否盖好；

上式（6）得到的三维坐标，带入（7），计算出世界坐标（X_w,Y_w,Z_w）。根据Z_w的大小判定婴幼儿的被褥是否盖好；

$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]={\left[\begin{array}{cc}{R}_b& T_b\\ 0_3^T& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]---\left(7\right)$

S5：根据判定结果，选择是否报警。

如果出现一定量的点，满足Z_w<10mm，且点的个数N>100，说明红外线激光打在了床平面上，婴幼儿被褥未盖好，计算机控制报警器报警，通知监护人照看婴幼儿。

本发明具有以下有益效果：

本发明所提供的视觉监控方法使得机器能够代替监护人去完成夜间婴幼儿睡眠状态的监控。实验结果表明，本监控方法能够准确判别婴幼儿蹬被子的状况，能够及时向监护人报警，具有一定的灵敏度和可靠性。

以下结合附图说明和具体实施方式对本发明作进一步详细说明。

附图说明

图1监控系统装置硬件结构图；

图2监控原理图；

图3黑白方格图案；

图4红外图像处理结果图。

图中：1、CCD摄像机，2、红外激光器，3、激光器电源，4、传感器支架，5、传输电缆，6、1394图像采集卡，7、计算机,8、红外激光平面,9、报警器，10、世界坐标系，11、监护人，12、婴幼儿。

具体实施方式

本实施方式的具体装置结构，参见图1，包括CCD摄像机1、红外激光器2、激光器电源3，传感器支架4，传输电缆5，1394图像采集卡6，计算机7。利用传感器支架4上加工的螺孔，在床合适的位置固定传感器支架4；调整CCD摄像机1和红外激光器2的俯仰角度，使得线激光出现在图像中央的位置；1394图像采集卡6插在在计算机7中，系统上电后，在计算机7中启动CCD摄像机1的驱动程序，采集图像并输入到计算机7中，在计算机7中完成图像的监视、处理和三维计算，并根据处理结果做出决策与控制。

整个过程如图2所示。图2中包括，摄像机1，红外激光器2，红外激光平面8，计算机7，报警器9，世界坐标系10，监护人11，婴幼儿12。世界坐标系10建立在床平面上，便于根据的Z_w值做出决策判断，如果出现了婴幼儿12蹬被的现象，则计算机7控制报警器9发出响声，提醒监护人11照理婴幼儿12。

图4为红外图像处理结果图，其中(a)为红外图像（盖好），(b)为线条提取图；(c)为红外图像（未盖好），(d)为线条提取图。

Claims (1)

1.一种基于红外结构光视觉的婴幼儿睡眠监控方法，其特征在于，包括如下步骤：

S1：建立激光平面和床平面；

①在A3页面的白纸上打印黑白方格图案，粘贴于平整的木板上，做成一个平面靶标；

②将①中所述的靶标放置在CCD摄像机(1)前面，关闭激光器，使得靶标在CCD摄像机(1)中成清晰、完整的图像，采集该图像；在保持靶标不动的前提下，打开激光器，线激光投射在靶标平面上，此时采集投射有激光的靶标图像；

接下来，连续变换5次靶标的位置和方向，注意使其中一个位置在床平面上；该过程共采集6幅无激光投射的靶标图像(I₁,I₂,…I₆)和6幅投射有激光的靶标图像(L₁,L₂,…L₆)；

③在6个不同位置的靶标上，建立局部世界坐标系O_i-x_iy_iz_i(i＝1,2,…,6)；该坐标系的原点位于左上角黑色方块的左上角，x_i轴沿靶标最上方的一条横向直线指向右，y_i轴沿最左方的一条纵向直线指向下，根据右手螺旋法则确定z_i轴的方向；在摄像机上建立摄像机坐标系O_c-x_cy_cz_c，其坐标原点位于镜头光心，x_c轴平行于成像平面的横轴，y_c轴平行于成像平面的纵轴，根据右手螺旋法则确定z_c轴的方向；

④根据张正友提出的基于平面靶标的摄像机标定方法确定出CCD摄像机(1)的内部参数，包括归一化焦距(f_x,f_y)，主点坐标(u₀,v₀)，图像坐标轴倾斜因子γ，镜头的二阶径向畸变系数k_d＝(k₁,k₂)；该标定过程能够确定出③中所述的每个局部世界坐标系相对于摄像机坐标系O_c-x_cy_cz_c的位置关系(R_i，T_i)(i＝1,2,…,6)，满足

X_c＝R_iX+T_i(1)

式(1)中，X表示空间一个点在局部世界坐标系下的坐标，X_c表示该点在摄像机坐标系O_c-x_cy_cz_c下的坐标，R_i为局部世界坐标系与摄像机坐标系之间的旋转矩阵，T_i为局部世界坐标系与摄像机坐标系之间的平移向量；由于其中一个靶标位置在床平面上，记录其相应的(R_i，T_i)(i＝1,2,…,6)为(R_b,T_b)，通过(R_b,T_b)可描述床平面的位置；

⑤利用一种基于交比不变的方法建立起激光平面的方程Ax+By+Cz+1＝0，A，B，C为描述该平面位置与方向几何信息的数学参数；

S2：采集图像；

连接硬件，系统上电，利用CCD摄像机(1)的软件驱动程序采集当前图像；

S3：图像处理；

利用C.Steger提出的方法，在图像(L₁,L₂,…L₆)上分别提取线激光的中心线，并根据如下步骤求取线点对应的三维坐标；

①利用内参矩阵将以像素为单位的图像点坐标(u，v)，图像坐标系的原点位于图像的左上角，u轴沿水平方向，v轴沿垂直方向；转化为以毫米为单位的规一化像点坐标(x_nd，y_nd)，规一化图像坐标系的原点位于CCD成像面的光学中心，x轴沿水平方向，y轴沿垂直方向：

$\left[\begin{array}{c}{x}_{nd}\\ y_{nd}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{f}_x& \mathrm{\&gamma;}& C_x\\ 0& f_y& C_y\\ 0& 0& 1\end{array}\right]}^{-1}.\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(2\right)$

②利用式(2)校正像点(x_nd，y_nd)的畸变，得到规一化图像坐标系下的校正后的像点坐标(x_nu，y_nu)

$\left\{\begin{array}{c}{X}_{nu}=X_{nd}(1+k_1{r}^2+k_2{r}^4)\\ Y_{nu}=Y_{nd}(1+k_1{r}^2+k_2{r}^4)\end{array}\right.---\left(3\right)$

(k₁,k₂)标定出的镜头二阶径向畸变系数,r为像点到主点的距离；

③建立摄像机坐标系下三维激光点的坐标方程

x_nu＝X_c/Z_cx_nu＝X_c/Z_c(4)

④假定拟合得到的摄像机坐标系下的线结构光的平面方程为：

Ax+By+Cz+1＝0(5)

则在摄像机中成像的空间激光点同时满足式(4)和(5)；因此，摄像机坐标系下的三维激光点坐标表示为：

$X_c=x_{nu}\&CenterDot;Z_c,Y_c=y_{nu}\&CenterDot;Z_c,Z_c=\frac{-D}{{\mathrm{Ax}}_{nu}+{\mathrm{By}}_{nu}+C}---\left(6\right)$

S4：将已经求取的三维坐标转换至世界坐标系，判定婴幼儿的被褥是否盖好；

上式(6)得到的三维坐标，带入(7)，计算出世界坐标(X_w,Y_w,Z_w)；根据Z_w的大小判定婴幼儿的被褥是否盖好；

$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]={\left[\begin{array}{cc}{R}_b& T_b\\ 0_3^T& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]---\left(7\right)$

S5：根据判定结果，选择是否报警；

如果出现一定量的点，满足Z_w<10mm，且点的个数N>100，说明红外线激光打在了床平面上，婴幼儿被褥未盖好，计算机控制报警器报警，通知监护人照看婴幼儿。