CN103729981A - 一种儿童坐姿监控智能终端 - Google Patents

Abstract

本发明公开了一种儿童坐姿监控智能终端，包括双摄像头拍摄模块、人脸检测模块、光照测量模块和后台服务支持模块；所述双摄像头拍摄模块用于采集双路视频信号，并将采集的信号发送给人脸检测模块；所述人脸检测模块用于检测出双路视频信号中的人脸图像信号，并将检测出的信号发送给后台服务支持模块；所述光照测量模块用于监测环境光照信号，并将检测出信号发送给后台服务支持模块；后台服务支持模块用于标定和匹配儿童与智能设备之间的位置和时间信息，结合环境光照情况针对儿童坐姿给出各种科学合理的提醒。本发明提供的儿童坐姿监控智能终端，能够发现和矫正使用智能设备时候儿童的状态不良习惯，以减少不正确使用智能设备给儿童带来的负面健康影响。

Description

一种儿童坐姿监控智能终端

技术领域

本发明涉及一种儿童坐姿监控智能终端，对儿童使用智能设备时的坐姿、与智能设备的距离、所处环境光照和观看智能设备的时间进行监控。

背景技术

近年来，由于电脑和电视等多媒体终端的快速普及，给人们的生活带来很多便捷和享受，但随之而来也带来很多问题。据卫生部、教育部联合调查的数据显示，目前我国近视发病率达33.33%，近视眼患者已达四亿多，患者中青少年比例逐年提高，青少年近视发病率已高达50%～60%，总人数高居世界第一，而由于不良的姿态观看多媒体终端引起的颈锥问题、歪头、驼背和斜视等问题在青少年中也日益突出。在环境光照不好的条件下，长时间看电视电脑显示屏、观看距离过近或者不正确的观看姿态等，是导致近视和驼背等问题的主要原因之一，对用户的眼睛和身体健康尤其是发育中的青少年是很大的伤害。因此，如何通过智能终端监控儿童坐姿，发现儿童不良的使用习惯并给予儿童科学合理的提示，以此来预防儿童产生健康问题已成一个急需解决的问题。

由此，智能终端也在向着智能和可交互化发展。所谓的智能是能够了解和挖掘用户的状态和需求，并以此做出合理的反应和提示，让用户能够在科学合理的环境中享受多媒体终端给人们生活带来的乐趣。

由于现有的治疗方法很难能够彻底解决近视、颈锥和斜视等问题，因此如何预防青少年近视成为一个急需解决的社会问题。儿童自己要养成良好的用眼习惯，注意休息，正确坐姿，合理安排用眼时间。生活中无法时刻提醒孩子用眼和身体健康，此时需要一个专门的提醒系统来监控儿童学习的环境。

现阶段，智能终端广泛应用人脸检测技术，如相机中的人脸检测，笔记本的人脸检测等。由前置摄像头采集到视频信息，再通过后置检测模块识别出人脸，但是大部分终端设备都是简单给出查找到的人脸位置信息，没有继续很深挖人脸中的其他的用户信息，如人脸的姿态和观看终端的距离等；因此提供给终端判断用户需求的信息量就会较少，大部分的用户状态信息就会被忽略，更不能给用户提供科学合理的建议。能够监控儿童坐姿并给予用户（尤其是儿童）科学合理提示，以此来预防眼睛和身体监控疾病的智能终端能够弥补这一部分的市场和技术空缺，从源头预防儿童在身体快速发育青少年阶段产生健康问题。

智能终端在向和用户高度互动化发展，更多地和网络融合，为用户提供了很多的商业和生活信息，解决了生活中诸多不便，但同时不良使用习惯导致的健康问题也给儿童带来很大的困扰，因此需要提出一种智能监控方案，通过智能终端现有的资源和信息，发现儿童不良的习惯并及时提醒，为儿童提供科学合理的建议，避免由于不良习惯带来的眼睛和身体健康问题，让智能多媒体终端为用户使用的同时，减少它带来的负面影响。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种儿童坐姿监控智能终端，用以发现和矫正使用智能设备时候儿童的状态不良习惯，并及时为儿童用户提出合理科学的建议，以减少不正确使用智能设备给儿童带来的负面健康影响，为儿童提供更好、更为健康的智能设备的用户体验。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种儿童坐姿监控智能终端，包括双摄像头拍摄模块、人脸检测模块、光照测量模块和后台服务支持模块；所述双摄像头拍摄模块用于采集双路视频信号，并将采集的信号发送给人脸检测模块；所述人脸检测模块用于检测出双路视频信号中的人脸图像信号，并将检测出的信号发送给后台服务支持模块；所述光照测量模块用于监测环境光照信号，并将检测出信号发送给后台服务支持模块；所述后台服务支持模块用于标定和匹配人与智能设备之间的位置和时间信息，结合环境光照情况针对儿童坐姿给出各种科学合理的提醒。

所述后台服务支持模块包括姿势提醒单元、时间提醒单元、光照提醒单元、距离提醒单元和人机交互界面；

所述姿势提醒单元：当人脸图像信号显示平面内头部左旋或右旋大于设定角度的频率或周期内累积时长超过阈值，提醒儿童端正坐姿；

所述时间提醒单元：当人脸图像信号显示儿童连续使用时间或周期内累积使用时间超过阈值，提醒儿童用眼过度；

所述光照提醒单元：当环境光照不在合理光照范围内时，提醒儿童当前光照不宜使用智能设备；

所述距离提醒单元：当人脸图像信号显示儿童与智能设备之间的距离小于设定距离的频率或周期内累积时长超过阈值，提醒儿童调整与智能设备之间的距离；

所述人机交互界面：用于人为设定姿势提醒单元、时间提醒单元、光照提醒单元和距离提醒单元的设定参数、阈值和提醒信息。

所述人脸检测模块和后台服务支持模块，对双摄像头拍摄模块提供的双路视频信号进行包括如下处理，将双路信号分别记为左路视频信号和右路视频信号：

对左路视频信号按如下方式进行处理：在初始启动时，对人脸进行全局检测获得正面的人脸区域，而后的每一帧的待检测区域为上一帧检测到正面的人脸区域并上相对运动区域；当检测到正面的人脸时，系统不产生相对运动，即没有相对运动区域；当没有检测到正面的人脸时，系统以一定的角度步长旋转待检测区域直至检测到正面的人脸，累积的旋转角度作为相对运动区域；根据左路视频信号获取坐姿信息并定位出人脸的左/右眼位置信息；

对右路视频信号按如下方式进行处理：根据左路视频信号已获得的人脸区域初步确定右路视频信号中的人脸区域，并在此区域的阈值区域（附近）进行搜索检测，得到右路视频信号中的人脸确切位置，并进一步定位出右路视频信号中人脸的左/右眼睛位置信息；

根据双路视频信号定位出的左/右眼位置信息计算出视差，根据视差计算出儿童与智能设备之间的距离。

有益效果：本发明提供的儿童坐姿监控智能终端，能够发现和矫正使用智能设备时候儿童的状态不良习惯，并及时为儿童用户提出合理科学的建议，以减少不正确使用智能设备给儿童带来的负面健康影响，为儿童提供更好、更为健康的智能设备的用户体验。

附图说明

图1为本发明的结构框图；

图2为人机界面设计；

图3为基于人脸的儿童姿态检测流程图；

图4基于人脸信息的儿童到智能设备的距离检测流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示为一种儿童坐姿监控智能终端，用于检测和监控儿童用户的坐姿、周围环境光照亮度、观看时间和观看距离等，包括双摄像头拍摄模块、人脸检测模块、光照测量模块和后台服务支持模块；所述双摄像头拍摄模块用于采集双路视频信号，并将采集的信号发送给人脸检测模块；所述人脸检测模块用于检测出双路视频信号中的人脸图像信号，并将检测出的信号发送给后台服务支持模块；所述光照测量模块用于监测环境光照信号，并将检测出信号发送给后台服务支持模块；所述后台服务支持模块用于标定和匹配儿童与智能设备之间的位置和时间信息，结合环境光照情况针对儿童坐姿给出各种科学合理的提醒。

目前，就儿童使用多媒体终端时的科学合理的提醒功能还没有统一的标准，在查阅大量的文献，并了解人体使用多媒体终端的一些科学规律和习惯细节后，定义较为合理科学观看终端环境如下：观看终端图像时候，眼睛接受不断闪动较强的亮度的图像，使眼睛容易疲劳；眼睛长时间睁开，眼球表面容易干涩，注意力高度集中；距离过近会引起眼球肌肉暂时性痉挛和焦距改变，对视力是永久性的伤害；一般看电视距离以2m为适当，电脑显示器距你脸的距离最少要60厘米，坐姿端正，屋内的灯光不宜太亮和太暗，双眼在舒适的环境中注视。

据此设计后台服务支持模块包括姿势提醒单元、时间提醒单元、光照提醒单元、距离提醒单元和人机交互界面；并设定相关参数如下：

所述姿势提醒单元：当人脸图像信号显示平面内头部左旋或右旋大于15°的频率或周期内累积时长超过阈值，提醒儿童端正坐姿，养成良好的使用习惯；

所述时间提醒单元：当人脸图像信号显示儿童连续使用时间超过40min，或1h内累积使用时间超过50min，提醒儿童用眼过度，让儿童注意休息，让眼睛松弛和缓解，消除痉挛；

所述光照提醒单元：当环境光照不在60～90lux光照范围内时，提醒儿童当前光照不宜使用智能设备，要保护自己的眼睛；

所述距离提醒单元：当人脸图像信号显示儿童与智能设备之间的距离小于设定距离的频率或周期内累积时长超过阈值，提醒儿童调整与智能设备之间的距离；分远距离模式和近距离模式两种，远距离模式时，设定的提醒距离为2m，近距离模式时，设定的提醒距离为60cm；

所述人机交互界面：用于人为设定姿势提醒单元、时间提醒单元、光照提醒单元和距离提醒单元的设定参数、阈值和提醒信息，使本案的智能终端更为人性化和智能化。

如图2所示，所述人机交互界面包括用户模式界面、主用户界面、系统设置界面和系统提醒界面等。

所述用户模式界面分为电脑模式（近距离）和电视模式（远距离）两种选项：在近距离模式时，当检测到人脸与终端设备之间的距离小于60cm时，便提醒儿童；在远距离模式时，当检测到人脸与终端设备之间的距离小于2m时，边提醒儿童。

所述主用户界面是系统的主界面，包括用于显示双路视频信号、显示检测结果（姿态、距离、光照、休息时间和工作时间等）等，此外还包括一些系统功能选项，使用后能够看到真实的检测结果。

所述系统设置界面用于人为设置相关参数和阈值，比如通过系统设置界面选取需要的检测功能、阈值数据，包括儿童坐姿距离阈值、学习时间光照亮度阈值、休息时间光照亮度阈值以及光照传感器和终端通信的通道设置，还可以设置提醒功能的方式、内容等，让整个智能终端可以具有很好的扩展性和适用性。

系统提醒界面用于给出提醒信息，比如休息时间的倒计时等。

为了监控儿童的坐姿是否正常，本案设计了一种通过人脸姿势检测坐姿的算法，为了减少资源使用和增加时间效率，坐姿检测只使用一路视频信号；所述人脸检测模块和后台服务支持模块，对双摄像头拍摄模块提供的双路视频信号进行包括如下处理。

基于人脸的儿童姿态检测

对左路视频信号按如下方式进行处理：在初始启动时，对人脸进行全局检测获得正面的人脸区域，而后的每一帧的待检测区域为上一帧检测到正面的人脸区域并上相对运动区域；当检测到正面的人脸时，系统不产生相对运动，即没有相对运动区域；当没有检测到正面的人脸时，系统以一定的角度步长旋转待检测区域直至检测到正面的人脸，累积的旋转角度作为相对运动区域；在累积时间内，检测到用户面部有平面内旋转的时候，则输出用户姿态提醒信息；其中人脸检测采用基于Adaboost的人脸检测算法，并采用大量的正负样本训练人脸级联的强分类器，Adaboost算法训练强分类器的过程如下：

1）确定该强分类器的最大误检率f_max和最低检测率d_min；

2）获取训练样本：

P表示人脸样本集合，为正样本集；

N表示非人脸样本集合，为负样本集；

样本可以表示为：(x₁,y₁)，(x₂,y₂)，...，(x_n,y_n)，当y_i=1时，x_i∈P，为正样本；当y_i=-1时，x_i∈N，为负样本，其中n为样本的总数；

3）计算每个样本窗口内的所有Haar-like特征的特征值：

对每个样本赋一个权值ω，假设人脸样本个数为l，那么初始时所有人脸样本的权值ω=1/2l；假设非人脸样本个数为m，那么初始时所有非人脸样本的权值ω=1/2m，l+m=n；

4）设f为当前强分类器的误检率，初始值为f=l，t=1；

5）进行如下循环：

6）得到一个强分类器

满足最大误检率f_max及最低检测率d_min的要求。

基于人脸的儿童姿态检测具体实现步骤和流程如图3所示，包括如下步骤：

Ⅰ.训练正面人脸分类器：收集了30863幅人脸正样本和8456张非人脸样本，基于Adaboost算法训练了正面人脸分类器，其中人脸样本采用中科院CAS-PEAL-R1共享人脸库的，非人脸样本为自己搜集不含有人脸的大小不等的样本；分类器用于检测双摄像头采集视频帧中待检测区域的正面人脸和待检测区域旋转后的正面人脸，并由得到的儿童用户信息，进一步判断儿童姿态；

Ⅱ.人脸检测：系统启动，开启双摄像头，通过双摄像头采集的视频信息输入系统终端，采用基于Adaboost算法先对左路视频信号检测儿童人脸的位置；设N为视频帧数，N=1时，全局检测正面人脸，N>1时，待检测区域为上一帧人脸区域并上当前帧相对于上一帧的运动区域；如果有正面人脸，则系统不做任何输出，如果无正面人脸，则以15°为步长旋转待检测区域继续检测人脸区域；

其中人脸检测输出的结果为能够较合理地包含人脸位置信息的矩形；

Ⅲ.检测结果处理：当检测到左路视频信号的待检测区域有正面人脸信息时候，则由相应的规则计算出对右路视频信号中待检测区域，对计算出的右路的待检测区域进行正面人脸检测，并定位两路信号人脸中的人眼位置，并匹配检测到的左眼位置信息，由此计算视差，为距离计算做准备；当没有在待检测检测到人脸时候，则以15°为步长旋转待检测区域继续检测人脸区域；

其中，由左路视频信号的人脸位置信息计算右路视频信号的待检测规则如下：

设检测到左路视频信号的人脸位置信息为Rect(x,y,w,h)时；

右路应的待检测区域为Rect(x-w/3,y-h/3,w+w*2/3+,h+h*2/3)；

Ⅳ.系统提醒输出：在累积时间内，在旋转后的待检测区域内检测到正面人脸次数超过一定阈值的时候，则提醒儿童注意坐姿；

本方案中不良姿态的检测是检测旋转一定角度的待检测区域得到的，所以检测的正确率和旋转的步长有一定的关系；步长越小正确率越高，但是检测耗时越长，本方案通过验证，当步长大于15°的时候，正确率无明显提高，耗时增大。

基于人脸信息的儿童到智能设备的距离检测

距离计算是在实现儿童眼镜检测和定位基础上的实现功能；人眼检测采用的是基于Adaboost算法，待检测区域为检测到的人脸区域；定位采用质心计算的方法得到；最后通过已经采用Zhang标定的双摄像头的参数和匹配得到的视差，计算出儿童和智能终端的距离；如图4所示，具体的步骤如下：

Ⅰ.双摄像头标定：经采用Zhang标定方法标定系统使用的双摄像头，得到摄像机系统的内外参数，双像头系统采用型号一致相距一定距离平行放置的两个的USB双像头，两个摄像头焦距调至相同，标定的步骤如下：

①制作标准棋盘：采用一张打印了7×9的黑白棋盘格的硬纸板作为标定参照物，每个图像中可以提取到的角点数量为6×8，棋盘格中每个黑白格的尺寸为2cm×2cm；

②双目摄像机棋盘图像获取：利用双目摄像机分别从不同的方位和角度拍摄12张棋盘图像；本文实验过程中是保持摄像机的位置固定，不断变换标定模板的角度，为了保证标定精度，尽量让棋盘变换的角度较大，使得拍摄的图像具有较大的变化；

③棋盘图像角点提取：对左右摄像机拍摄不同角度的各14幅棋盘图像提取角点，根据角点的图像坐标联立多个方程，建立包含摄像机内外参数的方程组；

④由标定程序获得左右摄像机标定的内外参数。

Ⅱ.训练人眼分类器：为了提高人眼检测和定位的正确率，分别采集了10000正样本和10000负样本图片，训练了基于Adaboost算法的双目分类器，左眼分类器和右眼分类器的三个分类器，用于检测人脸区域中的人眼位置信息；

Ⅲ.人脸检测：开启系统，对采集到的视频信号进行人脸和姿态检测，算法见基于人脸的姿态检测；

Ⅳ.人眼检测：当在左路视频信号中检测到的正面人脸区域，则采用基于Adaboost的检测算法在正面人脸区域内进行儿童双目的检测和定位，然后在在双目区域位置内进一步检测左眼区域位置；并在右路视频信号的人脸区域中进行相同的人眼检测和定位操作，检测输出结果的人眼矩形位置信息的数据结构和人脸检测输出的数据结构信息一致，为Rect(x,y,w,h)，人眼定位的信息输出为(x,y)，其中x为人眼在视频帧中的横坐标，y为人眼在视频帧中的纵坐标w为人眼矩形框的宽，h为人眼矩形框的高；

Ⅴ.人眼定位：分别在两路视频信号左眼区域内定位左眼的质心位置，设(x,y)为其中一路视频信号的左眼质心坐标位置，(x',y')为另一路信号的左眼质心坐标位置，对于(x,y)：

$x=\frac{m_{10}}{m_{00}},y=\frac{m_{01}}{m_{00}};$

其中，

f(i,j)为检测到的人眼区域中坐标为(i,j)图像的灰度值；(x',y')的计算类似；

Ⅵ.视差输出：由两路信号中相匹配的人眼位置信息得到视差信息，计算过程为：x-x'；

Ⅶ.距离计算：已知视差和标定过的双摄像头的内外参数，计算儿童距离摄像头的距离过程为：

其中，T（单位mm）为两摄像头中心距离，f（单位mm）为摄像头的焦距。

光照监控

光照监控是指检测儿童所处环境的光照情况，当光照不在适合儿童学习、工作和观看的范围时，提醒使用者调节光照明暗，以保护眼睛。

本方案采用BH1705数字传感器检测光照强度，并定通过MCU定时发送给智能坐姿智能监控终端，当光照强度不在合适范围内时，发出提醒功能，让了用户及时调节光照环境。其步骤和模块图如下：

Ⅰ.系统启动，初始化MCU，初始化光照传感器；

Ⅱ.光照传感器每隔1s，检测环境光照的亮度；

Ⅲ.MCU每隔5s把光照亮度参数通过串口传给PC机；

Ⅳ.PC机接收到光照参数后，判断是否在阈值范围内，基于儿童一定的提醒；

时间监控

时间监控是指监督观看电视或电脑的时间，当超过一定时间时发出警告，提醒儿童休息，并提供休息的倒计时功能，当休息时间结束后，用户可以继续回到观看状态。本方案提供从检测到人脸开始累积计时；出现以下情况时候提醒儿童休息，并提供休息倒计时功能：

Ⅰ.在一段时间内（1个小时内），累积观看时间超过一定时间（50分钟）；

Ⅱ.连续观看超过一段时间（40分钟）；

系统测试结果

本系统处理的双摄像头采集视频信息，因为摄像头信息采集与光照和距离等因素有光，所以本系统的检测精度亦会受到光照和距离的干扰。针对不同光照和距离条件下的情况，录制了不同的视频以检测系统的性能系统的监控正确参数如下：

表1：系统总体性能表

表2：系统测试数据：在相同光照，儿童离摄像头不同距离条件下实验数据

表3：系统测试数据：在儿童离摄像头相同距离、不同光照条件下的实验数据

由测试结果可以看出，本方案提出了系统方案能够得到儿童的坐姿、周围环境光照亮度、观看终端时间和观看的距离等儿童用户信息，测试的精度能够达到基本的需求，能够起到监控儿童观看多媒体时候的不良习惯，并及时提供儿童纠正不良习惯并提出科学的建议。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种儿童坐姿监控智能终端，其特征在于：包括双摄像头拍摄模块、人脸检测模块、光照测量模块和后台服务支持模块；所述双摄像头拍摄模块用于采集双路视频信号，并将采集的信号发送给人脸检测模块；所述人脸检测模块用于检测出双路视频信号中的人脸图像信号，并将检测出的信号发送给后台服务支持模块；所述光照测量模块用于监测环境光照信号，并将检测出信号发送给后台服务支持模块；所述后台服务支持模块用于标定和匹配儿童与智能设备之间的位置和时间信息，结合环境光照情况针对儿童坐姿给出各种科学合理的提醒。

2.根据权利要求1所述的儿童坐姿监控智能终端，其特征在于：所述后台服务支持模块包括姿势提醒单元、时间提醒单元、光照提醒单元、距离提醒单元和人机交互界面；

所述姿势提醒单元：当人脸图像信号显示平面内头部左旋或右旋大于设定角度的频率或周期内累积时长超过阈值，提醒儿童端正坐姿；

所述时间提醒单元：当人脸图像信号显示儿童连续使用时间或周期内累积使用时间超过阈值，提醒儿童用眼过度；

所述光照提醒单元：当环境光照不在合理光照范围内时，提醒儿童当前光照不宜使用智能设备；

所述距离提醒单元：当人脸图像信号显示儿童与智能设备之间的距离小于设定距离的频率或周期内累积时长超过阈值，提醒儿童调整与智能设备之间的距离；

所述人机交互界面：用于人为设定姿势提醒单元、时间提醒单元、光照提醒单元和距离提醒单元的设定参数、阈值和提醒信息。

3.根据权利要求1所述的儿童坐姿监控智能终端，其特征在于：所述人脸检测模块和后台服务支持模块，对双摄像头拍摄模块提供的双路视频信号进行包括如下处理，将双路信号分别记为左路视频信号和右路视频信号：

对左路视频信号按如下方式进行处理：在初始启动时，对人脸进行全局检测获得正面的人脸区域，而后的每一帧的待检测区域为上一帧检测到正面的人脸区域并上相对运动区域；当检测到正面的人脸时，系统不产生相对运动，即没有相对运动区域；当没有检测到正面的人脸时，系统以一定的角度步长旋转待检测区域直至检测到正面的人脸，累积的旋转角度作为相对运动区域；根据左路视频信号获取坐姿信息并定位出人脸的左/右眼位置信息；

对右路视频信号按如下方式进行处理：根据左路视频信号已获得的人脸区域初步确定右路视频信号中的人脸区域，并在此区域的阈值区域进行搜索检测，得到右路视频信号中的人脸确切位置，并进一步定位出右路视频信号中人脸的左/右眼睛位置信息；

根据双路视频信号定位出的左/右眼位置信息计算出视差，根据视差计算出儿童与智能设备之间的距离。

Images