CN109858376A - 一种具有儿童健康学习监督功能的智能台灯 - Google Patents

Abstract

本发明公开了一种具有儿童健康学习监督功能的智能台灯，主要以图像识别为基础结合当下流行且应用效果明显的深度学习算法，使用开源的Tensorflow框架结合DeepLab技术来实现对儿童自主学习的监控。同时利用开源硬件树莓派来做内部控制，并以台灯为载体，设计的系统模块包含有图像处理模块、通信模块、前端控制模块、云端数据模块和移动端显示模块五大部分。其中图像处理模块负责图像收集、模型训练、图像识别；通信模块负责蓝牙通信、WIFI通信；前段控制模块负责交互控制和感应自动控制；云端数据模块负责数据存储、数据查询、数据通信；移动端显示模块负责移动端的数据配置和绑定注册。本发明方法结合内置的语音模块，对儿童学习状态进行监控，帮助儿童自主学习。

Description

一种具有儿童健康学习监督功能的智能台灯

技术领域

本发明属于信息技术领域，分属于计算机视觉与人工智能在智能硬件中的应用，涉及一种基于深度学习的图像自动识别方法，具体涉及结合了以树莓派作为硬件交互控制和以卷积网络图像分类模型作为软件技术支撑的一种新的具有儿童健康学习监督功能的智能台灯。

背景技术

卷积神经网络(Convolution Neural Networks,CNN)模型的出现带动人工智能发展的热潮，CNN结构建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好地自动建立从底层信号到高层语义的映射关系。在以CNN神经网络技术为支撑，计算机视觉技术取得了巨大成功，实现了从文字识别-数字图像识别-物体识别的发展阶段。而以计算机视觉结合计算机软件技术已经广泛的被用于智能硬件开发，尤其在图像分辨率要求很高的人脸识别、拍照美颜、自动驾驶等方面衍生很多专用产品。同时，伴随着物联网技术发展，结合人工智能技术为底层支撑的智能家居产品层出不穷。在传统家居改造上，通过嵌入丰富的传感器和智能化的交互技术，可实现家居产品内的WIFI、蓝牙、NB-IOT等通信模块与手机APP端的可视化交互，从而开发类似具有儿童监督学习监督功能的智能台灯等智能家居产品。

互联网时代家庭中儿童的教育学习问题一直是困扰家长的地方。结合互联网时代的上述发展特点，许多家长因为网络的复杂性选择让孩子尽可能少地接触网络，尤其是儿童时代。智能台灯作为儿童学习常用的学习助手，已不再是简单的照明工具。家长需要一个智能台灯来帮助自己监督孩子的学习状态，同时也应能提醒孩子保持自我学习的最佳状态适时缓解疲劳，来更好地帮助孩子学习成长。

然而，在现有的发明技术中，尽管部分台灯具有坐姿纠正货提醒功能，如公开号CN108601133的专利申请公开一种智能台灯及基于智能台灯的坐姿纠正方法，该台灯包括：摄像头模块、语音播放模块、存储模块、图像处理模块构成，其中图像处理模块作为该专利的核心技术，主要是采用传统的特征匹配方法，将实时的面部特征框与标准的面部特征框进行比对，以实现对坐姿纠正的语音提醒。然而这种传统的特征匹配方法存在无法准确的对不良坐姿进行判断，尤其是用户的坐姿是人体上半身整体图像特征的反映，而不是单纯的人脸识别，仅仅依靠面部特征的识别无法合理的进行预判。又如公开号CN207740806U的专利申请公开一种具备坐姿纠正提醒及作业信息显示的智能台灯，这种台灯只能通过测定用户与台灯的距离来判断坐姿是否正确，然而仅仅通过测距模块来监测坐姿状态是不太准确的，比如对偏腿坐姿这种不良坐姿的状态识别可能失效。又如公开号CN106287384A的专利申请公开了一种具有坐姿矫正智能提醒功能的护眼台灯，通过角度传感器和红外传感器获取的身高和角度作为姿态识别的特征。但用户的坐姿并不都是身高和角度的差异化体现，且不同成长阶段的用户，其身高特征易发生明显变化，因此该台灯对用户的不良坐姿识别极易产生误判，从而无法起到坐姿纠正的作用。

本发明是利用当前先进的计算机技术、人工智能技术、物联网技术制作出来的一种具有儿童健康学习监督功能的智能台灯，利用目前已经成熟的深度学习结合图像识别技术，发明一款具有儿童健康学习状态的监督、坐姿的纠正提醒与记录、学习疲劳的缓解、蓝牙设备的绑定、WIFI数据的传输、自动调光等功能的智能台灯，帮助家长监督孩子健康学习。

发明内容

本发明旨在设计一种全新的智能台灯，设计的智能台灯不单单只有照明功能，还能帮助家长监督孩子学习，以帮助孩子养成良好的自主学习习惯。该智能台灯的发明具体在于结合了图像识别和深度学习的技术，通过在开源硬件树莓派上开发并嵌入图像识别算法来实现对儿童学习状态的智能化监督，纠正儿童不良的坐姿，在儿童学习一定时间后(默认设定为30分钟，通过台灯内部硬件时钟和计时器进行计时)通过台灯内置语音模块播放眼保健操音乐和舒缓音乐进行疲劳缓解。同时该台灯还配套实现了可与手机APP端交互的功能，方便家长一对一了解孩子的学习状况。同时孩子每次自主学习过程中智能台灯都会把孩子学习数据上传到云端，家长通过APP连接到云端获取孩子实时的学习数据，实时了解到孩子当次的学习状况以及孩子累计自主学习的整体状况，更好地把握孩子的学习状态，方便家长采取相应措施来助力孩子学习。

为了达到上述目的，本发明提供的技术方案是：一种具有儿童健康学习监督功能的智能台灯，包括：硬件部分和软件部分，所述硬件部分包括台灯本体和设置在台灯本体上的摄像头，软件部分包括图像处理模块、语音模块、通信模块、前端控制模块、云端数据模块和移动端显示模块；所述图像处理模块与摄像头、语音模块、通讯模块、前端控制模块、云端数据模块相连接，云端数据模块与移动端显示模块相连接；

所述图像处理模块包括图像收集单元、图像训练单元和图像识别单元；图像收集单元用于对摄像头获取的图像进行收集并进行预处理，图像训练单元用于对预先收集并预处理之后的图像进行CNN模型训练，图像识别单元用于利用训练好的CNN模型对摄像头实时获取的图像进行图像中人物状态的识别，包括无人状态、正确坐姿和错误坐姿，当识别为错误坐姿时，向所述语音模块发送相应的指令，以使所述语音模块播放坐姿提示语音；

所述通讯模块用于图像处理模块与云端数据模块进行通讯，以及云端数据模块与移动端显示模块进行通讯；

所述前端控制模块用于台灯的控制，包括交互控制单元和感应控制单元，交互控制单元包括台灯开关、台灯亮度调节旋钮，用于台灯与使用者的交互，进行台灯的开关操作；感应控制单元包括环境光传感器，用于感受环境光的色温及亮度，进而控制台灯灯光的色温和光的强度；

所述云端数据模块用于存储图像处理模块得到的坐姿图像处理结果和用户数据，包括用户名、设备号和密码，并分别与智能台灯和移动端设备进行交互进行数据的通信；

所述移动端显示模块包括数据显示单元、配置设定单元、绑定注册单元，数据显示单元通过获得云端数据模块存储数据进行数据的显示；配置设定单元用于设定台灯配置并将配置通过云端数据模块传入智能台灯设备；绑定注册单元通过前面所述的蓝牙通信单元与智能台灯进行绑定。

进一步的，所述软件部分基于树莓派3代B型开发板进行开发。

进一步的，图像收集单元对图像进行预处理的具体处理如下，先经过DeepLab模型提取所采集图像的前景人物轮廓，提取的前景人物轮廓为可用于坐姿识别的轮廓，可用坐姿识别轮廓为包括人物胸部以上到头部的上半身区域整体轮廓；然后将图像大小压缩为3通道RGB图像，并减去平均值得到预处理之后的图像；

其中DeepLab模型基于经典的VGG16框架进行变化得到，将所有的全连接层替换为卷积层，然后通过Atrous Conv方法提高得到的卷积分辨率；接下来用Bi-Linear插值方法把得到的score图尺寸变回到原来的图像尺寸；将结果送到全连接条件随机场(CRF)中得到分割结果；根据分割结果提取其中属于人物类别的部分作为提取结果。

进一步的，所述图像训练单元中CNN模型的具体结构包括依次连接的输入层，卷积层，池化层，两个卷积层，池化层，全连接层，Softmax输出层，输出为分别属于无人状态、正确坐姿和错误坐姿的类别概率。

进一步的，所述通讯模块包括蓝牙通信单元、WIFI通信单元和移动端通信单元，其中的蓝牙通信单元用于台灯与移动端设备的绑定，WIFI通信单元用于台灯设备和云端数据模块的通信，移动端通信单元用于移动端设备与云端数据模块的通信。

进一步的，所述智能台灯硬件部分还包括与所述语音模块相连接的时钟和计时器，智能台灯开启后内部计时器读取时钟时间开始计时，当计时器计时达到疲劳缓解间隔时间时，所述语音模块播放眼保健操音乐和舒缓音乐进行疲劳缓解；计时器的计时方式为累计计时，累计时长包括疲劳缓解的时间和播放音乐的时间。

进一步的，疲劳缓解的时长由缓解时播放的眼保健操音乐及舒缓音乐所决定(疲劳缓解间隔时间默认设定为每30分钟缓解5-10分钟)，同时疲劳缓解时间随使用智能台灯的平均时长而改变；若使用时间少于60分钟/次，则疲劳缓解时间降低为25分钟；若使用时间在60-120分钟/次，则疲劳缓解时间增加为35分钟；若使用时间在120分钟以上/次，则疲劳缓解时间增加为40分钟。

进一步的，所述摄像头为树莓派原生的800万像素摄像头。

与现有技术相比，本发明的优点和有益效果：1)姿态识别模型：通过减少两层卷积层和降低全连接层节点改进了的卷积神经网络CNN模型，可有效地用于台灯坐姿的识别；2)姿态识别效果：对于姿态矫正的识别准确率可以达到80％，且姿态识别的特征范围的不在局限于人脸、身高和角度；3)智能物联功能：首次在智能台灯中嵌入云端数据、通信模块和移动端显示模块，实现台灯与手机端APP远程交互。

附图说明

图1为本发明实施例的感应控制流程图；

图2为本发明实施例的支撑层技术实现的整体流程图；

图3为本发明实施例的图像收集单元中图像预处理示意图；

图4为本发明实施例的图像训练单元中CNN卷积网络结构示意图；

图5为本发明实施例的图像识别单元进行坐姿图像识别的流程图；

图6为本发明实施例的软件部分的系统模块设计图。

具体实施方式

本发明设计了一种具有儿童健康学习监督功能的智能台灯，该设备利用开源硬件树莓派来做内部控制，并以台灯为载体进行设计，设计的系统模块包含有图像处理模块、通信模块、前端控制模块、云端数据模块和移动端显示模块五大部分。其中图像处理模块负责图像收集、模型训练、图像识别；通信模块负责蓝牙通信、WIFI通信；前段控制模块负责交互控制和感应自动控制；云端数据模块负责数据存储、数据查询、数据通信；移动端显示模块负责移动端的数据配置和绑定注册，如图6所示。

具体的，一种具有儿童健康学习监督功能的智能台灯，包括：硬件部分和软件部分，所述硬件部分包括台灯本体和设置在台灯本体上的摄像头，软件部分包括图像处理模块、语音模块、通信模块、前端控制模块、云端数据模块和移动端显示模块；所述图像处理模块与摄像头、语音模块、通讯模块、前端控制模块、云端数据模块相连接，云端数据模块与移动端显示模块相连接；

所述图像处理模块包括图像收集单元、图像训练单元和图像识别单元；图像收集单元用于对摄像头获取的图像进行收集并进行预处理，图像训练单元用于对预先收集并预处理之后的图像进行CNN模型训练，图像识别单元用于利用训练好的CNN模型对摄像头实时获取的图像进行图像中人物状态的识别，包括无人状态、正确坐姿和错误坐姿，当识别为错误坐姿时，向所述语音模块发送相应的指令，以使所述语音模块播放坐姿提示语音；

所述通讯模块用于图像处理模块与云端数据模块进行通讯，以及云端数据模块与移动端显示模块进行通讯；

所述前端控制模块用于台灯的控制，包括交互控制单元和感应控制单元，交互控制单元包括台灯开关、台灯亮度调节旋钮，用于台灯与使用者的交互，进行台灯的开关操作；感应控制单元包括环境光传感器，用于感受环境光的色温及亮度，进而控制台灯灯光的色温和光的强度；

所述云端数据模块用于存储图像处理模块得到的坐姿图像处理结果和用户数据，包括用户名、设备号和密码，并分别与智能台灯和移动端设备进行交互进行数据的通信；

所述移动端显示模块包括数据显示单元、配置设定单元、绑定注册单元，数据显示单元通过获得云端数据模块存储数据进行数据的显示；配置设定单元用于设定台灯配置并将配置通过云端数据模块传入智能台灯设备；绑定注册单元通过前面所述的蓝牙通信单元与智能台灯进行绑定。

本发明特色在于实现了基于树莓派的独特图像数据识别部分以及前端的控制部分和组成较为完整的物联网产品-具有儿童健康学习监督功能的智能台灯。本发明设备的具体设计步骤如下：

一、实现感知层技术内的图像收集、交互控制模块的设计：采用树莓派3B作为前段开发板，出于开发的便利以及设备的容错性等考虑，图像采集数据设备选择树莓派原生的800万像素摄像头，通过CSI接口与树莓派进行连接，基本能完成对现实场景中坐姿图像的采集。然后本发明在(二)中设计基于TCS3472器件设计的RGB传感器(即环境光传感器)来感知摄像头前景或环境光亮变化，让摄像头抓取图像并进行预处理，放入(三)中进行坐姿识别模型的训练及坐姿图像预测。除了图像采集，还需要跟外界的人和环境进行控制交互，本发明主要设计了感应交互(由前端控制模块中的交互控制单元和感应控制单元实现)及配置交互(由通信模块实现)两部分，感应交互是通过触摸检测开关TTP223B对人的触摸感应然后对灯进行控制，一是底层采用Python的Serial库对树莓派的2号引脚进行电位检测，电位过高过低表示无人触控开关，灯则保持现有状态，二是通过RGB传感器感知环境光的色温及亮度，进而控制台灯灯光的色温和光的强度。而配置交互是主要通过(四)中的网络传输层技术将APP端设定的配置数据输出到前端台灯开发板进行控制。

二、实现控制层技术内的感应控制模块的设计：本发明设计的感应控制流程包括智能台灯的模式设置、触摸检测开关控制、RGB传感器感应控制、摄像头感知控制，见附图1所示，其中智能台灯的模式设置、触摸检测开关控制为现有技术，本发明不予撰述，RGB传感器通过感知色温变换动态调整灯光，给用户最佳用光体验；而摄像头感知控制运用(三)中的图像处理、训练、识别技术，将树莓派摄像头采集的姿态图像经预处理输入CNN姿态识别模型以判断当前儿童的坐姿状态来控制语音提醒。

三、实现支撑层技术内的模型训练与图像处理模块的设计。具体设计流程图见附图2，首先是模型训练的图像采集，图像采集为0.5秒一张，采集类别为三种，分别是无人状态、正确坐姿、错误坐姿，最后采集了模型预训练的语料共计8256张姿态图像。然后对收集到图像进行标准化预处理见附图3所示，先经过DeepLab模型提取前景人物，从而忽略不同背景的影响，提取的前景人物轮廓为可用于坐姿识别的轮廓，可用坐姿识别轮廓为包括人物胸部以上到头部的上半身区域整体轮廓；之后将图像大小压缩为256*256的3通道RGB图像，减去平均值之后作为待训练的图像。其中在DeepLab部分采用现有的开源模型进行前景人物的提取，其过程为：基于经典的VGG16框架进行变化，将所有的全连接层替换为卷积层，然后通过Atrous Conv方法提高得到的卷积分辨率；接下来用Bi-Linear插值方法把得到的score图尺寸变回到原来的图像尺寸；将结果送到全连接条件随机场(CRF)中得到分割结果；根据分割结果提取其中属于人物类别的部分作为提取结果。接着将预处理的图像输入附图4的卷积神经网络(CNN)进行训练，得到训练收敛后的坐姿识别CNN模型文件，作为姿态预测的基础。CNN网络模型结构大致依次为：输入经过预处理的标准化RGB图片，经过一个包含96个11*11*3卷积核的卷积层，一个池化层；连续两个分别包含128个3*3*96,128个3*3*128个卷积核的卷积层，一个池化层；一个包含512个节点的全连接层；一个Softmax输出层，输出为分别属于无人状态、正确坐姿(正确坐姿的特点为：头正身直，眼离纸面约为一尺，胸离桌缘约一拳的距离)和错误坐姿的类别概率。相比于原始模型本发明通过减少两层卷积层以及降低全连接层节点的方式降低了模型的过拟合缺陷，实现了理想的人物坐姿识别效果。最后根据附图5中的坐姿图像识别流程，将摄像头感知的新姿态图像进行同样地标准化预处理，经过CNN模型之后可识别坐姿的类别。

四、实现传输层技术内的通信模块的设计：在交互控制设计中，本发明首先采用树莓派3代B型开发板附加低功耗板载蓝牙和WIFI模块，实现以蓝牙技术来进行初次设备的绑定以及家庭WIFI账户密码的传输，然后通过板载WiFi模块和云端服务器进行通信，传输数据。Python语言有便捷的pybluez库，同时也有专门支持低功耗的蓝牙通信bluez库，支持自由定制以提高开发效率和开发质量。

最后，为说明本发明方法的使用效果和成本效应。目前来说该方法的姿态识别准确率已达到80％，通过语料训练样本额的增大，识别准确率可进一步提升，同时树莓派目前搭载的系统为稳定的32位系统，以后开发会进行64位系统尝试，可以更好地提升树莓派的性能，提高图像识别的效率和准确度。

同时本发明方法制作的智能台灯成本如下：

相比于其他方法，本发明方法制作的智能台灯成本较低，且兼具一些智能化的儿童学习监督功能，具有一定的市场推广价值，同时本发明结合当下流行的人工智能技术，结合智能家居理念，在市场上具有一定的创新性与吸引力。

此外，需要说明是，本实施例中对于坐姿识别的CNN卷积模型还可以采用其他的神经网络架构，而本实施例对此不作具体的限定和说明。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种具有儿童健康学习监督功能的智能台灯，其特征在于，包括：硬件部分和软件部分，所述硬件部分包括台灯本体和设置在台灯本体上的摄像头，软件部分包括图像处理模块、语音模块、通信模块、前端控制模块、云端数据模块和移动端显示模块；所述图像处理模块与摄像头、语音模块、通讯模块、前端控制模块、云端数据模块相连接，云端数据模块与移动端显示模块相连接；

所述图像处理模块包括图像收集单元、图像训练单元和图像识别单元；图像收集单元用于对摄像头获取的图像进行收集并进行预处理，图像训练单元用于对预先收集并预处理之后的图像进行CNN模型训练，图像识别单元用于利用训练好的CNN模型对摄像头实时获取的图像进行图像中人物状态的识别，包括无人状态、正确坐姿和错误坐姿，当识别为错误坐姿时，向所述语音模块发送相应的指令，以使所述语音模块播放坐姿提示语音；

所述通讯模块用于图像处理模块与云端数据模块进行通讯，以及云端数据模块与移动端显示模块进行通讯；

所述前端控制模块用于台灯的控制，包括交互控制单元和感应控制单元，交互控制单元包括台灯开关、台灯亮度调节旋钮，用于台灯与使用者的交互，进行台灯的开关操作；感应控制单元包括环境光传感器，用于感受环境光的色温及亮度，进而控制台灯灯光的色温和光的强度；

所述云端数据模块用于存储图像处理模块得到的坐姿图像处理结果和用户数据，包括用户名、设备号和密码，并分别与智能台灯和移动端设备进行交互进行数据的通信；

所述移动端显示模块包括数据显示单元、配置设定单元、绑定注册单元，数据显示单元通过获得云端数据模块存储数据进行数据的显示；配置设定单元用于设定台灯配置并将配置通过云端数据模块传入智能台灯设备；绑定注册单元通过前面所述的蓝牙通信单元与智能台灯进行绑定。

2.如权利要求1所述的一种具有儿童健康学习监督功能的智能台灯，其特征在于：所述软件部分基于树莓派3代B型开发板进行开发。

3.如权利要求1所述的一种具有儿童健康学习监督功能的智能台灯，其特征在于：图像收集单元对图像进行预处理的具体处理如下，先经过DeepLab模型提取所采集图像的前景人物轮廓，提取的前景人物轮廓为可用于坐姿识别的轮廓，可用坐姿识别轮廓为包括人物胸部以上到头部的上半身区域整体轮廓；然后将图像大小压缩为3通道RGB图像，并减去平均值得到预处理之后的图像；

其中DeepLab模型基于经典的VGG16框架进行变化得到，将所有的全连接层替换为卷积层，然后通过Atrous Conv方法提高得到的卷积分辨率；接下来用Bi-Linear插值方法把得到的score图尺寸变回到原来的图像尺寸；将结果送到全连接条件随机场(CRF)中得到分割结果；根据分割结果提取其中属于人物类别的部分作为提取结果。

4.如权利要求1所述的一种具有儿童健康学习监督功能的智能台灯，其特征在于：所述图像训练单元中CNN模型的具体结构包括依次连接的输入层，卷积层，池化层，两个卷积层，池化层，全连接层，Softmax输出层，输出为分别属于无人状态、正确坐姿和错误坐姿的类别概率。

5.如权利要求1所述的一种具有儿童健康学习监督功能的智能台灯，其特征在于：所述通讯模块包括蓝牙通信单元、WIFI通信单元和移动端通信单元，其中的蓝牙通信单元用于台灯与移动端设备的绑定，WIFI通信单元用于台灯设备和云端数据模块的通信，移动端通信单元用于移动端设备与云端数据模块的通信。

6.如权利要求1所述的一种具有儿童健康学习监督功能的智能台灯，其特征在于：所述智能台灯硬件部分还包括与所述语音模块相连接的时钟和计时器，智能台灯开启后内部的计时器读取时钟时间开始计时，当计时器计时达到疲劳缓解时间时，所述语音模块播放眼保健操音乐和舒缓音乐进行疲劳缓解。

7.如权利要求6所述的一种具有儿童健康学习监督功能的智能台灯，其特征在于：疲劳缓解的时长由缓解时播放的眼保健操音乐及舒缓音乐所决定，同时疲劳缓解时间随使用智能台灯的平均时长而改变；若使用时间少于60分钟/次，则疲劳缓解时间降低为25分钟；若使用时间在60-120分钟/次，则疲劳缓解时间增加为35分钟；若使用时间在120分钟以上/次，则疲劳缓解时间增加为40分钟。

8.如权利要求1所述的一种具有儿童健康学习监督功能的智能台灯，其特征在于：所述摄像头为树莓派原生的800万像素摄像头。