CN110363066A - 利用物联网和led混光技术的情绪自动识别调整方法 - Google Patents

Abstract

本发明公开了一种利用物联网和LED混光技术的情绪自动识别调整方法，与现有技术相比，本发明基于OpenCV和Tensorflow框架在Android移动端实现基于特征检测的人脸情绪识别的研究和情绪识别灯光调控系统的软硬件设计方案。系统分为Android移动端程序和以esp8266Wi‑Fi模块+NodeMCU+WS2812灯带为核心的硬件系统。本系统通过移动端应用程序采集人脸图片信息，使用OpenCV对采集到的图像进行haar人脸特征检测，在电脑端使用Tensorflow处理人脸灰度图像数据集训练得到CNN模型，该模型输入为2304维的向量(48*48*1的单通道图片)，输出结果为情绪编号。最后将移动端处理得到的人脸灰度图转化成向量输入CNN模型即可输出对应情绪编号。在Android端程序成功判断情绪值后生成对应的灯光方案通过Wi‑Fi发送到单片机硬件系统的esp8。

Description

利用物联网和LED混光技术的情绪自动识别调整方法

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种利用物联网和LED混光技术 的情绪自动识别调整方法。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。 用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪 人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像 识别、面部识别。现有技术中的人脸识别系统大多只能读取和匹配人脸，缺少 识别人物情绪的应用场景，因此，存在改进空间。

发明内容

本发明的目的就在于为了解决上述问题而提供一种利用物联网和LED混光 技术的情绪自动识别调整方法。

本发明通过以下技术方案来实现上述目的：

本发明包括以下步骤：

(1)Android端应用程序调用手机摄像头采集用户图像数据；

(2)调用OpenCV框架对采集到的图像数据提取Haar特征并识别人脸区 域；

(3)将人脸区域经图像剪裁及灰度化后生成48×48的人脸灰度图像；

(4)在Linux环境中使用Tensorflow(谷歌深度学习框架)对fer2013人脸 图像数据集进行卷积神经网络模型训练，得到输入为48×48的灰度图，输出为 六种情绪编号的CNN模型；将得到的CNN模型放入Android程序里；最后在 程序中将采集后处理得到图像输入该模型即可返回对应的情绪编号；

(5)通过硬件NodeMCU及ESP8266的物联网专用系统板接收由Android 端发送的由情绪编号生产的灯光方案，并根据方案中的RGB颜色及动态相关数 据控制WS2812灯带变色和产生动态光照强度、色温等效果调整人的情绪。

本发明的有益效果在于：

本发明是一种利用物联网和LED混光技术的情绪自动识别调整方法，与现 有技术相比，本发明基于OpenCV和Tensorflow框架在Android移动端实现基 于特征检测的人脸情绪识别的研究和情绪识别灯光调控系统的软硬件设计方 案。系统分为Android移动端程序和以esp8266Wi-Fi模块+NodeMCU+WS2812 灯带为核心的硬件系统。本系统通过移动端应用程序采集人脸图片信息，使用 OpenCV对采集到的图像进行haar人脸特征检测，检测到人脸信息后对图片进 行尺寸及灰度的归一化处理，生成一幅48×48像素的人脸灰度图像。在电脑端 使用Tensorflow处理人脸灰度图像数据集训练得到CNN模型，该模型输入为 2304维的向量(48*48*1的单通道图片)，输出结果为情绪编号。最后将移动 端处理得到的人脸灰度图转化成向量输入CNN模型即可输出对应情绪编号。在 Android端程序成功判断情绪值后生成对应的灯光方案通过Wi-Fi发送到单片 机硬件系统的esp8266模块，由NodeMCU处理数据并控制WS2812灯带实现颜 色及亮度的变化。

附图说明

图1-1是本发明的人脸表情识别流程图；

图2-1是本发明的整体方案流程图；

图3-1是本发明的训练CNN模型关键程序流程图；

图3-2是本发明的卷积神经网络；

图4-1是本发明的主页面及图像采集页面；

图4-2是本发明的图像采集关键代码流程图；

图4-3是本发明的人脸区域检测效果图；

图4-4是本发明的图像灰度处理；

图4-5是本发明的为数据输入模型文件返回情绪编号相关代码流程；

图5-1是本发明的整体方案流程图；

图5-2是本发明的硬件框图；

图5-3是本发明的硬件原理图。

具体实施方式

下面结合附图对本发明作进一步说明：

通过对人脸脸部情绪特征检测，采用提取几何特征和神经网络分类器识别 算法，结合无线物联网技术，实现基于人脸情绪识别的灯光调控功能，主要步 骤如下：

(1)Android端应用程序调用手机摄像头采集用户图像数据。

(2)调用OpenCV框架对采集到的图像数据提取Haar特征并识别人脸区域。

(3)将人脸区域经图像剪裁及灰度化后生成48×48的人脸灰度图像。

(4)在Linux环境中使用Tensorflow(谷歌深度学习框架)对fer2013人 脸图像数据集进行卷积神经网络模型训练，得到输入为48×48的灰度图，输出 为六种情绪编号的CNN模型。将得到的CNN模型放入Android程序里。最后在 程序中将采集后处理得到图像输入该模型即可返回对应的情绪编号。

(5)通过硬件NodeMCU及ESP8266的物联网专用系统板接收由Android端 发送的由情绪编号生产的灯光方案，并根据方案中的RGB颜色及动态相关数据 控制WS2812灯带变色和产生动态光照强度、色温等效果调整人的情绪。

2系统整体设计方案

整套系统方案可分为Android端应用程序，电脑端模型训练，单片机硬件 三大模块。方案流程如图2-1所示。

电脑端安装TensorFlow框架，利用TensorFlow对Fer2013.CSV开源人脸 数据集进行CNN模型训练。

Android移动端程序使用AndroidStudio软件编写，该程序也是整套系统的 核心程序。程序由一个主页面Activity、一个图像采集Dialog页面、一个控制 Wi-Fi的Service、三个起界面美化作用的CardView加上图像处理、情绪分类、 灯光方案等相关工具类构成。程序工程集成OpenCV图像处理框架、电脑端编译 好的TensorFlowforARM框架以及训练得到的CNN模型文件。整个流程为调用手 机镜头采集图像数据，利用OpenCV检测Haar特征识别人脸区域并对该区域剪 裁和灰度处理，将图像输入CNN模型文件后输出情绪编号，根据得到的情绪值 选择对应的灯光方案，将方案通过Wi-Fi发送到由单片机。

本套系统硬件由集成了NodeMCU及ESP8266的物联网专用系统板外接 WS2812灯带构成。硬件端只需要接收由Android端发送的灯光方案并根据方案 中的RGB颜色及动态相关数据控制灯带变色和产生动态效果即可。

3主要算法实现

采用卷积神经网络CNN模型进行训练实现分类器功能，CNN由输入层、隐含 层、输出层构成，其中隐含层包含卷积层、池化层和全连接层。系统使用 Fer2013.CSV作为数据输入，目前训练样本为7000个，使用三个卷积池化层后 叠加三个全连接层进行模型文件输出。第一个的卷积层代码示例：及池化层模 型代码如图3-1所示。最终可以得到格式为pb的CNN模型文件，该模型输入为 48×48的灰度图像，输出为0到6总共7种情绪编号。

3.1卷积神经网络原理

当输入CNN的值为图像时，实际上输入的并不是图像，而是图像中像素点 包含的数字信息，常见形式有矩阵和向量。CNN在处理图像时，可以把图像理解 成一个长方体，如图3-2所示，长方体的长和宽为图像的长和宽，而高度可以 理解成每个像素的颜色信息数，如RGB图像高度为3，灰度图像高度为1。每次 处理时收集图像中一小块区域的像素信息，按这个区域大小以一定的步长遍历 整个图像，处理完成后输出一个新的高度增加，长宽缩小的图像，这个过程称 为对图片的卷积。多次重复这个步骤，最后将得到高度更高的图像输入普通的 分类神经层，就可以得到原始图像的分类结果。由于CNN对图像的处理单位并 不是一个像素，而是图像中的某一小块像素区域，这使得它能获得图像中像素 间的关联信息而非仅仅是单个像素的信息。

(1)卷积层

对图像进行卷积操作的实质就是求某些矩阵的内积。例如，有一个大小为3 ×3×1的灰度图像，如果需要对他进行卷积处理。需要先将其抽象为一个矩阵， 将该矩阵最外圈填充一圈0得到一个5×5矩阵a，定义两个滤波矩阵w₁、w₂和 一个偏置量bias。用w₁和w₂分别以步长1遍历矩阵a。所谓遍历与步长，可以理 解为使用w₁和w₂在a矩阵上进行水平或垂直平移操作，每次平移中间间隔步长个 单位，直到覆盖整个图像。其中矩阵a填充0的操作是为了使滤波矩阵能按规定 步长恰好移到边缘的位置，从数学角度来说就是长或宽除

以滤波矩阵长或宽的余数能被步长整除。本例中步长为1，但一般情况下实 际图像长宽值较大，步长也不为1，在元数据矩阵外侧填充任意最小圈0才能达 到恰好遍历的目的。本例中定义bias为1，a、w₁、w₂如式3-1和3-2所示：

使用w₁遍历a时，先计算w₁与对应范围的3×3矩阵的内积加上偏移量的值， 如式3-3所示：

再将该值作为新矩阵c₁第一行一列的值，同理计算该矩阵其他位置的值与使 用w₂遍历得到的值，得到的新矩阵c₁与c₂如式3-4所示：

此时图像的高度从1变成了2，长和宽都缩小成了2。从上述计算过程可以 看出，输出矩阵的高度与滤波矩阵的数量有关，长和宽与步长和元数据矩阵长 宽有关。

(2)池化层

池化(pooling)的出现是为了解决在对图像进行卷积处理时由于图像尺寸 较大，特征值过多时出现的计算缓慢问题和数据量过多时出现的过拟合问题。

池化的方法有最大值池化，平均值池化，随机池化，求和区域池化等。在 CNN中，运用最多的时最大值池化，它能减少对图像进行卷积过程中由于参数误 差造成的结果的偏移。最大值池化即取区域最大值，例如大小为4×4的矩阵m， 需要池化为2×2的矩阵n，m为假定值，如式3-5所示：

过程为将m按2×2分割成4个区域，取每个区域的最大值即可得到矩阵n， 结果如式3-6所示：

4移动端程序设计

4.1图像采集

图像采集页面CameraCaptureDialog.java继承自DialogFragment，使用Fragment而非Activity可以降低在两个页面之间切换的延迟感，提升软件实际 体验。在主页面点击扫描按钮即可打开图像采集页面，页面提供镜头转换及打 开闪光灯功能，在图像采集页面按住扫描图标开始采集图像。初始主页面及图 像采集页面设计如图4-1所示。

采集图象使用cameraKit类中的captureImage函数，执行成功后回调 callback函数，将图像数据保存在cameraKitImage对象中，最后使用该对象所 在类中的getBitmap方法返回bitmap类型的数据并储存，流程如图4-2。

4.2人脸区域检测

本系统中我们使用OpenCV自带的haarcascade_frontalface_default.xml 特征文件对图像进行人脸检测，图4-3为具体实现效果

4.3图像缩放和灰度化处理

在计算机中，图像的缩放就是根据原图像矩阵生成目标图像矩阵。例如， 一个3×3大小的灰度图像a需要将其缩放成4×4大小图像b，a和b分为如式4-6 和4-7所示：

其中就涉及到如何填充新矩阵中各个值的问题。若使用临近插值算法，b中 的值可由公式4-8和4-9计算得出：

srcX＝dstX*(srcW/dstW) (4-8)

srcY＝dstY*(srcH/dstH) (4-9)

该式中srcX，srcY和dstX，dstY分别表示以左上角为原点时a矩阵和b矩阵 中值的坐标。srcW，srcH和dstW，dstH分别表示a矩阵和b矩阵的宽和高，在本 例中分别等于3和4。于是，当我们要填充b₁₁的值时，将dstX＝dstY＝1带入公式 可得srcX＝srcY＝0.75，由于像素坐标只能使用整数，采用四舍五入原则，取 srcX＝srcY≈1。同理计算b中其他值可得到b如式4-10所示：

本系统中图像缩放采用双线性插值算法如式4-11所示：

f(Xi+Xj,Yi+Yj)＝(1-Xj)(1-Yj)*f(Xi,Yi)+(1-Xj)Yj*f(Xi,Yi+1)

+Xj(1-Yj)*f(Xi+1,Yi)+XjYj*f(Xi+1,Yi+1) (4-11)

在该算法中，将原图像矩阵中的像素值表示为f(Xi+Xj,Yi+Yj)，其中Xi和Yi表 示坐标的整数部分，Xj和Yj表示坐标的小数部分。当需求依然是将a图像矩阵缩 放成b矩阵时，不再使用四舍五入原则，取srcX＝srcY＝0.75，即Xi＝Yi＝0，Xj＝Yj＝0.75，该算法中，我们将像素坐标从0开始计算，即可得到b₁₁如式4-12 所示：

b₁₁＝f(0.75,0.75)

＝0.25*0.25*f(0,0)+0.25*0.75*f(0,1)

+0.75*0.25*f(1,0)+0.75*0.75*f(1,1)

＝0.0625a₁₁+0.1875a₁₂+0.1875a₂₁+0.5625a₂₂ (4-12)

从该计算结果可以看出，b₁₁的值由a₁₁、a₁₂、a₂₁、a₂₂四个值决定，而且由 于f(0.75,0.75)离f(1,1)更近，所以在结果中a₂₂所占的权重更大。因此双线性插值 算法可以有效地解决临近插值算法中图像失真严重的问题，在图像缩放运算使 用该算法中更加科学有效。

图像信息根据其表示方法可分为位图和矢量图。位图(Bitmap)又称点阵 图或光栅图，简单的说，它使用我们称为像素(Pixel)的一格一格的小点来描 述图像，矢量图(Vector)也称向量图，是通过组成图形的一些基本元素，如 点、线、面、边框、填充色的信息通过计算的方式来显示图形的[12]。由摄像 头采集到的图像都是位图，由多个像素构成，每个像素点由A、R、G、B四个分 量决定，分别对应透明度(Alpha)、红色(Red)、绿色(Green)、蓝色(Blue)。

调整图像颜色可以看作对构成该图像的所有像素点进行分别调色。在 Android系统中，对图像进行颜色处理需要使用颜色矩阵(ColorMatrix)，它 是一个4行5列的数字矩阵。在调整单个像素点颜色时，只需要使用该矩阵与 这个像素点的R、G、B、A四个值和单位值1构成的1列5行矩阵相乘即可。例 如，矩阵c为颜色矩阵，矩阵m为像素值矩阵，如式4-13所示：

由c*m得到的新矩阵n即代表经过调色后的该像素点的RGBA值。由公式 4-14可知，调色后该像素点RGBA的值由每个分量的系数和偏移量(e、j、o、 t)决定。

本系统需要对图像进行灰度处理，只需要将由该图像生成的像素值矩阵与 灰度颜色矩阵相乘即可。Android系统提供了许多默认的颜色矩阵，灰度颜色矩 阵(grayMatrix)和反转颜色(reverseMatrix)矩阵如式4-15所示：

灰度图像的特征为RGB的值相等。观察灰度颜色矩阵可以看出，处理得到 的灰度图像的灰度值是由原图像中红、绿、蓝三种颜色根据不同权重混合而成， 其中红色权重0.33，绿色权重0.59，蓝色权重0.11。

如图4-4为本系统中对人脸图像进行进行缩放和灰度处理后，得到48x48 大小灰度图像的效果图。

4.3情绪判别

由于已经在Linux桌面端输出了CNN模型文件，Android只需要将其导入工 程，并引入TensorFlow接口即可使用。实例化接口代码为：

inferenceInterface＝newTensorFlowInferenceInterface(assetManager,modePath)。

其中assetManager为Android默认资源管理对象，modePath为CNN模型文 件名及所在工程目录，值为file:///android_asset/FacealExpressionReg.pb。 图4-8为数据输入模型文件返回情绪编号相关代码流程。该程序中传入的图像 数据类型为2304维浮点型数组。返回值labels包含0到6总共7种情绪编号。

4.4灯光方案及应用层协议

本系统总共能分辨0到6总共7种人脸情绪，分别为开心、平静、惊讶、 低落、害怕、反感、愤怒。每种情绪对应一种RGB灯光方案，在该方案中，用 三个8位数字来分别表示RGB的值，其范围为0到255。具体方案如表4-1所示。

表4-1灯光方案

由于需要将灯光方案发送至单片机接收端，所以需要制定应用层协议。在 本系统中，使用长度为10的字符串常量来表示灯光方案。例如使用“a255036000” 来代表编号0方案，第2到10位由RGB的值顺序排列组成，第一位为标志位， 单片机接收到字符“a”后才会继续接收后续字符，该位也为实现其他灯光效果 提供方便。

5硬件设计

NodeMCU是一个能快速搭建物联网系统的硬件平台，平台集成ESP8266Wi-Fi 芯片，使用Lua脚本进行编程开发。该平台相比51单片机在Wi-Fi简单控制硬 件方面开发更快速方便。本系统使用该平台接收方案信息并控制WS2812灯带颜 色。如图5-1为硬件程序流程图。

本系统硬件部分包括NodeMCU和WS2812两个模块，由Android端上位机进 行数据发送和接收。整体框图如图5-2所示。

电路原理图如图5-3所示。WS2812使用5V供电，接入NodeMCU的GPIO2口， 使用该IO口控制灯带颜色，具体操作为引入模块库后，新建StringBuffer变 量填充三维数组字符串常量，灯带会按顺序读取RGB的值并进行显示。该图中 D1角为数据输入脚，连接电路时接ESP核心的GPIO2。DIN脚为数据输出脚，在 需要控制多个LED时，使用前一LED的DOUT脚与后一LED的DIN相连。当需要 控制多个WS2812模块时，使用前一模块的D0脚与后一模块的D1脚相连，同时 增加字符串变量的长度即可。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业 的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中 描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明 还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本 发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种利用物联网和LED混光技术的情绪自动识别调整方法，其特征在于，包括以下步骤：

(1)Android端应用程序调用手机摄像头采集用户图像数据；

(2)调用OpenCV框架对采集到的图像数据提取Haar特征并识别人脸区域；

(3)将人脸区域经图像剪裁及灰度化后生成48×48的人脸灰度图像；

(4)在Linux环境中使用Tensorflow(谷歌深度学习框架)对fer2013人脸图像数据集进行卷积神经网络模型训练，得到输入为48×48的灰度图，输出为六种情绪编号的CNN模型；将得到的CNN模型放入Android程序里；最后在程序中将采集后处理得到图像输入该模型即可返回对应的情绪编号；

(5)通过硬件NodeMCU及ESP8266的物联网专用系统板接收由Android端发送的由情绪编号生产的灯光方案，并根据方案中的RGB颜色及动态相关数据控制WS2812灯带变色和产生动态光照强度、色温等效果调整人的情绪。