CN105956512A - 一种基于机器视觉的空调温度自动调节系统及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的空调温度自动调节系统及方法，该方法包括以下步骤：建立人脸表情的寒冷模型、常温模型和炎热模型；在当前温度下，通过摄像头读取图像，可以直接打开摄像头捕捉所需的人脸图像；将得到的当前温度下人脸图像与预先建立的人脸表情模型进行匹配，匹配的结果输给分类器，根据分类器输出的模型去调节空调的温度。本发明根据人在不同温度条件下，人脸表情会不同，将得到的当前温度下人脸图像与预先建立的人脸表情模型进行匹配，匹配的结果输给分类器，根据分类器输出的模型去调节空调的温度，其操作简单，能够自动帮组用户设定合理、舒适的空调温度，给人们提供最佳健康睡眠温度，提高睡眠的质量。

Description

一种基于机器视觉的空调温度自动调节系统及方法

技术领域

本发明属于空调智能控制技术领域，具体涉及到一种基于机器视觉的空调温度自动调节系统及方法。

背景技术

随着人民生活水平提高，空调几乎成为家用电器的必备产品之一，同时，人们对空调控制的智能性也提出了越来越高的要求。传统的空调局限于现场控制，由于遥感的距离、角度等因素已不能满足现代生活的需求，特别是由于空调的温度不能自动调节，没有给人们提供最佳健康睡眠温度，影响睡眠的质量，睡眠的质量差的话，会影响白天的工作效率，传统的空调给用户带来许多的不方便。

发明内容

根据以上现有技术的不足，本发明所要解决的技术问题是提出一种基于机器视觉的空调温度自动调节系统及方法，依据冷热感觉所引起的面部表情变化及人体皮肤图像的光滑度来智能调节空调温度。

为了解决上述技术问题，本发明采用的技术方案为：一种基于机器视觉的空调温度自动调节系统，包括图像获取单元、空调智能控制单元、人脸模型建立单元、特征模型分类单元和皮肤光滑度分析单元，图像获取单元采集用户的面部图像并传给人脸模型建立单元，人脸模型建立单元提取用户人脸图像信息中的特征点，将人脸的特征点与二维坐标系相匹配，建立寒冷、常温和炎热条件以坐标向量表示的人脸模型样本；特征模型分类单元将待识别的人脸姿态、表情与标准人脸模型样本进行对比，通过二者的对比参数值判断是属于寒冷模型、常温模型或者炎热模型，并输出给空调智能控制单元，空调智能控制单元根据特征模型分类单元的识别结果，通过调整空调的工作参数调节室内温度；常温模型下，皮肤光滑度分析单元通过图像梯度的方式判断皮肤光滑度与常温下的差值，通过差值大小相应的调整空调温度。所述系统还包括皮肤图像预处理单元，皮肤图像预处理单元采用亮度和色调分离的颜色空间方法区分色斑和炎症，通过滤波器消除色斑和炎症色块，便于皮肤光滑度分析单元对图像梯度的计算。

一种基于机器视觉的空调温度自动调节方法，包括步骤：

A、采集寒冷、常温和炎热三种条件下的人脸图像样本；

B、对样本中的主要特征进行分析，通过二维坐标向量的方式来描述人脸特征的位置、大小、形状；

C、通过特征向量建立目标形状模型，利用Delaunay准则进行三角化，求解特征向量的纹理模型；

D、根据所述测试人脸图像的形状模型和纹理模型对所述测试人脸图像进行识别，判断属于寒冷模型、常温模型或者炎热，并调节空调温度。

所述步骤B具体包括：

B1、在人脸图像中标定116个点，其中面部外部轮廓27个点，眉目10个点，眼睛12个点，鼻子轮廓13个点，嘴巴内外轮廓16个点，通过二维坐标系来表示标定的116个特征点，并用向量形式来表示特征点x。

所述步骤C具体包括：

C1、计算特征点x的样本均值和协方差η，计算协方差矩阵η的特征值和特征向量，并将特征值从大到小排序，在给定的待定保留信息量的基础上，只保留前m个特征值(λ₁，λ₂，...λ_m)和特征向量并将前m个特征向量构造矩阵记为：P_m是正交的的特征向量，得到特征点的目标形状模型：其中，是x的均值，Q_m为形状参数；

C2、通过Delaunay准则进行三角化得到一组三角形集合S，通过映射公式

$q=q_1+\mathrm{\β}(q_2-q_1)+\mathrm{\γ}(q_3-q_2)=\∂\·q_1+\mathrm{\β}\·q_2+\mathrm{\γ}\·q_3$

将三角形集合S映射到一个新的三角形S1内，其中，q表示S中的任意点，α+β+γ＝1，且0≤α，β，γ≤1；

C3、对三角形S1内的纹理向量h求均值和协方差，并求出协方差矩阵的特征值和特征向量，保留的前h个特征向量P_h是正交的的特征向量，得到纹理模型：其中，是h的均值，Ｑ_h为纹理参数；

C4、将形状参数和纹理参数分别有参数Q_m、Ｑ_h表示，由于同一目标物体的形状和纹理的关联性，并引入一个综合参数Q，其中，W_m是用于调节形状模型和纹理模型之间的权重的对角矩阵，利用主成分分析法，将混合后的参数Q表示为：求得：均值为0，特征矩阵则则得到最后的模型： 是轮廓均值，是轮廓内纹理的均值；调节参数c，可以建人脸不同的姿态和表情，从而建立寒冷模型、常温模型和炎热模型。

所述步骤D具体包括：

D1、寒冷模型下，根据寒冷模型程度升高空调温度，炎热模型下，根据炎热模型程度降低空调温度；

D2、常温模型下，检测当前温度下人体皮肤上某一区域的图像平均梯度值，通过图像平均梯度值来表示皮肤光滑度平均值，将皮肤图像光滑度平均值与预先设定的正常体温时的皮肤图像光滑度的平均值进行比较，计算两者之间的差值y，根据所述差值y对应的温度值来调节空调的温度。

所述步骤D2中根据所述差值y对应的温度值来调节空调的温度具体包括：根据差值y大小划分为第一温度控制区间y＜θ₁、第二温度控制区间θ₁≤y≤θ₂和第三温度控制区间y＞θ₂，其中，θ₂＞θ₁，若差值处于第二温度控制区间，则保持当前设置，若差值处于第一温度控制区间，则根据差值y对应的温度变化幅度值来降低空调的温度；若差值处于第三温度控制区间，则根据差值y对应的温度变化幅度值来升高空调的温度。

所述步骤D2还包括：采用亮度和色调分离的颜色空间方法区分色斑和炎症，通过滤波器消除色斑和炎症色块，再进行图像梯度的计算。

本发明有益效果是：本发明根据人在不同温度条件下，人脸表情会不同，将得到的当前温度下人脸图像与预先建立的人脸表情模型进行匹配，匹配的结果输给分类器，根据分类器输出的模型去调节空调的温度，其操作简单，能够自动帮组用户设定合理、舒适的空调温度，给人们提供最佳健康睡眠温度，提高睡眠的质量。

附图说明

下面对本说明书附图所表达的内容及图中的标记作简要说明：

图1是本发明的具体实施方式的斑点检测框图。

图2是本发明的具体实施方式的空调温度自动调节方法的流程图。

图3是本发明的具体实施方式的常温模型下空调温度自动调节方法的流程图。

图4是本发明的具体实施方式的不同模型下空调温度自动调节方法的流程图。

具体实施方式

下面对照附图，通过对实施例的描述，本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等，作进一步详细的说明，以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

为实现上述目的，本发明提供的技术方案如下：一种智能调节空调温度的方法，包括以下步骤：

1：建立人脸表情的寒冷模型、常温模型和炎热模型；

2：在当前温度下，通过摄像头读取图像，可以直接打开摄像头捕捉所需的人脸图像；

3：将得到的当前温度下人脸图像与预先建立的人脸表情模型进行匹配，匹配的结果输给分类器

4：根据分类器输出的模型去调节空调的温度。

作为优选的，在上述方法中，首先建立寒冷模型、常温模型和炎热模型。通过摄像头分别采集人在寒冷、常温和炎热的条件下的人脸图像作为样本，然后对样本中主要特征分析，特征如眉目、眼睛、嘴巴、鼻子和面部轮廓线等的位置变化进行定位、测量、确定其大小、距离、形状及相互比例等特征。

其次建立特征统计模型即特征点变化程度的参数描述。在人脸图像中标定116点，面部外部轮廓27个点，眉目10个点，眼睛12个点，鼻子轮廓13个点，嘴巴内外轮廓各16个点。用坐标点来定义某类特征点的形状，在二维图像中，目标的形状用一系列的点的坐标(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，…，(x_n，y_n)来表示，把它们写成向量的形式：x＝(x₁，x₂，...x_n，y₁，y₂，...y_n)^T，在对上述样本作统计之前，必须确保这些特征点在同一坐标系下，即需要样本的标准化过程。

计算样本均值：

x_i表示第i个特征点组成的向量，n表示样本数量。

计算样本协方差：

计算协方差矩阵η的特征值和特征向量，并按特征值从大到小排序，在给定的待定保留信息量的基础上，只保留前m个特征值(λ₁，λ₂，...λ_m)和特征向量并将前m个特征向量构造矩阵记为：

于是得到特征中目标形状模型：

再将人脸图像中标定116点通过Delaunay准则进行三角化，从而得到一组三角形集合，对于其中任意一个三角形S，有内部点q，再利用一个映射唯一地将该点用三角形顶点q₁，q₂，q₃，之间的代数关系映射到一个新的三角形S1内。

$q=q_1+\mathrm{\β}(q_2-q_1)+\mathrm{\γ}(q_3-q_2)=\∂\·q_1+\mathrm{\β}\·q_2+\mathrm{\γ}\·q_3$

其中α+β+γ＝1，由于q在三角形内部，所以有0≤α，β，γ≤1，求解参数α，β，γ，就可以得到q在对应三角形S1中的对应点q′。

其中，q₁′，q₂′，q₃′，是三角形S1的顶点。

和形状模型一样，对提取的纹理向量h求均值和协方差，并求出协方差矩阵的特征值和特征向量，保留的前t个特征向量

于是得到纹理模型：其中，是h的均值。

最后通过形状模型和纹理模型可以得到样本集的形状参数b_m和纹理参数b_h，将这两个参数混合：其中，W_m是一个对角矩阵，用于调节形状模型和纹理模型之间的权重。再次利用主成分分析法，将混合后的参数b表示为：容易求得：均值为0，特征矩阵于是有：则得到最后的模型：调节参数c，可以建立人脸不同的姿态和表情。

把上述建立好的寒冷模型、常温模型和炎热模型存储于摄像头的分类器中，将得到的当前温度下人脸图像与预先建立的人脸表情模型进行匹配，匹配的结果输给分类器，根据分类器输出的模型去调节空调的温度。

作为优选的，在上述方法中，根据所述当前温度下人脸图像与预先建立的人脸表情模型进行匹配，匹配的结果输给分类器，分类器输出的模型去调节空调的温度的步骤具体包括：

若当前温度下人脸图像与预先建立的人脸表情模型进行匹配，匹配的结果输给分类器，分类器输出的模型是常温模型，则保持空调当前设置的温度；若分类器输出的模型是寒冷模型，根据不同的寒冷模型程度则升高空调温度；若分类器输出的模型是炎热模型，根据不同的炎热模型程度则降低空调温度。

作为优选的，在上述方法中，所述若分类器输出的模型是常温模型，则保持空调当前设置的温度的步骤之后还包括：

1：检测当前温度下人体皮肤上某一区域的皮肤图像光滑度平均值，即计算图像平均梯度值；

2：将经计算得到的当前温度的皮肤图像光滑度平均值与预先采集的人体皮肤在正常体温时的皮肤图像光滑度的平均值进行比较，计算两者之间的差值；

3：根据所述差值对应的温度值或者温度变化幅度值去调节空调的温度。

平均梯度即图像的清晰度，反映图像对细节对比的表达能力，图像梯度计算公式为：

G(x，y)＝dx(i)+dx(j)；

dx(i，j)＝I(i+1，j)-I(i，j)；

dy(i，j)＝I(i，j+1)-I(i，j)；其中，I是图像像素的值，(i，j)为像素的坐标。

图像梯度一般也可以用中值差分：

dx(i，j)＝[I(i+1，j)-I(i-1，j)]/2；

dy(i，j)＝[I(i，j+1)-I(i，j-1)]/2；

平均梯度越大，图像层次越多，也就越清晰。平均梯度计算公式为：式中：F(i，j)为图像的第i行，第j列的灰度值；M、N分别为图像的总行数和总列数。

作为优选的，在上述方法中，所述根据所属差值所对应的温度值或者温度变化幅度值去调节空调的温度的步骤具体包括：

若当前皮肤光滑度平均值与预先采集的人体皮肤正常体温时的皮肤光滑度的平均值之间的差值大于或等于第一阈值θ₁，且小于或等于第二阈值θ₂，则保持空调的当前设置的温度，其中，θ₂＞θ₁。

若当前皮肤光滑度平均值与预先采集的人体皮肤正常体温时的皮肤光滑度的平均值之间的差值大于第二阈值θ₂，则根据所述差值所对应的温度或者温度变化幅度值去升高空调的温度。

或者，若当前皮肤光滑度平均值与预先采集的人体皮肤正常体温时的皮肤光滑度的平均值之间的差值小于第一阈值θ₁，则根据所述差值多对应的温度或者温度变化幅度值去降低空调的温度。

作为优选的，在上述方法中，所述检测当前温度下人体皮肤上某一区域的皮肤光滑度平均值的步骤之前还包括：

通过空调的红外摄像头获取人体皮肤图像的信息，由于色斑和炎症对获取皮肤图像的信息有干扰，必须除去干扰，斑点分析和炎症分析算法：如图1所示，为了区分色斑和炎症所产生的斑点，需要从特征向量的选择区分，具体方法如下：

色斑：一般色斑为黑褐色的斑点，是由于黑色素过度堆积造成的颜色变深，因此黑色斑点主要是亮度信息。

炎症：炎症产生的斑点一般是红色，主要特点是色调信息。

采用亮度和色调分离的颜色空间可以区分这两种斑点。

检测时必须减少其他因素的干扰，通过滤波器排除色斑和炎症对其的影响。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (8)

1.一种基于机器视觉的空调温度自动调节系统，其特征在于，包括图像获取单元、空调智能控制单元、人脸模型建立单元、特征模型分类单元和皮肤光滑度分析单元，图像获取单元采集用户的面部图像并传给人脸模型建立单元，人脸模型建立单元提取用户人脸图像信息中的特征点，将人脸的特征点与二维坐标系相匹配，建立寒冷、常温和炎热条件以坐标向量表示的人脸模型样本；特征模型分类单元将待识别的人脸姿态、表情与标准人脸模型样本进行对比，通过二者的对比参数值判断是属于寒冷模型、常温模型或者炎热模型，并输出给空调智能控制单元，空调智能控制单元根据特征模型分类单元的识别结果，通过调整空调的工作参数调节室内温度；常温模型下，皮肤光滑度分析单元通过图像梯度的方式判断皮肤光滑度与常温下的差值，通过差值大小相应的调整空调温度。

2.根据权利要求1所述的基于机器视觉的空调温度自动调节系统，其特征在于，所述系统还包括皮肤图像预处理单元，皮肤图像预处理单元采用亮度和色调分离的颜色空间方法区分色斑和炎症，通过滤波器消除色斑和炎症色块，便于皮肤光滑度分析单元对图像梯度的计算。

3.根据权利要求1-2任意一项所述的基于机器视觉的空调温度自动调节系统的调节方法，其特征在于，包括：

A、采集寒冷、常温和炎热三种条件下的人脸图像样本；

B、对样本中的主要特征进行分析，通过二维坐标向量的方式来描述人脸特征的位置、大小、形状；

C、通过特征向量建立目标形状模型，利用Delaunay准则进行三角化，求解特征向量的纹理模型；

D、根据所述测试人脸图像的形状模型和纹理模型对所述测试人脸图像进行识别，判断属于寒冷模型、常温模型或者炎热，并调节空调温度。

4.根据权利要求3所述的基于机器视觉的空调温度自动调节方法，其特征在于，所述步骤B具体包括：

B1、在人脸图像中标定116个点，其中面部外部轮廓27个点，眉目10个点，眼睛12个点，鼻子轮廓13个点，嘴巴内外轮廓16个点，通过二维坐标系来表示标定的116个特征点，并用向量形式来表示特征点x。

5.根据权利要求3所述的基于机器视觉的空调温度自动调节方法，其特征在于，所述步骤C具体包括：

C1、计算特征点x的样本均值和协方差η，计算协方差矩阵η的特征值和特征向量，并将特征值从大到小排序，保留前m个特征值(λ₁，λ₂，...λ_m)和特征向量并将前m个特征向量构造矩阵记为：P_m是正交的的特征向量，得到特征点的目标形状模型：其中，是x的均值，Q_m为形状参数；

C2、通过Delaunay准则进行三角化得到一组三角形集合S，通过映射公式

$q=q_1+\mathrm{\β}(q_2-q_1)+\mathrm{\γ}(q_3-q_2)=\∂\·q_1+\mathrm{\β}\·q_2+\mathrm{\γ}\·q_3$

将三角形集合S映射到一个新的三角形S1内，其中，q表示S中的任意点，α+β+γ＝1，且0≤α，β，γ≤1；

C3、对三角形S1内的纹理向量h求均值和协方差，并求出协方差矩阵的特征值和特征向量，保留的前h个特征向量P_h是正交的的特征向量，得到纹理模型：其中，是h的均值，Q_h为纹理参数；

C4、将形状参数和纹理参数分别由参数Q_m、Q_h表示，由于同一目标物体的形状和纹理的关联性，并引入一个综合参数Q，其中，W_m是用于调节形状模型和纹理模型之间的权重的对角矩阵，利用主成分分析法，将混合后的参数Q表示为：求得：均值为0，特征矩阵则得到最后的模型： 是轮廓均值，是轮廓内纹理的均值；调节参数c，可以建人脸不同的姿态和表情，从而建立寒冷模型、常温模型和炎热模型。

6.根据权利要求3所述的基于机器视觉的空调温度自动调节方法，其特征在于：所述步骤D具体包括：

D1、寒冷模型下，根据寒冷模型程度升高空调温度，炎热模型下，根据炎热模型程度降低空调温度；

D2、常温模型下，检测当前温度下人体皮肤上某一区域的图像平均梯度值，通过图像平均梯度值来表示皮肤光滑度平均值，将皮肤图像光滑度平均值与预先设定的正常体温时的皮肤图像光滑度的平均值进行比较，计算两者之间的差值y，根据所述差值y对应的温度值来调节空调的温度。

7.根据权利要求6所述的基于机器视觉的空调温度自动调节方法，其特征在于：所述步骤D2中根据所述差值y对应的温度值来调节空调的温度具体包括：根据差值y大小划分为第一温度控制区间y＜θ₁、第二温度控制区间θ₁≤y≤θ₂和第三温度控制区间y＞θ₂，其中，θ₂＞θ₁，若差值处于第二温度控制区间，则保持当前设置，若差值处于第一温度控制区间，则根据差值y对应的温度变化幅度值来降低空调的温度；若差值处于第三温度控制区间，则根据差值y对应的温度变化幅度值来升高空调的温度。

8.根据权利要求6所述的基于机器视觉的空调温度自动调节方法，其特征在于：所述步骤D2还包括：采用亮度和色调分离的颜色空间方法区分色斑和炎症，通过滤波器消除色斑和炎症色块，再进行图像梯度的计算。