CN116863529B - 一种基于面部表情识别的灯具智能控制方法 - Google Patents

Abstract

本发明公开了一种基于面部表情识别的灯具智能控制方法，属于智能控制领域，包括：采集用户面部图像，并解析面部表情，获取用户面部表情动作单元及其特征；采集用户基准面部图像，并进行解析获取基准面部表情特征作为参考；比较用户面部图像和基准面部图像的特征，评估其相似度，识别面部表情；根据识别结果，在灯控表情模板库中进行寻优，并获取用户表情模拟图像；如果用户表情模拟图像与用户面部图像相匹配，则基于灯具表情寻优结果进行灯具控制。本发明解决了现有技术中用于灯具控制的面部表情识别准确性和稳定性差，导致灯具控制效果的技术问题，达到提高面部表情识别准确性和稳定性，从而实现智能灯具控制的技术效果。

Description

一种基于面部表情识别的灯具智能控制方法

技术领域

本发明涉及智能控制领域，具体涉及一种基于面部表情识别的灯具智能控制方法。

背景技术

随着人工智能和计算机视觉技术的发展，智能灯具中的面部表情识别技术得到广泛研究和应用。目前的灯具控制的面部表情识别方法多基于机器学习算法，特别是深度学习算法，通过训练大量样例，建立映射关系，实现面部表情的分类和识别。但是，这种识别方法的识别效果依赖于训练数据，无法有效识别新出现或少见的面部表情，准定性和稳定性难以保证，不利于人机交互。

发明内容

本申请通过提供了一种基于面部表情识别的灯具智能控制方法，旨在解决现有技术中用于灯具控制的面部表情识别准确性和稳定性差，导致灯具控制效果的技术问题。

鉴于上述问题，本申请提供了一种基于面部表情识别的灯具智能控制方法。

本申请公开的第一个方面，提供了一种基于面部表情识别的灯具智能控制方法，该方法包括：采集用户面部图像输入面部表情编码库进行动作解剖，获取第一表情动作单元特征和动作表情单元编码；将用户基准面部图像输入面部表情编码库进行动作解剖，获取第二表情动作单元特征，其中，用户基准面部图像为无表情面部图像；遍历第二表情动作单元特征和第一表情动作单元特征进行相似度评估，获取第一单元特征相似度；根据第一单元特征相似度自小到大对动作表情单元编码进行排序，获取单元编码排序结果；按照单元编码排序结果提取k个单元编码，设为一级识别编码，其中，k≥5，k为整数；根据一级识别编码在灯控表情模板库进行寻优，获取灯控表情寻优结果，其中，灯控表情寻优结果具有第三表情动作单元特征；将第三表情动作单元特征和用户基准面部图像输入表情编码器，获取用户表情模拟图像；当用户表情模拟图像和用户面部图像一致时，基于灯控表情寻优结果进行灯具控制。

本申请公开的另一个方面，提供了一种基于面部表情识别的灯具智能控制系统，该系统包括：用户面部解剖模块，用于采集用户面部图像输入面部表情编码库进行动作解剖，获取第一表情动作单元特征和动作表情单元编码；基准面部解剖模块，用于将用户基准面部图像输入面部表情编码库进行动作解剖，获取第二表情动作单元特征，其中，用户基准面部图像为无表情面部图像；动作相似评估模块，用于遍历第二表情动作单元特征和第一表情动作单元特征进行相似度评估，获取第一单元特征相似度；单元编码排序模块，用于根据第一单元特征相似度自小到大对动作表情单元编码进行排序，获取单元编码排序结果；单元编码提取模块，用于按照单元编码排序结果提取k个单元编码，设为一级识别编码，其中，k≥5，k为整数；表情寻优结果模块，用于根据一级识别编码在灯控表情模板库进行寻优，获取灯控表情寻优结果，其中，灯控表情寻优结果具有第三表情动作单元特征；用户模拟图像模块，用于将第三表情动作单元特征和用户基准面部图像输入表情编码器，获取用户表情模拟图像；面部一致控制模块，用于当用户表情模拟图像和用户面部图像一致时，基于灯控表情寻优结果进行灯具控制。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了采集用户面部图像，并输入面部表情编码库，在编码库中解析面部表情，获取面部表情特征，包括面部表情动作单元及其特征；同时采集用户基准面部图像，在编码库中解析，获取面部表情特征作为参考；随后，比较用户面部图像和基准面部图像的面部表情特征，评估其相似度，识别面部表情；根据识别结果，在灯控表情模板库中选择与面部表情相匹配的用户表情特征；根据寻优的用户表情特征与基准表情图像获取用户表情模拟图像；如果用户表情模拟图像与用户面部图像相匹配，则基于灯控表情寻优结果进行灯具控制的技术方案，解决了现有技术中用于灯具控制的面部表情识别准确性和稳定性差，导致灯具控制效果的技术问题，达到提高面部表情识别准确性和稳定性，从而实现智能灯具控制的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例提供了一种基于面部表情识别的灯具智能控制方法可能的流程示意图；

图2为本申请实施例提供了一种基于面部表情识别的灯具智能控制方法中获取单元特征相似度可能的流程示意图；

图3为本申请实施例提供了一种基于面部表情识别的灯具智能控制方法中进行灯具控制可能的流程示意图；

图4为本申请实施例提供了一种基于面部表情识别的灯具智能控制系统可能的结构示意图。

附图标记说明：用户面部解剖模块11，基准面部解剖模块12，动作相似评估模块13，单元编码排序模块14，单元编码提取模块15，表情寻优结果模块16，用户模拟图像模块17，面部一致控制模块18。

具体实施方式

本申请提供的技术方案总体思路如下：

本申请实施例提供了一种基于面部表情识别的灯具智能控制方法，采用面部表情编码库理解和分析面部表情的技术手段，实现面部表情的精确识别和智能灯具控制。

首先，采集用户面部图像并输入面部表情编码库进行解析，获取面部表情特征，包括面部表情动作单元及其特征。然后，采集用户基准面部图像，在编码库中进行解析，获取面部表情特征作为参考。随后，比较用户面部图像和基准面部图像的面部表情特征，评估其相似度以识别面部表情。根据识别结果，在灯控表情模板库中选择与面部表情相匹配的表情特征和控制模式。然后，根据寻优的表情特征和用户基准面部图像获取用户表情模拟图像。最后，如果用户表情模拟图像与用户面部图像相匹配，则基于选择的控制模式进行灯具控制。

在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。

实施例一

如图1所示，本申请实施例提供了一种基于面部表情识别的灯具智能控制方法，该方法包括：

步骤S100：采集用户面部图像输入面部表情编码库进行动作解剖，获取第一表情动作单元特征和动作表情单元编码；

具体而言，首先，通过摄像头采集用户当前的面部图像，该面部图像反映了用户当前的面部表情信息。然后，将采集的面部图像输入面部表情编码库，面部表情编码库中存储有大量面部表情图像及其对应的面部表情特征，这些面部表情图像经过人工标注，并建立起面部表情特征跟面部表情图像之间的对应关系。然后，在面部表情编码库中，检测输入面部图像，定位面部特征点，如眼睛轮廓、嘴巴轮廓等，作为不同的面部单元。同时，检测这些面部特征点之间的几何关系、距离比例等面部表情特征。所提取的面部表情特征为第一表情动作单元特征，反映输入面部图像中的主要表情特征信息。

然后，获取与第一表情动作单元特征对应的动作表情单元编码，动作表情单元编码是面部表情编码库中预设的编码，用于表示不同的面部表情特征。将检测出的面部表情特征与面部表情编码库中存储的面部表情特征进行匹配和比较，选取与面部表情特征最为相似的库内表情特征，提取该库内表情特征对应的动作表情单元编码，作为第一表情动作单元特征对应的动作表情单元编码。通过采集用户面部图像和表情编码库的动作解剖，实现用户当前面部表情信息的提取，为后续的表情识别和分析提供了必要的数据支撑。

步骤S200：将用户基准面部图像输入面部表情编码库进行动作解剖，获取第二表情动作单元特征，其中，所述用户基准面部图像为无表情面部图像；

具体而言，预先采集用户的基准面部图像，基准面部图像为用户的无表情面部图像。然后，将采集的基准面部图像输入面部表情编码库，与步骤S100类似，基准面部图像也会在面部表情编码库中被进行动作解剖，提取该面部表情图像对应的面部表情特征。动作解剖后，获取基准面部图像对应的第二表情动作单元特征，第二表情动作单元特征反映基准面部图像中的面部表情特征信息。与步骤S100的不同之处在于，此处输入的用户基准面部图像为无表情面部图像，该无表情面部图像为基准面部图像，其提取的面部表情特征可作为基准特征，用于与第一表情动作单元特征进行比较，从而判断用户面部表情的变化情况。

通过采集用户基准面部图像和表情编码库的动作解剖，实现用户无表情面部信息的提取，获得的第二表情动作单元特征作为基准特征，为后续的表情识别和分析提供了必要的数据支撑。

步骤S300：遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取第一单元特征相似度；

具体而言，将步骤S100中获得的第一表情动作单元特征和步骤S200中获得的第二表情动作单元特征进行遍历和比较，以评估第一表情动作单元特征中的每个表情动作单元与第二表情动作单元特征中的对应表情动作单元的相似度，实现相似度评估。

由于第一表情动作单元特征对应于用户当前面部表情，第二表情动作单元特征对应于用户无表情面部图像。通过比较两者之间每个表情动作单元的相似度，可以判断出用户当前面部表情与无表情面部表情之间的变化程度。如果相似度高，则表情变化不大；如果相似度低，则表情变化较大。相似度评估完成后，获得各个表情动作单元的相似度，为第一单元特征相似度，用于判断用户当前面部表情的类别和变化程度，为后续的表情识别和智能控制提供判断依据。

步骤S400：根据所述第一单元特征相似度自小到大对所述动作表情单元编码进行排序，获取单元编码排序结果；

具体而言，由于第一单元特征相似度反映了用户当前面部表情与无表情面部表情之间的变化程度，相似度越小表示表情变化越大。因此，将动作表情单元编码按第一单元特征相似度由小到大的顺序进行排序，排序结果中相似度越小的表情动作单元编码对应的表情变化越大。排序结果即为单元编码排序结果。单元编码排序结果指明了用户当前面部表情中变化程度从大到小的不同表情动作单元，为后续的表情识别和控制提供了判断依据。

步骤S500：按照所述单元编码排序结果提取k个单元编码，设为一级识别编码，其中，k≥5，k为整数；

具体而言，从获得的单元编码排序结果中提取较大变化程度的前k个表情动作单元编码，这k个表情动作单元编码被称为一级识别编码。一级识别编码指示了用户当前面部表情中变化较大的k个表情动作单元。其中，设置k的值不小于5，即至少选取变化程度较大的5个表情动作单元编码，以清晰表达用户表情。

通过选择变化程度较大的表情动作单元编码构成一级识别编码，可以过滤掉面部表情变化不大的表情动作单元，选取对表情起主导作用的表情动作单元，有利于提高后续表情识别效率和控制的准确性。

步骤S600：根据所述一级识别编码在灯控表情模板库进行寻优，获取灯控表情寻优结果，其中，所述灯控表情寻优结果具有第三表情动作单元特征；

具体而言，将获得的一级识别编码在灯控表情模板库中进行模板匹配，寻找与之最相似的灯控表情模板，并提取该模板对应的表情动作单元特征。灯控表情模板库中存储有多个灯控表情模板，每个灯控表情模板包含表情动作单元特征、对应的灯具控制模式。通过在灯控表情模板库中寻找与一级识别编码最相似的灯控表情模板和对应的灯具控制模式，实现在灯控表情模板库中进行寻优，获取灯控表情寻优结果。寻优后，获得最相似的灯控表情模板及其对应的表情动作单元特征，如眉毛形状、眼睛形状、嘴巴形状等，这些特征被称为第三表情动作单元特征。同时，也会获得对应的灯具控制模式，这些信息构成灯控表情寻优结果，为后续的灯具控制提供了必要的控制参数和判断依据。其中的第三表情动作单元特征用于获取用户表情模拟图像以验证与用户面部图像的一致性。

步骤S700：将所述第三表情动作单元特征和所述用户基准面部图像输入表情编码器，获取用户表情模拟图像；

具体而言，表情编码器采用反卷积神经网络构建，可以通过输入的面部表情特征和面部图像，输出对应的表情模拟图像。表情编码器包括输入层、隐藏层、输出层，其中，输入层用于接收第三表情动作单元特征和用户基准面部图像作为输入；隐藏层用于对输入的第三表情动作单元特征和用户基准面部图像进行特征提取和融合；输出层用于生成模拟了输入表情特征的用户表情模拟图像。实现将第三表情动作单元特征融合到用户基准面部图像上，模拟用户面部表情。

第三表情动作单元特征是寻优得到的灯控表情模板所对应的面部表情特征，用户基准面部图像提供了用户的面部轮廓和五官位置信息。通过输入第三表情动作单元特征和用户基准面部图像，表情编码器将第三表情动作单元特征的表情特征信息融合到用户基准面部图像上，生成表现出对应的面部表情的用户表情模拟图像，用于与后续用户实际表情进行验证和比对。如果用户表情模拟图像与用户实际表情一致，则确认表情识别和寻优的准确性，实现相应的灯具控制；如果不一致，则重新进行表情识别和寻优，为精准进行灯具控制提供准确的图像基础。

步骤S800：当所述用户表情模拟图像和所述用户面部图像一致时，基于所述灯控表情寻优结果进行灯具控制。

具体而言，判断获得的用户表情模拟图像与用户实际表情是否一致。如果一致，则确认表情识别和寻优过程准确，则基于获得的灯控表情寻优结果进行灯具控制；如果不一致，则重新进行表情识别和寻优。

采用SSIM、PSNR等图像比对算法，计算用户表情模拟图像和用户面部图像之间的相似度。如果相似度高于预设阈值，则判定为一致；如果低于预设阈值，则判定为不一致。当判定为一致时，确认表情识别和寻优过程准确，表示获得的灯控表情寻优结果可行，则根据灯控表情寻优结果中包含的灯具控制模式，生成相应的控制信号，将控制信号发送至灯具的控制单元，根据控制信号实现自动控制。当判定为不一致时，表明表情识别或寻优过程出现误差，需要重新进行表情识别和寻优。通过采用采集的用户面部图像进行比对验证，可以判断用户表情模拟图像的准确性，从而实现灯具的快速稳定控制。

进一步的，本申请实施例还包括：

步骤S310：构建动作相似度评估公式：

；

其中，表征第二表情动作单元特征和第一表情动作单元特征的第i动作单元的相似度，/>表征第二表情动作单元特征和第一表情动作单元特征的第i动作单元对齐后的重合面积，/>表征第一表情动作单元特征的非重合面积，表征第二表情动作单元特征的非重合面积，/>表征第一表情动作单元特征的第i动作单元的动作特征，/>表征第二表情动作单元特征的第i动作单元的动作特征；

步骤S320：根据所述动作相似度评估公式，遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取所述第一单元特征相似度。

具体而言，为计算表情动作单元特征之间的相似度，优选动作相似度评估公式为：，用于计算第二表情动作单元特征和第一表情动作单元特征的第i个动作单元之间的相似度。该动作相似度评估公式中，表示两个动作单元的相似度，/>表示两个动作单元对齐后重合部分的面积，/>表示第一动作单元非重合部分的面积，/>表示第二动作单元非重合部分的面积，/>和/>分别表示两个动作单元的动作特征。通过计算重合面积与非重合面积的比例，确定两个动作单元之间的相似度。相似度越高，表示两个动作单元越相似；相似度越低，表示两个动作单元越不同，为后续遍历两个表情特征之间的每个动作单元提供了计算依据。

然后，根据构建的动作相似度评估公式，遍历第二表情动作单元特征和第一表情动作单元特征，根据遍历顺序，定位两单元特征中的同一动作单元，计算其重合面积与非重合面积，代入公式得到相似度。依次计算每个动作单元的相似度，得到第一单元特征相似度，反映了两个表情特征之间的相似程度，为后续的表情识别和控制提供判断依据。

进一步的，如图2所示，本申请实施例还包括：

步骤S321：根据第一定位坐标系对所述用户面部图像进行定位，获取第一轮廓定位结果；

步骤S322：根据所述第一定位坐标系对所述用户基准面部图像进行定位，获取第二轮廓定位结果；

步骤S323：将所述第一轮廓定位结果和所述第二轮廓定位结果重合，获取动作单元对齐坐标集；

步骤S324：根据所述动作单元对齐坐标集和所述动作相似度评估公式，遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取所述单元特征相似度。

具体而言，首先，构建第一定位坐标系，其中定义了用于定位的特征点的空间坐标，如眼睛角点、鼻尖点、嘴角点等；在用户面部图像中检测特征点，如眼睛角点、鼻尖点、嘴角点等；确定检测到的特征点在第一定位坐标系中的坐标，如眼睛角点的坐标为（x1，y1）、(x2，y2），鼻尖点坐标为（x3，y3)，嘴角点坐标为（x4，y4）和（x5，y5）等。然后，根据特征点的空间坐标确定面部轮廓在图像中的定位，如连接眼睛角点、鼻尖点和嘴角点确定面部轮廓；将面部轮廓的空间坐标作为第一轮廓定位结果，包含面部轮廓在图像中的空间位置信息。

然后，同样根据预设的第一定位坐标系对获得的用户基准面部图像进行定位，获取面部轮廓的定位结果，称为第二轮廓定位结果。接着，将得到的第一轮廓定位结果和得到的第二轮廓定位结果进行重合，获得两者重合部分的坐标集，为动作单元对齐坐标集，其中包含第一轮廓定位结果和第二轮廓定位结果中的公共坐标，指示了两者在空间上重合对齐的部分，用于提供动作单元的空间对应信息，为下一步的相似度评估提供参考。随后，根据动作单元对齐坐标集，确定第一表情动作单元特征和第二表情动作单元特征中相对应的动作单元，对相对应的每个动作单元，计算其在两表情特征图像中的重合面积和非重合面积，将计算得到的面积代入构建的动作相似度评估公式中，计算相应动作单元之间的相似度。重复计算两表情特征之间每个动作单元的相似度，得到单元特征相似度，反映两表情特征之间的相似程度，为后续表情识别和控制提供判断依据。

进一步的，本申请实施例还包括：

步骤S610：根据所述灯控表情模板库，调取第q灯控表情模板单元编码；

步骤S620：将所述第q灯控表情模板单元编码和所述一级识别编码进行匹配，获取第q灯控表情模板匹配度；

步骤S630：当所述第q灯控表情模板匹配度大于第q-1灯控表情模板匹配度，且q满足预设迭代次数，将第q灯控表情模板设为所述灯控表情寻优结果；

步骤S640：当所述第q灯控表情模板匹配度小于所述第q-1灯控表情模板匹配度，且q满足所述预设迭代次数，将第q-1灯控表情模板设为所述灯控表情寻优结果；

步骤S650：当所述第q灯控表情模板匹配度等于所述第q-1灯控表情模板匹配度，且q满足所述预设迭代次数，将所述第q灯控表情模板和所述第q-1灯控表情模板设为所述灯控表情寻优结果；

步骤S660：当q不满足所述预设迭代次数，重复迭代寻优。

具体而言，在灯控表情模板库进行寻优的过程中，根据一级识别编码在灯控表情模板库中一一与灯控表情模板进行比较，获取最优的灯控表情寻优结果。

首先，在灯控表情模板库中，调取其中的第q个灯控表情模板的编码，为第q灯控表情模板单元编码。其中，灯控表情模板库中存储有多个灯控表情模板，每个模板包含表情特征编码和对应的控制信息。然后，将获得的第q灯控表情模板单元编码和获得的一级识别编码进行匹配，计算两者的匹配度，称为第q灯控表情模板匹配度。匹配度越高，表示两编码越相似，对应的表情特征也越相近。

随后，判断第q灯控表情模板的匹配度是否大于前一轮寻优过程中保存的模板匹配度，如果大于并且迭代次数q满足要求，则将当前模板设为寻优结果。其中，预设迭代次数用于限定寻优过程的重复次数，避免无限循环。如果第q灯控表情模板的匹配度小于前一轮寻优过程中保存的模板匹配度，并且迭代次数q满足要求，则仍将上一轮保存的模板作为寻优结果。如果第q灯控表情模板的匹配度等于前一轮寻优过程中保存的模板匹配度，并且迭代次数q满足要求，则将上一轮保存的模板与当前模板共同作为寻优结果。在该迭代寻优过程中，只要q不满足预设迭代次数，就重复进行迭代寻优，以获取最优的灯控表情寻优结果。

进一步的，本申请实施例还包括：

步骤S621：构建匹配度评估公式：

；

其中，表征第q灯控表情模板匹配度，/>表征第q灯控表情模板单元编码除开一级识别编码对应的动作单元的其它动作单元与灯控基准表情模板的相似度最大值，/>表征灯控基准表情模板的第j个动作单元的动作特征，/>表征第q灯控表情模板的第j个动作单元的动作特征，/>表征第q灯控表情模板中和一级识别编码对应的动作单元；

步骤S622：判断所述第q灯控表情模板单元编码是否具有所述一级识别编码；

步骤S623：若具有，根据所述匹配度评估公式，对所述第q灯控表情模板单元编码进行处理，获取所述第q灯控表情模板匹配度；

步骤S624：若不具有，将所述第q灯控表情模板添加进淘汰数据组。

具体而言，优先的评估灯控表情模板单元编码与一级识别编码的匹配评估公式为，在该公式中，/>表示第q模板的匹配度，/>表示除与一级识别编码对应动作单元外，第q模板其他动作单元与基准模板相似度的最大值，/>表示基准模板第j个动作单元的特征，/>表示第q模板第j个动作单元的特征，/>表示与一级识别编码对应动作单元。当最大相似度除最小相似度大于1时，匹配度为-1；当最大相似度除最小相似度小于等于1时，匹配度为最大相似度除最小相似度。

然后，先判断第q灯控表情模板单元编码中是否包含获得的一级识别编码。如果第q灯控表情模板单元编码包含一级识别编码，则将第q模板单元编码代入构建的匹配度评估公式，计算其匹配度，得到第q灯控表情模板匹配度。如果判断第q模板不包含一级识别编码，则直接将该模板淘汰，添加至淘汰数据组。

进一步的，如图3所示，本申请实施例还包括：

步骤S810：对所述用户表情模拟图像和所述用户面部图像进行相似度评估，获取第二单元特征相似度；

步骤S820：获取所述第二单元特征相似度小于或等于相似度阈值的单元数量；

步骤S830：当所述单元数量小于单元数量阈值，生成比对一致信号；

步骤S840：将所述比对一致信号传输至灯控终端，基于所述灯控表情寻优结果进行灯具控制。

具体而言，首先，对获得的用户表情模拟图像和获得的用户面部图像进行相似度评估，计算两图像之间每个表情动作单元的相似度，得到第二单元特征相似度，反映用户表情模拟图像与用户实际表情之间的相似程度，用于判断表情识别和寻优过程的准确性，以实现相应的灯具控制。

然后，统计第二单元特征相似度中小于或等于预设相似度阈值的表情动作单元数量。其中，相似度阈值表示可以接受的相似度范围，小于阈值的表情动作单元数量越多，表示两图像的表情差异越大，表情识别或模拟的准确性越低。接着，判断统计得到的小于相似度阈值表情动作单元数量是否小于预设的单元数量阈值，如果小于，则生成比对一致信号，表示表情模拟图像与用户实际表情一致，表情识别和寻优正确；如果大于，表示表情不同，需重新识别。最后，将生成的比对一致信号传输至灯具控制端，指示表情识别和寻优正确，灯具控制端基于获得的灯控表情寻优结果进行灯具控制。

进一步的，本申请实施例还包括：

步骤S851：当所述用户表情模拟图像和所述用户面部图像不一致时，按照所述单元编码排序结果提取k+1个编码，设为二级识别编码；

步骤S852：根据所述二级识别编码在灯控表情模板库进行寻优。

具体而言，如果步骤S800的判断结果为不一致，表示当前表情识别和寻优结果不准确，无法实现灯具控制。此时，需要重新进行表情识别和寻优。为增加识别的准确性，此一级识别编码的基础上，按照单元编码排序结果提取更多的特征用于识别，即提取k+1个表情动作单元编码，将其设为二级识别编码，用于新的一轮表情识别和寻优，以获得正确的控制结果。k+1个编码相比k个编码增加了一个编码，可提供更丰富的表情特征信息，从而提高识别的准确性。将二级识别编码

然后，将获得的二级识别编码在灯控表情模板库中进行寻优，寻优过程与步骤S600相同。通过在模板库中寻找与二级识别编码最相似的模板，获得对应的灯具控制信息，该信息构成新的灯控表情寻优结果。新寻优结果用于再次判断表情模拟图像的准确性，如果一致则进行灯具控制；如果不一致，则继续增加识别编码重新识别，直至获得正确结果。

综上所述，本申请实施例所提供的一种基于面部表情识别的灯具智能控制方法具有如下技术效果：

采集用户面部图像输入面部表情编码库进行动作解剖，获取第一表情动作单元特征和动作表情单元编码，为后续面部表情识别提供参考信息；将用户基准面部图像输入面部表情编码库进行动作解剖，获取第二表情动作单元特征，其中，用户基准面部图像为无表情面部图像，为识别用户面部表情图像的面部表情提供基准图像；遍历第二表情动作单元特征和第一表情动作单元特征进行相似度评估，获取第一单元特征相似度，实现面部表情的精确识别；根据第一单元特征相似度自小到大对动作表情单元编码进行排序，获取单元编码排序结果，为选择单元编码提供排序基础；按照单元编码排序结果提取k个单元编码，设为一级识别编码，其中，k≥5，k为整数，获取表情差异大的单元特征，提高寻优效率；根据一级识别编码在灯控表情模板库进行寻优，获取灯控表情寻优结果，其中，灯控表情寻优结果具有第三表情动作单元特征，为生成用户表情模拟图像提供基础；将第三表情动作单元特征和用户基准面部图像输入表情编码器，获取用户表情模拟图像，为实现灯具控制提供信息；当用户表情模拟图像和用户面部图像一致时，基于灯控表情寻优结果进行灯具控制，达到提高面部表情识别准确性和稳定性，从而实现智能灯具控制的技术效果。

实施例二

基于与前述实施例中一种基于面部表情识别的灯具智能控制方法相同的发明构思，如图4所示，本申请实施例提供了一种基于面部表情识别的灯具智能控制系统，该系统包括：

用户面部解剖模块11，用于采集用户面部图像输入面部表情编码库进行动作解剖，获取第一表情动作单元特征和动作表情单元编码；

基准面部解剖模块12，用于将用户基准面部图像输入面部表情编码库进行动作解剖，获取第二表情动作单元特征，其中，所述用户基准面部图像为无表情面部图像；

动作相似评估模块13，用于遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取第一单元特征相似度；

单元编码排序模块14，用于根据所述第一单元特征相似度自小到大对所述动作表情单元编码进行排序，获取单元编码排序结果；

单元编码提取模块15，用于按照所述单元编码排序结果提取k个单元编码，设为一级识别编码，其中，k≥5，k为整数；

表情寻优结果模块16，用于根据所述一级识别编码在灯控表情模板库进行寻优，获取灯控表情寻优结果，其中，所述灯控表情寻优结果具有第三表情动作单元特征；

用户模拟图像模块17，用于将所述第三表情动作单元特征和所述用户基准面部图像输入表情编码器，获取用户表情模拟图像；

面部一致控制模块18，用于当所述用户表情模拟图像和所述用户面部图像一致时，基于所述灯控表情寻优结果进行灯具控制。

进一步的，动作相似评估模块13包括以下执行步骤：

构建动作相似度评估公式：

；

其中，表征第二表情动作单元特征和第一表情动作单元特征的第i动作单元的相似度，/>表征第二表情动作单元特征和第一表情动作单元特征的第i动作单元对齐后的重合面积，/>表征第一表情动作单元特征的非重合面积，表征第二表情动作单元特征的非重合面积，/>表征第一表情动作单元特征的第i动作单元的动作特征，/>表征第二表情动作单元特征的第i动作单元的动作特征；

根据所述动作相似度评估公式，遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取所述第一单元特征相似度。

进一步的，动作相似评估模块13还包括以下执行步骤：

根据第一定位坐标系对所述用户面部图像进行定位，获取第一轮廓定位结果；

根据所述第一定位坐标系对所述用户基准面部图像进行定位，获取第二轮廓定位结果；

将所述第一轮廓定位结果和所述第二轮廓定位结果重合，获取动作单元对齐坐标集；

根据所述动作单元对齐坐标集和所述动作相似度评估公式，遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取所述单元特征相似度。

进一步的，表情寻优结果模块16包括以下执行步骤：

根据所述灯控表情模板库，调取第q灯控表情模板单元编码；

将所述第q灯控表情模板单元编码和所述一级识别编码进行匹配，获取第q灯控表情模板匹配度；

当所述第q灯控表情模板匹配度大于第q-1灯控表情模板匹配度，且q满足预设迭代次数，将第q灯控表情模板设为所述灯控表情寻优结果；

当所述第q灯控表情模板匹配度小于所述第q-1灯控表情模板匹配度，且q满足所述预设迭代次数，将第q-1灯控表情模板设为所述灯控表情寻优结果；

当所述第q灯控表情模板匹配度等于所述第q-1灯控表情模板匹配度，且q满足所述预设迭代次数，将所述第q灯控表情模板和所述第q-1灯控表情模板设为所述灯控表情寻优结果；

当q不满足所述预设迭代次数，重复迭代寻优。

进一步的，表情寻优结果模块16还包括以下执行步骤：

构建匹配度评估公式：

；

其中，表征第q灯控表情模板匹配度，/>表征第q灯控表情模板单元编码除开一级识别编码对应的动作单元的其它动作单元与灯控基准表情模板的相似度最大值，/>表征灯控基准表情模板的第j个动作单元的动作特征，/>表征第q灯控表情模板的第j个动作单元的动作特征，/>表征第q灯控表情模板中和一级识别编码对应的动作单元；

判断所述第q灯控表情模板单元编码是否具有所述一级识别编码；

若具有，根据所述匹配度评估公式，对所述第q灯控表情模板单元编码进行处理，获取所述第q灯控表情模板匹配度；

若不具有，将所述第q灯控表情模板添加进淘汰数据组。

进一步的，面部一致控制模块18包括以下执行步骤：

对所述用户表情模拟图像和所述用户面部图像进行相似度评估，获取第二单元特征相似度；

获取所述第二单元特征相似度小于或等于相似度阈值的单元数量；

当所述单元数量小于单元数量阈值，生成比对一致信号；

将所述比对一致信号传输至灯控终端，基于所述灯控表情寻优结果进行灯具控制。

进一步的，面部一致控制模块18还包括以下执行步骤：

当所述用户表情模拟图像和所述用户面部图像不一致时，按照所述单元编码排序结果提取k+1个编码，设为二级识别编码；

根据所述二级识别编码在灯控表情模板库进行寻优。

综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法，在此不做多余限制。

进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。

Claims (8)

1.一种基于面部表情识别的灯具智能控制方法，其特征在于，包括：

采集用户面部图像输入面部表情编码库进行动作解剖，获取第一表情动作单元特征和动作表情单元编码；

将用户基准面部图像输入面部表情编码库进行动作解剖，获取第二表情动作单元特征，其中，所述用户基准面部图像为无表情面部图像；

遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取第一单元特征相似度；

根据所述第一单元特征相似度自小到大对所述动作表情单元编码进行排序，获取单元编码排序结果；

按照所述单元编码排序结果提取k个单元编码，设为一级识别编码，其中，k≥5，k为整数；

根据所述一级识别编码在灯控表情模板库进行寻优，获取灯控表情寻优结果，其中，所述灯控表情寻优结果具有第三表情动作单元特征；

将所述第三表情动作单元特征和所述用户基准面部图像输入表情编码器，获取用户表情模拟图像；

当所述用户表情模拟图像和所述用户面部图像一致时，基于所述灯控表情寻优结果进行灯具控制。

2.如权利要求1所述的方法，其特征在于，遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取第一单元特征相似度，包括：

构建动作相似度评估公式：

；

其中，表征第二表情动作单元特征和第一表情动作单元特征的第i动作单元的相似度，/>表征第二表情动作单元特征和第一表情动作单元特征的第i动作单元对齐后的重合面积，/>表征第一表情动作单元特征的非重合面积，表征第二表情动作单元特征的非重合面积，/>表征第一表情动作单元特征的第i动作单元的动作特征，/>表征第二表情动作单元特征的第i动作单元的动作特征；

根据所述动作相似度评估公式，遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取所述第一单元特征相似度。

3.如权利要求2所述的方法，其特征在于，根据所述动作相似度评估公式，遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取所述单元特征相似度，包括：

根据第一定位坐标系对所述用户面部图像进行定位，获取第一轮廓定位结果；

根据所述第一定位坐标系对所述用户基准面部图像进行定位，获取第二轮廓定位结果；

将所述第一轮廓定位结果和所述第二轮廓定位结果重合，获取动作单元对齐坐标集；

根据所述动作单元对齐坐标集和所述动作相似度评估公式，遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取所述单元特征相似度。

4.如权利要求1所述的方法，其特征在于，根据所述一级识别编码在灯控表情模板库进行寻优，获取灯控表情寻优结果，包括：

根据所述灯控表情模板库，调取第q灯控表情模板单元编码；

将所述第q灯控表情模板单元编码和所述一级识别编码进行匹配，获取第q灯控表情模板匹配度；

当所述第q灯控表情模板匹配度大于第q-1灯控表情模板匹配度，且q满足预设迭代次数，将第q灯控表情模板设为所述灯控表情寻优结果；

当所述第q灯控表情模板匹配度小于所述第q-1灯控表情模板匹配度，且q满足所述预设迭代次数，将第q-1灯控表情模板设为所述灯控表情寻优结果；

当所述第q灯控表情模板匹配度等于所述第q-1灯控表情模板匹配度，且q满足所述预设迭代次数，将所述第q灯控表情模板和所述第q-1灯控表情模板设为所述灯控表情寻优结果；

当q不满足所述预设迭代次数，重复迭代寻优。

5.如权利要求4所述的方法，其特征在于，将所述第q灯控表情模板单元编码和所述一级识别编码进行匹配，获取第q灯控表情模板匹配度，包括：

构建匹配度评估公式：

；

其中，表征第q灯控表情模板匹配度，/>表征第q灯控表情模板单元编码除开一级识别编码对应的动作单元的其它动作单元与灯控基准表情模板的相似度最大值，/>表征灯控基准表情模板的第j个动作单元的动作特征，/>表征第q灯控表情模板的第j个动作单元的动作特征，/>表征第q灯控表情模板中和一级识别编码对应的动作单元；

判断所述第q灯控表情模板单元编码是否具有所述一级识别编码；

若具有，根据所述匹配度评估公式，对所述第q灯控表情模板单元编码进行处理，获取所述第q灯控表情模板匹配度；

若不具有，将所述第q灯控表情模板添加进淘汰数据组。

6.如权利要求1所述的方法，其特征在于，当所述用户表情模拟图像和所述用户面部图像一致时，基于所述灯控表情寻优结果进行灯具控制，包括：

对所述用户表情模拟图像和所述用户面部图像进行相似度评估，获取第二单元特征相似度；

获取所述第二单元特征相似度小于或等于相似度阈值的单元数量；

当所述单元数量小于单元数量阈值，生成比对一致信号；

将所述比对一致信号传输至灯控终端，基于所述灯控表情寻优结果进行灯具控制。

7.如权利要求6所述的方法，其特征在于，还包括：

当所述用户表情模拟图像和所述用户面部图像不一致时，按照所述单元编码排序结果提取k+1个编码，设为二级识别编码；

根据所述二级识别编码在灯控表情模板库进行寻优。

8.一种基于面部表情识别的灯具智能控制系统，其特征在于，用于实施权利要求1-7任意一项所述的一种基于面部表情识别的灯具智能控制方法，所述系统包括：

用户面部解剖模块，所述用户面部解剖模块用于采集用户面部图像输入面部表情编码库进行动作解剖，获取第一表情动作单元特征和动作表情单元编码；

基准面部解剖模块，所述基准面部解剖模块用于将用户基准面部图像输入面部表情编码库进行动作解剖，获取第二表情动作单元特征，其中，所述用户基准面部图像为无表情面部图像；

动作相似评估模块，所述动作相似评估模块用于遍历所述第二表情动作单元特征和所述第一表情动作单元特征进行相似度评估，获取第一单元特征相似度；

单元编码排序模块，所述单元编码排序模块用于根据所述第一单元特征相似度自小到大对所述动作表情单元编码进行排序，获取单元编码排序结果；

单元编码提取模块，所述单元编码提取模块用于按照所述单元编码排序结果提取k个单元编码，设为一级识别编码，其中，k≥5，k为整数；

表情寻优结果模块，所述表情寻优结果模块用于根据所述一级识别编码在灯控表情模板库进行寻优，获取灯控表情寻优结果，其中，所述灯控表情寻优结果具有第三表情动作单元特征；

用户模拟图像模块，所述用户模拟图像模块用于将所述第三表情动作单元特征和所述用户基准面部图像输入表情编码器，获取用户表情模拟图像；

面部一致控制模块，所述面部一致控制模块用于当所述用户表情模拟图像和所述用户面部图像一致时，基于所述灯控表情寻优结果进行灯具控制。