CN116092166A - 口罩人脸识别方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及人脸识别技术领域，公开了一种口罩人脸识别方法、装置、计算机设备及存储介质，该方法包括：对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩；若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果；计算所述第一识别结果和所述第二识别结果各自对应的第一信任值和第二信任值；当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。通过多个模型的识别结果进行识别，以增强整体的识别结果的准确率，提高识别精度。

Description

口罩人脸识别方法、装置、计算机设备及存储介质

技术领域

本发明涉及人脸识别领域，尤其涉及一种口罩人脸识别方法、装置、计算机设备及存储介质。

背景技术

当前人脸识别策略大部分专注于识别算法本身的工作，专注于算法本身固然是重要的，但是在某些情形下达到好的效果不仅在于算法本身，业务相关的逻辑也是关键的一环。普通场景的人脸识别算法精度可接受，但对于当前社会环境，人们普遍戴口罩情形下的人脸识别精度和方法受到的挑战。除了因为口罩的原因，人脸识别也面临着被识别者与摄像头的偏移角度、与摄像头的距离、被识别者的环境光线强度等因素导致识别算法不够精准；同时还面临着算法部署模型主要来源于算法实现者所使用的数据集与算法实际部署场地采集的数据差异导致的精度丢失问题，这种差异导致无法及时地融合部署场景带来的业务精度损失。

发明内容

第一方面，本申请提供了一种口罩人脸识别方法，所述方法包括：

对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩；

若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果；其中，所述第一口罩人脸识别模型根据不戴口罩的人脸数据和带口罩的人脸数据混合训练得到，所述第二口罩人脸识别模型根据戴口罩的人脸数据训练得到；

计算所述第一识别结果和所述第二识别结果各自对应的第一信任值和第二信任值；

当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。

进一步的，所述第一识别结果和所述第二识别结果对应的第一信任值和第二信任值包括：

获取所述第一口罩人脸识别模型和所述第二口罩人脸识别模型的第一权重以及第二权重；

分别计算所述第一识别结果的第一相似度以及所述第二识别结果的第二相似度；

将所述第一权重和所述第一相似度相乘，得到所述第一信任值，将所述第二权重和所述第二相似度相乘，得到所述第二信任值。

进一步的，所述方法还包括：

当所述人脸图像中没有口罩时，通过无口罩人脸识别模型对所述人脸图像进行识别得到识别结果；

将所述识别结果和所述人脸图像对应保存为在线人脸数据；

将所述在线人脸数据添加口罩后，得到在线口罩人脸数据；

通过所述第一口罩人脸识别模型和所述第二口罩人脸识别模型分别对所述在线口罩人脸数据进行识别，并记录只有所述第一口罩人脸识别模型识别正确的次数的第一正确值，及只有所述第二口罩人脸识别模型识别正确的次数的第二正确值；

根据所述第一正确值和所述第二正确值在线更新所述第一权重和所述第二权重；

其中，所述第一权重和所述第二权重的更新公式如下：

；

式中，

为所述第一权重，

为所述第二权重，s₁为所述第一正确值，s₂为所述第二正确值。

进一步的，所述通过所述第一口罩人脸识别模型和所述第二口罩人脸识别模型分别对所述在线口罩人脸数据进行识别时，还包括：

将所述第一口罩人脸识别模型以及所述第二口罩人脸识别模型对所述在线口罩人脸数据都识别错误的次数记录为全错值：

当所述全错值大于预设值时，将所述在线人脸数据和所述在线口罩人脸数据进行自动标注以得到对应的人脸标注数据和口罩人脸标注数据；

将所述人脸标注数据和所述口罩人脸标注数据按照对应识别模型的训练需求，输入至所述第一口罩人脸识别模型和所述第二口罩人脸识别模型中，对所述第一口罩人脸识别模型和所述第二口罩人脸识别模型进行在线训练，以更新所述第一口罩人脸识别模型和所述第二口罩人脸识别模型；

将所述第一权重和所述第二权重初始化成默认值。

进一步的，所述自动标注包括：

对所述在线人脸数据和所述在线口罩人脸数据的人脸图像进行关键点检测，并根据所有的关键点，在所述人脸图像上计算标注矩形框的原点坐标、长和宽；

设定所述标注矩形框的控制系数，并使用标注模型进行迭代训练，以调整所述控制系数；

迭代完成后，根据调整后的控制系数，确定所述标注矩形框最终的原点坐标、长和宽，得到所述标注矩形框。

进一步的，所述使用标注模型进行迭代训练，以调整所述控制系数，包括：

通过预设的损失函数确定所述控制系数，其中所述控制系数包括原点控制系数

和长宽控制系数

；

所述损失函数的表达式为：

式中，loss为损失值，

为超参数，n表示迭代轮数，q表示根据当前的控制系数得到的标注矩形框的识别精度；

当连续预设数量个q_n=q_n-1时，确定所述原点控制系数

和所述长宽控制系数

。

进一步的，若所述人脸图像中戴有口罩，还包括：

获取并对比所述第一口罩人脸识别模型的第一权重和第二口罩人脸识别模型的第二权重，若所述第一权重大于所述第二权重，则使用所述第一口罩人脸识别模型进行识别，否则使用所述第二口罩人脸识别模型进行识别。

第二方面，本申请还提供一种口罩人脸识别装置，包括：

预识别模块，用于对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩；

识别模块，用于若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果；其中，所述第一口罩人脸识别模型根据不戴口罩的人脸数据和带口罩的人脸数据混合训练得到，所述第二口罩人脸识别模型根据戴口罩的人脸数据训练得到；

信任值计算模块，用于计算所述第一识别结果和所述第二识别结果各自对应的第一信任值和第二信任值；

输出模块，用于当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。

第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的口罩人脸识别方法。

第四方面，本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的口罩人脸识别方法。

本发明公开了一种口罩人脸识别方法、装置、计算机设备及存储介质，该方法包括：对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩；若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果；计算所述第一识别结果和所述第二识别结果各自对应的第一信任值和第二信任值；当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。通过多个模型的识别结果进行识别，不同的识别模型训练用的识别特征不同，使得人脸识别适用与更广泛的使用环境，起到融合多维特征进行识别，增强在不同环境下人脸的识别结果的准确率，提高识别精度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例一种口罩人脸识别方法的流程示意图；

图2示出了本申请实施例模型权重自动更新方法的流程示意图；

图3示出了本申请实施例在线更新方法的流程示意图；

图4示出了本申请实施例一种模型自动标注的流程示意图；

图5示出了本申请实施例一种口罩人脸识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

本申请的技术方案应用于人脸识别场景，针对戴口罩的人脸识别，目前使用的人脸识别模型为了适应戴口罩的情况，会在训练识别模型时，增加戴口罩的标注图作为训练数据，以使得训练模型可以识别戴口罩的人脸，但是因为该模型在训练时也会使用不戴口罩的标注图作为训练数据，所以识别效果不佳。本申请通过只使用戴口罩的人脸图片训练的识别模型与上述的识别模型搭配使用，以增加识别精度。

接下来以具体实施例说明本申请的技术方案。

实施例1

如图1所示，本申请的口罩人脸识别方法包括：

步骤S100，对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩。

人脸识别时，通常都是由摄像头拍摄得到人脸图像，然后由识别模型识别，得到识别结果。在当前环境中，口罩成为常用工具，因此人脸识别时戴口罩的情景增多，而口罩会遮挡人脸大部分的特征，使得识别困难，因此会针对是否戴口罩进行一个初步判断。

可以理解的是，若判断当前人没有戴口罩，则可以使用无口罩人脸识别模型进行识别，这种无口罩人脸识别模型使用不戴口罩的数据训练得到，可以理解，人脸识别技术的发展一开始就是针对面部不戴任何遮挡物的情况进行识别的，所述上述的无口罩人脸识别模型的技术已经趋于成熟，识别精度很高。

此外，在识别前，还会判断人脸相对摄像头的偏移角度，因为人脸要不是正对摄像头，所得到的人脸图片中的人脸特征也是不完整的，因此在检测到人脸的偏移角度大于预设角度，例如30度时，就会提示用户正对摄像头。

初步判断时，可以通过属性分析模型进行判断。

步骤S200，若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果。

当识别到人脸图像中戴有口罩时，则需要使用针对口罩识别的识别模型对人脸进行识别。本申请中针对戴口罩的人脸的识别模型有两种，其中，第一口罩人脸识别模型根据不戴口罩的人脸数据和带口罩的人脸数据混合训练得到，所述第二口罩人脸识别模型根据戴口罩的人脸数据训练得到。

两种识别模型的训练方式不同，所以得到的识别模型所识别得到的结果也会有所不同。需要说明的是，任何人脸识别器，其内部会存有人脸信息，这些人脸信息为具体的人脸图片，是注册信息，人脸识别模型识别摄像头拍摄的图片后，从注册信息中匹配是否有对应的人，以此来进行人脸识别。因此，人脸识别模型在识别了图片后，其实是确定了该人脸的图像特征，然后会和数据库中注册的人脸信息进行比对，将比对结果中相似度最高的那一个识别结果，因此因为识别模型的不同，其得到的识别结果可能相同，也可能不同。相同时，则直接使用这两个识别模型的识别结果作为最终识别结果即可，若是不同，则需要进行选择。

例如针对同一个人脸图像，第一口罩人脸识别模型进行识别后，识别该人物是张三，而第二口罩人脸识别模型识别结果可能是李四，这样两种识别结果。

步骤S300，计算所述第一识别结果和所述第二识别结果对应的第一信任值和第二信任值。

针对两个识别模型所得到的两种识别结果，需要分别计算两个识别结果的信任值。

需要说明的是，上述两个识别模型都各自有一个权重，即第一权重和第二权重，这两个权重之合为1。显然，识别结果越准确的，其权重就会越高，反之越低。通过上述的权重和相似度可以计算得到信任值。

具体的，将第一识别结果对应的相似度作为第一相似度，第二识别结果对应的相似度作为第二相似度，并分别获取第一权重以及第二权重，通过将所述第一权重和所述第一相似度相乘，得到第一信任值，将所述第二权重和所述第二相似度相乘，得到第二信任值。

步骤S400，当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。

信任值是上述识别模型的权重和识别结果本身的相似度的乘积得到的，因此通过选取其中信任值最大的一个识别结果作为最终结果输出，可以保证识别结果的准确性。

此外，在实际应用时，为了保证速度，也可以通过上述的第一权重和第二权重来选择更优的识别模型进行识别，例如第一权重大于第二权重时，使用第一口罩人脸识别模型，否则就使用第二口罩人脸识别模型。通过权重进行识别模型的选择，这样只使用一个识别模型进行识别，可以跳过上述对两个识别结果进行选择的操作，使得识别速度更快。

可以理解的是，人脸识别会被时间、人种、光线等原因干扰，而本申请还会对权重进行实时更新，并且通过收集实时的人脸数据，对各个识别模型进行更新，使得整个人脸识别系统可以自更新，以克服因时间和环境的变动导致的识别精确度降低，实现多维度特征融合的人脸识别。

如图2所示，第一口罩识别模型和第二口罩识别模型的权重更新方法包括：

步骤S500，通过无口罩人脸识别模型获取无口罩人脸图像以及对应的识别结果，以得到在线人脸数据。

无口罩人脸识别模型即对于人脸上没有口罩时进行人脸识别所用的常规的人脸识别模型，因为不戴口罩的人脸识别可以捕捉到完整的人脸信息，且这方面的技术成熟，因此可以将无口罩人脸识别模型得到的识别结果认为是可信的识别结果。

可以理解，每当无口罩人脸识别模型进行一次识别，可以得到一个人脸图像以及对应的识别结果。此处的识别结果指的是例如人名等具体的标签。人脸图像和对应的识别结果形成人脸数据。该人脸数据是在实际工作环境中得到的人脸数据，是区别于训练第一口罩人脸识别模型和第二口罩人脸识别模型的新数据，因为这些新数据是在工作过程中收集到的，因此称之为在线人脸数据。

步骤S600，将所述在线人脸数据添加口罩后，得到在线口罩人脸数据。

将在线人脸数据中添加了口罩后，得到了戴了口罩的在线口罩人脸数据，这些数据可以用于给第一口罩人脸识别模型和第二口罩人脸识别模型识别和训练用。

具体添加口罩的方式，可以是通过FMA-3D口罩添加方法等成熟的技术实现，在此不做展开。

步骤S700，通过所述第一口罩人脸识别模型和所述第二口罩人脸识别模型分别对所述在线口罩人脸数据进行识别，并记录只有所述第一口罩人脸识别模型识别正确的次数的第一正确值，及只有所述第二口罩人脸识别模型识别正确的次数的第二正确值。

得到了在线口罩人脸数据后，将这些人脸数据输入到第一口罩人脸识别模型和第二口罩人脸识别模型中，让这两个模型进行识别，并记录识别数据。

因为本实施例是用于对权重进行更新，因此需要凸显这两个识别模型的差别，因此需要分别记录第一口罩人脸识别模型单独识别正确次数的第一正确值，和所述第二口罩人脸识别模型单独识别正确次数的第二正确值。可以理解，对于两个识别模型都识别正确的时候，两个模型之间是没有差异的，因此这部分的数据对于更新权重来讲没有什么意义，而一个模型识别正确，另一个却识别失败的数据是能够体现两个模型差别的，因此需要记录单独识别正确时的次数。

具体而言，即上述两个识别模型对于同样的在线人脸数据进行识别，若第一口罩人脸识别模型识别正确，而第二口罩人脸识别模型识别错误，则第一正确值加一，若第二口罩人脸识别模型识别正确，而第一口罩人脸识别模型识别错误，则第二正确值加一，以此来记录上述第一正确值和第二正确值。

步骤S800，根据所述第一正确值和所述第二正确值在线更新所述第一权重和所述第二权重。

其中，第一权重和所述第二权重的更新公式如下：

式中，

为所述第一权重值，

为所述第二权重值，s₁为所述第一正确值，s₂为所述第二正确值。

可以理解，当整个识别机器初始化时，两个识别模型是拥有各自的默认权重的，该默认权重可以是0.5，每次更新权重时，当前的权重都会参与计算来得到更新后的权重以此来得到更新后的权重。

而每次更新时，都需要积攒一定的人脸数据，同时还不能影响识别模型的正常工作，因此可以预设一个空闲时间，例如使用场景是门禁的话，那么可以根据高峰期的规律，设置空闲时间，在该空闲时间内完成对权重的更新。而在该空闲时间内，获取到的在线人脸数据就可以用作更新模型时的训练数据。因此通过实际工作中的图像数据对权重进行更新，可以考虑到因为时间的变化导致环境的变化，以此通过控制权重来控制最终输出的识别结果，间接考虑到了时间和环境维度的特征带来的影响，通过在线更新权重，实现多维度特征的融合识别。

同时，为了监控两个识别模型的效率，还会记录两个识别模型都识别错误的全错值，要是全错值过大，则表示这两个识别模型需要进行在线更新。

如图3所示，本实施例在线更新包括：

步骤S900，将所述第一口罩人脸识别模型以及所述第二口罩人脸识别模型对所述在线口罩人脸数据都识别错误的次数记录为全错值：

在上述第一口罩人脸识别模型以及所述第二口罩人脸识别模型进行识别时，也会存在针对同一个数据，两个模型都识别错的情况，该全错值反应了当前环境下，识别模型的识别错误率。错误率高到了一定地步，就表示当前的识别模型已经不太适合继续工作了。

步骤S910，当所述全错值大于预设值时，将所述在线人脸数据和所述在线口罩人脸数据进行自动标注以得到对应的人脸标注数据和口罩人脸标注数据。

具体而言，可以针对全错值设置一个预设值，当所述全错值大于预设值时，将所述在线人脸数据和所述在线口罩人脸数据进行自动标注得到对应的人脸标注数据和口罩人脸标注数据，这些标注后的数据可以作为上述两个识别模型的训练材料。这些训练材料是上述的人脸标注数据和口罩人脸标注数据。

其中自动标注即不需要人工操作，通过算法在人脸图像上形成标注框，标注框框住需要识别的人脸位置。需要说明的是，针对不同的图像数据，标注的位置也不同，例如对于没有戴口罩的人脸数据，标注框需要标注整个人脸，对于戴口罩的人脸数据，需要标注口罩之外的人脸部分。

步骤S920，将所述人脸标注数据和所述口罩人脸标注数据按照对应识别模型的训练需求，输入至所述第一口罩人脸识别模型和所述第二口罩人脸识别模型中，对所述第一口罩人脸识别模型和所述第二口罩人脸识别模型进行在线训练，以更新所述第一口罩人脸识别模型和所述第二口罩人脸识别模型。

如前述所说，第一口罩人脸识别模型和第二口罩人脸识别模型训练时所用的素材是不一样的，因此需要针对性的使用素材进行训练，即将完整的人脸标注数据和口罩人脸标注数据给第一口罩人脸识别模型训练。只将口罩人脸标注数据给第二口罩人脸识别模型训练，以保持两个识别模型的特异性。

步骤S930，将所述第一权重和所述第二权重初始化成默认值。

在线自动学习结束后，将所述第一权重和所述第二权重初始化成默认值。可以理解，权重之和需要为1，因此默认值设置为0.5是一个合适的值。

因为在线自动学习后，所得到的识别模型实际上和原来的识别模型是有差异的，因此需要将各自的权重初始化成0.5，以减少之前的模型对当前模型的影响。

可以理解，模型的训练是有很多轮迭代的，每轮迭代之后，都会对模型的参数进行修改，因此在学习完成之后，理论上会有多个模型产生，因此可以分别针对上述两个识别模型，将原本用来训练的人脸数据以及在线自动学习时用来训练的数据组成一个验证集，使用上述学习后产生的所有模型都来进行识别一遍，获取其中识别率最高的模型，然后将该识别率最高的新模型和学习前的旧模型之间进行比对，如果新模型的表现更优，则表示训练有效果，改进了模型，则替代旧模型部署下去，若新训练的模型不如旧模型，则需要增加训练迭代轮数来继续改进模型。

例如，本次在线学习迭代了3轮，因此第一口罩人脸识别模型和第二口罩人脸识别模型分别产生了3个模型，然后这6个模型来对空闲时段中存入数据库中的人脸数据进行识别，并计算各个模型的识别率，将第一口罩人脸识别模型中识别率第一的模型作为新的第一口罩人脸识别模型，将第二口罩人脸识别模型识别率第一的作为新的第二口罩人脸识别模型。然后，这些新模型需要和进行学习前的旧模型的识别率进行比对，以此来确定学习后的模型是否比旧模型更好，若新的模型的识别率比旧模型要更好，则将新模型部署下去替换掉旧模型。

进一步如图4所示，上述步骤S910中的自动标注包括：

步骤S911，对人脸图像进行关键点检测，并根据所有的关键点，在所述人脸图像上计算标注矩形框的原点坐标、长和宽。

人脸识别的标注即在图像中，通过标注框将需要识别人脸部分框起来，以完成标注，在人脸识别的模型训练中，标注通常是人工完成的，本实施例中则是由计算机自动标注。

关键点检测即现有的例如68关键点检测、108关键点检测等，这些关键点检测方法都是用于对人脸图像特征的检测，且关键点之间可以相互转化。同时，各个关键点都是约定俗成设定好的。

本实施例中以68关键点为例，其可以得到

表这样68个点的坐标。确定这些点，就可以在像素坐标系中来定义上述的标注矩形框的原点以及其长宽。

具体的，其原点坐标以及长宽的表达式如下：

；

；

式中X为横坐标，Y为纵坐标，W为长，H为宽；p表示关键点，p右下角的标号为在上述点集中关键点的序号。通过上式可见，只要确定了关键点，上述的标注框的原点坐标以及对应的长宽也是定值，被直接确定了。

步骤S912，设定标注框的控制系数，并使用标注模型进行迭代训练，以调整所述控制系数。

针对不同的人脸图像，标注框自然不能一成不变，因此需要对标注框的大小与位置进行控制，因此本实施例中设定标注框的控制系数来实现对标注框位置的控制，进而实现对人脸图像的自动标注。

上述控制系数可以表示为：原点控制系数

和长宽控制系数

，其中的

与

为控制系数的具体取值。

其中，X，Y，W，H与控制系数的关系表达式为：

；

即通过上述控制系数来分别调控X，Y，W，H的大小，以实现对标注框的平移以及缩放。

其中，使用标注模型进行迭代训练就是将上述控制系数进行收敛的过程，在迭代过程中，标注框的识别精度可以表示为q=[q1,q2…qn],定义超参数ε和ϑ，则存在如下损失函数。

；

loss为损失值，n为迭代次数，每迭代一次，

与

都会相应改变，当有连续ϑ个qn=qn-1时，控制参数到达右边界

,

，从控制参数初始值到边界值的范围内，对参数

，

组值以1%为单位进行网格搜索和交叉验证，由此，从经过学习的参数到验证进一步得到更精确地参数，获得实际中可用于部署的标注精度。

例如，先为上述的控制参数设置初始值为1，然后开始进行迭代训练，每次训练得到一个新的控制参数后，就会得到一个识别精度q，若当前的识别精度大于上一轮的识别精度，则表示上一轮的改进有效，反之则表示上一轮的改进方向错误。例如上一轮迭代时增大了控制参数，使得标注框变大了，标注框内的图像信息变多，并使得识别精度增加，则表示当前标注框的大小还可以增大，反之，则需要减小。而当多次迭代后，存在连续ϑ个q_n=q_n-1时，表示标注框无论增大还是减小，都会使得识别精度减小，则当前标注框的大小是最好的，因此可以确定控制参数。

其中，为避免参数在学习过程中陷入局部最优来回震荡，加快参数收敛，对于超参数

，设置参数

关于迭代轮数t的函数需满足如下分布：

。

其中

为控制系数收敛速度的参数，该参数相对容易设置，推荐范围为（0.5，1.5），根据所学习数据的难易程度，从大到小设置可以取得极好的效果。

步骤S913，迭代完成后，根据所述控制系数，完成确定所述标注矩形框最终的原点坐标以及长和宽，完成自动标注。

迭代完成后，就表示确定了控制系数，则通过控制系数就可以确定标注框的位置，以完成标注。

需要说明的是，针对戴口罩的人脸图像标注和不戴口罩的人脸图像标注得到的图片也是完全不同的。戴口罩的人脸图像中，口罩实际上是干扰信息，因为口罩的图像特征并不是人脸自带的特征，因此在标注时，会标注到人鼻子上方至额头的部分，也就是上半脸。而上半脸可以通过关键点来进行寻找，因此通过步骤S900来进行一个大致的标注，然后再通过控制系数，来对标注框的位置和大小进行控制，以实现精确标注，以此完成自动标注的操作。

本实施例的自动标注应用在上述的识别模型自动更新中，使得识别模型离开了人力，也可以获得足以自动训练的训练材料。

本实施例提供的口罩人脸识别方法，通过提供两种不同方式训练得到的第一口罩识别模型与第二口罩识别模型，使得针对带有口罩的人脸识别可以适应更多的使用场景，从而增加了识别的精确度。同时，通过在使用过程中收集人脸图片，由无口罩人脸识别模型来识别以产生新的在线人脸数据，再将这些在线人脸数据作检验数据，以在线更新上述的第一口罩识别模型与第二口罩识别模型的权重值，保证权重值的实时有效性，以适应不同时段的工作环境。同时这些在线人脸数据还可以在加上口罩后，作为训练数据对上述的模型进行在线训练，通过在线学习能实时更新识别模型，使得识别模型随应用环境改进，提高了对不同应用环境的适应性，具有兼容性广的优点。本申请通过自动标注，辅助在线学习功能，达到了为在线人脸数据的图片上生成标注框的技术效果，具有减少了人工操作，有效增加了工作效率的优点。此外，通过多识别模型识别、权重更新、在线学习和自动标注相互结合，解决了针对不同时段、地点和识别对象的识别问题，实现了对识别模型的自更新并进行多特征融合识别的技术效果，具有提升戴口罩人脸识别精度，并且自适应的调整分支模型对当前场景的贡献，使得算法模型能够适用多种场景并自适应的调整到最优状态，提高用户使用体验的优点。

实施例2

如图5所示，本申请还提供一种口罩人脸识别装置，包括：

预识别模块10，用于对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩；

识别模块20，用于若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果；其中，所述第一口罩人脸识别模型根据不戴口罩的人脸数据和带口罩的人脸数据混合训练得到，所述第二口罩人脸识别模型根据戴口罩的人脸数据训练得到；

信任值计算模块30，用于计算所述第一识别结果和所述第二识别结果对应的第一信任值和第二信任值；

输出模块40，用于当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。

本申请还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的口罩人脸识别方法。

本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的口罩人脸识别方法。该方法包括：对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩；若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果；其中，所述第一口罩人脸识别模型根据不戴口罩的人脸数据和带口罩的人脸数据混合训练得到，所述第二口罩人脸识别模型根据戴口罩的人脸数据训练得到；计算所述第一识别结果和所述第二识别结果对应的第一信任值和第二信任值；当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种口罩人脸识别方法，其特征在于，所述方法包括：

对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩；

若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果；其中，所述第一口罩人脸识别模型根据不戴口罩的人脸数据和带口罩的人脸数据混合训练得到，所述第二口罩人脸识别模型根据戴口罩的人脸数据训练得到；

计算所述第一识别结果和所述第二识别结果各自对应的第一信任值和第二信任值；

当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。

2.根据权利要求1所述的口罩人脸识别方法，其特征在于，所述第一识别结果和所述第二识别结果对应的第一信任值和第二信任值包括：

获取所述第一口罩人脸识别模型和所述第二口罩人脸识别模型的第一权重以及第二权重；

分别计算所述第一识别结果的第一相似度以及所述第二识别结果的第二相似度；

将所述第一权重和所述第一相似度相乘，得到所述第一信任值，将所述第二权重和所述第二相似度相乘，得到所述第二信任值。

3.根据权利要求2所述的口罩人脸识别方法，其特征在于，还包括：

当所述人脸图像中没有口罩时，通过无口罩人脸识别模型对所述人脸图像进行识别得到识别结果；

将所述识别结果和所述人脸图像对应保存为在线人脸数据；

将所述在线人脸数据添加口罩后，得到在线口罩人脸数据；

通过所述第一口罩人脸识别模型和所述第二口罩人脸识别模型分别对所述在线口罩人脸数据进行识别，并记录只有所述第一口罩人脸识别模型识别正确的次数的第一正确值，及只有所述第二口罩人脸识别模型识别正确的次数的第二正确值；

根据所述第一正确值和所述第二正确值在线更新所述第一权重和所述第二权重；

其中，所述第一权重和所述第二权重的更新公式如下：

；

式中，

为所述第一权重，

为所述第二权重，s₁为所述第一正确值，s₂为所述第二正确值。

4.根据权利要求3所述的口罩人脸识别方法，其特征在于，所述通过所述第一口罩人脸识别模型和所述第二口罩人脸识别模型分别对所述在线口罩人脸数据进行识别后，还包括：

将所述第一口罩人脸识别模型以及所述第二口罩人脸识别模型对所述在线口罩人脸数据都识别错误的次数记录为全错值：

当所述全错值大于预设值时，将所述在线人脸数据和所述在线口罩人脸数据进行自动标注以得到对应的人脸标注数据和口罩人脸标注数据；

将所述人脸标注数据和所述口罩人脸标注数据按照对应识别模型的训练需求，输入至所述第一口罩人脸识别模型和所述第二口罩人脸识别模型中，对所述第一口罩人脸识别模型和所述第二口罩人脸识别模型进行在线训练，以更新所述第一口罩人脸识别模型和所述第二口罩人脸识别模型；

将所述第一权重和所述第二权重初始化成默认值。

5.根据权利要求4所述的口罩人脸识别方法，其特征在于，所述自动标注包括：

对所述在线人脸数据和所述在线口罩人脸数据的人脸图像进行关键点检测，并根据所有的关键点，在所述人脸图像上计算标注矩形框的原点坐标、长和宽；

设定所述标注矩形框的控制系数，并使用标注模型进行迭代训练，以调整所述控制系数；

迭代完成后，根据调整后的控制系数，确定所述标注矩形框最终的原点坐标、长和宽，得到所述标注矩形框。

6.根据权利要求5所述的口罩人脸识别方法，其特征在于，所述使用标注模型进行迭代训练，以调整所述控制系数，包括：

通过预设的损失函数确定所述控制系数，其中所述控制系数包括原点控制系数

和长宽控制系数

；

所述损失函数的表达式为：

式中，loss为损失值，

为超参数，n表示迭代轮数，q表示根据当前的控制系数得到的标注矩形框的识别精度；

当连续预设数量个q_n=q_n-1时，确定所述原点控制系数

和所述长宽控制系数

。

7.根据权利要求1所述的口罩人脸识别方法，其特征在于，若所述人脸图像中戴有口罩，还包括：

获取并对比所述第一口罩人脸识别模型的第一权重和第二口罩人脸识别模型的第二权重，若所述第一权重大于所述第二权重，则使用所述第一口罩人脸识别模型进行识别，否则使用所述第二口罩人脸识别模型进行识别。

8.一种口罩人脸识别装置，其特征在于，包括：

预识别模块，用于对人脸图像进行属性分析，确定所述人脸图像中是否戴有口罩；

识别模块，用于若所述人脸图像中戴有口罩，则使用第一口罩人脸识别模型和第二口罩人脸识别模型对所述人脸图像进行特征识别，分别得到第一识别结果和第二识别结果；其中，所述第一口罩人脸识别模型根据不戴口罩的人脸数据和带口罩的人脸数据混合训练得到，所述第二口罩人脸识别模型根据戴口罩的人脸数据训练得到；

信任值计算模块，用于计算所述第一识别结果和所述第二识别结果各自对应的第一信任值和第二信任值；

输出模块，用于当所述第一信任值大于所述第二信任值，则将所述第一识别结果作为最终识别结果，否则将所述第二识别结果作为所述最终识别结果。

9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至7中任一项所述的口罩人脸识别方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的口罩人脸识别方法。

Images