CN114821733A - 无约束场景的模式识别模型鲁棒性补偿方法、装置及介质 - Google Patents

Abstract

本申请公开了一种无约束场景的模式识别模型鲁棒性补偿方法、装置及介质，涉及图像处理技术领域。该方法包括获取图像采集设备采集的图片；获取图片的质量分数以及图片的多尺度信息；根据图片的质量分数融合图片的多尺度信息；根据融合后的图片的信息对无约束场景的模式识别模型进行鲁棒性补偿。该方法中质量分数决定在进行多尺度信息融合时的融合程度；另外，由于不同尺度的信息，关注的图像信息不一样，因此融合多尺度信息可以更好的理解图片的内容，融合语义信息、纹理信息等，从而可以实现对无约束场景的模式识别模型鲁棒性补偿。

Description

无约束场景的模式识别模型鲁棒性补偿方法、装置及介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种无约束场景的模式识别模型鲁棒性补偿方法、装置及介质。

背景技术

随着信息化时代的发展，大多数场景都需要用到模式识别。模式识别包含简单的模式识别以及无约束模式识别。相比于简单的模式识别，无约束模式识别，场景更多样，不仅局限于高清图，甚至旋转图或者大面积遮挡的图都需要进行识别，这就对模型的鲁棒性有了非常高的要求。

传统的基于深度学习的模式识别训练主要是为了学习样本的图像信息，类似颜色、线条等，从而用来区分不同的类。这种模式识别，大体上都是在模型上下功夫，使模型能够更好的提取样本特征，或者通过增加无约束样本的数据，来促使模型学习更有鲁棒性的特征。但是由于数据获取很困难，所以这种方法很难取得很好的效果。以人脸识别为例，对于无约束的人脸识别，人脸质量会受到各种扰动，如遮挡、模糊、角度等。传统的人脸识别并没有对这些质量信息作出任何区分，导致传统的人脸识别在遇到这种无约束的场景时会不加区分的提取特征，而这些低质量的图片必然会导致错误地识别，从而影响模型对无约束场景的鲁棒性。如在破案时，破案人员通过监控确定可疑人员，但是由于图像采集设备采集的图像可能是可疑人员的侧脸、被遮挡的人脸、模糊的人脸等，通过传统的人脸识别的方法则无法对这些低质量的图片进行正确识别，影响模型对无约束场景的鲁棒性。

由此可见，如何对无约束场景的模式识别模型进行鲁棒性补偿，是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种无约束场景的模式识别模型鲁棒性补偿方法、装置及介质，用于提升模型对无约束场景的鲁棒性。

为解决上述技术问题，本申请提供一种无约束场景的模式识别模型鲁棒性补偿方法，包括：

获取图像采集设备采集的图片；

获取所述图片的质量分数以及所述图片的多尺度信息；

根据所述图片的质量分数融合所述图片的多尺度信息；

根据融合后的所述图片的信息对无约束场景的所述模式识别模型进行鲁棒性补偿。

优选地，所述获取所述图片的质量分数包括：

在神经网络结构中接入第一全连接层并生成第一向量；其中所述第一向量为表征所述图片的向量；

在所述第一全连接层后接入第二全连接层并生成对应的一维数据；

通过损失函数训练所述一维数据作为所述图片的质量分数。

优选地，所述根据融合后的所述图片的信息对无约束场景的所述模式识别模型进行鲁棒性补偿包括：

分别以所述神经网络结构的中间任意尺度信息为输入接入第三全连接层并生成对应的第二向量作为鲁棒性补偿分支；其中，所述第二向量的维度与所述第一向量的维度相同；

通过所述鲁棒性补偿分支对所述第一向量进行补偿。

优选地，在所述通过所述鲁棒性补偿分支对所述第一向量进行补偿之后，还包括：

获取所述图片的原始特征以及所述鲁棒性补偿分支的特征；

将所述图片的原始特征以及所述鲁棒性补偿分支的特征进行加权以获取所述模式识别模型的输出特征；其中，加权系数为通过所述第二全连接层生成的所述质量分数计算得出。

优选地，在所述通过所述鲁棒性补偿分支对所述第一向量进行补偿之后，还包括：

在所述神经网络结构中引入标准正态分布；其中所述标准正态分布用于为所述模式识别模型的输出特征引入一个可控的波动；

获取所述图片的原始特征以及所述鲁棒性补偿分支的特征；

根据所述图片的原始特征、所述鲁棒性补偿分支的特征、所述标准正态分布获取所述模式识别模型的输出特征。

优选地，所述神经网络结构为Resnet网络结构。

优选地，在所述根据融合后的所述图片的多尺度信息对无约束场景的所述模式识别模型进行鲁棒性补偿之后，还包括：

输出用于提示对所述模式识别模型完成鲁棒性补偿的提示信息。

为了解决上述技术问题，本申请还提供一种对无约束场景的模式识别模型鲁棒性补偿装置，包括：

第一获取模块，用于获取图像采集设备采集的图片；

第二获取模块，用于获取所述图片的质量分数以及所述图片的多尺度信息；

融合模块，用于根据所述图片的质量分数融合所述图片的多尺度信息；

补偿模块，用于根据融合后的所述图片的信息对无约束场景的所述模式识别模型进行鲁棒性补偿。

为了解决上述技术问题，本申请还提供一种无约束场景的模式识别模型鲁棒性补偿装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述的无约束场景的模式识别模型鲁棒性补偿方法的步骤。

为了解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的无约束场景的模式识别模型鲁棒性补偿方法的步骤。

本申请所提供的无约束场景的模式识别模型鲁棒性补偿方法，该方法包括获取图像采集设备采集的图片；获取图片的质量分数以及图片的多尺度信息；根据图片的质量分数融合图片的多尺度信息；根据融合后的图片的信息对无约束场景的模式识别模型进行鲁棒性补偿。该方法中质量分数决定在进行多尺度信息融合时的融合程度；另外，由于不同尺度的信息，关注的图像信息不一样，因此融合多尺度信息可以更好的理解图片的内容，融合语义信息、纹理信息等，从而可以实现对无约束场景的模式识别模型鲁棒性补偿。

此外，本申请还提供一种无约束场景的模式识别模型鲁棒性补偿装置、计算机可读存储介质，与上述提到的无约束场景的模式识别模型鲁棒性补偿方法相对应，效果同上。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种无约束场景的模式识别模型鲁棒性补偿方法的流程图；

图2为本实施例提供的Resnet网络结构的示意图；

图3为本申请实施例提供的Resnet网络结构中生成质量分数的示意图；

图4为本申请实施例提供的Resnet网络结构中鲁棒性补偿的方法的流程图；

图5为本申请实施例提供的Resnet网络结构中引入特征波动的示意图；

图6为本申请的一实施例提供的无约束场景的模式识别模型鲁棒性补偿装置的结构图；

图7为本申请另一实施例提供的无约束场景的模式识别模型鲁棒性补偿装置的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。

本申请的核心是提供一种无约束场景的模式识别模型鲁棒性补偿方法、装置及介质，用于提升模型对无约束场景的鲁棒性。

在实际中通常需要进行无约束模式识别。相比于简单的模式识别，无约束模式识别，场景更多样，不局限于高清图，甚至旋转图或者大面积遮挡的图都需要进行识别。这就对模型的鲁棒性有了非常高的要求。在统计学领域和机器学习领域，对异常值也能保持稳定、可靠的性质，称为鲁棒性。模型的鲁棒性指的是模型的泛化能力，也就是指对具有同一规律的数据集以外的数据，模型也能给出合适的输出。在实际中，存在数据的不确定即数据本身所具有的各种不确定的干扰。例如遮挡、噪声、偏移等。

以人脸识别为例，人脸识别是当前人工智能最火的研究方向之一。是一种基于人脸部图像特征来进行身份识别的算法。2d人脸识别中，现今较火的基于深度学习的方法，是通过深度神经网络来提取人脸特征，从而在两张人脸图片的特征之间通过比对相似度的方法来进行身份识别。数据不确定性的存在往往会影响模型的输出，对模型的鲁棒性是一个极大的挑战。如在破案过程中采集的遮挡、模糊、侧面等图片，可能会影响人脸识别的准确性，因此需要对无约束场景的人脸识别模型进行鲁棒性补偿，进而实现人脸识别的准确性。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。图1为本申请实施例提供的一种无约束场景的模式识别模型鲁棒性补偿方法的流程图，如图1所示，该方法包括：

S10：获取图像采集设备采集的图片。

图像采集设备可以是相机、手机等设备，通过图像采集设备采集图片。采集的图片可以是高清的、模糊的、遮挡的等。通过高清的图片可以较准确地提取出图片中目标的特征信息，进而较准确地识别出目标，但是对于一些模糊、存在遮挡的图片，则可能无法提取出图片中目标的特征信息，进而无法识别出目标。如在破案时，若采集的图片是高清的、无遮挡的，则很容易识别出图片中的目标，方便破案；若采集的图片是模糊的、存在遮挡的，则无法较准确地识别出图片中的目标，因此对破案造成一定的难度。

S11：获取图片的质量分数以及图片的多尺度信息。

传统的基于深度学习的模式识别训练主要是为了学习样本的图像信息，类似颜色、线条等，从而用来区分不同的类，但是对于一些无约束的模式识别时，则可能会导致存在较多的误识别。因此本实施例结合图片的质量分数以及多尺度信息来减少误识别情况的发生。

对于人脸识别来说，一个简单的反映人脸图片质量的方法，就是模型对该图片判断的是否准确，以及类别判断正确时，判断的概率问题。简单来说，模型越确定该图片属于某一类，则说明这张图片的质量越高。反之，则说明图片的质量越低。为了得出图片的质量分数，可以在识别模型中引出一个质量分支，通过质量分支得出图片的质量分数。另一方面来说，由于神经网络模型的不同深度存在感受野不同的现象。将不同深度的特征融合起来，有助于神经网络模型辨别不同尺度的特征，从而提升神经网络模型的精度以及鲁棒性等。在人脸识别领域使用最多的还是深度残差网络(Resnet)，该网络并没有很明显的融合模块，因为人脸识别的通用方法会对人脸进行缩放到统一的大小，所以人脸并不会有很多的尺度变化。但是缩放后的人脸，通过一些比较细节的信息，可以反馈出人脸的质量，比如一些遮挡等。基于此，获取图片的多尺度信息可以更好地表示图片内容。在实施中，通过在神经网络结构中以图片的某个阶段特征为输入，后接入一个全连接层，生成向量，该向量用来表示对图片的质量补偿，这个向量可以学习到图片的数据不确定性，也就是主要代表图片的遮挡、模糊等扰动，并且也能从不同尺度学习到人脸特征。

S12：根据图片的质量分数融合图片的多尺度信息。

在根据图片的质量分数融合图片的多尺度信息时，对于质量分数高的图片，模型可以很好地进行分类，不需要进行过多的干预，所以补偿就低，也就是融合程度较小；而对于质量分数低的图片，融合程度较高。

S13：根据融合后的图片的信息对无约束场景的模式识别模型进行鲁棒性补偿。

在上述步骤中融合了图片的多尺度信息，进而通过融合后的图片的信息能够更好地提取出一些数据噪声信息，从而进行补偿。

本实施例所提供的无约束场景的模式识别模型鲁棒性补偿方法，该方法包括获取图像采集设备采集的图片；获取图片的质量分数以及图片的多尺度信息；根据图片的质量分数融合图片的多尺度信息；根据融合后的图片的信息对无约束场景的模式识别模型进行鲁棒性补偿。该方法中质量分数决定在进行多尺度信息融合时的融合程度；另外，由于不同尺度的信息，关注的图像信息不一样，因此融合多尺度信息可以更好的理解图片的内容，融合语义信息、纹理信息等，从而可以实现对无约束场景的模式识别模型鲁棒性补偿。

在实施中，为了获得图片的质量分数，优选地实施方式是，获取图片的质量分数包括：

在神经网络结构中接入第一全连接层并生成第一向量；其中第一向量为表征图片的向量；

在第一全连接层后接入第二全连接层并生成对应的一维数据；

通过损失函数训练一维数据作为图片的质量分数。

第一全连接层在神经网络结构中接入的位置不作限定，优选地，在神经网络结构靠后的位置接入。在第一全连接层后接入第二连接层生成对应的数据，可以将该数据训练为图片的质量分数。图2为本实施例提供的Resnet网络结构的示意图。如图2所示，输入的图片会被预先处理为112*112的尺寸，经过第一次卷积等操作生成56*56的尺寸，经过第二次卷积等操作生成28*28的尺寸，经过第三次卷积等操作生成14*14的尺寸，经过第四次卷积等操作生成7*7的尺寸，最后再接一个全连接层，生成一个1*512维的向量，这个向量即第一向量用来表示这张图片。在模型中引入质量分支，通过质量分支给出图片的质量分数。此时，需要一个质量提取头，生成一个代表质量的数。图3为本申请实施例提供的Resnet网络结构中生成质量分数的示意图。如图3所示，在第一全连接层后，引入一个简单的全连接层，生成一个1*1的数，生成这张图片的质量分数。对于这个生成的质量分数，用这张图片被判断成正确类的概率来约束。由于人脸识别训练时，通常使用Softmax当成损失函数来进行约束，根据Softmax的性质，可以求出人脸被判断为正确类的概率P。由于模型越确定该图片属于某一类，则说明这张图片的质量越高，因此可以近似认为，P越高质量越好，故而，简单地使用一个L1 Loss(损失函数)就可以来训练质量分支，如公式(1)所示，

Loss＝abs(P-M) (1)

式中M为质量分支输出的分数。

本实施例所提供获取图片质量的方法，只需要在原始的网络中引入一个很小的全连接层，就可以表示质量分数，因此能够快速地获取到图片的质量分数。

为了使模型能够对模糊、存在遮挡等低质量图片进行分析，通过融合图片的多尺度信息来对无约束场景的模式识别模型进行鲁棒性补偿。优选地实施方式是，根据融合后的图片的信息对无约束场景的模式识别模型进行鲁棒性补偿包括：

分别以神经网络结构的中间任意尺度信息为输入接入第三全连接层并生成对应的第二向量作为鲁棒性补偿分支；其中，第二向量的维度与第一向量的维度相同；

通过鲁棒性补偿分支对第一向量进行补偿。

图4为本申请实施例提供的Resnet网络结构中鲁棒性补偿的方法的流程图。如图4所示，新引入一个鲁棒性分支，该分支以28*28的特征为输入，后接一个全连接层，生成一个1*512维的向量，即第二向量，用来表示此图片的质量补偿。我们希望它能够学到图片的数据不确定性，也就是主要代表图片的遮挡、模糊等扰动，并且也能从不同尺度学习人脸特征。

本实施例所提供的根据融合后的图片对无约束场景的模式识别模型进行鲁棒性补偿，在上述实施例的基础上，仅仅通过引入一个全连接层，便可以实现鲁棒性补偿，故而本实施例的方法能够快速方便地实现了对无约束场景的模式识别模型进行鲁棒性补偿。

上述实施例中提取不同感受野的信息，来对人脸识别的特征进行补偿。但是不同感受野所关注的信息会有所区别，因此本实施例中进行了模型融合。优选地实施方式是，在通过鲁棒性补偿分支对第一向量进行补偿之后，还包括：

获取图片的原始特征以及鲁棒性补偿分支的特征；

将图片的原始特征以及鲁棒性补偿分支的特征进行加权以获取模式识别模型的输出特征；其中，加权系数为通过第二全连接层生成的质量分数计算得出。

通过公式(2)将图片的原始特征以及鲁棒性补偿分支的特征进行加权。

F＝F_ori+λ*F_qua (2)

式中，F表示的是图片的特征，F_ori表示的是原始的特征，F_qua表示的是鲁棒性补偿分支的特征，λ表示的是鲁棒性补偿分支的加权系数，值为(1-M)，M为质量分支的输出。质量越差，M值越小，F_qua所占的比重就越大，也就是会进行更多的补偿。

本实施例所提供的将图片的原始特征以及鲁棒性补偿分支的特征进行加权以获取模型的输出特征，由于不同感受野所关注的信息会有所区别，所以这种方法类似于基于自身的模型融合，从而增加了模型所关注的点。在基本不改变模型参数量的前提下，进行了模型融合。

传统的模式识别方法，对于给定的图片会给出一个固定的特征输出。这种训练方法，不利于对数据不确定性的适应。因此，优选地实施方式是，在通过鲁棒性补偿分支对第一向量进行补偿之后，还包括：

在神经网络结构中生成标准正态分布；其中标准正态分布用于为模式识别模型的输出特征引入一个可控的波动；

获取图片的原始特征以及鲁棒性补偿分支的特征；

根据图片的原始特征、鲁棒性补偿分支的特征、标准正态分布获取模型的输出特征。

本实施例中生成一个均值为0，方差为1的标准正态分布Q，用来引入特征波动。图5为本申请实施例提供的Resnet网络结构中引入特征波动的示意图。如图5所示，在神经网络结构中引入标准正态分布Q。最终特征的输出公式为公式(3)：

F＝F_ori+λ*Q*F_qua (3)

经过上述公式的表示，就可以在最终特征中引入不确定性，因为每次生成的Q会有一定变化，所以特征也会有一些变化，增加了训练时输出特征的抗扰动性。训练完成后最终使用时，为了保证效果的稳定性，去掉Q参数，也就是实际使用时，取得的特征公式为上述公式(2)所示。

本实施例所提供的在通过鲁棒性补偿分支对图片进行补偿之后，引入特征波动，使得固定的输入图片，不再是固定不变的输出，从而使得模型的特征具有更强的鲁棒性。

在实施中，对于使用的神经网络模型不作限定，优选地，神经网络结构为Resnet网络结构。

Resnet网络结构的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题，因此本实施例中采用Resnet网络结构实现对图片的补偿。需要说明的是，本实施例采用的Resnet网络结构只是一种优选的神经网络结构，在实际中，亦可以使用其他神经网络结构来实现对无约束场景的模式识别模型进行鲁棒性补偿，均在本申请的保护范围内。

在上述实施例中，对于无约束场景的模式识别模型鲁棒性补偿方法进行了详细描述，本申请还提供无约束场景的模式识别模型鲁棒性补偿装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。

图6为本申请的一实施例提供的无约束场景的模式识别模型鲁棒性补偿装置的结构图。本实施例基于功能模块的角度，包括：

第一获取模块10，用于获取图像采集设备采集的图片；

第二获取模块11，用于获取图片的质量分数以及图片的多尺度信息；

融合模块12，用于根据图片的质量分数融合图片的多尺度信息；

补偿模块13，用于根据融合后的图片的信息对无约束场景的模式识别模型进行鲁棒性补偿。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本实施例所提供的无约束场景的模式识别模型鲁棒性补偿装置，通过第一获取模块获取图像采集设备采集的图片；通过第二获取模块获取图片的质量分数以及图片的多尺度信息；通过融合模块根据图片的质量分数融合图片的多尺度信息；通过补偿模块根据融合后的图片的信息对无约束场景的模式识别模型进行鲁棒性补偿。该装置中质量分数决定在进行多尺度信息融合时的融合程度；另外，由于不同尺度的信息，关注的图像信息不一样，因此融合多尺度信息可以更好的理解图片的内容，融合语义信息、纹理信息等，从而可以实现对无约束场景的模式识别模型鲁棒性补偿。。

图7为本申请另一实施例提供的无约束场景的模式识别模型鲁棒性补偿装置的结构图。本实施例基于硬件角度，如图7所示，无约束场景的模式识别模型鲁棒性补偿装置包括：

存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述实施例中所提到的无约束场景的模式识别模型鲁棒性补偿方法的步骤。

本实施例提供的无约束场景的模式识别模型鲁棒性补偿装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图形处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的无约束场景的模式识别模型鲁棒性补偿方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于上述所提到的无约束场景的模式识别模型鲁棒性补偿方法所涉及到的数据等。

在一些实施例中，无约束场景的模式识别模型鲁棒性补偿装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。

本领域技术人员可以理解，图7中示出的结构并不构成对无约束场景的模式识别模型鲁棒性补偿装置的限定，可以包括比图示更多或更少的组件。

本申请实施例提供的无约束场景的模式识别模型鲁棒性补偿装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：无约束场景的模式识别模型鲁棒性补偿方法，效果同上。

最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。

可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请提供的计算机可读存储介质包括上述提到的无约束场景的模式识别模型鲁棒性补偿方法，效果同上。

以上对本申请所提供的一种无约束场景的模式识别模型鲁棒性补偿方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种无约束场景的模式识别模型鲁棒性补偿方法，其特征在于，包括：

获取图像采集设备采集的图片；

获取所述图片的质量分数以及所述图片的多尺度信息；

根据所述图片的质量分数融合所述图片的多尺度信息；

根据融合后的所述图片的信息对无约束场景的所述模式识别模型进行鲁棒性补偿。

2.根据权利要求1所述的无约束场景的模式识别模型鲁棒性补偿方法，其特征在于，所述获取所述图片的质量分数包括：

在神经网络结构中接入第一全连接层并生成第一向量；其中所述第一向量为表征所述图片的向量；

在所述第一全连接层后接入第二全连接层并生成对应的一维数据；

通过损失函数训练所述一维数据作为所述图片的质量分数。

3.根据权利要求2所述的无约束场景的模式识别模型鲁棒性补偿方法，其特征在于，所述根据融合后的所述图片的信息对无约束场景的所述模式识别模型进行鲁棒性补偿包括：

分别以所述神经网络结构的中间任意尺度信息为输入接入第三全连接层并生成对应的第二向量作为鲁棒性补偿分支；其中，所述第二向量的维度与所述第一向量的维度相同；

通过所述鲁棒性补偿分支对所述第一向量进行补偿。

4.根据权利要求3所述的无约束场景的模式识别模型鲁棒性补偿方法，其特征在于，在所述通过所述鲁棒性补偿分支对所述第一向量进行补偿之后，还包括：

获取所述图片的原始特征以及所述鲁棒性补偿分支的特征；

将所述图片的原始特征以及所述鲁棒性补偿分支的特征进行加权以获取所述模式识别模型的输出特征；其中，加权系数为通过所述第二全连接层生成的所述质量分数计算得出。

5.根据权利要求3所述的无约束场景的模式识别模型鲁棒性补偿方法，其特征在于，在所述通过所述鲁棒性补偿分支对所述第一向量进行补偿之后，还包括：

在所述神经网络结构中引入标准正态分布；其中所述标准正态分布用于为所述模式识别模型的输出特征引入一个可控的波动；

获取所述图片的原始特征以及所述鲁棒性补偿分支的特征；

根据所述图片的原始特征、所述鲁棒性补偿分支的特征、所述标准正态分布获取所述模式识别模型的输出特征。

6.根据权利要求2所述的无约束场景的模式识别模型鲁棒性补偿方法，其特征在于，所述神经网络结构为Resnet网络结构。

7.根据权利要求1至6任意一项所述的无约束场景的模式识别模型鲁棒性补偿方法，其特征在于，在所述根据融合后的所述图片的多尺度信息对无约束场景的所述模式识别模型进行鲁棒性补偿之后，还包括：

输出用于提示对所述模式识别模型完成鲁棒性补偿的提示信息。

8.一种对无约束场景的模式识别模型鲁棒性补偿装置，其特征在于，包括：

第一获取模块，用于获取图像采集设备采集的图片；

第二获取模块，用于获取所述图片的质量分数以及所述图片的多尺度信息；

融合模块，用于根据所述图片的质量分数融合所述图片的多尺度信息；

补偿模块，用于根据融合后的所述图片的信息对无约束场景的所述模式识别模型进行鲁棒性补偿。

9.一种无约束场景的模式识别模型鲁棒性补偿装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的无约束场景的模式识别模型鲁棒性补偿方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的无约束场景的模式识别模型鲁棒性补偿方法的步骤。

Images