CN112668637A - 网络模型的训练方法、识别方法、装置及电子设备 - Google Patents

Abstract

本发明涉及图像识别技术领域，具体涉及网络模型的训练方法、识别方法、装置及电子设备，所述训练方法包括获取样本图像；将样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征，识别模型包括特征提取网络以及全连接层；基于识别特征以及全连接层的参数确定目标质量，并利用目标质量以及预测质量，确定质量损失；根据质量损失，对识别模型以及质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。用质量损失对识别模型以及质量网络进行训练，使得图像质量与特征提取强相关，避免了图像质量的人工标注，提高了特征提取网络的训练效率；且对特征提取网络以及质量网络同时训练，节省了训练时间。

Description

网络模型的训练方法、识别方法、装置及电子设备

技术领域

本发明涉及图像识别技术领域，具体涉及网络模型的训练方法、识别方法、装置及电子设备。

背景技术

目前在特征提取模型的训练过程中，通常是用样本图像输入特征提取模型中，输出预测结果，再利用预测结果与样本图像的标签计算损失值，从而对特征提取模型的参数进行更新。

由于样本图像的图像质量对提取出的特征的准确性影响较大，因此，通常需要采集到的图像进行人工标定，以确定哪些样本图像是高质量图像，哪些样本是低质量图像质量，以保证所训练得到的特征提取模型的准确性。然而，上述训练方法中，由于需要对采集到的图像进行图像质量的人工标定，会导致训练效率较低。

发明内容

有鉴于此，本发明实施例提供了一种网络模型的训练方法、识别方法、装置及电子设备，以解决特征提取网络训练效率低的问题。

根据第一方面，本发明实施例提供了一种网络模型的训练方法，所述方法包括：

获取样本图像；

将所述样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征，所述识别模型包括所述特征提取网络以及全连接层；

基于所述识别特征以及所述全连接层的参数确定目标质量，并利用所述目标质量以及所述预测质量，确定质量损失；

根据所述质量损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

本发明实施例提供的网络模型的训练方法，在训练过程中结合质量网络的预测质量与目标质量确定质量损失，并用质量损失对识别模型以及质量网络进行训练，使得图像质量与特征提取强相关，在保证特征提取准确性的基础上，避免了图像质量的人工标注，提高了特征提取网络的训练效率；且对特征提取网络以及质量网络同时训练，节省了训练时间。

结合第一方面，在第一方面第一实施方式中，所述基于所述识别特征以及所述全连接层的参数确定目标质量，并利用所述目标质量以及所述预测质量，确定质量损失，包括：

获取所述样本图像的目标类别；

在所述全连接层对应于每个类别的权重中，提取对应于所述目标类别的权重得到目标类代理；

基于所述识别特征与所述目标类代理的相似度，计算所述目标质量；

利用所述目标质量以及所述预测质量，确定所述质量损失。

本发明实施例提供的网络模型的训练方法，利用全连接层中对应于目标类别的权重(即，目标类代理)与识别特征计算目标质量，将其作为质量损失的计算依据，由于图像越模糊，该图像经过特征提取网络得到的识别特征与目标类代理之间的相似度越小，用质量网络拟合这个相似度对应的目标质量，就可以训练出质量网络，而不需要任何待识别图像的质量标注信息，提高了质量网络的训练效率。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述基于所述识别特征与所述目标类代理相似度，计算所述目标质量，包括：

计算所述识别特征与所述目标类代理之间的距离或余弦角度，确定所述目标质量。

结合第一方面，或第一方面第一实施方式或第二实施方式，在第一方面第三实施方式中，所述根据所述质量损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络，包括：

获取所述全连接层输出的预测类别；

利用所述目标类别与所述预测类别的误差，确定分类损失；

利用所述分类损失以及所述质量损失，确定联合损失；

基于所述联合损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

本发明实施例提供的网络模型的训练方法，将分类损失与质量损失联合，对识别网络以及质量网络的参数进行更新，可以保证训练结果的可靠性。

结合第一方面第三实施方式，在第一方面第四实施方式中，所述利用所述分类损失以及所述质量损失，确定联合损失，包括：

获取所述分类损失以及所述质量损失对应的权重；

利用获取到的权重、所述分类损失以及所述质量损失，计算所述联合损失。

根据第二方面，本发明实施例还提供了一种识别方法，所述方法包括：

获取待识别图像；

将所述待识别图像输入目标特征提取网络和/或目标质量网络中，得到所述待识别图像的识别特征和/或所述待识别图像的图像质量，所述目标特征提取网络和/或目标质量网络是根据本发明第一方面，或第一方面任一项实施方式中所述的网络模型的训练方法训练得到的。

本发明实施例提供的识别方法，利用上述实施方式中训练得到的目标特征提取网络和/或目标质量网络对待识别图像进行处理，可以得到准确的识别特征以及图像质量。

结合第二方面，在第二方面第一实施方式中，所述待识别图像包括同一目标的至少两张图像，所述将所述待识别图像输入目标特征提取网络和/或目标质量网络中，得到所述待识别图像的识别特征和/或所述待识别图像的图像质量，包括：

将所有待识别图像分别输入所述目标特征提取网络以及所述目标质量网络中，得到对应于各个待识别图像的识别特征以及图像质量；

基于各个待识别图像的图像质量对各个识别特征进行融合，确定所述目标的目标识别特征。

本发明实施例提供的识别方法，将各个待识别图像的图像质量与各个识别特征进行融合，就相当于将各个待识别图像的图像质量作为权重确定目标识别特征，可以保证所得到的目标识别特征的准确性。

结合第二方面第一实施方式，在第二方面第二实施方式中，所述方法还包括：

将所述目标识别特征与待匹配特征进行比对，确定所述目标的类别信息。

本发明实施例提供的识别方法，在保证目标识别特征的准确性的前提下，将其与待匹配特征进行比对，可以得到较为准确的类别信息。

根据第三方面，本发明实施例还提供了一种网络模型的训练装置，所述装置包括：

第一获取模块，用于获取样本图像；

第一确定模块，用于将所述样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征，所述识别模型包括所述特征提取网络以及全连接层；

第二确定模块，用于基于所述识别特征以及所述全连接层的参数确定目标质量，并利用所述目标质量以及所述预测质量，确定质量损失；

更新模块，用于根据所述质量损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

本发明实施例提供的网络模型的训练装置，在训练过程中结合质量网络的预测质量与目标质量确定质量损失，并用质量损失对识别模型以及质量网络进行训练，使得图像质量与特征提取强相关，在保证特征提取准确性的基础上，避免了图像质量的人工标注，提高了特征提取网络的训练效率；且对特征提取网络以及质量网络同时训练，节省了训练时间。

根据第四方面，本发明实施例还提供了一种识别装置，所述装置包括：

第二获取模块，用于获取待识别图像；

提取模块，用于将所述待识别图像输入目标特征提取网络和/或目标质量网络中，得到所述待识别图像的识别特征和/或所述待识别图像的图像质量，所述目标特征提取网络和/或目标质量网络是根据本发明第一方面，或第一方面任一项实施方式中所述的网络模型的训练方法训练得到的。

本发明实施例提供的识别装置，利用上述实施方式中训练得到的目标特征提取网络和/或目标质量网络对待识别图像进行处理，可以得到准确的识别特征以及图像质量。

根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的特征提取网络的训练方法，或执行第二方面或者第二方面的任意一种实施方式中所述的特征提取方法。

根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的特征提取网络的训练方法，或执行第二方面或者第二方面的任意一种实施方式中所述的特征提取方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的网络模型的训练方法的流程图；

图2是根据本发明实施例的网络模型的训练方法的流程图；

图3是根据本发明实施例的网络模型的训练方法的流程图；

图4是根据本发明实施例的网络模型的训练示意图；

图5是根据本发明实施例的识别方法的流程图；

图6是根据本发明实施例的识别方法的示意图；

图7是根据本发明实施例的识别方法的流程图；

图8是根据本发明实施例的网络模型的训练装置的结构框图；

图9是根据本发明实施例的识别装置的结构框图；

图10是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例中所述的特征提取网络可以用以提取人脸特征、或不同车型的车辆特征等等，在此对特征提取网络的应用领域并不做任何限制。在下文的描述中，以提取人脸特征为例进行详细描述。

根据本发明实施例，提供了一种网络模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种网络模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图1是根据本发明实施例的网络模型的训练方法的流程图，如图1所示，该流程包括如下步骤：

S11，获取样本图像。

样本图像可以是存储在电子设备中的，也可以是电子设备从外界获取到的，在此对电子设备获取样本图像的方式并不做任何限制。在本实施例中，以样本图像为人脸图像为例。

S12，将样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征。

其中，所述识别模型包括所述特征提取网络以及全连接层，全连接层与特征提取网络的输出连接。具体地，特征提取网络用于提取样本图像的特征，得到识别特征，全连接层用于对识别特征进行预测分类，输出各个预测类别对应的概率。在全连接层中，对应于各个类别的权重不同。

所述质量网络用于预测样本图像的质量得分，其输入为样本图像，输出为样本图像的预测质量，即输出为一维向量。质量网络既可以是全部使用全连接层，或全部使用卷积层，也可以混合使用卷积层和全连接层。当质量网络是全卷积层时，在后续进行识别过程中，输入至质量网络的图像大小与训练时输入至质量网络的样本图像的大小可以不一致，从而能够适应更广泛的应用场景。

本实施例中对特征提取网络以及质量网络的具体结构并不做任何限制，具体可以根据实际情况进行相应的设置。

S13，基于识别特征以及全连接层的参数确定目标质量，并利用目标质量以及预测质量，确定质量损失。

由于样本图像越模糊，其对全连接层的预测结果影响就较大。而样本图像越模糊，所提取出的识别特征的准确性就会受到影响。因此，电子设备基于识别特征以及全连接层的参数确定目标质量，以便于利用质量网络拟合这个目标质量，就可以训练出质量网络。

电子设备用质量网络拟合这个目标质量，就可以利用目标质量以及预测质量，确定质量损失。

关于该步骤具体将在下文中进行详细描述。

S14，根据质量损失，对识别模型以及质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

电子设备在上述S13中确定出质量损失之后，就可以利用质量损失对识别模型以及质量网络的参数进行更新；或者，在质量损失的基础上，结合特征提取网络的类别损失，对识别模型以及质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

关于该步骤具体将在下文中进行详细描述。

本实施例提供的网络模型的训练方法，在训练过程中结合质量网络的预测质量与目标质量确定质量损失，并用质量损失对识别模型以及质量网络进行训练，使得图像质量与特征提取强相关，在保证特征提取准确性的基础上，避免了图像质量的人工标注，提高了特征提取网络的训练效率；且对特征提取网络以及质量网络同时训练，节省了训练时间。

在本实施例中提供了一种网络模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图2是根据本发明实施例的网络模型的训练方法的流程图，如图2所示，该流程包括如下步骤：

S21，获取样本图像。

详细请参见图1所示实施例的S11，在此不再赘述。

S22，将样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征。

其中，所述识别模型包括所述特征提取网络以及全连接层。

详细请参见图1所示实施例的S12，在此不再赘述。

S23，基于识别特征以及全连接层的参数确定目标质量，并利用目标质量以及预测质量，确定质量损失。

具体地，上述S23可以包括如下步骤：

S231，获取样本图像的目标类别。

样本图像的目标类别可以是电子设备在获取样本图像时样本图像已经标注好的，也可以是电子设备获取到样本图像之后再标注出的等等，在此对电子设备获取样本图像的目标类别的方式并不做任何限制。

S232，在全连接层对应于每个类别的权重中，提取对应于目标类别的权重得到目标类代理。

如上文所述，全连接层对应于各个类别均具有相应的权重，那么电子设备在获取到目标类别之后，就可以利用该目标类别在全连接层的权重中提取对应于目标类别的权重，从而得到目标类代理。其中，类代理是指全连接层中每个类别的权重向量，而目标类代理是指全连接层中目标类别的权重向量。

S233，基于识别特征与目标类代理的相似度，计算目标质量。

电子设备在提取出目标类代理之后，由于目标类代理为目标类别的权重向量，识别特征采用特征向量表示。那么，电子设备就可以计算权重向量与特征向量的相似度，得到目标质量。

例如，电子设备可以计算识别特征与所述目标类代理之间的距离或余弦角度，确定目标质量。

S234，利用目标质量以及预测质量，确定质量损失。

电子设备在得到目标质量与预测质量之后，可以利用损失函数计算两者之间的误差，确定质量损失。例如，所述的损失函数可以使用L1Loss、L2Loss、SmoothL1Loss等任何衡量两个数之间距离的损失。在此对计算质量损失的损失函数并不做任何限制，具体可以根据实际情况进行相应的设置。

S24，根据质量损失，对识别模型以及质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

详细请参见图1所示实施例的S14，在此不再赘述。

本实施例提供的网络模型的训练方法，利用全连接层中对应于目标类别的权重(即，目标类代理)与识别特征计算目标质量，将其作为质量损失的计算依据，由于图像越模糊，该图像经过特征提取网络得到的识别特征与目标类代理之间的相似度越小，用质量网络拟合这个相似度对应的目标质量，就可以训练出质量网络，而不需要任何待识别图像的质量标注信息，提高了质量网络的训练效率。

在本实施例中提供了一种网络模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图3是根据本发明实施例的网络模型的训练方法的流程图，如图3所示，该流程包括如下步骤：

S31，获取样本图像。

详细请参见图1所示实施例的S11，在此不再赘述。

S32，将样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征。

所述识别模型包括所述特征提取网络以及全连接层。

详细请参见图1所示实施例的S12，在此不再赘述。

S33，基于识别特征以及全连接层的参数确定目标质量，并利用目标质量以及预测质量，确定质量损失。

详细请参见图2所示实施例的S23，在此不再赘述。

S34，根据质量损失，对识别模型以及质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

例如，如图4所示，电子设备在对识别模型以及质量网络的参数进行更新时，是基于质量损失与识别网络的分类损失进行。即，结合质量损失与分类损失，利用反向传播技术对识别模型以及质量网络的参数进行优化，确定目标特征提取网络以及目标质量网络。

如图4所示，电子设备在获取到原始图像之后，对其进行人脸检测、对其以及标准化处理之后，得到人脸样本图像；再将人脸样本图像同时输入特征提取网络以及质量网络中。

具体地，上述S34可以包括如下步骤：

S341，获取全连接层输出的预测类别。

如上文所述，全连接层用于基于识别特征预测样本图像的分类，即全连接层输出样本图像的预测类别。

S342，利用目标类别与预测类别的误差，确定分类损失。

电子设备利用样本图像的目标类别与预测类别，进行损失函数的计算，确定分类损失。其中，所述的损失函数可以是根据实际情况进行相应的设置，在此并不做任何限制。

S343，利用分类损失以及质量损失，确定联合损失。

电子设备在得到分类损失以及质量损失之后，对分类损失以及质量损失加权求和，确定联合损失。

作为本实施例的一种可选实施方式，上述S344可以包括如下步骤：

(1)获取分类损失以及质量损失对应的权重。

电子设备获取对应分类损失的第一权重以及质量损失的第二权重，其中，第一权重以及第二权重的获取可以是电子设备设置的，也可以是电子设备从第三方获取到的等等，本实施例对此并不做任何限制。

(2)利用获取到的权重、分类损失以及所述质量损失，计算联合损失。

电子设备在获取到分类损失以及质量损失对应的权重之后，再结合分类损失以及质量损失，对其进行加权求和，计算得到联合损失。

S344，基于联合损失，对识别模型以及质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

电子设备在确定出联合损失之后，将识别模型以及质量网络看作一个网络，利用联合损失对其进行参数更新，最终确定出目标特征提取网络以及目标质量网络。

本实施例提供的网络模型的训练方法，将分类损失与质量损失联合，对识别网络以及质量网络的参数进行更新，可以保证训练结果的可靠性。其中，在训练过程中，不需要标定图像质量，不仅减少了工作量，而且避免了不同人标定的主观性。进一步地，特征提取网络与质量网络可以同时训练，不仅节省了训练时间，而且质量评价结果与特征提取的结果墙相关，即图像质量越高，识别特征的准确度越高。

根据本发明实施例，提供了一种识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种识别方法，可用于电子设备，如电脑、手机、平板电脑等，图5是根据本发明实施例的网络模型的训练方法的流程图，如图5所示，该流程包括如下步骤：

S41，获取待识别图像。

所述的待识别图像可以是电子设备实时采集到的，也可以是电子设备从外界获取到的。例如，电子设备实时采集人员图像，对采集到的人员图像进行人脸检测、对齐以及标准化处理之后，得到所述的待识别图像。

S42，将待识别图像输入目标特征提取网络和/或目标质量网络中，得到待识别图像的识别特征和/或所述待识别图像的图像质量。

其中，所述目标特征提取网络和/或目标质量网络是根据上述任一项实施方式中所述的网络模型的训练方法训练得到的。

关于目标特征提取网络和/目标质量网络的具体结构细节，请参见上文实施例所述，在此不在赘述。

具体地，如图6所示，电子设备可以仅利用目标特征提取网络对待识别图像进行识别特征的提取，也可以是仅利用质量网络对待识别图像进行图像质量的确定，或者是同时利用特征提取网络以及质量网络对待识别图像进行相应的处理，得到识别特征以及图像质量。

具体采用目标特征提取网络与目标质量网络的何种组合，对待识别图像进行处理，可以根据实际需求进行相应的设置，在此并不做任何限定。

本实施例提供的识别方法，利用上述实施方式中训练得到的目标特征提取网络和/或目标质量网络对待识别图像进行处理，可以得到准确的识别特征以及图像质量。

在本实施例中提供了一种识别方法，可用于电子设备，如电脑、手机、平板电脑等，图7是根据本发明实施例的网络模型的训练方法的流程图，如图7所示，该流程包括如下步骤：

S51，获取待识别图像。

其中，所述待识别图像包括同一目标的至少两张图像。

在本实施例中，以电子设备获取同一目标的至少两张图像为例。例如，电子设备对同一场景下的目标进行连续采集得到多张图像，再对采集到的多张图像进行人脸检测、对齐以及标准化处理，得到待识别图像。此处的待识别图像包括至少两张图像，在下文中的描述中，将同一目标的各个图像均称之为待识别图像。

其余详细请参见图5所示实施例的S41，在此不再赘述。

S52，将待识别图像输入目标特征提取网络和/或目标质量网络中，得到待识别图像的识别特征和/或所述待识别图像的图像质量。

其中，所述目标特征提取网络和/或目标质量网络是根据上述任一项实施方式中所述的网络模型的训练方法训练得到的。

由于各种因素的影响，可能导致各个待识别图像的质量之间存在差异，电子设备对所有的待识别图像进行识别特征的提取以及图像质量的评价，以输出该目标的目标识别特征。

具体地，上述S52可以包括如下步骤：

S521，将所有待识别图像分别输入目标特征提取网络以及目标质量网络中，得到对应于各个待识别图像的识别特征以及图像质量。

电子设备将所有待识别图像输入目标特征提取网络以及目标质量网络中，得到对于各个待识别图像对应的识别特征以及图像质量。

例如，电子设备共获取到3张待识别图像，具体地

对应于待识别图像1，得到识别特征a1以及图像质量b1；

对应于待识别图像2，得到识别特征a2以及图像质量b2；

对应于待识别图像3，得到识别特征a3以及图像质量b3。

S522，基于各个待识别图像的图像质量对各个识别特征进行融合，确定目标的目标识别特征。

电子设备在进行融合处理时，可以将图像质量作为权重，对各个识别特征进行加权和，从而确定目标的目标识别特征。

例如，目标识别特征可以表示为：b1*a1+b2*a2+b3*a3。

S53，将目标识别特征与待匹配特征进行比对，确定目标的类别信息。

在本实施例的一些可选实施方式中，电子设备还可以利用目标识别特征与数据库中的待匹配特征进行比对，从而确定目标的类别信息。例如，可以依次计算目标识别特征与待匹配特征的相似度，确定相似度最高的待匹配特征与所述目标识别特征匹配，并将该相似度最高的待匹配特征的类别信息作为所述目标识别特征的类别信息其中，类别信息可以是目标的人员信息，姓名、年纪等等。

本实施例提供的识别方法，将各个待识别图像的图像质量与各个识别特征进行融合，就相当于将各个待识别图像的图像质量作为权重确定目标识别特征，可以保证所得到的目标识别特征的准确性。

在本实施例中还提供了一种网络模型的训练装置，或识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种网络模型的训练装置，如图8所示，包括：

第一获取模块61，用于获取样本图像；

第一确定模块62，用于将所述样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征，所述识别模型包括所述特征提取网络以及全连接层；

第二确定模块63，用于基于所述识别特征以及所述全连接层的参数确定目标质量，并利用所述目标质量以及所述预测质量，确定质量损失；

更新模块64，用于根据所述质量损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

本实施例提供的网络模型的训练装置，在训练过程中结合质量网络的预测质量与目标质量确定质量损失，并用质量损失对识别模型以及质量网络进行训练，使得图像质量与特征提取强相关，在保证特征提取准确性的基础上，避免了图像质量的人工标注，提高了特征提取网络的训练效率；且对特征提取网络以及质量网络同时训练，节省了训练时间。

本实施例提供一种识别装置，如图9所示，包括：

第二获取模块71，用于获取待识别图像；

提取模块72，用于将所述待识别图像输入目标特征提取网络和/或目标质量网络中，得到所述待识别图像的识别特征和/或所述待识别图像的图像质量，所述目标特征提取网络和/或目标质量网络是根据上述任一项实施方式中所述的网络模型的训练方法训练得到的。

本实施例中的网络模型的训练装置以及识别装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种电子设备，具有上述图8所示的网络模型的训练装置，或图9所示的识别装置。

请参阅图10，图10是本发明可选实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备可以包括：至少一个处理器81，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口83，存储器84，至少一个通信总线82。其中，通信总线82用于实现这些组件之间的连接通信。其中，通信接口83可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口83还可以包括标准的有线接口、无线接口。存储器84可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器84可选的还可以是至少一个位于远离前述处理器81的存储装置。其中处理器81可以结合图8或9所描述的装置，存储器84中存储应用程序，且处理器81调用存储器84中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线82可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器84可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器84还可以包括上述种类的存储器的组合。

其中，处理器81可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器81还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器84还用于存储程序指令。处理器81可以调用程序指令，实现如本申请图1至3实施例中所示的网络模型的训练方法，或图5或7实施例中所示的识别方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的网络模型的训练方法，或识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种网络模型的训练方法，其特征在于，所述方法包括：

获取样本图像；

将所述样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征，所述识别模型包括所述特征提取网络以及全连接层；

基于所述识别特征以及所述全连接层的参数确定目标质量，并利用所述目标质量以及所述预测质量，确定质量损失；

根据所述质量损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

2.根据权利要求1所述的训练方法，其特征在于，所述基于所述识别特征以及所述全连接层的参数确定目标质量，并利用所述目标质量以及所述预测质量，确定质量损失，包括：

获取所述样本图像的目标类别；

在所述全连接层对应于每个类别的权重中，提取对应于所述目标类别的权重得到目标类代理；

基于所述识别特征与所述目标类代理的相似度，计算所述目标质量；

利用所述目标质量以及所述预测质量，确定所述质量损失。

3.根据权利要求1或2所述的训练方法，其特征在于，所述根据所述质量损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络，包括：

获取所述全连接层输出的预测类别；

利用所述目标类别与所述预测类别的误差，确定分类损失；

利用所述分类损失以及所述质量损失，确定联合损失；

基于所述联合损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

4.一种识别方法，其特征在于，所述方法包括：

获取待识别图像；

将所述待识别图像输入目标特征提取网络和/或目标质量网络中，得到所述待识别图像的识别特征和/或所述待识别图像的图像质量，所述目标特征提取网络和/或目标质量网络是根据权利要求1-3中任一项所述的网络模型的训练方法训练得到的。

5.根据权利要求4所述的方法，其特征在于，所述待识别图像包括同一目标的至少两张图像，所述将所述待识别图像输入目标特征提取网络和/或目标质量网络中，得到所述待识别图像的识别特征和/或所述待识别图像的图像质量，包括：

将所有待识别图像分别输入所述目标特征提取网络以及所述目标质量网络中，得到对应于各个待识别图像的识别特征以及图像质量；

基于各个待识别图像的图像质量对各个识别特征进行融合，确定所述目标的目标识别特征。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述目标识别特征与待匹配特征进行比对，确定所述目标的类别信息。

7.一种网络模型的训练装置，其特征在于，所述装置包括：

第一获取模块，用于获取样本图像；

第一确定模块，用于将所述样本图像分别输入质量网络以及识别模型的特征提取网络中，得到预测质量以及识别特征，所述识别模型包括所述特征提取网络以及全连接层；

第二确定模块，用于基于所述识别特征以及所述全连接层的参数确定目标质量，并利用所述目标质量以及所述预测质量，确定质量损失；

更新模块，用于根据所述质量损失，对所述识别模型以及所述质量网络的参数进行更新，确定目标特征提取网络以及目标质量网络。

8.一种识别装置，其特征在于，所述装置包括：

第二获取模块，用于获取待识别图像；

提取模块，用于将所述待识别图像输入目标特征提取网络和/或目标质量网络中，得到所述待识别图像的识别特征和/或所述待识别图像的图像质量，所述目标特征提取网络和/或目标质量网络是根据权利要求1-3中任一项所述的网络模型的训练方法训练得到的。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-3中任一项所述的网络模型的训练方法，或执行权利要求4-6中任一项所述的识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-3中任一项所述的网络模型的训练方法，或执行权利要求4-6中任一项所述的识别方法。

Images