CN112686176A - 目标重识别方法、模型训练方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种目标重识别方法、模型训练方法、装置、设备及存储介质，属于图像处理领域。所述方法包括：获取第一目标框图像，第一目标框图像是对待检测图像进行目标检测得到；通过空间变换网络模型对第一目标框图像进行校正，得到第二目标框图像；通过重识别模型对第二目标框图像进行重识别，得到目标特征。如此，可以先通过空间变换网络模型将检测的非标准目标框图像校正为标准目标框图像，再作为重识别模型的输入图像进行重识别，这样可以保证重识别模型的输入图像与其训练过程中使用的标准目标框图像保持一致，避免重识别模型的输入图像与其训练过程中使用的标准目标框图像不一致对重识别模型精度的影响，提高重识别结果的准确度。

Description

目标重识别方法、模型训练方法、装置、设备及存储介质

技术领域

本申请涉及图像处理领域，特别涉及一种目标重识别方法、模型训练方法、装置、设备及存储介质。

背景技术

目标ReID(Re-Identification，重识别)是指利用图像处理技术来识别图像中的特定目标，其在智能视频监控、机器人以及自动驾驶等领域发挥着必不可少的作用。目标ReID主要包括行人ReID或车辆ReID等。比如，在行人ReID中，可以利用图像处理技术来判定某一摄像头下的行人是否出现在其他摄像头中，以描绘行人的活动路径，实现跨镜头追踪等目的。

相关技术中，可以利用重识别模型进行重识别，重识别模型的输入为目标框图像，输出为目标框图像中目标的目标特征，目标特征用于确定目标的类别。在进行重识别之前，需要预先基于训练数据训练得到该重识别模型，该训练数据包括多个标准目标框图像以及每个标准目标框对应的目标类别。其中，该训练数据可以通过人工标注得到，标准目标框图像中包括完整的目标，且目标与目标框的位置匹配。在训练得到重识别模型之后进行重识别时，可以先通过检测器对待检测图像进行目标检测，得到目标框图像，再通过重识别模型对目标框图像进行重识别，得到目标特征。

但是，检测器输出的目标框图像与训练过程中所使用的标准目标框图像可能不一致，比如检测器输出的目标框图像中存在不完整的目标或者存在目标框漂移等情况，这些情况将会影响重识别模型的精度，进而影响重识别结果的准确度。

发明内容

本申请实施例提供了一种目标重识别方法、模型训练方法、装置、设备及存储介质，可以用于解决相关技术中存在的重识别结果准确度较低的问题。所述技术方案如下：

一方面，提供了一种目标重识别方法，所述方法包括：

获取第一目标框图像，所述第一目标框图像是对待检测图像进行目标检测得到；

通过空间变换网络模型对所述第一目标框图像进行校正，得到第二目标框图像；

通过重识别模型对所述第二目标框图像进行重识别，得到目标特征。

可选地，所述空间变换网络模型包括参数预测网络、坐标映射网络和像素采集网络；所述通过空间变换网络模型对所述第一目标框图像进行校正，得到第二目标框图像，包括：

将所述第一目标框图像作为所述参数预测网络的输入，通过所述参数预测网络对所述第一目标框图像进行参数预测，得到空间变换参数；

基于所述空间变换参数，通过所述坐标映射网络，构建所述第一目标框图像与校正后的第一目标框图像之间的空间映射关系；

基于所述空间映射关系，通过所述像素采集网络，对所述第一目标框图像进行像素采集，得到所述第二目标框图像。

可选地，所述通过所述参数预测网络对所述第一目标框图像进行参数预测，得到空间变换参数，包括：

通过所述空间变换网络模型对所述第一目标框图像进行参数预测，得到初始变换矩阵；

对所述初始变换矩阵进行矩阵变换，将矩阵变换后的初始变换矩阵作为所述空间变换参数。

可选地，所述参数预测网络包括卷积层、池化层和全连接层。

另一方面，提供了一种目标重识别装置，所述装置包括：

获取模块，用于获取第一目标框图像，所述第一目标框图像是对待检测图像进行目标检测得到；

校正模块，用于通过空间变换网络模型对所述第一目标框图像进行校正，得到第二目标框图像；

重识别模块，用于通过重识别模型对所述第二目标框图像进行重识别，得到目标特征。

另一方面，提供了一种模型训练方法，所述方法包括：

获取多个第一样本图像，所述多个第一样本图像属于标准目标框图像；

对所述多个第一样本图像进行处理，得到所述多个第一样本图像一一对应的多个第二样本图像，所述多个第二样本图像包括至少一个非标准目标框图像；

通过所述重识别模型对所述多个第一样本图像进行重识别，得到所述多个第一样本图像的重识别结果；

通过待训练空间变换网络模型对所述多个第二样本图像进行校正，通过所述重识别模型对校正后的多个第二样本图像进行重识别，得到所述多个第二样本图像的重识别结果；

基于所述多个第一样本图像的重识别结果与所述多个第二样本图像的重识别结果之间的重识别误差，对所述待训练空间变换网络模型的模型参数进行更新，将模型参数更新后的待训练空间变换网络模型作为训练好的空间变换网络模型。

另一方面，提供了一种模型训练装置，所述装置包括：

第一获取模块，用于获取多个第一样本图像，所述多个第一样本图像属于标准目标框图像；

图像处理模块，用于对所述多个第一样本图像进行处理，得到所述多个第一样本图像一一对应的多个第二样本图像，所述多个第二样本图像包括至少一个非标准目标框图像；

第一重识别模块，用于通过所述重识别模型对所述多个第一样本图像进行重识别，得到所述多个第一样本图像的重识别结果；

第二重识别模型，用于通过待训练空间变换网络模型对所述多个第二样本图像进行校正，通过所述重识别模型对校正后的多个第二样本图像进行重识别，得到所述多个第二样本图像的重识别结果；

更新模块，用于基于所述多个第一样本图像的重识别结果与所述多个第二样本图像的重识别结果之间的重识别误差，对所述待训练空间变换网络模型的模型参数进行更新，将模型参数更新后的待训练空间变换网络模型作为训练好的空间变换网络模型。

另一方面，提供了一种计算机设备，所述计算机设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述目标重识别方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述目标重识别方法或模型训练方法。

另一方面，还提供了一种计算机程序产品，当所述计算机程序产品被执行时，用于实现上述目标重识别方法或模型训练方法。

本申请实施例提供的技术方案带来的有益效果是：

本申请实施例中，对于对待检测图像进行目标检测得到的第一目标框图像，可以先通过空间变换网络模型对第一目标框图像进行校正，得到第二目标框图像，再通过重识别模型对第二目标框图像进行重识别。如此，可以通过空间变换网络模型，将检测的非标准目标框图像校正为标准目标框图像，再将标准目标框图像作为重识别模型的输入图像进行重识别，这样可以保证重识别模型的输入图像与其训练过程中使用的标准目标框图像保持一致，从而避免重识别模型的输入图像与其训练过程中使用的标准目标框图像不一致对重识别模型精度的影响，提高了重识别结果的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种目标重识别系统的示意图；

图2是本申请实施例提供的一种STN模型的训练方法流程图；

图3是本申请实施例提供的一种目标截断处理的示意图；

图4是本申请实施例提供的一种目标框漂移处理的示意图；

图5是本申请实施例提供的另一种目标框漂移处理的示意图；

图6是本申请实施例提供的一种待训练空间变换网络模型的网络结构示意图；

图7是本申请实施例提供的一种STN模型的训练示意图；

图8是本申请实施例提供的一种重识别模型的训练方法流程图；

图9是本申请实施例提供的一种图像遮蔽的示意图；

图10是本申请实施例提供的一种待训练重识别模型的结构示意图；

图11是本申请实施例提供的一种目标重识别方法的流程图；

图12是本申请实施例提供的一种目标重识别装置的结构框图；

图13是本申请实施例提供的一种模型训练装置的结构框图；

图14是本申请实施例提供的一种计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例进行详细地解释说明之前，先对本申请实施例的应用场景予以说明。

本申请实施例提供的目标重识别方法应用于对图像或视频进行重识别的场景中，以识别图像或视频中的特定目标。比如，给定待识别的特定目标，目标识别技术可以从不同相机拍摄到的图像中识别出特定目标。具体可以应用于智能视频监控、机器人、自动驾驶、智能安保、刑事侦查以及人机交互等领域。

其中，重识别所识别的目标可以为行人或车辆等目标，本申请对重识别所识别的目标不作限定。比如，本申请实施例所述的目标重识别可以为行人重识别或车辆重识别等。作为一个示例，在行人ReID中，可以利用图像处理技术来判定某一摄像头下的行人是否出现在其他摄像头中，以描绘行人的活动路径，实现跨镜头追踪等目的。

在进行重识别时，一般先通过检测器对待检测图像进行目标检测，得到目标框图像，再通过重识别模型对目标框图像进行重识别，得到目标特征。但是，由于检测器输出的目标框图像与重识别模型训练过程中所使用的标准目标框图像可能会存在一定差异，比如检测器输出的目标框图像中存在不完整的目标(如人体框中存在人体截断，导致人体目标框中只包含人体的上部或下部等)，或者存在目标框漂移(如人体框中的行人与目标框存在位置偏移或尺寸偏移)等情况，这些情况将会影响重识别模型的精确度，进而影响重识别结果的准确度。

本申请实施例中，为了保证ReID模型的输入图像与ReID模型训练中使用的图像具有高度一致性，减小检测器输出的图像与ReID模型训练中使用的图像存在一定差异对ReID模型精度的影响，可以先使用STN模型对检测器输出的目标框图像进行校正，再将校正后的目标框图像输入到ReID模型中进行重识别，也即是，将STN与ReID模型进行结合形成STN-ReID模型，通过该STN-ReID模型来减小检测器输出对ReID模型的精度影响，提高重识别准确度。

请参考图1，图1是本申请实施例提供的一种目标重识别系统的示意图。如图1所示，该系统包括检测器11、STN(Spatial Transformer Networks，空间变换网络)模型12和ReID模型13。

其中，检测器11用于对待检测图像进行目标检测，得到第一目标框图像。目标框图像是指目标的目标框所在的图像。

STN模型12用于对检测器11输出的第一目标框图像进行校正，得到第二目标框图像，再将第二目标框图像作为ReID模型13的输入。第二目标框图像是对第一目标框图像进行校正后得到的标准目标框。

ReID模型13用于对第二目标框图像进行重识别，得到目标特征。

需要说明的是，本申请实施例仅是以将检测器输出的图像作为STN模型的输入为例进行说明，而在其他实施例中，STN模型的输入图像还可以为其他图像，本申请实施例对此不作限定。

需要说明的是，本申请实施例提供的目标重识别方法需要使用到STN模型，该STN模型需要预先基于训练数据进行训练得到，为了便于理解，先对STN模型的训练过程进行介绍。

图2是本申请实施例提供的一种STN模型的训练方法流程图，该方法应用于计算机设备中，该计算机设备可以为终端或服务器，终端可以为手机、平板电脑或计算机等，本申请实施例对此不作限定。如图2所示，该方法包括如下步骤：

步骤201：获取多个第一样本图像，多个第一样本图像属于标准目标框图像。

其中，标准目标框图像是指包括完整目标，且目标位置与目标框匹配的目标框图像。这多个第一样本图像属于标准目标框图像，也即是，这多个第一样本图像中每个第一样本图像包括完整的目标，且目标位于第一样本图像中的合适位置，比如目标位于第一样本图像的中心位置。

其中，目标框图像是指目标的目标框所围成的图像。目标框用于指示目标所在位置。目标位置与目标框匹配是指目标框图像不存在目标框漂移，目标框漂移是指目标与目标框之间存在位置偏移或尺寸偏移等。

其中，多个第一样本图像的尺寸可以预先设置，比如多个第一样本图像的尺寸可以设置为m(高)×n(宽)，m、n均为正整数。示例地，多个第一样本图像的尺寸可以为384×128。

作为一个示例，这多个第一样本图像可以从ReID模型的训练数据中获取得到，ReID模型的训练数据中一般包括多个标准目标框图像。当然，这多个第一样本图像也可以通过其他方式获取得到，本申请实施例对此不作限定。

需要说明的是，本申请实施例所述的目标可以预先设置，比如目标可以为行人或车辆等，相应地，目标框图像可以为人体框图像或车辆框图像等，本申请实施例对此不作限定。

步骤202：对多个第一样本图像进行处理，得到多个第一样本图像一一对应的多个第二样本图像，多个第二样本图像包括至少一个非标准目标框图像。

本申请实施例中，可以模拟检测器的输出图像，将多个第一样本图像中的部分图像转换为非标准目标框图像，使得转换后得到的多个第二样本图像与检测器的输出图像的图像类型相似，并将与检测器的输出图像的图像类型相似的多个第二样本图像作为STN模型的训练数据。

其中，非标准目标框图像是指不包括完整目标的目标框图像，或者目标位置与目标框不匹配的目标框图像。目标位置与目标框不匹配也可以称为目标框漂移，目标框漂移是指目标与目标框之间存在位置偏移或尺寸偏移等。

其中，目标与目标框之间存在位置偏移包括目标的中心位置与目标框的中心位置发生偏移，比如，目标位于目标框的靠左或靠右位置，而不在目标框的中心。目标与目标框之间存在尺寸偏移包括目标边界超出目标框(目标尺寸较大而目标框尺寸较小)，或者目标的整体边界与目标框相距较远(目标尺寸较小而目标框尺寸较大)等。

作为一个示例，对多个第一样本图像进行处理，得到多个第一样本图像一一对应的多个第二样本图像的操作可以包括以下方式中的至少一种：

第一种实现方式：对于多个第一样本图像中的第一图像，对第一图像进行目标截断，基于目标截断后的第一图像确定第一图像对应的第二样本图像，第一图像对应的第二样本图像包括不完整的目标。

其中，第一图像为多个第一样本图像中的任一个。对第一图像进行目标截断是指对第一图像进行目标框裁剪，以裁剪掉目标的指定部分图像，保留除指定部分图像之外的剩余部分图像。其中，指定部分图像可以预先设置，比如可以为上半部分图像或下半部分图像等。示例地，若目标为行人，则指定部分图像可以为行人的全部或部分下身图像、全部或部分上身图像、或除头部之外的其他部分图像等。

作为一个示例，基于目标截断后的第一图像确定第一图像对应的第二样本图像的操作可以包括：将目标截断后的第一图像确定为第一图像对应的第二样本图像。或者，按照第一图像的尺寸，对目标截断后的第一图像进行尺寸变换，得到与第一图像的尺寸相同的第二样本图像。比如，可以按照第一图像的尺寸，对目标截断后的第一图像进行缩放或采样，得到与第一图像的尺寸相同的第二样本图像。

请参考图3，图3是本申请实施例提供的一种目标截断处理的示意图。如图3所示，第一图像31为行人的人体框图像，可以对第一图像31中行人的部分下身图像进行截断，保留行人的上身图像32。然后按照第一图像31的尺寸，对上身图像32进行尺寸变换，得到与第一图像31的尺寸相同的上身图像33。其中，与第一图像31的尺寸相同的上身图像33即为第一图像31对应的第二样本图像。

第二种实现方式：对于多个第一样本图像中的第一图像，对第一图像进行目标框漂移处理，基于目标框漂移处理后的第一图像，确定第一图像对应的第二样本图像，第一图像对应的第二样本图像存在目标框漂移。

其中，对第一图像进行目标框漂移处理是指将第一图像从标准目标框图像转换为存在目标框漂移的非标准目标框图像。比如，对第一图像进行目标框漂移处理的操作可以包括对第一图像中的目标进行位置变换或尺寸变换等。

作为一个示例，可以在第一图像所在的背景图像中，对第一图像对应的目标框进行调整，使得目标与目标框之间存在位置偏移或尺寸偏移，将调整后的目标框围成的图像作为目标框漂移处理后的第一图像。比如，将第一图像对应的目标框进行放大，使得目标的中心位置与目标框的中心位置存在偏移，或者使得目标尺寸不变而目标框尺寸变大，然后将放大后的目标框所围成的图像作为目标框漂移处理后的第一图像。

作为一个示例，基于目标框漂移处理后的第一图像，确定第一图像对应的第二样本图像的操作可以包括：将目标框漂移处理后的第一图像确定为第一图像对应的第二样本图像。或者，按照第一图像的尺寸，对目标框漂移处理后的第一图像进行尺寸变换，得到与第一图像的尺寸相同的第二样本图像。比如，可以按照第一图像的尺寸，对目标框漂移处理后的第一图像进行缩放或采样，得到与第一图像的尺寸相同的第二样本图像。

请参考图4，图4是本申请实施例提供的一种目标框漂移处理的示意图。如图4所示，第一图像41为行人的人体框图像，第一图像41中的行人位于第一图像41中心。在第一图像41所在的背景图中对人体框进行放大，得到行人靠右的人体框图像42，然后对人体框图像42进行尺寸变换，得到与第一图像41的尺寸相同的人体框图像43。其中，人体框图像43即为第一图像41对应的第二样本图像。

请参考图5，图5是本申请实施例提供的另一种目标框漂移处理的示意图。如图5所示，第一图像51为行人的人体框图像，第一图像51中的行人位于第一图像51中心。对在第一图像51所在的背景图中对人体框进行放大，得到行人靠上的人体框图像52，然后对人体框图像52进行尺寸变换，得到与第一图像51的尺寸相同的人体框图像53。其中，人体框图像53即为第一图像51对应的第二样本图像。

步骤203：通过重识别模型对多个第一样本图像进行重识别，得到多个第一样本图像的重识别结果。

其中，每个第一样本图像的重识别结果是指每个第一样本图像中目标的目标特征，该目标特征用于确定目标类别。其中，目标类别可以为目标ID(Identity Document，身份识别号)或目标名称等。

比如，若多个第一样本图像为多个人体框图像，则通过重识别模型对多个人体框图像进行重识别，可以得到多个人体框图像中每个人体框图像对应的人体特征。其中，人体特征可以用于确定人体ID或人体名称等，也即是用于确定对应人体框图像中的人体具体是哪个人。

步骤204：通过待训练空间变换网络模型对多个第二样本图像进行校正，通过重识别模型对校正后的多个第二样本图像进行重识别，得到多个第二样本图像的重识别结果。

其中，待训练空间变换网络模型用于对第二样本图像进行空间变换，比如对第二样本图像进行仿射变换等，通过对第二样本图像进行空间变换来对第二样本图像进行校正。

作为一个示例，通过待训练空间变换网络模型对多个第二样本图像进行校正的操作包括：对于多个第二样本图像中的任一第二样本图像，将该第二样本图像作为待训练空间变换网络模型的输入，通过待训练空间变换网络模型对该第二样本图像进行参数预测，得到空间变换参数，然后基于预测的空间变换参数对该图像进行空间变换，得到校正后的第二样本图像。

其中，空间变换参数可以为空间变换矩阵。示例地，该空间变换矩阵可以为2×3的变换矩阵。

作为一个示例，在通过待训练空间变换网络模型对该第二样本图像进行参数预测的过程中，可以先通过待训练空间变换网络模型对该第二样本图像进行参数预测，得到初始预测参数，然后对初始预测参数进行参数转换，得到该空间变换参数。比如，先通过待训练空间变换网络模型对该第二样本图像进行参数预测，得到初始变换矩阵，然后对初始变换矩阵进行矩阵变换，得到矩阵变换后的初始变换矩阵，将矩阵变换后的初始变换矩阵作为空间变换参数。示例地，初始变换矩阵可以为1×6的变换矩阵，矩阵变换后的初始变换矩阵为2×3的变换矩阵。

作为一个示例，基于预测的空间变换参数对第二样本图像进行空间变换，得到校正后的第二样本图像的操作可以包括：基于该空间变换参数，构建该第二样本图像与校正后的第二样本图像之间的空间映射关系，然后基于该空间映射关系，对该第二样本图像进行像素采集，得到校正后的第二样本图像。

作为一个示例，请参考图6，图6是本申请实施例提供的一种待训练空间变换网络模型的网络结构示意图。如图6所示，该待训练空间变换网络模型包括参数预测网络、坐标映射网络和像素采集网络。在进行模型训练的过程中，可以将第二样本图像作为参数预测网络的输入，通过参数预测网络对第二样本图像进行参数预测，得到用于进行空间变换的空间变换参数。然后将该空间变换参数作为坐标映射网络的输入，通过坐标映射网络，基于该空间变换参数，构建该第二样本图像与校正后的第二样本图像之间的空间映射关系。之后，将该空间映射关系和第二样本图像作为像素采集网络的输入，通过像素采集网络，基于该空间映射关系，对该第二样本图像进行像素采集，得到校正后的第二样本图像。

作为一个示例，参数预测网络可以包括卷积层、池化层和全连接层。其中，池化层可以为最大池化层等。示例地，参数预测网络可以包括3个卷积层、3个最大池化层和1个全连接层。

作为一个示例，坐标映射网络是一个矩阵运算网络，用于进行矩阵运算。比如，坐标映射网络用于以第二样本图像中的坐标点为自变量、以空间变换参数为参数、以校正后的第二样本图像中的坐标点为因变量来做一个矩阵运算，得到第二样本图像与校正后的第二样本图像之间的空间映射关系。该空间映射关系用于指示校正后的第二样本图像中的坐标点与第二样本图像中的坐标点之间的映射关系。

作为一个示例，像素采集网络是一个像素值计算网络，用于根据该空间映射关系，计算校正后的第二样本图像中各个坐标点的像素值，并根据计算的像素值进行像素填充，得到校正后的第二样本图像。比如，像素采集网络可以根据该空间映射关系，从第二样本图像中采集与校正后的第二样本图像中的坐标点对应的坐标点的像素值，作为校正后的第二样本图像中相应坐标点的像素值。

需要说明的是，步骤203和步骤204可以同时执行，也可以先执行步骤203再执行步骤204，或者先执行步骤204再执行步骤203，本申请实施例对步骤203和步骤204的执行顺序不作限定。

步骤205：基于多个第一样本图像的重识别结果与多个第二样本图像的重识别结果之间的重识别误差，对待训练空间变换网络模型的模型参数进行更新，将模型参数更新后的待训练空间变换网络模型作为训练好的空间变换网络模型。

作为一个示例，可以基于多个第一样本图像的重识别结果与多个第二样本图像的重识别结果，通过第一预设损失函数确定该重识别误差。其中，第一预设损失函数可以预先设置，本申请实施例对此不作限定。

作为一个示例，第一预设损失函数可以为如下公式(1)：

Loss＝1-feature1*feature2 (1)

其中，Loss为第一预设损失函数，feature1为第一样本图像的重识别结果，feature2为第一样本图像对应的第二样本图像的重识别结果。

在得到该重识别误差之后，可以基于该重识别误差，仅对待训练空间变换网络模型的模型参数进行更新，以使模型参数更新后的待训练空间变换网络模型输出的图像通过重识别模型处理后的重识别结果与多个第一样本图像的重识别结果逐渐趋于一致。

请参考图7，图7是本申请实施例提供的一种STN模型的训练示意图。如图7所示，本申请实施例中，在获取多个第一样本图像和多个第二样本图像之后，一方面将多个第一样本图像输入至右侧的ReID模型中，通过ReID对多个第一样本图像进行重识别，得到多个第一样本图像的重识别结果。另一方面将多个第二样本图像输入至左侧的STN-ReID模型中，先通过STN模型对多个第二样本图像进行校正，再通过ReID模型对校正后的多个第二样本图像进行重识别，得到多个第二样本图像的重识别结果。然后确定多个第一样本图像的重识别结果与多个第二样本图像的重识别结果之间的重识别误差，基于重识别误差仅对左侧的STN模型的模型参数进行更新，而不对ReID模型的模型参数进行更新。

本申请实施例中，通过对标准目标框图像进行处理，得到非标准目标框图像，然后一方面将标准目标框图像输入至ReID模型，通过ReID模型对标准目标框图像进行重识别，另一方面将非标准目标框图像输入至STN-ReID模型中，通过STN-ReID模型对非标准目标框图像进行重识别，然后基于两者的重识别误差，对STN-ReID模型中STN模型的模型参数进行更新，可以使得非标准目标框图像经过STN-ReID模型的重识别结果与非标准目标框图像对应的标准目标框图像经过ReID模型的处理逐渐趋于一致，从而使得训练后的STN-ReID模型能够先将非标准目标框图像校正为标准目标框图像再进行重识别，提高了重识别的准确度。

需要说明的是，图8实施例中的重识别模型也需要预先基于训练数据进行训练得到，接下来，对重识别模型的训练过程进行详细说明。

图8是本申请实施例提供的一种重识别模型的训练方法流程图，该方法应用于计算机设备中，该计算机设备可以为终端或服务器，终端可以为手机、平板电脑或计算机等，本申请实施例对此不作限定。如图8所示，该方法包括如下步骤：

步骤801：获取训练数据，训练数据包括多个第三样本图像和对应的目标类别标签，以及多个第四样本图像和对应的目标类别标签，多个第四样本图像是对多个第五样本图像中目标的指定部分图像进行遮蔽得到，多个第三样本图像和多个第五样本图像均属于标准目标框图像。

其中，样本图像的目标类别标签用于指示样本图像中目标的目标类别。目标类别标签可以为目标所属类别、目标名称或目标ID等，本申请实施例对此不作限定。作为一个示例，目标类别标签可以预先通过人工标注得到。

其中，目标的指定部分图像可以预先设置，比如可以为上半部分图像或下半部分图像等。示例地，假设目标为行人，则指定部分图像可以为行人的全部或部分下身图像、全部或部分上身图像、或除头部之外的其他部分图像等。

作为一个示例，获取训练数据的操作包括：获取多个第三样本图像和对应的目标类别标签，以及多个第五样本图像和对应的目标类别标签。对多个第五样本图像中目标的指定部分图像进行遮蔽，得到多个第四样本图像。将多个第五样本图像对应的目标类别标签作为多个第四样本图像对应的目标类别标签。

请参考图9，图9是本申请实施例提供的一种图像遮蔽的示意图。如图9所示，假设第五样本图像91为行人的人体框图像，则可以将人体框图像中人体的部分下身进行遮蔽，得到上身的人体框图像92。人体框图像92仅包含部分人体，而不包含完整人体。

其中，可以通过将目标的指定部分图像的像素值调整后指定像素值等操作，来对目标的指定部分图像进行遮蔽。其中，指定像素值可以预先设置，比如可以设置为0或255等。

通过对多个第五样本图像中目标的指定部分图像进行遮蔽，可以将目标的指定部分图像进行擦除，使得训练数据中既存在包含完整目标的目标框图像，也存在包含部分目标的目标框图像。使用这种训练数据对待训练图像进行训练，可以使得训练后的重识别模型能够对包含完整目标的目标框图像以及仅包含部分目标的目标框图像进行重识别，也即是，使得训练后的重识别模型能够适用于完整目标的目标框图像以及仅包含部分目标的目标框图像，从而提高了重识别模型的模型精度。

步骤802：基于该训练数据，对待训练重识别模型进行训练，得到训练好的重识别模型。

作为一个示例，可以将多个第三样本图像和多个第四样本图像分别作为待训练重识别模型的输入，通过待训练重识别模型对多个第三样本图像和多个第四样本图像进行重识别，得到多个第三样本图像对应的目标特征以及多个第四样本图像对应的目标特征。然后基于多个第三样本图像对应的目标特征确定多个第三样本图像的预测目标类别，以及基于多个第四样本图像对应的目标特征确定多个第四样本图像的预测目标类别。再确定多个第三样本图像的预测目标类别与多个第三样本图像对应的目标类别标签之间的类别误差，以及多个第四样本图像的预测目标类别与多个第四样本图像对应的目标类别标签之间的类别误差，基于确定的类别误差对待训练重识别模型的模型参数进行更新，将模型参数更新后的待训练重识别模型确定为训练好的重识别模型。

请参考图10，图10是本申请实施例提供的一种待训练重识别模型的结构示意图。如图10所示，对于多个第三样本图像和多个第四样本图像中的任一样本图像，可以通过待训练重识别模型对样本图像进行特征提取，得到目标特征图，然后将目标特征图进行横向切分，得到t个切分目标特征，对t个切分目标特征进行归一化处理，对归一化处理后的t个切分目标特征进行拼接，得到该样本图像对应的目标特征。其中，t为正整数，且t可以预先设置，比如t可以为2、3或4等。

作为一个示例，对于多个第三样本图像和多个第四样本图像中的任一样本图像，可以基于预设损失函数确定该样本图像的预测目标类别与该样本图像对应的目标类别标签之间的类别误差。示例地，该预设损失函数可以包括两种损失函数，比如包括第二预设损失函数和第三预设损失函数。示例地，第二损失函数为sotmax loss，第三损失函数为hardmining triplet loss。

比如，如图10所示，对于横向切分得到的t个切分目标特征，可以分别确定t个切分目标特征对应的类别，然后基于各个切分目标特征对应的类别和类别标签，通过第二预设损失函数确定各个切分目标的重识别误差。对于对归一化处理后的t个切分目标特征进行拼接得到的目标特征，可以确定该目标特征对应的预测目标类别，然后基于该目标特征对应的预测目标类别和目标类别标签，通过第三预设损失函数确定整体目标的重识别误差。

需要说明的是，本申请实施例仅是以基于多个第三样本图像和对应的目标类别标签，以及多个第四样本图像和对应的目标类别标签，对待训练重识别模型进行训练为例进行说明，而在其他实施例中，还可以仅基于多个第三样本图像和对应的目标类别标签对待训练重识别模型进行训练，本申请实施例对此不作限定。

本申请实施例中，通过获取包含完整目标的标准目标框图像，以及包含部分目标被遮蔽的非标准目标框图像，然后基于这些图像对待训练图像进行训练，可以使得训练后的重识别模型能够对包含完整目标的目标框图像以及仅包含部分目标的目标框图像进行重识别，也即是，使得训练后的重识别模型能够适用于完整目标的目标框图像以及仅包含部分目标的目标框图像，从而提高了重识别模型的模型精度。

接下来对本申请实施例提供的目标重识别方法进行详细说明。

图11是本申请实施例提供的一种目标重识别方法的流程图，该方法应用于计算机设备中，该计算机设备可以为终端或服务器，终端可以为手机、平板电脑或计算机等，本申请实施例对此不作限定。如图11所示，该方法包括如下步骤：

步骤1101：获取第一目标框图像，第一目标框图像是对待检测图像进行目标检测得到。

其中，待检测图像可以为通过摄像头采集的图像、其他设备发送的图像、当前设备存储的图像或者从网络中获取的图像等，本申请实施例对此不作限定。示例地，待检测图像为监控设备采集的图像或视频帧。

其中，第一目标框图像可能是非标准目标框图像，比如不包括完整目标的目标框图像，或者存在目标框漂移的目标框图像等。

作为一个示例，可以通过检测器对待检测图像进行目标检测，得到第一目标框图像。当然，也可以通过其他方式获取第一目标框图，本申请实施例对此不作限定。

步骤1102：通过空间变换网络模型对第一目标框图像进行校正，得到第二目标框图像。

其中，该待训练空间变换网络模型用于对目标框图像进行空间变换，比如对目标框图像进行仿射变换等。通过对第一目标框图像进行空间变换，可以将第一目标框图像从非标准目标框图像校正为标准目标框图像。

作为一个示例，通过空间变换网络模型对第一目标框图像进行校正的操作包括如下步骤：

1)将第一目标框图像作为空间变换网络模型的输入，通过该空间变换网络模型对第一目标框图像进行参数预测，得到空间变换参数。

其中，空间变换参数可以为空间变换矩阵。示例地，该空间变换矩阵可以为2×3的变换矩阵。

在通过该空间变换网络模型对第一目标框图像进行参数预测的过程中，可以先通过该空间变换网络模型对第一目标框图像进行参数预测，得到初始预测参数，然后对初始预测参数进行参数转换，得到该空间变换参数。比如，先通过该空间变换网络模型对第一目标框图像进行参数预测，得到初始变换矩阵，然后对初始变换矩阵进行矩阵变换，得到矩阵变换后的初始变换矩阵，将矩阵变换后的初始变换矩阵作为空间变换参数。

示例地，初始变换矩阵可以为1×6的变换矩阵，矩阵变换后的初始变换矩阵为2×3的变换矩阵。

2)通过空间变换网络模型，基于空间变换参数对第一目标框图像进行空间变换，得到第二目标框图像。

作为一个示例，可以先基于空间变换参数，构建第一目标框图像与第二目标框图像之间的空间映射关系，然后基于该空间映射关系，对第一目标框图像进行像素采集，得到第二目标框图像。

作为一个示例，该空间变换网络模型的网络结构可以如图6所示，该间变换网络模型包括参数预测网络、坐标映射网络和像素采集网络。通过空间变换网络模型对第一目标框图像进行校正的过程中，可以将第一目标框图像作为参数预测网络的输入，通过参数预测网络对第一目标框图像进行参数预测，得到用于进行空间变换的空间变换参数。然后将该空间变换参数作为坐标映射网络的输入，通过坐标映射网络，基于该空间变换参数，构建该第一目标框图像与校正后的第一目标框图像之间的空间映射关系。之后，将该空间映射关系和第一目标框图像作为像素采集网络的输入，通过像素采集网络，基于该空间映射关系，对第一目标框图像进行像素采集，得到第二目标框图像。

作为一个示例，该参数预测网络可以包括卷积层、池化层和全连接层。其中，池化层可以为最大池化层等。示例地，参数预测网络可以包括3个卷积层、3个最大池化层和1个全连接层。

作为一个示例，坐标映射网络是一个矩阵运算网络，用于进行矩阵运算。比如，坐标映射网络用于以第二目标框图像中的坐标点为自变量、以空间变换参数为参数、以第二目标框图像中的坐标点为因变量来做一个矩阵运算，得到第一目标框图像与第二目标框图像之间的空间映射关系。空间映射关系用于指示第二目标框图像中的坐标点与第一目标框图像中的坐标点之间的映射关系。

作为一个示例，像素采集网络是一个像素值计算网络，用于根据该空间映射关系，计算第二目标框图像中各个坐标点的像素值，并根据计算的像素值进行像素填充，得到第二目标框图像。比如，像素采集网络可以根据该空间映射关系，从第二目标框图像中采集与第二目标框图像中的坐标点对应的坐标点的像素值，作为第二目标框图像中相应坐标点的像素值。

步骤403：通过重识别模型对第二目标框图像进行重识别，得到目标特征。

其中，目标特征是指第二目标框中目标的特征，目标特征用于确定目标的类别，比如用于确定目标ID等。

作为一个示例，该重识别模型的网络结构可以如图10所示。在通过重识别模型对第二目标框图像进行重识别的过程中，可以先对第二目标框图像进行特征提取，得到目标特征图，然后将目标特征图进行横向切分，得到t个切分目标特征，再对t个切分目标特征进行归一化处理，并对归一化处理后的t个切分目标特征进行拼接，得到该样本图像对应的目标特征。

示例地，第二目标框图像的图像尺寸为384×128，对第二目标框图像的目标特征图进行横向切分，可以得到4个128维的切分目标特征，对4个128维的切分目标特征进行拼接，可以得到512维的特征。

本申请实施例中，对于对待检测图像进行目标检测得到的第一目标框图像，可以先通过空间变换网络模型对第一目标框图像进行校正，得到第二目标框图像，再通过重识别模型对第二目标框图像进行重识别。如此，可以通过空间变换网络模型，将检测的非标准目标框图像校正为标准目标框图像，再将标准目标框图像作为重识别模型的输入图像进行重识别，这样可以保证重识别模型的输入图像与其训练过程中使用的标准目标框图像保持一致，从而避免重识别模型的输入图像与其训练过程中使用的标准目标框图像不一致对重识别模型精度的影响，提高重识别结果的准确度。

图12是本申请实施例提供的一种目标重识别装置的结构框图，如图12所示，该装置包括：

获取模块1201，用于获取第一目标框图像，该第一目标框图像是对待检测图像进行目标检测得到；

校正模块1202，用于通过空间变换网络模型对该第一目标框图像进行校正，得到第二目标框图像；

重识别模块1203，用于通过重识别模型对该第二目标框图像进行重识别，得到目标特征。

可选地，校正模块1202包括：

参数预测单元，用于将该第一目标框图像作为该空间变换网络模型的输入，通过该空间变换网络模型对该第一目标框图像进行参数预测，得到空间变换参数；

空间变换单元，通过该空间变换网络模型，基于该空间变换参数对该第一目标框图像进行空间变换，得到该第二目标框图像。

可选地，空间变换单元用于：

基于该空间变换参数，构建该第一目标框图像与该第二目标框图像之间的空间映射关系；

基于该空间映射关系，对该第一目标框图像进行像素采集，得到该第二目标框图像。

本申请实施例中，对于对待检测图像进行目标检测得到的第一目标框图像，可以先通过空间变换网络模型对第一目标框图像进行校正，得到第二目标框图像，再通过重识别模型对第二目标框图像进行重识别。如此，可以通过空间变换网络模型，将检测的非标准目标框图像校正为标准目标框图像，再将标准目标框图像作为重识别模型的输入图像进行重识别，这样可以保证重识别模型的输入图像与其训练过程中使用的标准目标框图像保持一致，从而避免重识别模型的输入图像与其训练过程中使用的标准目标框图像不一致对重识别模型精度的影响，提高重识别结果的准确度。

需要说明的是：上述实施例提供的目标重识别装置在进行重识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的目标重识别装置与目标重识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图13是本申请实施例提供的一种模型训练装置的结构框图，如图13所示，该装置包括：

第一获取模块1301，用于获取多个第一样本图像，该多个第一样本图像属于标准目标框图像；

图像处理模块1302，用于对该多个第一样本图像进行处理，得到该多个第一样本图像一一对应的多个第二样本图像，该多个第二样本图像包括至少一个非标准目标框图像；

第一重识别模块1303，用于通过该重识别模型对该多个第一样本图像进行重识别，得到该多个第一样本图像的重识别结果；

第二重识别模块1304，用于通过待训练空间变换网络模型对该多个第二样本图像进行校正，通过该重识别模型对校正后的多个第二样本图像进行重识别，得到该多个第二样本图像的重识别结果；

更新模块1305，用于基于该多个第一样本图像的重识别结果与该多个第二样本图像的重识别结果之间的重识别误差，对该待训练空间变换网络模型的模型参数进行更新，将模型参数更新后的待训练空间变换网络模型作为训练好的空间变换网络模型。

可选地，图像处理模块1302用于：

对于该多个第一样本图像中的第一图像，对该第一图像进行目标截断，基于目标截断后的第一图像确定该第一图像对应的第二样本图像，该第一图像对应的第二样本图像包括不完整的目标，该第一图像为该多个第一样本图像中的任一个；或者，

对该第一图像进行目标框漂移处理，基于目标框漂移处理后的第一图像，确定该第一图像对应的第二样本图像，该第一图像对应的第二样本图像存在目标框漂移。

可选地，该装置还包括：

第二获取模块，用于获取训练数据，该训练数据包括多个第三样本图像以及对应的目标类别标签，该多个第三样本图像属于标准目标框图像；

训练模块，用于基于该训练数据，对待训练重识别模型进行训练，得到该重识别模型。

可选地，该训练数据还包括多个第四样本图像以及对应的目标类别标签，该多个第五样本图像中目标的指定部分图像进行遮蔽得到，该多个第四样本图像是对该多个第五样本图像属于标准目标框图像，该多个第五样本图像属于标准目标框图像。

本申请实施例中，通过对标准目标框图像进行处理，得到非标准目标框图像，然后一方面将标准目标框图像输入至ReID模型，通过ReID模型对标准目标框图像进行重识别，另一方面将非标准目标框图像输入至STN-ReID模型中，通过STN-ReID模型对非标准目标框图像进行重识别，然后基于两者的重识别误差，对STN-ReID模型中STN模型的模型参数进行更新，可以使得非标准目标框图像经过STN-ReID模型的重识别结果与非标准目标框图像对应的标准目标框图像经过ReID模型的处理逐渐趋于一致，从而使得训练后的STN-ReID模型能够先将非标准目标框图像校正为标准目标框图像再进行重识别，提高了重识别的准确度。

需要说明的是：上述实施例提供的模型训练装置在进行模型训练时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型训练装置与模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图14是本申请实施例提供的一种计算机设备1400的结构框图。该计算机设备1400可以是手机、平板电脑、智能电视、多媒体播放设备、可穿戴设备、台式电脑、服务器等电子设备。该计算机设备1400可用于实施上述实施例中提供的目标重识别方法。

通常，计算机设备1400包括有：处理器1401和存储器1402。

处理器1401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的目标重识别方法或模型训练方法。

在一些实施例中，计算机设备1400还可选包括有：外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地，外围设备可以包括：显示屏1404、音频电路1405、通信接口1406和电源1407中的至少一种。

本领域技术人员可以理解，图14中示出的结构并不构成对计算机设备1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性的实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述目标重识别方法或模型训练方法。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述目标重识别方法或模型训练方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标重识别方法，其特征在于，所述方法包括：

获取第一目标框图像，所述第一目标框图像是对待检测图像进行目标检测得到；

通过空间变换网络模型对所述第一目标框图像进行校正，得到第二目标框图像；

通过重识别模型对所述第二目标框图像进行重识别，得到目标特征。

2.如权利要求1所述的方法，其特征在于，所述通过空间变换网络模型对所述第一目标框图像进行校正，得到第二目标框图像，包括：

将所述第一目标框图像作为所述空间变换网络模型的输入，通过所述空间变换网络模型对所述第一目标框图像进行参数预测，得到空间变换参数；

通过所述空间变换网络模型，基于所述空间变换参数对所述第一目标框图像进行空间变换，得到所述第二目标框图像。

3.如权利要求2所述的方法，其特征在于，所述基于所述空间变换参数对所述第一目标框图像进行空间变换，得到所述第二目标框图像，包括：

基于所述空间变换参数，构建所述第一目标框图像与所述第二目标框图像之间的空间映射关系；

基于所述空间映射关系，对所述第一目标框图像进行像素采集，得到所述第二目标框图像。

4.一种模型训练方法，其特征在于，所述方法包括：

获取多个第一样本图像，所述多个第一样本图像属于标准目标框图像；

对所述多个第一样本图像进行处理，得到所述多个第一样本图像一一对应的多个第二样本图像，所述多个第二样本图像包括至少一个非标准目标框图像；

通过所述重识别模型对所述多个第一样本图像进行重识别，得到所述多个第一样本图像的重识别结果；

通过待训练空间变换网络模型对所述多个第二样本图像进行校正，通过所述重识别模型对校正后的多个第二样本图像进行重识别，得到所述多个第二样本图像的重识别结果；

基于所述多个第一样本图像的重识别结果与所述多个第二样本图像的重识别结果之间的重识别误差，对所述待训练空间变换网络模型的模型参数进行更新，将模型参数更新后的待训练空间变换网络模型作为训练好的空间变换网络模型。

5.如权利要求4所述的方法，其特征在于，所述对所述多个第一样本图像分别进行处理，包括：

对于所述多个第一样本图像中的第一图像，对所述第一图像进行目标截断，基于目标截断后的第一图像确定所述第一图像对应的第二样本图像，所述第一图像对应的第二样本图像包括不完整的目标，所述第一图像为所述多个第一样本图像中的任一个；或者，

对所述第一图像进行目标框漂移处理，基于目标框漂移处理后的第一图像，确定所述第一图像对应的第二样本图像，所述第一图像对应的第二样本图像存在目标框漂移。

6.如权利要求4或5所述的方法，其特征在于，所述通过所述重识别模型对所述多个第一样本图像进行重识别之前，还包括：

获取训练数据，所述训练数据包括多个第三样本图像和对应的目标类别标签，以及多个第四样本图像和对应的目标类别标签，所述多个第四样本图像是对多个第五样本图像中目标的指定部分图像进行遮蔽得到，所述多个第三样本图像和所述多个第五样本图像均属于标准目标框图像；

基于所述训练数据，对待训练重识别模型进行训练，得到所述重识别模型。

7.一种目标重识别装置，其特征在于，所述装置包括：

获取模块，用于获取第一目标框图像，所述第一目标框图像是对待检测图像进行目标检测得到；

校正模块，用于通过空间变换网络模型对所述第一目标框图像进行校正，得到第二目标框图像；

重识别模块，用于通过重识别模型对所述第二目标框图像进行重识别，得到目标特征。

8.一种模型训练装置，其特征在于，所述装置包括：

第一获取模块，用于获取多个第一样本图像，所述多个第一样本图像属于标准目标框图像；

图像处理模块，用于对所述多个第一样本图像进行处理，得到所述多个第一样本图像一一对应的多个第二样本图像，所述多个第二样本图像包括至少一个非标准目标框图像；

第一重识别模块，用于通过所述重识别模型对所述多个第一样本图像进行重识别，得到所述多个第一样本图像的重识别结果；

第二重识别模型，用于通过待训练空间变换网络模型对所述多个第二样本图像进行校正，通过所述重识别模型对校正后的多个第二样本图像进行重识别，得到所述多个第二样本图像的重识别结果；

更新模块，用于基于所述多个第一样本图像的重识别结果与所述多个第二样本图像的重识别结果之间的重识别误差，对所述待训练空间变换网络模型的模型参数进行更新，将模型参数更新后的待训练空间变换网络模型作为训练好的空间变换网络模型。

9.一种计算机设备，其特征在于，所述计算机设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-3或权利要求4-6中所述的任一项方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-3或权利要求4-6中所述的任一项方法的步骤。

Images