CN117218431A - 一种目标识别方法、装置、电子设备及其存储介质 - Google Patents

Abstract

本发明提供一种目标识别方法、装置、电子设备及存储介质，涉及图像处理技术领域，通过获取第一目标图像数据和第一位置信息；将第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；基于第一位置信息，对第二目标图像数据进行方向矫正变换，得到第三目标图像数据；将第三目标图像数据输入目标识别模型，得到目标图像数据中的字符串信息。上述目标识别方法可以广泛应用于不同运动装置表面目标的识别环境，攻破运动装置表面较小目标识别受空间中运动、光线等的极大影响，并能大大提高目标识别方法在各种条件下的识别精度，达到对运动装置表面目标的识别要求。

Description

一种目标识别方法、装置、电子设备及其存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种目标识别方法、装置、电子设备及其存储介质。

背景技术

在相关技术中，运动装置表面的目标识别过程包括目标定位检测和目标识别两个阶段，通过对运动装置表面的目标进行裁剪和识别，完成对运动装中表面目标的识别。在进行识别之前，会对获取的目标进行规范化处理，但当运动装置处于特殊场景、高速状态或复杂环境时，需提供运动装置表面的目标的特定视角、视场、距离的图片进行识别。因此，在运动装置的目标识别项目中，需要制作合理的图像采集设备的配置方案，不仅在苛刻的配置上面临着极大的困难，而且价格也昂贵，没有宽泛的适用性。当上述图像采集设备由于配置低导致采集的图片不能达到识别模型的精度时，会造成目标识别不准确，从而大大降低运动装置表面目标的识别率。

基于此，本发明提出一种目标识别方法以解决上述问题。

发明内容

本发明提供一种目标识别方法、装置、电子设备及其存储介质，以解决现有的图像采集设备配置不够，导致不能对运动装置表面的目标准确识别的问题。

第一方面，本发明实施例提供一种目标识别方法，所述方法包括：

获取第一目标图像数据和第一位置信息；

将所述第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；

基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据；

将所述第三目标图像数据输入目标识别模型，得到所述目标图像数据中的字符串信息。

其中，所述增强数据集按照如下方式获取：

获取样本训练集，所述样本训练集包括至少一个样本图像数据；

对所述样本图像数据顺次进行多种图像增强处理，得到所述增强数据集，每种所述图像增强处理通过随机增强函数进行随机增强，所述多种增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理。

可选地，所述获取第一目标图像数据和第一位置信息，包括：

获取图像数据，所述图像数据至少包括目标；

将所述图像数据输入至目标位置检测模型中，输出所述第一位置信息，所述第一位置信息包括所述目标的第一目标位置坐标和第一关键点坐标；

基于所述第一位置信息对所述图像数据中的所述目标进行裁剪，得到所述第一目标图像数据。

可选地，所述样本图像数据的颜色通道为多颜色通道，对所述样本图像数据进行所述重影增强处理，包括：

基于随机偏移值函数，生成多个方向的偏移值，其中，所述偏移值为所述随机偏移值函数在预设范围内随机生成的；

将多个方向的所述偏移值进行组合，得到包含多个方向的偏移值序列；

获取所述样本图像数据中每个像素点对应的多颜色通道；

基于所述偏移值序列对所述每个像素点的多颜色通道进行偏移处理，得到重影增强的样本图像数据，所述重影增强的样本图像数据用于表征所述样本图像数据的运动重影特征。

可选地，对所述样本图像数据进行所述阴影增强处理，包括：

获取包含任意形状阴影的阴影图像；

获取待处理图像数据，所述待处理图像数据为明暗增强的样本图像数据；

对所述待处理图像数据进行反向操作，得到第一模糊图；

将所述第一模糊图和所述阴影图像进行相与操作，得到包含所述阴影图像的第二模糊图；

对所述第二模糊图进行反向还原操作，得到阴影增强的样本图像数据作为所述增强训练集。

可选地，所述基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据，包括：

基于所述第一位置信息中的第一关键点坐标和距离函数，得到第三位置信息，所述第三位置信息用于表征不同方向的所述第一关键点坐标之间的距离信息；

基于所述第一位置信息和所述第三位置信息，对所述第二目标图像数据进行多个方向的矫正变换，得到所述第三目标图像数据。

可选地，所述基于所述第一位置信息中的第一关键点坐标和距离函数，得到第三位置信息，包括：

以任一所述第一关键点坐标为坐标原点，建立关键点坐标系；

在所述关键点坐标系内，通过所述距离函数获取所述目标图像数据在第一方向的第一距离值和在第二方向的第二距离值，所述第一距离值和所述第二距离值分别为所述目标图像数据在所述第一方向和所述第二方向的任意所述第一关键点坐标之间的距离的最大值；

基于所述第一距离值和所述第二距离值，获取在所述关键点坐标系下的第三关键点坐标，将所述第三关键点坐标以及所述坐标原点的坐标作为所述第三位置信息。

可选地，所述基于所述第一位置信息和所述第三位置信息，对所述第二目标图像数据进行多个方向的矫正变换，得到第三目标图像数据，包括：

将所述第一位置信息和所述第三位置信息输入至变换矩阵函数，输出所述第一位置信息和所述第三位置信息对应的变换矩阵；

基于所述变换矩阵，采用仿射变换函数对所述第二目标图像数据的进行矫正变换处理，得到所述第三目标图像数据。

第二方面，本发明实施例提供一种目标识别装置，所述装置包括：

获取模块，用于获取第一目标图像数据和第一位置信息；

生成模块，用于将所述第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；

矫正模块，用于基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据；

识别模块，用于将所述第三目标图像数据输入目标识别模型，得到所述目标图像数据中的字符串信息。

其中，所述生成模块包括：

获取子模块，用于获取样本训练集，所述样本训练集包括至少一个样本图像数据；

增强子模块，用于对所述样本图像数据顺次进行多种图像增强处理，得到所述增强数据集，每种所述图像增强处理通过随机增强函数进行随机增强，所述多种增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理。

其中，所述获取模块包括：

图像数据获取子模块，用于获取图像数据，所述图像数据至少包括目标；

第一位置信息获取子模块，用于将所述图像数据输入至目标位置检测模型中，输出所述第一位置信息，所述第一位置信息包括所述目标的第一目标位置坐标和第一关键点坐标；

目标图像数据获取子模块，用于基于所述第一位置信息对所述图像数据中的所述目标进行裁剪，得到所述第一目标图像数据。

其中，所述增强子模块包括：

偏移值生成单元，用于基于随机偏移值函数，生成多个方向的偏移值，其中，所述偏移值为所述随机偏移值函数在预设范围内随机生成的；

偏移值序列获取单元，用于将多个方向的所述偏移值进行组合，得到包含多个方向的偏移值序列；

颜色通道获取单元，用于获取所述样本图像数据中每个像素点对应的多颜色通道；

偏移处理单元，用于基于所述偏移值序列对所述每个像素点的多颜色通道进行偏移处理，得到重影增强的样本图像数据，所述重影增强的样本图像数据用于表征所述样本图像数据的运动重影特征。

其中，所述增强子模块还包括：

阴影图像获取单元，用于获取包含任意形状阴影的阴影图像；

待处理图像数据获取单元，用于获取待处理图像数据，所述待处理图像数据为明暗增强的样本图像数据；

第一模糊图获取单元，用于对所述待处理图像数据进行反向操作，得到第一模糊图；

第二模糊图获取单元，用于将所述第一模糊图和所述阴影图像进行相与操作，得到包含所述阴影图像的第二模糊图；

阴影增强单元，用于对所述第二模糊图进行反向还原操作，得到阴影增强的样本图像数据作为所述增强训练集。

其中，所述矫正模块包括：

第三位置信息获取子模块，用于基于所述第一位置信息中的第一关键点坐标和距离函数，得到第三位置信息，所述第三位置信息用于表征不同方向的所述第一关键点坐标之间的距离信息；

矫正变换子模块，用于基于所述第一位置信息和所述第三位置信息，对所述第二目标图像数据进行多个方向的矫正变换，得到所述第三目标图像数据。

其中，所述第三位置信息获取子模块包括：

关键点坐标系建立单元，用于以任一所述第一关键点坐标为坐标原点，建立关键点坐标系；

距离值获取单元，用于在所述关键点坐标系内，通过所述距离函数获取所述目标图像数据在第一方向的第一距离值和在第二方向的第二距离值，所述第一距离值和所述第二距离值分别为所述目标图像数据在所述第一方向和所述第二方向的任意所述第一关键点坐标之间的距离的最大值；

第三位置信息获取单元，用于基于所述第一距离值和所述第二距离值，获取在所述关键点坐标系下的第三关键点坐标，将所述第三关键点坐标以及所述坐标原点的坐标作为所述第三位置信息。

其中，所述矫正变换子模块包括：

变换矩阵获取单元，用于将所述第一位置信息和所述第三位置信息输入至变换矩阵函数，输出所述第一位置信息和所述第三位置信息对应的变换矩阵；

矫正变换单元，用于基于所述变换矩阵，采用仿射变换函数对所述第二目标图像数据的进行矫正变换处理，得到所述第三目标图像数据。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述第一方面中任一项所述的目标识别方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面中任一项所述的目标识别方法。

本发明实施例提供一种目标识别方法、装置、电子设备及存储介质，通过获取第一目标图像数据和第一位置信息；将所述第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据；将所述第三目标图像数据输入目标识别模型，得到所述目标图像数据中的字符串信息；其中，所述增强数据集按照如下方式获取：获取样本训练集，所述样本训练集包括至少一个样本图像数据；对所述样本图像数据顺次进行多种图像增强处理，得到所述增强数据集，每种所述图像增强处理通过随机增强函数进行随机增强，所述多种增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理。

通过增强训练数据对所述生成模型进行训练，得到的生成模型可以将获取的模糊图像通过去模糊重建为高分辨率的图像数据，然后通过对所述去模糊重建的图像数据会进行方向矫正得到图像数据进行目标识别，能大大提高目标识别方法在各种条件下的识别精度，广泛应用于不同运动装置表面目标的识别环境，攻破运动装置表面较小目标识别受空间中运动、光线等的极大影响，同时可以解决在运动复杂环境对图像采集设备的苛刻要求，使目标识别方法打破对图像采集设别的硬件局限性，达到对运动装置表面目标的识别要求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提出的一种目标识别方法的步骤流程图；

图2为本发明实施例提出的一种目标识别方法的流程示意图；

图3为本发明实施例提供的一种获取增强数据集的步骤流程图；

图4为本发明实施例提供的一种目标识别装置的架构图；

图5为本发明实施例提供的一种电子设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，在远距离的运动装置表面目标的识别方案中，包含定位检测(寻找目标位置)和目标识别两个阶段，通过这两个阶段完成对目标字符区的裁剪和识别。定位检测可以基于目标物检测，也可以进行区域分割，在复杂的监控区域精准切割出目标字符区域。相关应用场景是在交通区域和各种建筑群进出口处，交通监控是提取运动装置目标、颜色、速度、运动方向信息的窗口，一般交通监控都有很高的硬件配置。硬件配置基础都是基于目标识别空间环境选择的专业摄像头，具有高分辨率(600万像素以上)、大焦距、高帧率、星光等功能，针对特殊场景的应用需要进行硬件参数的调整及底层配置。对设备的需求极其严苛，需要在规定各个空间环境类，尤其是需要满足高速行驶和复杂的道路环境，能提供采集特定视角、视场、距离的高分辨率图片。

采用识别模型基于对卷积特征的提取和对字表的分类(例如：CRNN、LPRnet等)，通常对图像采集设备的硬件条件依赖性大，且对运动装置距离、运行状态、光照条件的适应性低，需要配置专业的目标识别的图像采集设别硬件装置，否则失真模糊图片会影响软件识别模型的精度，以至于模型输出错误的信息，无法进行加油站进出的智能统计或是其他基于识别信息的智能应用，不具备部署到监控设备上的条件，得到的目标识别结果也不准确。

有鉴于此，本发明实施例第一方面提出一种目标识别方法，以使在现有的图像采集设备的硬件配置下，能提高对运动装置表面目标的识别准确率。

参阅图1，图1为本发明实施例提出的一种目标识别方法的步骤流程图，所述方法包括以下步骤：

步骤110：获取第一目标图像数据和第一位置信息；

步骤120：将所述第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；

步骤130：基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据；

步骤140：将所述第三目标图像数据输入目标识别模型，得到所述目标图像数据中的字符串信息。

为了使本领域技术人员更好的理解本发明提供的一种目标识别方法，图2示出了本发明实施例提供的一种目标识别方法流程示意图，接下来结合图2，对该方案进行详细阐述：

具体实施步骤110时，本发明实施例提供的目标识别方法主要应用于对运动装置中的目标、或运动装置表面的目标进行识别，所述运动装置可以为车辆等装置，所述目标可以为驾驶人员、运动装置表面车牌等。

所述获取第一目标图像数据和第一位置信息，通过获取图像数据，获取的图像数据至少包括上述目标；然后通过将获取的所述图像数据输入至目标位置检测模型中，输出所述第一位置信息，获取包含目标的图像数据后，通过目标位置检测模型对所述图像数据中的目标进行位置检测，得到所述目标在所述图像数据中的第一位置信息；其中，所述目标位置检测模型可以为YOLO、Faster R-CNN和RetinaNet等模型，优选为YOLO-Face模型，YOLO-Face模型为基于单阶检测器YOLOv5的实时人脸检测模型，此处仅以YOLO-Face模型作为示例性说明，本发明实施例并不对此做相应限制，仅以实际需求为准；所述第一位置信息包括所述目标的第一目标位置坐标和第一关键点坐标，所述第一目标位置信息用于确定所述目标图像数据的位置，可以为包括所述目标图像数据的宽、高以及所述目标图像数据的中心点坐标值，所述第一关键点坐标为所述目标图像数据的顶点的坐标，根据目标形状的不同，所述目标图像数据的关键点至少包括四个及以上。例如，当获取的所述图像数据为I₀时，所述目标位置检测模型对所述图像数据I₀进行目标位置检测，得到所述目标图像数据的第一位置信息为P₀(x，y，w，h)，其中，x和y为所述目标图像数据的中心点标，w为所述目标图像数据的宽，h为所述目标图像数据的高，第一关键点坐标为F1(x1，y1)，F2(x2，y2)，F3(x3，y3)，F4(x4，y4)。

然后，基于所述第一位置信息对所述图像数据中的目标进行裁剪、抠取、截取等操作，得到所述第一目标图像数据。将所述第一目标图像数据用于后续目标识别模型中进行目标识别，但在进行目标识别之前，由于获取所述图像数据的图像采集设备为普通装置，导致所述图像数据的清晰度较低，直接进行目标识别，得到的目标识别准确率较低。因此，在将所述第一目标图像数据输入至目标识别模型之前，本发明实施例先对所述第一目标图像数据进行预处理，将经过预处理之后的第一目标图像数据输入至目标识别模型进行目标的识别。

具体实施步骤120时，所述生成模型可以为SRgan模型，所述SRgan模型为超分辨率重建的生成对抗模型，可以对所述目标图像数据进行去模糊重建，具有高清晰度的目标图像数据用于提高目标识别的准确率。为了增强所述生成模型生成的目标图像数据的清晰度，且能够将各种不同模糊程度的目标图像数据进行去模糊重建，采用增强训练集作为训练样本对所述生成模型进行训练。根据运动装置中目标的识别规范，当所述目标为字符串信息的情况下，所述字符串信息至少包括汉字、字母、数字等随机组成的信息，其中，所述汉字的像素至少为11个像素，字母的像素至少为8个像素，所述数字的像素至少为5个像素的情况下，才能达到识别所述目标的标准。在对所述运动装置的目标进行识别测试时，对所述运动装置的距离、焦距、像素组合等进行测试得到，在所述目标的像素达到识别标准且符合运动状态的情况下，图像采集设备的像素至少为600万(最高分辨率2863*2147)，且要求0.1Lux低照度、视频帧率最低25fps、镜头至少6mm，现有的图像采集设别的传感器像素一般为在200万(最高分辨率1920*1080)到400万(最高分辨率2560*1440)的普通设备，因此，采用普通的图像采集设备获取的图像数据的质量通常会出现运动模糊的情况，导致后续目标是别的精度大大降低。

在已部署好的图像采集设备的硬性条件下，从去模糊重建角度来提高模糊图片的分辨率，减少远距离、高速度、恶劣天气条件下对目标的定位、识别的影响，突破对图像采集设备的硬件高要求的局限性。在数据采集处理阶段，需要采集到两组(模糊数据、高分辨率数据)同角度以及不同角度的图像数据用于对所述生成模型进行训练和测试。基于所述运动装置在运动空间中的特征，应用各种图像增强处理操作对图像采集设备获取的图像数据进行模糊化，并进行图像增强，与在采集中受到硬件条件限制和运动环境造成的模糊图片像素一致。然后，将所述经过图像增强处理的增强图像数据作为增强训练集，以及图像采集设备获取的图像数据，共同作为所述生成模型的训练样本，使得所述训练得到生成模型对模糊的图像数据具有去模糊重建能力，得到高分辨率的图像数据，用于后续的目标识别。

参阅图3，图3为本发明实施例提供的获取增强数据集的步骤流程图，所述增强数据集按照如下方式获取：

步骤120-1：获取样本训练集，所述样本训练集包括至少一个样本图像数据；

步骤120-2：对所述样本图像数据顺次进行多种图像增强处理，得到所述增强数据集，每种所述图像增强处理通过随机增强函数进行随机增强，所述多种增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理。

具体实施步骤120-1时，通过图像采集设备获取包含运动装置的图像数据，将所述图像数据中运动装置需要识别的目标进行标注，将标注后的图像数据作为样本图像数据，将多个所述样本图像数据组合作为所述样本训练集。

具体实施步骤120-2时，通过对所述样本图像数据顺次进行多种图像增强处理后，得到所述增强数据集，所述多种图像增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理；通过所述多种图像增强处理顺次对所述样本图像数据进行图像增强处理，其中，在进行每一种图像增强处理时通过图像增强处理对应的随机增强函数进行随机增强。

在本发明可选地一实施例中，对所述样本图像数据进行运动重影增强处理，模仿运动装置在运动过程中产生模糊特征的现象，对所述样本图像数据进行所述重影增强处理，通过采用重影增强处理对应的随机增强函数，也就是采用随机偏移值函数生成多个方向的偏移值，例如，所述多个方向可以为左方向、右方向、上方向、下方向、左上方向、右上方向、左下方向、右下方向等；其中，所述偏移值是随机偏移值函数在预设范围内随机生成的整数，所述偏移值可以为负偏移值和负偏移值，例如，在本发明实施例中，所述预设范围可以为[-2，2]。将所述随机偏移值函数生成的多个方向的偏移值进行组合，得到包含多个方向的偏移值序列，例如，可以将左方向、右方向、上方向、下方向对应的随机偏移值进行组合得到偏移值序列，可以将左上方向、右上方向、左下方向、右下方向对应的随机偏移值进行组合得到偏移值序列，例如，所述偏移值序列可以为多个方向(左下，左上，右上，右下)组成的偏移值至序列[2，-2，-2，2]、[-2，-2，2，2]等。所述获得的样本图像数据为多颜色通道的图像数据，可以为RGB颜色通道、HSV颜色通道等，其中BGR颜色通道分别为蓝色(B)，绿色(G)和红色(R)，HSV颜色通道分别为Hue(色调、色相)，Saturation(饱和度、色彩纯净度)，Value(明度)。获取所述样本图像数据中每个像素点对应的多颜色通道，通过所述偏移值序列对所述样本图像数据中每个像素点对应的多颜色通道，然后，基于所述偏移值序列对所述样本图像数据中每个像素点对应的多颜色通道进行偏移处理，得到重影增强的样本图像数据，将所述重影增强的样本图像数据用于表征所述样本图像数据的运动重影特征。

在本发明可选地一实施例中，所述对样本图像数据进行模糊增强处理是通过随机模糊函数对所述重影增强的样本图像数据进行随机模糊处理，得到模糊增强的样本图像数据，所述模糊增强的样本图像数据用于表征所述样本图像数据的运动模糊特征。

在本发明可选地一实施例中，所述对样本图像数据进行遮挡增强处理是通过对遮挡函数随机选择，然后基于随机选择的遮挡函数对所述模糊增强的样本图像数据进行遮挡增强，所述遮挡函数至少包括中值滤波函数、运动模糊函数、内核模糊函数等，在进行遮挡增强处理时，通过随机选择所述遮挡函数中的一种对所述模糊增强的样本图像数据进行遮挡增强，得到遮挡增强的样本图像数据，所述遮挡增强的样本图像数据用于表征所述样本图像数据的遮挡部分的重建能力。

在本发明可选地一实施例中，所述对样本图像数据进行明暗增强处理是通过随机明暗函数对所述遮挡增强的样本图像数据进行亮度和对比度的增强，通过随机明暗函数在预设的亮度参数范围和对比度参数范围内改变所述遮挡增强的样本图像数据的亮度参数和对比度参数，得到明暗增强的样本图像数据，所述明暗增强的样本图像数据用于表征所述样本图像数据不同光线下的采集状态。

在本发明可选地一实施例中，对所述样本图像数据进行所述阴影增强处理，首先获取阴影图像，所述阴影图像包含任意形状的阴影，所述任意形状的阴影是通过随机生成函数生成的，所述随时生成函数为所述随机增强函数中的一种；对所述样本图像数据是顺次进行的多种图像增强处理，将进行了明暗增强处理的样本图像数据作为待处理图像数据进行阴影增强，获取待处理图像数据，并对所述待处理图像数据进行反向操作，得到第一模糊图，所述反向操作是指将所述待处理图像数据作为像素值只有0和1的二值图进行处理，在所述待处理图像数据中像素值对应为1时经过反向操作处理将像素值处理为0，子啊所述待处理图像数据中像素值对应为0时经过反向操作处理将像素值处理为1，经过反向操作后的所述待处理图像数据作为第一模糊图，所述第一模糊图是与待处理图像数据中的目标完全相反的图像数据；然后，将所述第一模糊图和所述阴影图像进行相与操作，得到包含所述阴影图像的第二模糊图，所述相与操作是指在所述第一模糊图和所述阴影图像中像素值对应为1时进行相与操作得到的结果为1，在像素值对应为0时，不进行操作，进行相与操作之后，可以得到包含所述阴影图像的第一模糊图作为第二模糊图；由于所述第一模糊图是与待处理图像数据中的目标完全相反的图像数据，需要对所述第二模糊图进行反向还原操作，得到包含阴影图像的样本图像数据，对所述第二模糊图进行反向还原操作，在像素值对应为1时经过反向还原操作处理为0，在像素值对应为0时经过反向还原操作处理为1，得到阴影增强的样本图像数据，将所述阴影增强的样本图像数据作为所述增强训练集。

示例性地，本发明实施例中的增强数据集按以下方式获取：重影增强处理：获取所述样本图像数据中的所有像素点，通过随机偏移值函数生成包含多个方向的偏移值序列，然后，在所述每个像素点在三个颜色通道(B、G、R)上左下，左上，右上，右下四个偏移值序列的和，然后对所述三个颜色通道的偏移值求解得到平均值，即可得到具有运动重影的图A；模糊增强处理：采用albumentations(数据增强库的一种)中的高斯卷积核模糊(GaussNoise)作为随机模糊函数，其中，GaussNoise的参数值为噪声的方差范围(var_limit)设置为(2.0，50)，噪声的平均值mean设置为50，应用变换的概率p设置为0.5，经过所述高斯卷积核模糊进行随机模糊处理得到图B；遮挡增强处理：使用albumentations中的OneOf(数据增强中的一种，通过随机选择任意一种增强方式进行遮挡增强处理)，其中，参数值设置如下：中值滤波函数(albumentations.MedianBlur)中的模糊值范围(blur_limit)设置为3，应用变换的概率p设置为0.3，随机大小的内核将运动模糊应用于输入图像(albumentation s.MotionBlur)中的模糊值范围(blur_limit)设置为3，应用变换的概率p设置为0.3，随机大小的内核模糊函数(albument ations.Blur)中的模糊值范围(blur_limit)设置为3，应用变换的概率p设置为0.3，albumentations中的锐化增强(Sharpen)应用变换的概率p设置为0.3，应用变换的概率p设置为1，得到图C；明暗增强处理：使用albumentations中的随机明暗函数(RandomBrightnessContrast)，其中，亮度的参数范围(brightness_limit)设置为0.2，对比度的参数范围(contrast_limit)设置为0.2，应用变换的概率p设置为0.3，得到图D；阴影增强处理：首先对图D的像素值按位反向处理(cv2.bitwise_not(图D)(bitwise_not为OpenCV库中的按位求反函数))，得到模糊图(图E)，然后对图E进行相与操作(cv2.bitwise_and(add_smu，图E)，bitwise_and为OpenCV库中的图像位与运算函数，添加含有阴影图像)得到添加了阴影的图F，最后按位反向还原(cv2.bitwise_not(图F))已经添加了阴影的图G。将顺次经过重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理的图像增强处理的图G作为增强数据集中的增强图像数据。

具体实施步骤130时，通过所述第一位置信息中的第一个关键点坐标和距离函数，计算得到第三位置信息，首先以任一所述关键点坐标为坐标原点，建立关键点坐标，在所述关键点坐标中，通过所述距离函数获取所述目标图像数据在第一方向的第一距离值和第二方向的第二距离值，所述距离函数优选为最大值函数(max函数)，所述第一距离值和所述第二距离值分别为所述目标图像数据在所述第一方向和所述第二方向的任意所述第一关键点坐标之间的距离的最大值，其中，所述第一方向优选为所述目标图像数据的宽，所述第二方向为所述目标图像数据的高，然后通过所述第一距离值和所述第二距离值，获取在所述关键点坐标系下的第三关键点坐标，将所述第三关键点坐标以及所述坐标原点的坐标作为所述第三位置信息，所述第三位置信息用于表征不同方向的所述第一关键点坐标之间的距离信息。然后基于所述第一位置信息和所述第三位置信息，对所述第二目标图像数据进行多个方向的矫正变换，得到所述第三目标图像数据，首先将所述第一位置信息和所述第三位置信息输入至变换矩阵函数，输出所述第一位置信息和所述第三位置信息对应的变换矩阵，然后基于所述变换矩阵，采用仿射变换函数对所述第二目标图像数据的进行矫正变换处理，得到所述第三目标图像数据。

示例性地，在得到用于超分辨重建的增强数据集后，将所有目标图像数据P1输入到SRgan模型中输出高分辨的图片P2，P2的位置信息为(x2，y2，w2，h2)；以第一关键点F1为坐标原点建立关键点坐标，通过目标图像数据P1的第一关键点F1、F2、F3、F4以及距离函数(max函数)计算出x坐标之间的最大距离(maxWidth，最大宽值)和y坐标之间的最大距离(maxHeight，最大高值)，生成新的位置信息(第一关键点F1、F2、F3、F4对应的新的坐标[0，0]，[maxWidth-1，0]，[maxWidth-1，maxHeight-1]，[0，maxHeight-1])，将新的坐标点和关键点F1(x1，y1)，F2(x2，y2)，F3(x3，y3)，F4(x4，y4)输入到cv2.getPersp ectiveTransform()(getPerspectiveTransform是OpenCV库中的变换矩阵函数)函数中形成变换矩阵M，然后通过cv2.warpPerspective()(warpPerspective是OpenCV库中的放射变换函数)对第二目标图像数据对应矩阵M进行透视变化，生成第三目标图像数据和第三位置信息(F'1、F'2、F'3、F'4)。

具体实施步骤140时，将去模糊重建并进行方向矫正后的第三目标图像数据输入至目标识别模型中进行目标识别，所述目标识别模型可以为LPRnet模型，LPRnet模型为一种目标识别算法，通过所述目标识别模型得到所述目标图像数据中的字符串信息。

示例性地，当所述目标图像数据为运动装置表面的车牌图像数据时，首先获取所述车牌图像数据的位置信息，基于所述车牌图像数据的位置信息获取所述第一车牌图像数据，然后将所述第一车牌图像数据输入至生成模型中，去模糊重建得到第二车牌图像数据，然后基于所述第一车牌图像数据的位置信息，对所述第二车牌图像数据进行方向矫正变换，得到矫正变换后的第三车牌图像数据，然后将所述第三车牌图像数据输入至目标识别模型，得到识别出来的车牌字符串为皖AD45889。根据《机动车号牌图像自动识别技术规范(GA/T833—2016)》的要求，日间号牌号码识别准确率应不小于95％，夜间号牌号码识别准确率应不小于90％，通常运动装置表面目标的精度要求远远超过基准线才能满足实际需求。所以高识别率、高稳定性是软件、硬件层面共同突破的要点，才能达到实际的应用需求。通过本发明的目标识别方法能提高所述车牌的识别准确率，达到实际的应用需求。

本发明实施例提供一种目标识别方法，通过获取第一目标图像数据和第一位置信息；将所述第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据；将所述第三目标图像数据输入目标识别模型，得到所述目标图像数据中的字符串信息；其中，所述增强数据集按照如下方式获取：获取样本训练集，所述样本训练集包括至少一个样本图像数据；对所述样本图像数据顺次进行多种图像增强处理，得到所述增强数据集，每种所述图像增强处理通过随机增强函数进行随机增强，所述多种增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理。通过增强训练数据对所述生成模型进行训练，得到的生成模型可以将获取的模糊图像通过去模糊重建为高分辨率的图像数据，然后通过对所述去模糊重建的图像数据会进行方向矫正得到图像数据进行目标识别，能大大提高目标识别方法在各种条件下的识别精度，广泛应用于不同运动装置表面目标的识别环境，攻破运动装置表面较小目标识别受空间中运动、光线等的极大影响，同时可以解决在运动复杂环境对图像采集设备的苛刻要求，使目标识别方法打破对图像采集设别的硬件局限性，达到对运动装置表面目标的识别要求。

基于上述相同的发明构思，本发明实施例还提供一种目标识别装置，参阅图4，图4为本发明实施例提供的一种目标识别装置的架构图，所述装置包括：

获取模块410，用于获取第一目标图像数据和第一位置信息；

生成模块420，用于将所述第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；

矫正模块430，用于基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据；

识别模块440，用于将所述第三目标图像数据输入目标识别模型，得到所述目标图像数据中的字符串信息。

其中，所述生成模块包括：

获取子模块，用于获取样本训练集，所述样本训练集包括至少一个样本图像数据；

增强子模块，用于对所述样本图像数据顺次进行多种图像增强处理，得到所述增强数据集，每种所述图像增强处理通过随机增强函数进行随机增强，所述多种增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理。

其中，所述获取模块包括：

图像数据获取子模块，用于获取图像数据，所述图像数据至少包括目标；

第一位置信息获取子模块，用于将所述图像数据输入至目标位置检测模型中，输出所述第一位置信息，所述第一位置信息包括所述目标的第一目标位置坐标和第一关键点坐标；

目标图像数据获取子模块，用于基于所述第一位置信息对所述图像数据中的所述目标进行裁剪，得到所述第一目标图像数据。

其中，所述增强子模块包括：

偏移值生成单元，用于基于随机偏移值函数，生成多个方向的偏移值，其中，所述偏移值为所述随机偏移值函数在预设范围内随机生成的；

偏移值序列获取单元，用于将多个方向的所述偏移值进行组合，得到包含多个方向的偏移值序列；

颜色通道获取单元，用于获取所述样本图像数据中每个像素点对应的多颜色通道；

偏移处理单元，用于基于所述偏移值序列对所述每个像素点的多颜色通道进行偏移处理，得到重影增强的样本图像数据，所述重影增强的样本图像数据用于表征所述样本图像数据的运动重影特征。

其中，所述增强子模块还包括：

阴影图像获取单元，用于获取包含任意形状阴影的阴影图像；

待处理图像数据获取单元，用于获取待处理图像数据，所述待处理图像数据为明暗增强的样本图像数据；

第一模糊图获取单元，用于对所述待处理图像数据进行反向操作，得到第一模糊图；

第二模糊图获取单元，用于将所述第一模糊图和所述阴影图像进行相与操作，得到包含所述阴影图像的第二模糊图；

阴影增强单元，用于对所述第二模糊图进行反向还原操作，得到阴影增强的样本图像数据作为所述增强训练集。

其中，所述矫正模块包括：

第三位置信息获取子模块，用于基于所述第一位置信息中的第一关键点坐标和距离函数，得到第三位置信息，所述第三位置信息用于表征不同方向的所述第一关键点坐标之间的距离信息；

矫正变换子模块，用于基于所述第一位置信息和所述第三位置信息，对所述第二目标图像数据进行多个方向的矫正变换，得到所述第三目标图像数据。

其中，所述第三位置信息获取子模块包括：

关键点坐标系建立单元，用于以任一所述第一关键点坐标为坐标原点，建立关键点坐标系；

距离值获取单元，用于在所述关键点坐标系内，通过所述距离函数获取所述目标图像数据在第一方向的第一距离值和在第二方向的第二距离值，所述第一距离值和所述第二距离值分别为所述目标图像数据在所述第一方向和所述第二方向的任意所述第一关键点坐标之间的距离的最大值；

第三位置信息获取单元，用于基于所述第一距离值和所述第二距离值，获取在所述关键点坐标系下的第三关键点坐标，将所述第三关键点坐标以及所述坐标原点的坐标作为所述第三位置信息。

其中，所述矫正变换子模块包括：

变换矩阵获取单元，用于将所述第一位置信息和所述第三位置信息输入至变换矩阵函数，输出所述第一位置信息和所述第三位置信息对应的变换矩阵；

矫正变换单元，用于基于所述变换矩阵，采用仿射变换函数对所述第二目标图像数据的进行矫正变换处理，得到所述第三目标图像数据。

基于同一发明构思，本发明实施例公开了一种电子设备，图5示出了本发明实施例公开的一种电子设备示意图，如图5所示，电子设备100包括：存储器110和处理器120，所述电子设备的存储器不少于12G，处理器主频不低于2.4GHz，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，以实现本发明实施例公开的一种目标识别方法。

基于同一发明构思，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现本发明实施例公开的一种目标识别方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种目标识别方法、装置、电子设备及其存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种目标识别方法，其特征在于，所述方法包括：

获取第一目标图像数据和第一位置信息；

将所述第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；

基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据；

将所述第三目标图像数据输入目标识别模型，得到所述目标图像数据中的字符串信息；

其中，所述增强数据集按照如下方式获取：

获取样本训练集，所述样本训练集包括至少一个样本图像数据；

对所述样本图像数据顺次进行多种图像增强处理，得到所述增强数据集，每种所述图像增强处理通过随机增强函数进行随机增强，所述多种增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理。

2.根据权利要求1所述的目标识别方法，其特征在于，所述获取第一目标图像数据和第一位置信息，包括：

获取图像数据，所述图像数据至少包括目标；

将所述图像数据输入至目标位置检测模型中，输出所述第一位置信息，所述第一位置信息包括所述目标的第一目标位置坐标和第一关键点坐标；

基于所述第一位置信息对所述图像数据中的所述目标进行裁剪，得到所述第一目标图像数据。

3.根据权利要求1所述的目标识别方法，其特征在于，所述样本图像数据的颜色通道为多颜色通道，对所述样本图像数据进行所述重影增强处理，包括：

基于随机偏移值函数，生成多个方向的偏移值，其中，所述偏移值为所述随机偏移值函数在预设范围内随机生成的；

将多个方向的所述偏移值进行组合，得到包含多个方向的偏移值序列；

获取所述样本图像数据中每个像素点对应的多颜色通道；

基于所述偏移值序列对所述每个像素点的多颜色通道进行偏移处理，得到重影增强的样本图像数据，所述重影增强的样本图像数据用于表征所述样本图像数据的运动重影特征。

4.根据权利要求1所述的目标识别方法，其特征在于，对所述样本图像数据进行所述阴影增强处理，包括：

获取包含任意形状阴影的阴影图像；

获取待处理图像数据，所述待处理图像数据为明暗增强的样本图像数据；

对所述待处理图像数据进行反向操作，得到第一模糊图；

将所述第一模糊图和所述阴影图像进行相与操作，得到包含所述阴影图像的第二模糊图；

对所述第二模糊图进行反向还原操作，得到阴影增强的样本图像数据作为所述增强训练集。

5.根据权利要求1所述的目标识别方法，其特征在于，所述基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据，包括：

基于所述第一位置信息中的第一关键点坐标和距离函数，得到第三位置信息，所述第三位置信息用于表征不同方向的所述第一关键点坐标之间的距离信息；

基于所述第一位置信息和所述第三位置信息，对所述第二目标图像数据进行多个方向的矫正变换，得到所述第三目标图像数据。

6.根据权利要求5所述的目标识别方法，其特征在于，所述基于所述第一位置信息中的第一关键点坐标和距离函数，得到第三位置信息，包括：

以任一所述第一关键点坐标为坐标原点，建立关键点坐标系；

在所述关键点坐标系内，通过所述距离函数获取所述目标图像数据在第一方向的第一距离值和在第二方向的第二距离值，所述第一距离值和所述第二距离值分别为所述目标图像数据在所述第一方向和所述第二方向的任意所述第一关键点坐标之间的距离的最大值；

基于所述第一距离值和所述第二距离值，获取在所述关键点坐标系下的第三关键点坐标，将所述第三关键点坐标以及所述坐标原点的坐标作为所述第三位置信息。

7.根据权利要求5所述的目标识别方法，其特征在于，所述基于所述第一位置信息和所述第三位置信息，对所述第二目标图像数据进行多个方向的矫正变换，得到第三目标图像数据，包括：

将所述第一位置信息和所述第三位置信息输入至变换矩阵函数，输出所述第一位置信息和所述第三位置信息对应的变换矩阵；

基于所述变换矩阵，采用仿射变换函数对所述第二目标图像数据的进行矫正变换处理，得到所述第三目标图像数据。

8.一种目标识别装置，其特征在于，所述装置包括：

获取模块，用于获取第一目标图像数据和第一位置信息；

生成模块，用于将所述第一目标图像数据输入至生成模型中，输出第二目标图像数据，所述生成模型是通过增强数据集进行训练得到的；

矫正模块，用于基于所述第一位置信息，对所述第二目标图像数据进行方向矫正变换，得到第三目标图像数据；

识别模块，用于将所述第三目标图像数据输入目标识别模型，得到所述目标图像数据中的字符串信息；

其中，所述生成模块包括：

获取子模块，用于获取样本训练集，所述样本训练集包括至少一个样本图像数据；

增强子模块，用于对所述样本图像数据顺次进行多种图像增强处理，得到所述增强数据集，每种所述图像增强处理通过随机增强函数进行随机增强，所述多种增强处理包括重影增强处理、模糊增强处理、遮挡增强处理、明暗增强处理、阴影增强处理。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的目标识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述的目标识别方法。