CN111967529A - 识别方法、装置、设备及系统 - Google Patents

Abstract

本申请实施例提供一种识别方法、装置、设备及系统，该方法包括：获取第一图像，所述第一图像中包括待识别的目标对象，对第一图像和至少一个第二图像进行识别处理，得到目标对象的识别结果，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。上述过程中，由于识别装置可以根据第一图像模拟生成第二图像，并对第一图像和第二图像进行识别处理得到目标对象的识别结果，实现了在不需要降低工作效率的前提下，增加目标对象的识别机会，因此，能够提高目标对象的识别率，并提高目标对象识别结果的准确性。

Description

识别方法、装置、设备及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种识别方法、装置、设备及系统。

背景技术

图像识别是指利用计算机对图像进行处理、分析和理解，以识别出图像中的对象或者信息。目前图像识别有着广泛的应用，包括但不限于：人脸识别、车牌识别、识别码识别等。

实际应用中，针对待识别的目标对象拍摄得到单帧图像，利用图像识别技术对该单帧图像进行识别，从而得到目标对象的识别结果。

然而，上述识别方式中，受各种因素影响，对该单帧图像进行识别可能无法得到识别结果。

发明内容

本申请实施例提供一种识别方法、装置、设备及系统，用以提高目标对象识别的识别率。

第一方面，本申请实施例提供一种识别方法，包括：

获取第一图像，所述第一图像包括待识别的目标对象；

对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；其中，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。

一种可能的实现方式中，所述第二图像满足下述条件中的至少一个：

所述目标对象在所述第二图像中的位置与在所述第一图像中的位置不同；

所述第二图像与所述第一图像的亮度不同；

所述第二图像中的所述目标对象与所述第一图像中的所述目标对象之间存在空间变换关系。

一种可能的实现方式中，对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果，包括：

对所述第一图像进行识别处理；

若对所述第一图像进行识别处理的结果为识别失败，则根据所述第一图像，生成所述至少一个第二图像；

对所述至少一个第二图像进行识别处理，得到所述目标对象的识别结果。

一种可能的实现方式中，根据所述第一图像，生成所述至少一个第二图像，包括：

将所述第一图像输入已训练的生成模型中，由所述生成模型根据所述第一图像生成所述至少一个第二图像；

其中，所述生成模型是以所述第一图像为输入，以能够识别成功的图像为期望输出的模型；所述生成模型是通过对多组训练样本进行训练得到的，所述生成模型生成的各第二图像中目标对象被识别成功的概率大于所述第一图像中目标对象被识别成功的概率；当所述生成模型生成多个第二图像时，所述多个第二图像中目标对象被识别成功的概率按照所述多个第二图像的生成顺序逐渐升高。

一种可能的实现方式中，所述生成模型包括下述网络中的至少一种：生成对抗式网络、光流估计网络、空间变换网络。

一种可能的实现方式中，所述生成模型是采用如下训练方法得到的：

获取多组训练样本，每组训练样本包括第一样本图像和第二样本图像，其中，每组训练样本采用如下方式获取：对样本对象进行多次拍摄得到多个样本图像，对所述多个样本图像进行识别处理，将识别结果为失败的样本图像确定为所述第一样本图像，将识别结果为成功的样本图像确定为所述第二样本图像；

将所述第一样本图像作为初始模型的输入，将所述第二样本图像作为所述初始模型的期望输出，采用所述多组训练样本对所述初始模型进行训练，得到所述生成模型；

其中，所述初始模型包括生成单元和判决单元，所述训练过程包括：将所述第一样本图像输入所述生成单元，由所述生成单元根据所述第一样本图像生成第三图像；将所述第二样本图像和所述第三图像输入所述判决单元，所述判决单元用于，根据所述生成单元每次生成的第三图像与所述第二样本图像之间的相似程度确定所述第三图像为所述第二样本图像的模拟图像或失真图像，直到所述判决单元根据所述相似程度判断所述第三图像为所述第二样本图像的模拟图像时完成训练。

一种可能的实现方式中，对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果，包括：

获取识别控制指令，所述识别控制指令用于指示识别模式为单帧识别模式或者多帧识别模式；

在所述识别模式为所述多帧识别模式时，对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；和/或，

在所述识别模式为所述单帧识别模式时，对所述第一图像进行识别处理，并在识别处理的结果为识别失败时，将所述识别模式切换为所述多帧识别模式。

第二方面，本申请实施例提供一种识别装置，包括：

获取模块，用于获取第一图像，所述第一图像包括待识别的目标对象；

处理模块，用于对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；其中，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。

一种可能的实现方式中，所述第二图像满足下述条件中的至少一个：

所述目标对象在所述第二图像中的位置与在所述第一图像中的位置不同；

所述第二图像与所述第一图像的亮度不同；

所述第二图像中的所述目标对象与所述第一图像中的所述目标对象之间存在空间变换关系。

一种可能的实现方式中，所述处理模块具体用于：

对所述第一图像进行识别处理；

若对所述第一图像进行识别处理的结果为识别失败，则根据所述第一图像，生成所述至少一个第二图像；

对所述至少一个第二图像进行识别处理，得到所述目标对象的识别结果。

一种可能的实现方式中，所述处理模块具体用于：

将所述第一图像输入已训练的生成模型中，由所述生成模型根据所述第一图像生成所述至少一个第二图像；

其中，所述生成模型是以所述第一图像为输入，以能够识别成功的图像为期望输出的模型；所述生成模型是通过对多组训练样本进行训练得到的，所述生成模型生成的各第二图像中目标对象被识别成功的概率大于所述第一图像中目标对象被识别成功的概率；当所述生成模型生成多个第二图像时，所述多个第二图像中目标对象被识别成功的概率按照所述多个第二图像的生成顺序逐渐升高。

一种可能的实现方式中，所述生成模型包括下述网络中的至少一种：生成对抗式网络、光流估计网络、空间变换网络。

一种可能的实现方式中，所述生成模型是采用如下训练方法得到的：

获取多组训练样本，每组训练样本包括第一样本图像和第二样本图像，其中，每组训练样本采用如下方式获取：对样本对象进行多次拍摄得到多个样本图像，对所述多个样本图像进行识别处理，将识别结果为失败的样本图像确定为所述第一样本图像，将识别结果为成功的样本图像确定为所述第二样本图像；

将所述第一样本图像作为初始模型的输入，将所述第二样本图像作为所述初始模型的期望输出，采用所述多组训练样本对所述初始模型进行训练，得到所述生成模型；

其中，所述初始模型包括生成单元和判决单元，所述训练过程包括：将所述第一样本图像输入所述生成单元，由所述生成单元根据所述第一样本图像生成第三图像；将所述第二样本图像和所述第三图像输入所述判决单元，所述判决单元用于，根据所述生成单元每次生成的第三图像与所述第二样本图像之间的相似程度确定所述第三图像为所述第二样本图像的模拟图像或失真图像，直到所述判决单元根据所述相似程度判断所述第三图像为所述第二样本图像的模拟图像时完成训练。

一种可能的实现方式中，所述处理模块具体用于：

获取识别控制指令，所述识别控制指令用于指示识别模式为单帧识别模式或者多帧识别模式；

在所述识别模式为所述多帧识别模式时，对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；和/或，

在所述识别模式为所述单帧识别模式时，对所述第一图像进行识别处理，并在识别处理的结果为识别失败时，将所述识别模式切换为所述多帧识别模式。

第三方面，本申请实施例提供一种识别设备，包括：存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序执行如第一方面任一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。

第五方面，本申请实施例提供一种识别系统，包括：拍摄装置和识别装置；

所述拍摄装置用于对所述目标对象进行拍摄得到所述第一图像，并将所述第一图像提供给所述识别装置；

所述识别装置用于执行如第一方面任一项所述的识别方法。

一种可能的实现方式中，所述拍摄装置为工业相机，所述识别系统还包括：按照设定速率传输的传送带，以及位于所述传送带上的被传输对象；其中，所述被传输对象上设置有所述目标对象。

本申请实施例提供的识别方法、装置、设备及系统，该方法包括：获取第一图像，所述第一图像中包括待识别的目标对象，对第一图像和至少一个第二图像进行识别处理，得到目标对象的识别结果，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。上述过程中，由于识别装置可以根据第一图像模拟生成第二图像，并对第一图像和第二图像进行识别处理得到目标对象的识别结果，实现了在不需要降低工作效率的前提下，增加了目标对象的识别机会，因此，能够提高目标对象的识别率，并提高目标对象识别结果的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的识别系统的架构示意图；

图2为本申请实施例适用的一种可能的应用场景的示意图；

图3为本申请一个实施例提供的识别方法的流程示意图；

图4A为本申请实施例提供的一组图像示意图；

图4B为本申请实施例提供的另一组图像示意图；

图4C为本申请实施例提供的再一组图像示意图；

图4D为本申请实施例提供的又一组图像示意图；

图5为本申请另一个实施例提供的识别方法的流程示意图；

图6为本申请实施例提供的对图像进行识别处理的过程示意图；

图7为本申请实施例提供的模拟生成第二图像的过程示意图；

图8为本申请实施例提供的生成模型的训练方法的流程示意图；

图9为本申请实施例提供的生成模型的训练过程的示意图；

图10为本申请实施例提供的识别装置的结构示意图；

图11为本申请实施例提供的识别设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先结合图1和图2对本申请实施例可能适用的系统架构以及应用场景进行描述。

图1为本申请实施例提供的识别系统的架构示意图。如图1所示，本实施例的识别系统100，包括：识别装置10和拍摄装置20。拍摄装置20用于对待识别的目标对象进行拍摄，得到包括目标对象的图像。识别装置10用于对该图像进行识别，得到目标对象的识别结果。

其中，拍摄装置20可以是具有拍摄功能的装置，包括但不限于：摄像头、摄像机、抓拍机、人脸识别相机、读码相机、车载相机、全景细节相机、带有抓拍和图形码检测和识别功能的工业相机等。识别装置10可以是具有图像处理能力的装置。一些场景中，拍摄装置20和识别装置10可以集成在一个电子设备中。另一些场景中，拍摄装置20和识别装置10可以分别位于不同的电子设备中。拍摄装置20和识别装置10通信连接，拍摄装置20可以将拍摄得到的图像发送给识别装置10，以进行识别。可选的，识别装置10还可以具有显示屏，用于对识别结果进行显示。

本实施例的识别系统可应用于多种应用场景，在不同的应用场景中，对不同的目标对象进行识别。一些示例中，识别系统还可用于对识别码进行识别。识别码包括但不限于：条形码、二维码等。

例如，在一些可能的实施方式中，本发明中的识别系统可以是物流智能分拣应用中的智能识别系统，抓拍装置可以是多个，比如五相机系统，六相机系统等。该识别系统100还可以包括：按照设定速率传输的传送带，以及位于传送带上的被传输对象。示例性的，被传输对象可以为商品、包裹、或者其他物品等。被传输对象上设置有待识别的目标对象，例如，当被传输对象为包裹时，目标对象可以为包裹上的二维码、条形码等标签。当包裹在传送带上被传输时，拍摄装置20可以对包裹上的标签进行图像采集，识别装置10对采集到的图像中标签上的条形码或其他类型码进行码区域检测和码识别处理，从而识别得到标签上图形码对应的识别信息。

另一些示例中，识别系统还可以用于对车牌进行识别，基于该识别系统以及采用的识别方法，可以构建新的包括车牌区域的识别图像，如图4C所示，构建车牌区域不同位置变化的新图，增加车牌的识别机会，以提高整个识别系统的识别率。

又一些示例中，识别系统还可以用于对人脸进行识别，基于该识别系统以及采用的识别方法，可以构建新的识别图像，构建不同表情的人脸新图，如图4D所示，增加人脸识别的机会，以提高整个识别系统的识别率、稳定性，适应场景中的复杂情况。

下面以待识别的目标对象为识别码为例，对本实施例可能的应用场景进行举例说明。应理解，当应用于车牌识别、人脸识别等场景时，其实现方式是类似的，本实施例不作赘述。

图2为本申请实施例适用的一种可能的应用场景的示意图。图2示例的是对包裹上的识别码进行识别的场景。如图2所示，包裹30位于传送带50上。包裹30上贴有识别码40。拍摄装置20架设在传送带50的上方，拍摄装置20可以对包裹30上的识别码40进行图像采集。拍摄装置20可以将采集到的图像传输给识别装置10，由识别装置10对图像进行识别处理，得到识别码的识别结果。

一些可能的场景中，例如，图2中的传送带50静止的情况下，或者传送带50运行速度较快的情况下，每个包裹30只被拍摄装置20抓拍到一次，即针对每个识别码40，拍摄装置20只能采集到一帧图像。本实施例中，将该场景称为单帧读码场景。

在单帧读码场景中，受到各种因素的影响，拍摄装置20拍摄到的图像中识别码的位置、角度等不同，导致识别装置10对该单帧图像进行识别可能无法识别得到识别结果，或者，得到的识别结果并不准确。从而，识别系统的识别率较低，并且识别结果的准确性无法保证。

另一些可能的场景中，为了提高识别率，可以将传送带50的运行速度调低，使得每个包裹30上的识别码40可以被抓拍到多帧(例如2～3帧)图像。本实施例中，将该场景称为多帧读码场景。

在多帧读码场景中，由于拍摄装置20可以采集到识别码40的多帧图像，使得识别装置10可以对多帧图像进行识别，得到识别码的识别结果。这样，相当于增加了每个识别码的识别机会，例如，每个识别码有2～3次识别机会。因此，能够提高识别码的识别率，并一定程度上提高识别结果的准确性。

然而，实际应用中，为了尽可能提高识别系统的工作效率，通常会尽可能地将传送带的速率调高，这样每秒处理的包裹个数可以更多。当传送带的速率较高时，相当于多帧读码场景又切换回单帧读码场景，每个识别码的识别机会又会减少，导致识别率降低。可见，多帧读码场景虽然可以一定程度上提高识别率，但是会导致工作效率的降低，从而无法应用于对工作效率具有较高要求的场景中。

为了解决上述技术问题，本申请实施例提供一种识别方法，在单帧读码场景，即，拍摄装置只能抓拍到每个识别码的单帧图像的情况下，拍摄装置将单帧图像提供给识别装置，识别装置可以在内部模拟出多帧读码场景。具体的，识别装置可以利用该单帧图像，模拟生成多帧图像，并对该单帧图像和生成的多帧图像进行识别处理，得到识别码的识别结果。这样，虽然识别系统工作在单帧读码场景中，但是可以达到多帧读码场景的识别效果。也就是说，在不降低工作效率的前提下，提高了识别率。

需要说明的是，本实施例的识别方法不仅可应用于单帧读码场景，也可以应用于多帧读码场景。当应用于多帧读码场景中时，相当于在原本采集到多帧图像的基础上，还模拟生成了多帧图像，进一步增加了识别码的识别机会，从而可以进一步提高识别率，并进一步提高识别结果的准确性。

进一步的，由于本实施例是在识别装置内部模拟出多帧图像，使得在不需要人工干预的情况下(例如，不需要人工降低传送带的速率，或者，不需要人工配合采集多帧图像)，即可显著提高识别系统的识别率。也就是说，既提升了识别系统的识别效果，又节省了人力成本。

需要说明的是，本实施例中在识别装置内部模拟生成多帧图像进行识别，其并不需要延缓传送带的速度，也不等同于延缓传送带的速度。因为现阶段基于深度学习的识别系统的兴起，其芯片资源对于深度学习算力的支持在不断增强。在识别装置的计算能力富余的情况下，可以实现在识别装置的内部模拟生成多帧图像，并且，同时支持外部传送带的高速运转。另外，即使识别装置采用传统的目标识别算法，由于处理平台大多支持多核处理器，因此也可以在不降低传送带速度的前提下，实现在识别装置内部模拟生成多帧图像并进行识别。

一些可能的实施方式中，参见图2，识别装置10上可以设置有模式切换按钮60。该模式切换按钮60可以用于对识别模式进行切换。其中，识别模式可以包括单帧识别模式和多帧识别模式。单帧识别模式是指采用现有方式对单帧图像进行识别，无需在识别装置内部模拟生成多帧图像。多帧识别模式是指采用本实施例的方式，即根据单张图像模拟生成多帧图像，并根据该单帧图像和多帧图像进行识别。

通过增加模式切换按钮，可以根据实际应用场景来对识别装置10的识别模式进行切换，从而增加应用场景的灵活性。例如，一些场景中，对于工作效率要求不高，则识别装置10可以工作在单帧识别模式下。另一些场景中，对于工作效率要求较高，则识别装置10可以工作在多帧识别模式下。还有一些场景中，在识别装置10工作在单帧识别模式的情况下，若识别装置10对当前图像识别失败，则还可以切换为多帧识别模式，以提高识别率。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图3为本申请一个实施例提供的识别方法的流程示意图。本实施例的方法可以由识别装置执行。如图3所示，本实施例的方法可以包括：

S301：获取第一图像，所述第一图像包括待识别的目标对象。

示例性的，结合图2所示的应用场景，拍摄装置对待识别的目标对象进行拍摄，得到第一图像。拍摄装置将第一图像提供给图像采集装置。相应的，图像采集装置从拍摄装置获取第一图像。

可选的，所述目标对象可以为下述中的任一：识别码、车牌、人脸等。

S302：对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；其中，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。

本实施例中，第二图像是根据第一图像生成的、包括目标对象的图像。第一图像和第二图像可以视为由拍摄装置对目标对象进行多次拍摄得到的多帧图像。也就是说，虽然拍摄装置只实际拍摄到了第一图像，但是识别装置却可以根据第一图像模拟生成第二图像，相当于模拟出拍摄装置拍摄得到多帧图像的场景。

本实施例中，根据第一图像模拟生成的第二图像的数量可以有一个或者多个。本实施例对于第二图像的数量不作限定。

现有技术中，识别装置从拍摄装置获取到第一图像后，对第一图像进行识别处理。由于受到各种拍摄因素的影响，有可能对第一图像进行识别无法得到识别结果。而本申请实施例中，识别装置不仅对第一图像进行识别处理，还会模拟生成第二图像，并对模拟生成的第二图像进行识别处理，这样，相当于增加了对目标对象的识别机会，能够提高对目标对象识别成功的概率。进一步的，由于目标对象的识别机会增多，与现有技术相比，本实施例还能提高目标对象的识别结果的准确性。

应理解，第二图像中所包括的目标对象的特征与第一图像中所包括的目标对象的特征有所不同，这样，才会从本质上增加目标对象的识别机会。

需要说明的是，本实施例中识别装置在根据第一图像模拟生成第二图像时，可以包括多种模拟方式，本实施例对此不作限定，只要模拟生成的第二图像中所包括的目标对象的特征与第一图像中所包括的目标对象的特征有所不同即可。

下面以目标对象为识别码为例，对模拟生成第二图像的几种可能的方式进行介绍。

一种可能的方式中，可以通过改变目标对象的位置来模拟生成第二图像，新生成的一帧或多帧图像中目标对象所在的位置发生变化。也就是说，第二图像满足如下条件：目标对象在第二图像中的位置与在第一图像中的位置不同。

图4A为本申请实施例提供的一组图像示意图。如图4A所示，左图为第一图像，右图为第二图像。图4A模拟的是多帧读码场景中采集到两帧图像，且两帧图像中识别码的位置不同的情况。参见图4A，包裹在第二图像中的位置与在第一图像中的位置不同，因此，通过对第二图像进行识别处理，能够增加一次对识别码进行识别的机会。

另一种可能的方式中，可以通过改变图像的亮度来模拟生成第二图像，新生成的一帧或多帧图像的亮度发生变化。也就是说，第二图像满足如下条件：第二图像与第一图像的亮度不同。

图4B为本申请实施例提供的另一组图像示意图。如图4B所示，左图为第一图像，右图为第二图像。图4B模拟的是在不同光照条件下采集到的两帧图像。参见图4B，第一图像中的识别码的亮度较暗，第二图像中的识别码的亮度较亮，这样，通过对第二图像进行识别处理，同样能够增加一次对识别码进行识别的机会。

又一种可能的方式中，可以通过对第一图像中的目标对象进行空间变换处理模拟生成第二图像。也就是说，第二图像满足如下条件：第二图像中的目标对象与第一图像中的目标对象之间存在空间变换关系。其中，空间变换包括但不限于：旋转、扭曲等，使得第二图像中的目标对象与第一图像中的目标对象的角度、方位、形状等不同。

继续参见图4B，图4B中第一图像和第二图像除了光照情况不同之外，第二图像中的识别码相比第一图像中的识别码还旋转了一定的角度。因此，在图4B中由于第二图像与第一图像中的目标对象之间存在空间变换关系，通过对第二图像进行识别处理，也能够增加一次对识别码进行识别的机会。

需要说明的是，上述几种模拟生成第二图像的方式仅为一些可能的示例，实际应用中，还可以存在其他的方式，例如：第二图像中目标对象与第一图像中的目标对象相比，增加了被遮挡区域；或者，第二图像与第一图像的尺寸大小不同；等。实际应用中，上述的各种可能的实施方式既可以单独使用，还可以结合使用。

另外，上述各实施方式是以目标对象为识别码为例进行示意的。当然，本实施例的方法还可以应用于其他的识别场景，例如：车牌识别、人脸识别等。当应用于车牌识别、人脸识别等场景时，根据第一图像模拟生成第二图像的方式是类似的，下面给出两个示例。

图4C为本申请实施例提供的再一组图像示意图。如图4C所示，左图为第一图像，右图为第二图像。图4C示例的是在车牌识别场景中，通过对第一图像中的车辆的位置进行改变，模拟生成第二图像。这样，通过对第二图像进行识别处理，能够增加对车牌进行识别的机会。

图4D为本申请实施例提供的又一组图像示意图。如图4D所示，左边第一幅图为第一图像，其余图像作为模拟生成的第二图像。图4D示例的是在人脸识别场景中，基于第一图像中的人脸表情，模拟生成具有不同表情的第二图像。这样，通过对第二图像进行识别处理，能够增加对人脸进行识别的机会。

本实施例中，对第一图像和至少一个第二图像进行识别处理，得到目标对象的识别结果，可以包括如下两种可能的实施方式。实际应用中，可以结合实际应用场景，选择不同的实施方式。

一种可能的实施方式中，可以先对第一图像进行识别处理，在对第一图像识别失败的情况下，根据第一图像生成至少一个第二图像。然后，对至少一个第二图像进行识别处理，得到目标对象的识别结果。该实施方式中，在对第一图像识别成功的情况下，可以不用模拟生成第二图像进行识别，只有在对第一图像识别失败的情况下，才模拟生成第二图像并进行识别，能够提高目标对象的识别效率。

另一种可能的实施方式中，获取到第一图像之后，先根据第一图像生成至少一个第二图像。然后，对第一图像和至少一个第二图像分别进行识别处理，并对得到的识别结果进行综合考虑，确定出最终的识别结果。示例性的，假设第二图像的数量为3个，则对第一图像和第二图像进行识别处理可以得到4个识别结果，若其中一个识别结果为A，两个识别结果为B，另外一个识别结果为未识别出，则可以将最终的识别结果确定为B。该实施方式中，通过根据第一图像生成第二图像，增加了目标对象的识别机会，从而可以根据多次识别结果确定最终的识别结果，提高了识别结果的准确性。

可选的，本实施例S302之前，还可以包括：获取识别控制指令，所述识别控制指令用于指示识别模式为单帧识别模式或者多帧识别模式。其中，单帧识别模式是指采用现有方式对第一图像进行识别，无需在识别装置内部模拟生成第二图像。多帧识别模式是指采用本实施例的方式，即根据第一图像模拟生成第二图像，并对第一图像和第二图像进行识别。

相应的，S302可以具体包括：在识别模式为多帧识别模式时，对第一图像和至少一个第二图像进行识别处理，得到目标对象的识别结果。在识别模式为单帧识别模式时，对第一图像进行识别处理，得到目标对象的识别结果。

示例性的，结合图2所示的应用场景，用户可以通过操作识别装置中的模式切换按钮，实现对识别模式的切换控制。这样，可以实现在工作效率要求不高的场景中，使识别装置工作在单帧识别模式下，而在工作效率要求较高的场景中，使识别装置工作在多帧识别模式下，从而增加应用场景的灵活性。一些实施方式中，在识别装置工作在单帧识别模式的情况下，若识别装置对第一图像识别失败，则可以切换为多帧识别模式，从而提高识别率。

本实施例提供的识别方法，包括：获取第一图像，所述第一图像中包括待识别的目标对象，对第一图像和至少一个第二图像进行识别处理，得到目标对象的识别结果，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。上述过程中，由于识别装置可以根据第一图像模拟生成第二图像，并对第一图像和第二图像进行识别处理得到目标对象的识别结果，实现了在不需要降低工作效率(即，不需要增加实际拍摄的图像数量)的前提下，增加了目标对象的识别机会，因此，能够提高目标对象的识别率，并提高目标对象识别结果的准确性。

在上述任一实施例的基础上，下面结合图5所示的实施例对本申请技术方案进行进一步细化描述。

图5为本申请另一个实施例提供的识别方法的流程示意图。如图5所示，本实施例的方法可以包括：

S501：获取第一图像，所述第一图像包括待识别的目标对象。

S502：对所述第一图像进行识别处理。

示例性的，识别装置中设置有识别单元，通过识别单元对第一图像进行识别处理。识别单元可以采用传统的识别算法，还可以采用基于深度学习的识别算法。

以采用深度学习的识别算法为例，图6为本申请实施例提供的对图像进行识别处理的过程示意图。如图6所示，识别单元中可以包括检测模型和识别模型。以第一图像为例，检测模型用于对第一图像进行目标检测得到目标对象的区域。例如，检测模型可以是神经网络模型，检测模型可以采用SSD(Single Shot MultiBox Detector，中文全称：单次多框检测器)、YOLO(You Only Look Once)等检测算法进行目标对象区域的定位。识别模型用于对目标对象的区域进行特征提取和分析识别，得到识别结果。识别模型可以是神经网络模型，例如，识别模型可以采用U-net等分割网络算法进行目标对象区域的目标识别。

本实施例中，若对第一图像进行识别处理的结果为识别成功，则执行S505：第一图像的识别结果作为目标对象的识别结果。若对第一图像进行识别处理的结果为识别失败，则继续执行后续的S503和S504。

S503：根据第一图像，生成至少一个第二图像。

具体的，将第一图像输入已训练的生成模型中，由所述生成模型根据第一图像生成至少一个第二图像。

本实施例中，根据第一图像模拟生成第二图像的过程是通过基于深度学习的生成模型来实现的。图7为本申请实施例提供的模拟生成第二图像的过程示意图。如图7所示，将第一图像输入生成模型中，生成模型输出至少一个第二图像。

其中，生成模型可以是通过对多组训练样本进行训练得到的，本实施例对于生成模型的训练过程不作限定。一种可能的训练方式可以参见图8所示实施例的详细描述。

本实施例中，生成模型是以第一图像为输入，以能够识别成功的图像为期望输出的模型。也就是说，生成模型用于根据识别失败的第一图像生成能够识别成功的第二图像。生成模型生成的各第二图像中目标对象被识别成功的概率大于第一图像中目标对象被识别成功的概率。当生成模型生成多个第二图像时，该多个第二图像中目标对象被识别成功的概率按照所述多个第二图像的生成顺序逐渐升高。

应理解，本实施例中的生成模型可以是非深度学习的图像生成模型，也可以采用多种基于深度学习的网络结构。下面仅以三种可能的网络结构为例进行描述。

一种可能的实施方式中，生成模型可以采用生成对抗式(GenerativeAdversarial Networks，GAN)网络。GAN网络中包括生成单元(Generator)和判决单元(Discrimator)。生成单元可以对输入的原始图像进行构造得到生成图像，判决单元可以对该生成图像和目标图像进行判决，以判断出该生成图像是否为目标图像。这样，判决单元的目的是识别出该生成图像不是目标图像，而生成单元的目的是生成与目标图像越来越接近的生成图像，使得判决单元无法进行判决。生成单元和判决单元形成一种动态博弈。最终，GAN网络可以生成与目标图像越来越接近的生成图像。因此，本实施例中利用GAN网络可以实现根据第一图像模拟生成第二图像。

另一种可能的实施方式中，生成模型中可以采用光流估计网络(FlowNet)。利用FlowNet可以构建出位置变化的图像。也就是说，利用FlowNet网络可以实现根据第一图像模拟生成目标对象的位置发生变化的第二图像。

又一种可能的实施方式中，生成模型中采用空间变换(Spatial TransformerNetwork，STN)网络。利用STN网络可以实现根据第一图像模拟生成出目标对象发生空间变换的第二图像。例如，第二图像与第一图像相比，其目标对象的形状、角度、方位等发生变化。

需要说明的是，除了上述几种网络结构，实际应用中还可以采用其他的网络结构。另外，生成模型中可以包括一种或者多种网络结构。

S504：对所述至少一个第二图像进行识别处理，得到所述目标对象的识别结果。

应理解，本实施例对第二图像进行识别处理的过程与对第一图像进行识别处理的过程是类似的，可将新生成的图像输入到识别模型进行目标识别，或者将新生成的图像输入到检测模型重新定位目标区域后在进行目标识别，检测和识别的内容参见前述实施例，此处不作赘述。

本实施例中，通过采用生成模型来根据第一图像模拟生成第二图像，保证了生成的第二图像的真实性，进而，通过对第二图像进行识别处理得到目标对象的识别结果，保证了识别结果的准确性。

下面结合图8描述生成模型的训练过程。图8为本申请实施例提供的生成模型的训练方法的流程示意图。如图8所示，生成模型的训练过程可以包括：

S801：获取多组训练样本，每组训练样本包括第一样本图像和第二样本图像。

本实施例可以采用有监督的训练过程。第一样本图像作为生成模型的输入数据，第二样本图像作为第一样本图像对应的标签。

一种可能的实施方式中，每组训练样本可以采用如下方式获取：

(1)对样本对象进行多次拍摄得到多个样本图像。

其中，该多次拍摄可以对应不同的拍摄参数。例如，针对处于运动状态的目标对象，可以在不同时刻对目标对象进行多次拍摄，这样得到的多个样本图像中目标对象的位置有所不同。又例如，在进行多次拍摄时，可以改变光照条件，使得拍摄得到的多个样本图像的亮度有所不同。又例如，在进行多次拍摄时，还可以改变拍摄角度，使得拍摄得到的多个样本图像中目标对象的角度、形状、方位等有所不同。

(2)对所述多个样本图像进行识别处理，将识别结果为失败的样本图像确定为所述第一样本图像，将识别结果为成功的样本图像确定为所述第二样本图像。

这样，针对某个样本对象，确定出第一样本图像和第二样本图像后，即可形成一组训练样本。

由于本申请实施例的应用场景中，希望在对第一图像进行识别的结果为失败的情况下，可以根据第一图像生成尽可能被识别成功的第二图像，因此，本实施例在构建训练样本数据时，可以对采集到的多个样本图像进行识别处理，将识别结果为失败的样本图像作为第一样本图像，将识别结果为成功的样本图像作为第二样本图像，这样，利用训练样本数据训练得到的生成模型，保证了生成的是能够被识别成功的第二图像，从而提高识别率。

S802：将所述第一样本图像作为初始模型的输入，将所述第二样本图像作为所述初始模型的期望输出，采用所述多组训练样本对所述初始模型进行训练，得到所述生成模型。

其中，一些示例中，训练结束条件可以是指生成模型收敛，例如，生成模型的输出结果与第二样本图像的相似度大于预设阈值，等。另一些示例中，训练结束条件还可以是指达到预设的迭代次数。

应理解，无论生成模型中采用何种网络结构，其训练过程都是类似的。下面以GAN网络结构为例，对本实施例中生成模型的训练过程进行示意。

图9为本申请实施例提供的生成模型的训练过程的示意图。如图9所示，以初始模型采用GAN网络为例，初始模型中包括生成单元和判决单元。将第一样本图像输入生成单元中，生成单元会根据第一样本图像生成第三图像。进一步的，第二样本图像和该第三图像被送入判决单元中，由判决单元根据第三图像与第二样本图像之间的相似程度确定该第三图像为第二样本图像的模拟图像或失真图像。其中，模拟图像可以理解为与第二样本图像足够相似的图像，失真图像可以理解为与第二样本图像不足够相似的图像。具体的，判决单元可以判决第三图像和第二样本图像之间的相似程度是否大于或者等于预设阈值，若相似程度大于或者等于预设阈值，则确定第三图像为第二样本图像的模拟图像；若相似程度小于预设阈值，则确定第三图像为第二样本图像的失真图像。在确定第三图像为失真图像的情况下，需要调整生成单元的参数，使得生成单元尽可能生成与第二样本图像相似的第三图像。不断重复上述过程，直至判决单元根据相似程度判断生成的第三图像为第二样本图像的模拟图像时完成训练。

本实施例中，由于第一样本图像和第二样本图像是通过对相同的样本对象进行多次拍摄得到的图像，通过采用对样本对象进行实际拍摄得到的样本图像对生成模型进行训练，能够保证训练后的生成模型输出的第二图像的真实性。进而，通过对第二图像进行识别处理，得到目标对象的识别结果，一方面提高了识别率，另一方面保证了识别结果的准确性。

图10为本申请实施例提供的识别装置的结构示意图。如图10所示，本实施例提供的识别装置10，可以包括：获取模块11和处理模块12。

其中，获取模块11，用于获取第一图像，所述第一图像包括待识别的目标对象；

处理模块12，用于对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；其中，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。

一种可能的实现方式中，所述第二图像满足下述条件中的至少一个：

所述目标对象在所述第二图像中的位置与在所述第一图像中的位置不同；

所述第二图像与所述第一图像的亮度不同；

所述第二图像中的所述目标对象与所述第一图像中的所述目标对象之间存在空间变换关系。

一种可能的实现方式中，所述处理模块12具体用于：

对所述第一图像进行识别处理；

若对所述第一图像进行识别处理的结果为识别失败，则根据所述第一图像，生成所述至少一个第二图像；

对所述至少一个第二图像进行识别处理，得到所述目标对象的识别结果。

一种可能的实现方式中，所述处理模块12具体用于：

将所述第一图像输入已训练的生成模型中，由所述生成模型根据所述第一图像生成所述至少一个第二图像；

其中，所述生成模型是以所述第一图像为输入，以能够识别成功的图像为期望输出的模型；所述生成模型是通过对多组训练样本进行训练得到的，所述生成模型生成的各第二图像中目标对象被识别成功的概率大于所述第一图像中目标对象被识别成功的概率；当所述生成模型生成多个第二图像时，所述多个第二图像中目标对象被识别成功的概率按照所述多个第二图像的生成顺序逐渐升高。

一种可能的实现方式中，所述生成模型包括下述网络中的至少一种：生成对抗式网络、光流估计网络、空间变换网络。

一种可能的实现方式中，所述生成模型是采用如下训练方法得到的：

获取多组训练样本，每组训练样本包括第一样本图像和第二样本图像，其中，每组训练样本采用如下方式获取：对样本对象进行多次拍摄得到多个样本图像，对所述多个样本图像进行识别处理，将识别结果为失败的样本图像确定为所述第一样本图像，将识别结果为成功的样本图像确定为所述第二样本图像；

将所述第一样本图像作为初始模型的输入，将所述第二样本图像作为所述初始模型的期望输出，采用所述多组训练样本对所述初始模型进行训练，得到所述生成模型；

其中，所述初始模型包括生成单元和判决单元，所述训练过程包括：将所述第一样本图像输入所述生成单元，由所述生成单元根据所述第一样本图像生成第三图像；将所述第二样本图像和所述第三图像输入所述判决单元，所述判决单元用于，根据所述生成单元每次生成的第三图像与所述第二样本图像之间的相似程度确定所述第三图像为所述第二样本图像的模拟图像或失真图像，直到所述判决单元根据所述相似程度判断所述第三图像为所述第二样本图像的模拟图像时完成训练。

一种可能的实现方式中，所述处理模块12具体用于：

获取识别控制指令，所述识别控制指令用于指示识别模式为单帧识别模式或者多帧识别模式；

在所述识别模式为所述多帧识别模式时，对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；和/或，

在所述识别模式为所述单帧识别模式时，对所述第一图像进行识别处理，并在识别处理的结果为识别失败时，将所述识别模式切换为所述多帧识别模式。

本实施例提供的识别装置，可用于执行上述任一方法实施例中的技术方案，其实现原理和技术效果类似，此处不作赘述。

图11为本申请实施例提供的识别设备的结构示意图。如图11所示，本实施例提供的识别设备80，包括：处理器81以及存储器82；其中，存储器82，用于存储计算机程序；处理器81，用于执行存储器存储的计算机程序，以实现上述实施例中的识别方法。具体可以参见前述方法实施例中的相关描述。可选地，存储器82既可以是独立的，也可以跟处理器81集成在一起。

当所述存储器82是独立于处理器81之外的器件时，所述识别设备80还可以包括：总线83，用于连接所述存储器82和处理器81。

本实施例提供的识别设备，可用于执行上述任一方法实施例中的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序用于实现如上任一方法实施例中的技术方案。

本申请实施例还提供一种芯片，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行上述任一方法实施例中的技术方案。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种识别方法，其特征在于，包括：

获取第一图像，所述第一图像包括待识别的目标对象；

对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；其中，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。

2.根据权利要求1所述的方法，其特征在于，所述第二图像满足下述条件中的至少一个：

所述目标对象在所述第二图像中的位置与在所述第一图像中的位置不同；

所述第二图像与所述第一图像的亮度不同；

所述第二图像中的所述目标对象与所述第一图像中的所述目标对象之间存在空间变换关系。

3.根据权利要求1或2所述的方法，其特征在于，对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果，包括：

对所述第一图像进行识别处理；

若对所述第一图像进行识别处理的结果为识别失败，则根据所述第一图像，生成所述至少一个第二图像；

对所述至少一个第二图像进行识别处理，得到所述目标对象的识别结果。

4.根据权利要求3所述的方法，其特征在于，根据所述第一图像，生成所述至少一个第二图像，包括：

将所述第一图像输入已训练的生成模型中，由所述生成模型根据所述第一图像生成所述至少一个第二图像；

其中，所述生成模型是以所述第一图像为输入，以能够识别成功的图像为期望输出的模型；所述生成模型是通过对多组训练样本进行训练得到的，所述生成模型生成的各第二图像中目标对象被识别成功的概率大于所述第一图像中目标对象被识别成功的概率；当所述生成模型生成多个第二图像时，所述多个第二图像中目标对象被识别成功的概率按照所述多个第二图像的生成顺序逐渐升高。

5.根据权利要求4所述的方法，其特征在于，所述生成模型包括下述网络中的至少一种：生成对抗式网络、光流估计网络、空间变换网络。

6.根据权利要求4或5所述的方法，其特征在于，所述生成模型是采用如下训练方法得到的：

获取多组训练样本，每组训练样本包括第一样本图像和第二样本图像，其中，每组训练样本采用如下方式获取：对样本对象进行多次拍摄得到多个样本图像，对所述多个样本图像进行识别处理，将识别结果为失败的样本图像确定为所述第一样本图像，将识别结果为成功的样本图像确定为所述第二样本图像；

将所述第一样本图像作为初始模型的输入，将所述第二样本图像作为所述初始模型的期望输出，采用所述多组训练样本对所述初始模型进行训练，得到所述生成模型；

其中，所述初始模型包括生成单元和判决单元，所述训练过程包括：将所述第一样本图像输入所述生成单元，由所述生成单元根据所述第一样本图像生成第三图像；将所述第二样本图像和所述第三图像输入所述判决单元，所述判决单元用于，根据所述生成单元每次生成的第三图像与所述第二样本图像之间的相似程度确定所述第三图像为所述第二样本图像的模拟图像或失真图像，直到所述判决单元根据所述相似程度判断所述第三图像为所述第二样本图像的模拟图像时完成训练。

7.根据权利要求1至6任一项所述的方法，其特征在于，对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果，包括：

获取识别控制指令，所述识别控制指令用于指示识别模式为单帧识别模式或者多帧识别模式；

在所述识别模式为所述多帧识别模式时，对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；和/或，

在所述识别模式为所述单帧识别模式时，对所述第一图像进行识别处理，并在识别处理的结果为识别失败时，将所述识别模式切换为所述多帧识别模式。

8.一种识别装置，其特征在于，包括：

获取模块，用于获取第一图像，所述第一图像包括待识别的目标对象；

处理模块，用于对所述第一图像和至少一个第二图像进行识别处理，得到所述目标对象的识别结果；其中，所述至少一个第二图像是根据所述第一图像生成的，所述至少一个第二图像中包括所述目标对象。

9.一种识别设备，其特征在于，包括：存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

11.一种识别系统，其特征在于，包括：拍摄装置和识别装置；

所述拍摄装置用于对所述目标对象进行拍摄得到所述第一图像，并将所述第一图像提供给所述识别装置；

所述识别装置用于执行如权利要求1至7任一项所述的识别方法。

12.根据权利要求11所述的系统，其特征在于，所述拍摄装置为工业相机，所述识别系统还包括：按照设定速率传输的传送带，以及位于所述传送带上的被传输对象；其中，所述被传输对象上设置有所述目标对象。

Images