CN109034266A - 一种目标图像检测方法、装置及系统 - Google Patents

Abstract

本发明公开了目标图像检测方法、装置及系统，方法包括：将待处理图像输入全卷积神经网络模型，使得全卷积神经网络模型对待处理图像进行识别以输出各个候选目标图像的候选位置信息；提取各个候选位置信息对应的候选目标图像；将各个候选目标图像放大以形成标准图像，记录各个标准图像对应的放大倍数；针对标准图像，将标准图像输入级联卷积神经网络模型，使得级联卷积神经网络模型对标准图像进行识别以输出可疑目标图像的当前位置信息及分类概率；根据可疑目标图像的当前位置信息及分类概率、各个标准图像所分别对应的放大倍数及各个候选目标图像的候选位置信息，确定目标图像的位置信息。本发明的技术方案可更为准确的确定目标图像的位置信息。

Description

一种目标图像检测方法、装置及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种目标图像检测方法、装置及系统。

背景技术

目前，业界通常采用全卷积神经网络对待处理图像进行识别，以实现确定待处理图像所携带的各个目标图像在该待处理图像上的位置信息。比如确定车牌区域图像、车灯区域图像或车窗区域图像在待处理图像上的位置信息，后续则可进一步根据目标图像在待处理图像上的位置信息实现对一辆或多辆汽车进行跟踪或其他业务。

全卷积神经网络对待处理图像进行识别时，具体需要提取待处理图像的特征信息(比如，车牌区域图像的边缘点、纹理、色彩等)，进而根据提取的特征信息确定各个目标图像在待处理图像上的位置信息；若一个目标图像的尺寸相对较小，全卷积神经网络则无法准确提取到与该目标图像相对应的特征信息，从而导致全卷积神经网络输出的对应于该目标图像的位置信息不准确，即导致全卷积神经网络输出的位置信息对应在待处理图像中的当前图像区域还包括除目标图像外的非目标图像区域。

因此，如何实现更为准确的确定出各个目标图像在待处理图像中的位置信息则成为亟待解决的问题。

发明内容

本发明提供一种目标图像检测方法、装置及系统，可更为准确的确定出待处理图像所携带的各个目标图像在该待处理图像中的位置信息。

第一方面，本发明提供了一种目标图像检测方法，包括：

将待处理图像输入至预先设置的全卷积神经网络模型，使得所述全卷积神经网络模型对所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

从所述待处理图像中提取各个所述候选位置信息所分别对应的所述候选目标图像；

将每一个所述候选目标图像均放大至设定尺寸以形成标准图像，并记录每一个所述标准图像所分别对应的放大倍数；

针对每一个所述标准图像，将所述标准图像输入至预先设置的级联卷积神经网络模型，使得所述级联卷积神经网络模型对所述标准图像进行识别，以输出所述标准图像所携带的可疑目标图像的当前位置信息及分类概率；

根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息。

优选地，

所述根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息，包括：

针对于每一个所述标准图像，当所述标准图像所携带的所述可疑目标图像的所述分类概率不小于预设阈值时，根据所述标准图像所对应的放大倍数以及所述标准图像所携带的所述可疑目标图像的当前位置信息，形成所述标准图像所携带的所述可疑区域图像在所述标准图像所对应的所述候选目标图像中的过渡位置信息；

根据各个所述过渡位置信息以及各个所述过渡位置信息所分别对应的所述候选目标图像的候选位置信息确定目标位置信息；

将各个所述目标位置信息确定为所述待处理图像所携带的至少一个目标图像在所述待处理图像中的位置信息。

优选地，

所述目标图像，包括：车牌区域图像、车窗区域图像或车灯区域图像中的任意一种；

和/或，

进一步包括：根据各个所述目标位置信息在所述待处理图像中标记所述待处理图像携带的至少一个目标图像的位置。

第二方面，本发明提供了一种目标图像检测装置，包括：

第一交互调用模块，用于将待处理图像输入至预先设置的全卷积神经网络模型，使得所述全卷积神经网络模型对所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

图像提取模块，用于从所述待处理图像中提取各个所述候选位置信息所分别对应的所述候选目标图像；

图像调整模块，用于将每一个所述候选目标图像均放大至设定尺寸以形成标准图像，并记录每一个所述标准图像所分别对应的放大倍数；

第二交互调用模块，用于针对每一个所述标准图像，将所述标准图像输入至预先设置的级联卷积神经网络模型，使得所述级联卷积神经网络模型对所述标准图像进行识别，以输出所述标准图像所携带的可疑目标图像的当前位置信息及分类概率；

位置信息确定模块，用于根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息。

优选地，

所述位置信息确定模块，包括：过滤处理单元、位置转换单元及确定单元；其中，

所述过滤处理单元，用于针对于每一个所述标准图像，当所述标准图像所携带的所述可疑目标图像的所述分类概率不小于预设阈值时，根据所述标准图像所对应的放大倍数以及所述标准图像所携带的所述可疑目标图像的当前位置信息，形成所述标准图像所携带的所述可疑区域图像在所述标准图像所对应的所述候选目标图像中的过渡位置信息；

所述位置转换单元，用于根据各个所述过渡位置信息以及各个所述过渡位置信息所分别对应的所述候选目标图像的候选位置信息确定目标位置信息；

所述确定单元，用于将各个所述目标位置信息确定为所述待处理图像所携带的至少一个目标图像在所述待处理图像中的位置信息。

优选地，

所述目标图像，包括：车牌区域图像、车窗区域图像或车灯区域图像中的任意一种；

和/或，

所述装置，进一步包括：标记处理模块；其中。

所述标记处理模块，用于根据各个所述目标位置信息在所述待处理图像中标记所述待处理图像携带的至少一个目标图像的位置。

第三方面，本发明提供了一种目标图像检测系统，包括：

全卷积神经网络模型、级联卷积神经网络模型以及如第二方面中任一所述的目标图像检测装置；其中，

所述全卷积神经网络模型，用于对所述目标图像检测装置输入的所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

所述级联卷积神经网络模型，用于对所述目标图像检测装置输入的各个所述标准图像进行识别，以输出每一个所述标准图像所携带的可疑目标图像的当前位置信息及分类概率。

优选地，

所述级联卷积神经网络模型，包括：数据层、卷积层、全连接层、回归层、分类层以及至少两个呈线性排列连接的计算单元；其中，

所述数据层，用于接收所述目标图像检测装置输入的每一个所述标准图像；

所述卷积层，用于对所述数据层接收的所述标准图像进行识别以提取特征信息，并将提取的所述特征信息输出至排列在首位的所述计算单元；

所述计算单元，用于当所述计算单元排列在非末位时，从输入所述计算单元的特征信息中提取显著特征数据，并将提取的所述显著特征数据作为新的特征信息输入至与其相连的后置计算单元；当所述计算单元排列在末位时，从输入所述计算单元的特征信息中提取显著特征数据，并将提取的所述显著特征数据输出至所述全连接层；

所述全连接层，用于对输入的所述显著特征数据进行合并以形成全局数据，并将接收的所述显著特征数据及所述全局数据提供给所述回归层以及所述分类层；

所述回归层，用于根据所述全连接层提供的所述显著特征数据以及所述全局数据确定所述标准图像所携带的可疑目标图像的当前位置信息，并输出；

所述分类层，用于根据所述全连接层提供的所述显著特征数据以及所述全局数据确定所述标准图像所携带的可疑目标图像为目标图像的分类概率，并输出。

优选地，

所述计算单元，包括：数据接收单元、合并处理单元以及至少两个卷积网络；其中，

所述数据接收单元，用于接收输入的特征信息；

每一个所述卷积网络，用于从所述数据单元接收的特征信息中提取至少一个特征值，其中，同一个卷积网络提取的各个特征值的特征类型相同，各个所述卷积网络分别提取的特征值的特征类型各不相同；

所述合并处理单元，用于将各个所述卷积网络所分别提取的特征值组合成显著特征数据。

优选地，

所述卷积网络包括至少两个呈线性排列连接的卷积单元。

本发明提供了一种目标图像的检测方法、装置及系统，该方法中，首先通过全卷积神经网络对待处理图像进行识别以得到至少一个可能为目标图像的候选目标图像在该待处理图像中的候选位置信息，并从待处理图像中提取出这些候选位置信息所分别对应的候选目标图像，此时，提取的各个候选目标图像可能由于其尺寸相对较小而携带一部分非目标图像区域；将提取的每一个候选目标图像放大至设定尺寸以形成标准图像之后，由于标准图像的尺寸相对较大，且标准图像中携带的可能为目标图像的可疑目标图像应当远大于标准图像中携带的非目标图像区域，通过级联卷积神经网络对其进行识别，则可准确滤除标准图像中携带的非目标图像区域，得到可能为目标图像的可疑目标图像在该标准图像中的当前位置信息以及能够用于对该可疑目标图像是否为目标图像的可能性进行度量的分类概率；如此，由于待处理图像所携带的各个目标图像在形状上与相应可疑目标图像应当仅在尺寸上存在区别而在形状上保持相同，根据各个可疑目标图像的当前位置信息及分类概率、各个标准图像所分别对应的放大倍数及各个候选目标图像的候选位置信息，确定待处理图像携带的各个目标图像在待处理图像中的位置信息时，所确定的待处理图像携带的各个目标图像在待处理图像中的位置信息实际对应在待处理图像中的各个当前图像区域则不含非目标图像区域，实现更为准确的确定出待处理图像所携带的各个目标图像在该待处理图像中的位置信息。

附图说明

为了更清楚地说明本说明书实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种目标图像检测方法的流程示意图；

图2为本发明一实施例提供的一种目标图像检测装置的结构示意图；

图3为本发明一实施例提供的另一种目标图像检测装置的结构示意图；

图4为本发明一实施例提供的又一种目标图像检测装置的结构示意图；

图5为本发明一实施例提供的一种目标图像检测系统的结构示意图；

图6为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本说明书的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

如图1所示，本发明实施例提供了一种目标图像识别方法，包括：

步骤101，将待处理图像输入至预先设置的全卷积神经网络模型，使得所述全卷积神经网络模型对所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

步骤102，从所述待处理图像中提取各个所述候选位置信息所分别对应的所述候选目标图像；

步骤103，将每一个所述候选目标图像均放大至设定尺寸以形成标准图像，并记录每一个所述标准图像所分别对应的放大倍数；

步骤104，针对每一个所述标准图像，将所述标准图像输入至预先设置的级联卷积神经网络模型，使得所述级联卷积神经网络模型对所述标准图像进行识别，以输出所述标准图像所携带的可疑目标图像的当前位置信息及分类概率；

步骤105，根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息。

如图1所示的实施例，首先通过全卷积神经网络对待处理图像进行识别以得到至少一个可能为目标图像的候选目标图像在该待处理图像中的候选位置信息，并从待处理图像中提取出这些候选位置信息所分别对应的候选目标图像，此时，提取的各个候选目标图像可能由于其尺寸相对较小而携带一部分非目标图像区域；将提取的每一个候选目标图像放大至设定尺寸以形成标准图像之后，由于标准图像的尺寸相对较大，且标准图像中携带的可能为目标图像的可疑目标图像应当远大于标准图像中携带的非目标图像区域，通过级联卷积神经网络对其进行识别，则可准确滤除标准图像中携带的非目标图像区域，得到可能为目标图像的可疑目标图像在该标准图像中的当前位置信息以及能够用于对该可疑目标图像是否为目标图像的可能性进行度量的分类概率；如此，由于待处理图像所携带的各个目标图像在形状上与相应可疑目标图像应当仅在尺寸上存在区别而在形状上保持相同，根据各个可疑目标图像的当前位置信息及分类概率、各个标准图像所分别对应的放大倍数及各个候选目标图像的候选位置信息，确定待处理图像携带的各个目标图像在待处理图像中的位置信息时，所确定的待处理图像携带的各个目标图像在待处理图像中的位置信息实际对应在待处理图像中的各个当前图像区域则不含非目标图像区域，实现更为准确的确定出待处理图像所携带的各个目标图像在该待处理图像中的位置信息。

需要说明的是，每一个卷积神经网络通常仅能够对输入的具有固定尺寸的图像进行准确识别，因此，将待处理图像输入至全卷积神经网络模型之前，可对待处理图像的尺寸进行一定的缩放处理以适应全卷积神经网络模型，将进行缩放处理后的待处理图像输入至全卷积神经网络模型。

还需要说明的是，该实施例中所述的位置信息具体可以是候选目标图像、可疑目标图像以及目标在相应图像上的轮廓信息，轮廓信息具体可以利用候选目标图像、可疑目标图像以及目标在相应图像上所对应的边缘点来描述。举例来说，目标图像是车牌区域图像时，车牌区域图像在待处理图像中通常为一个矩形区域图像，如此，各个位置信息则可具体利用车牌区域图像在相应图像中的边缘点进行描述，这里具体可以利用矩形车牌局域的左上角顶点像素坐标及右下角顶点像素坐标来描述矩形车牌区域在相应图像上的位置信息；又如，目标图像是车灯区域图像时，车灯图像在待处理图像中通常为一个圆形区域图像，如此，各个位置信息则可具体利用车灯区域图像在相应图像中的任一个边缘点与车灯图像的圆心所分别对应在相应图像上的像素坐标进行描述，

显而易见的，标准图像的设定尺寸也需要适应于级联卷积神经网络模型。

具体地，本发明一个优选实施例中，所述目标图像包括但不限于车牌区域图像、车窗区域图像或车灯区域图像中的任意一种。

基于如图1所示的实施例，本发明一个实施例中，所述根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息，包括：

针对于每一个所述标准图像，当所述标准图像所携带的所述可疑目标图像的所述分类概率不小于预设阈值时，根据所述标准图像所对应的放大倍数以及所述标准图像所携带的所述可疑目标图像的当前位置信息，形成所述标准图像所携带的所述可疑区域图像在所述标准图像所对应的所述候选目标图像中的过渡位置信息；

根据各个所述过渡位置信息以及各个所述过渡位置信息所分别对应的所述候选目标图像的候选位置信息确定目标位置信息；

将各个所述目标位置信息确定为所述待处理图像所携带的至少一个目标图像在所述待处理图像中的位置信息。

该实施例中，预设阈值可以是经验值；级联卷积神经网络输出的分类概率越大，则与该分类概率对应输出的当前位置信息所对应在标准图像中的可疑目标图像为目标图像的概率越高。

该实施例中，当级联卷积神经网络对输入的一个标准图像进行识别而输出的分类概率大于预设阈值时，则说明级联卷积神经网络对应输出的当前位置信息对应在该标准图像中的可疑目标图像应当为已经滤除了非目标图像区域的目标图像。

该实施例中，由于携带目标图像的标准图像与其对应的候选目标图像仅在尺寸上存在区别，因此，可根据携带目标图像的标准图像所对应的放大倍数，对该标准图像中携带的目标图像(即携带的可疑目标图像)在该标准图像中的当前位置信息进行转换，得到该标准图像对应的候选目标图像所携带的目标图像在该候选目标图像中的过渡位置信息，得到的过渡位置信息对应在该候选目标图像中的图像区域也应当完全为目标图像而不含非目标图像区域。举例来说，目标图像是矩形的车牌区域图像，将一个12*12像素的候选车牌区域图像A放大2倍以形成24*24像素的标准图像B，若确定出B所携带的可疑目标图像在B中的当前位置信息由矩形可疑车牌区域图像的左上角顶点像素坐标(3,3)以及可疑矩形车牌区域图像的右下角顶点像素坐标(21,21)构成，那么，则可根据A中各个像素坐标与B中各个坐标的对应关系，对可疑车牌区域图像的位置信息进行转换以形成由左上角像素坐标(2,2)以及右下角像素坐标(11,11)构成的过渡位置信息，该过渡位置信息对应在A中的图像区域也应当完全为车牌区域图像而不含非车牌区域图像。

相似的，携带有目标图像的候选目标图像在待处理图像中的候选位置信息已知，而候选目标图像中携带的目标图像的过渡位置信息已知，则可根据候选位置信息对过渡信息进行转换而得到一个目标位置信息，该目标位置信息对应在待处理图像中的图像区域即为一个目标图像，如此，该目标信息对应在待处理图像中的图像区域也应当完全为目标图像而不含非目标图像区域。举例来说，目标图像是矩形的车牌区域图像，候选车牌区域图像C在待处理图像D中的候选位置信息由矩形候选车牌区域图像的左上角顶点像素坐标(25,25)以及可疑矩形车牌区域图像的右下角顶点像素坐标(36,36)构成，若形成C中携带的目标车牌区域的过渡位置信息由左上角像素坐标(2,2)以及右下角像素坐标(11,11)构成，那么，则可根据C中各个像素坐标与D中各个坐标的对应关系，对C中携带目标车牌区域的过渡位置信息进行转换，得到由左上角顶点像素坐标(26,26)以及右下角顶点像素坐标(35,35)构成的一个目标位置信息，该目标位置信息对应在D中的图像区域也应当完全为矩形车牌区域图像而不含非车牌区域图像。

基于前述实施例，本发明一个优选实施例中，进一步包括：根据各个所述目标位置信息在所述待处理图像中标记所述待处理图像携带的至少一个目标图像的位置。

该实施例中，根据各个目标位置信息在待处理图像中准确标记各个目标图像的位置，比如标记车牌区域图像在待处理图像中的位置(具体可以是对车牌区域图像在待处理图像中的轮廓进行标记)，通过本发明实施例的技术方案对视频图像中连续采集的多张待处理图像进行处理时，则可根据每一张待处理图像中标记的目标图像对相应对象的移动轨迹进行跟踪，比如根据各个待处理图像中被标记的车牌区域图像或人脸区域图像分别对车辆或行人的运动轨迹进行追踪。

举例来说，若目标图像时车牌区域图像，且一个目标位置信息由左上角顶点像素坐标(26,26)以及右下角顶点像素坐标(35,35)构成，那么，则可在待处理图像中标记出一个以像素坐标(26,26)为左上角顶点以及以像素坐标(35,35)为右下角顶点的矩形图像区域，被标记的矩形图像区域即为待处理图像上携带的一个车牌区域图像而不包含出车牌区域图像外的其他干扰区域。

基于与本发明方法实施例相同的构思，如图2所示，本发明实施例提供了一种目标图像检测装置，包括：

第一交互调用模块201，用于将待处理图像输入至预先设置的全卷积神经网络模型，使得所述全卷积神经网络模型对所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

图像提取模块202，用于从所述待处理图像中提取各个所述候选位置信息所分别对应的所述候选目标图像；

图像调整模块203，用于将每一个所述候选目标图像均放大至设定尺寸以形成标准图像，并记录每一个所述标准图像所分别对应的放大倍数；

第二交互调用模块204，用于针对每一个所述标准图像，将所述标准图像输入至预先设置的级联卷积神经网络模型，使得所述级联卷积神经网络模型对所述标准图像进行识别，以输出所述标准图像所携带的可疑目标图像的当前位置信息及分类概率；

位置信息确定模块205，用于根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息。

请参考图3，本发明一个优选实施例中，所述位置信息确定模块205，包括：过滤处理单元2051、位置转换单元2052及确定单元2053；其中，

所述过滤处理单元2051，用于针对于每一个所述标准图像，当所述标准图像所携带的所述可疑目标图像的所述分类概率不小于预设阈值时，根据所述标准图像所对应的放大倍数以及所述标准图像所携带的所述可疑目标图像的当前位置信息，形成所述标准图像所携带的所述可疑区域图像在所述标准图像所对应的所述候选目标图像中的过渡位置信息；

所述位置转换单元2052，用于根据各个所述过渡位置信息以及各个所述过渡位置信息所分别对应的所述候选目标图像的候选位置信息确定目标位置信息；

所述确定单元2053，用于将各个所述目标位置信息确定为所述待处理图像所携带的至少一个目标图像在所述待处理图像中的位置信息。

本发明一个优选实施例中，所述目标图像，包括：车牌区域图像、车窗区域图像或车灯区域图像中的任意一种。

请参考图4，本发明一个优选实施例中，所述装置，进一步包括：标记处理模块401；其中。

所述标记处理模块401，用于根据各个所述目标位置信息在所述待处理图像中标记所述待处理图像携带的至少一个目标图像的位置。

基于与本发明前述各个实施例相同的构思，请参考图5，本发明实施例还提供了一种目标图像检测系统，包括：

全卷积神经网络模型501、级联卷积神经网络模型502以及如本发明任意一个实施例中提供的目标图像检测装置503；其中，

所述全卷积神经网络模型501，用于对所述目标图像检测装置503输入的所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

所述级联卷积神经网络模型502，用于对所述目标图像检测装置503输入的各个所述标准图像进行识别，以输出每一个所述标准图像所携带的可疑目标图像的当前位置信息及分类概率。

基于该实施例提供的系统，利用与本发明方法实施例相似的方案，实现对待处理图像中携带的目标图像进行检测时，具有与本发明方法实施例或装置实施例相同的优点，这里不再赘述。

需要说明的是，通过全卷积神经网络模型对目标图像检测装置输入的待处理图像进行识别时，其提取待处理图像的特征信息的过程中可通过一个宽高均为12像素的搜索框对待处理图像进行遍历，即全卷积神经网络模型的局部感知域可以为12*12像素。

具体地，本发明一个优选实施例中，所述级联卷积神经网络模型502，包括：数据层、卷积层、全连接层、回归层、分类层以及至少两个呈线性排列连接的计算单元；其中，

所述数据层，用于接收所述目标图像检测装置输入的每一个所述标准图像；

所述卷积层，用于对所述数据层接收的所述标准图像进行识别以提取特征信息，并将提取的所述特征信息输出至排列在首位的所述计算单元；

所述计算单元，用于当所述计算单元排列在非末位时，从输入所述计算单元的特征信息中提取显著特征数据，并将提取的所述显著特征数据作为新的特征信息输入至与其相连的后置计算单元；当所述计算单元排列在末位时，从输入所述计算单元的特征信息中提取显著特征数据，并将提取的所述显著特征数据输出至所述全连接层；

所述全连接层，用于对输入的所述显著特征数据进行合并以形成全局数据，并将接收的所述显著特征数据及所述全局数据提供给所述回归层以及所述分类层；

所述回归层，用于根据所述全连接层提供的所述显著特征数据以及所述全局数据确定所述标准图像所携带的可疑目标图像的当前位置信息，并输出；

所述分类层，用于根据所述全连接层提供的所述显著特征数据以及所述全局数据确定所述标准图像所携带的可疑目标图像为目标图像的分类概率，并输出。

该实施例中，卷积层提取标准图像的特征信息的具体过程中可通过一个宽高均为24像素的搜索框对待处理图像进行遍历，即其局部感知域可以为24*24像素；相应的，标准图像的设定尺寸应当不小于24*24像素；较佳的，标准图像的设定尺寸可以为24*24像素。

该实施例中，通过全连接层增加级联卷积神经网络模型的深度，其组合的全局数据具有更强的特征表达能力，将显著特征数据以及全局数据提供给回归层、分类层，则可更为准确的确定出可疑目标图像在标准图像中的当前位置信息以及该可疑目标图像可能为目标图像的分类概率，以便于滤除被全卷积神经网络错误的识别成目标图像的候选目标图像，以及滤除携带有目标图像的标准图像中的非目标图像区域。

需要说明的是，本系统还可以包括多个局部感知域各不相同的级联卷积神经网络，具体可采用对候选图像进行处理时的相似方法，目标图像检测装置可从标准图像中提取出可疑目标图像，对提取的可疑目标图像进行尺寸变换后输入至下一个级联卷积神经网络模型以进行识别。

具体地，本发明一个优选实施例中，所述计算单元，包括：数据接收单元、合并处理单元以及至少两个卷积网络；其中，

所述数据接收单元，用于接收输入的特征信息；

每一个所述卷积网络，用于从所述数据单元接收的特征信息中提取至少一个特征值，其中，同一个卷积网络提取的各个特征值的特征类型相同，各个所述卷积网络分别提取的特征值的特征类型各不相同；

所述合并处理单元，用于将各个所述卷积网络所分别提取的特征值组合成显著特征数据。

该实施例中，卷积层提取的特征信息中可能包括图像边缘点(图像边缘点类别下的数据为全局特征数据，其他类别下的数据为局部特征数据)、图像颜色、图像纹理等不同类型的大量特征数据，可通过不同的卷积网络分别从特征信息中提取少量不同类型的特征值，再由合并处理单元对不同卷积网络所分别提取的特征值合并成显著特征数据，形成的显著特征数据的特征表达能力更强，且其数据维度远小于卷积层提取的特征信息。

具体地，本发明一个优选实施例中，所述卷积网络包括至少两个呈线性排列连接的卷积单元。这里，有多卷积单元线性连接而构成的一个卷积网络中，位于首位的卷积单元可从卷积层提取的特征信息中提取相应类别的特征数据，相邻两个卷积单元中的后置卷积单元可对前置卷积单元提取的特征数据进行降维处理，通过多个卷积单元相协作直至位于末位的卷积单元将其提取的特征数据作为特征值输出至合并处理单元。

图6是本说明书的一个实施例电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，也可从其它设备上获取相应的计算机程序，以在逻辑层面上形成目标图像检测系统。处理器，执行存储器所存放的程序，以通过执行的程序实现本发明任一实施例中提供的目标图像检测方法，或实现基于该系统的目标图像检测方法。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行本发明任一实施例中提供的目标图像检测方法，或执行基于该系统实现的目标图像检测方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元或模块分别描述。当然，在实施本说明书时可以把各单元或模块的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种目标图像检测方法，其特征在于，包括：

将待处理图像输入至预先设置的全卷积神经网络模型，使得所述全卷积神经网络模型对所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

从所述待处理图像中提取各个所述候选位置信息所分别对应的所述候选目标图像；

将每一个所述候选目标图像均放大至设定尺寸以形成标准图像，并记录每一个所述标准图像所分别对应的放大倍数；

针对每一个所述标准图像，将所述标准图像输入至预先设置的级联卷积神经网络模型，使得所述级联卷积神经网络模型对所述标准图像进行识别，以输出所述标准图像所携带的可疑目标图像的当前位置信息及分类概率；

根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息。

2.根据权利要求1所述的方法，其特征在于，

所述根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息，包括：

针对于每一个所述标准图像，当所述标准图像所携带的所述可疑目标图像的所述分类概率不小于预设阈值时，根据所述标准图像所对应的放大倍数以及所述标准图像所携带的所述可疑目标图像的当前位置信息，形成所述标准图像所携带的所述可疑区域图像在所述标准图像所对应的所述候选目标图像中的过渡位置信息；

根据各个所述过渡位置信息以及各个所述过渡位置信息所分别对应的所述候选目标图像的候选位置信息确定目标位置信息；

将各个所述目标位置信息确定为所述待处理图像所携带的至少一个目标图像在所述待处理图像中的位置信息。

3.根据权利要求2所述的方法，其特征在于，

所述目标图像，包括：车牌区域图像、车窗区域图像或车灯区域图像中的任意一种；

和/或，

进一步包括：根据各个所述目标位置信息在所述待处理图像中标记所述待处理图像携带的至少一个目标图像的位置。

4.一种目标图像检测装置，其特征在于，包括：

第一交互调用模块，用于将待处理图像输入至预先设置的全卷积神经网络模型，使得所述全卷积神经网络模型对所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

图像提取模块，用于从所述待处理图像中提取各个所述候选位置信息所分别对应的所述候选目标图像；

图像调整模块，用于将每一个所述候选目标图像均放大至设定尺寸以形成标准图像，并记录每一个所述标准图像所分别对应的放大倍数；

第二交互调用模块，用于针对每一个所述标准图像，将所述标准图像输入至预先设置的级联卷积神经网络模型，使得所述级联卷积神经网络模型对所述标准图像进行识别，以输出所述标准图像所携带的可疑目标图像的当前位置信息及分类概率；

位置信息确定模块，用于根据各个所述可疑目标图像的所述当前位置信息及所述分类概率、各个所述标准图像所分别对应的所述放大倍数及各个所述候选目标图像的候选位置信息，确定所述待处理图像携带的各个目标图像在所述待处理图像中的位置信息。

5.根据权利要求4所述的装置，其特征在于，

所述位置信息确定模块，包括：过滤处理单元、位置转换单元及确定单元；其中，

所述过滤处理单元，用于针对于每一个所述标准图像，当所述标准图像所携带的所述可疑目标图像的所述分类概率不小于预设阈值时，根据所述标准图像所对应的放大倍数以及所述标准图像所携带的所述可疑目标图像的当前位置信息，形成所述标准图像所携带的所述可疑区域图像在所述标准图像所对应的所述候选目标图像中的过渡位置信息；

所述位置转换单元，用于根据各个所述过渡位置信息以及各个所述过渡位置信息所分别对应的所述候选目标图像的候选位置信息确定目标位置信息；

所述确定单元，用于将各个所述目标位置信息确定为所述待处理图像所携带的至少一个目标图像在所述待处理图像中的位置信息。

6.根据权利要求5所述的装置，其特征在于，

所述目标图像，包括：车牌区域图像、车窗区域图像或车灯区域图像中的任意一种；

和/或，

所述装置，进一步包括：标记处理模块；其中。

所述标记处理模块，用于根据各个所述目标位置信息在所述待处理图像中标记所述待处理图像携带的至少一个目标图像的位置。

7.一种目标图像检测系统，其特征在于，包括：

全卷积神经网络模型、级联卷积神经网络模型以及如权利要求4至6中任一所述的目标图像检测装置；其中，

所述全卷积神经网络模型，用于对所述目标图像检测装置输入的所述待处理图像进行识别，以输出至少一个候选目标图像在所述待处理图像中的候选位置信息；

所述级联卷积神经网络模型，用于对所述目标图像检测装置输入的各个所述标准图像进行识别，以输出每一个所述标准图像所携带的可疑目标图像的当前位置信息及分类概率。

8.根据权利要求7所述的系统，其特征在于，

所述级联卷积神经网络模型，包括：数据层、卷积层、全连接层、回归层、分类层以及至少两个呈线性排列连接的计算单元；其中，

所述数据层，用于接收所述目标图像检测装置输入的每一个所述标准图像；

所述卷积层，用于对所述数据层接收的所述标准图像进行识别以提取特征信息，并将提取的所述特征信息输出至排列在首位的所述计算单元；

所述计算单元，用于当所述计算单元排列在非末位时，从输入所述计算单元的特征信息中提取显著特征数据，并将提取的所述显著特征数据作为新的特征信息输入至与其相连的后置计算单元；当所述计算单元排列在末位时，从输入所述计算单元的特征信息中提取显著特征数据，并将提取的所述显著特征数据输出至所述全连接层；

所述全连接层，用于对输入的所述显著特征数据进行合并以形成全局数据，并将接收的所述显著特征数据及所述全局数据提供给所述回归层以及所述分类层；

所述回归层，用于根据所述全连接层提供的所述显著特征数据以及所述全局数据确定所述标准图像所携带的可疑目标图像的当前位置信息，并输出；

所述分类层，用于根据所述全连接层提供的所述显著特征数据以及所述全局数据确定所述标准图像所携带的可疑目标图像为目标图像的分类概率，并输出。

9.根据权利要求8所述的系统，其特征在于，

所述计算单元，包括：数据接收单元、合并处理单元以及至少两个卷积网络；其中，

所述数据接收单元，用于接收输入的特征信息；

每一个所述卷积网络，用于从所述数据单元接收的特征信息中提取至少一个特征值，其中，同一个卷积网络提取的各个特征值的特征类型相同，各个所述卷积网络分别提取的特征值的特征类型各不相同；

所述合并处理单元，用于将各个所述卷积网络所分别提取的特征值组合成显著特征数据。

10.根据权利要求9所述的系统，其特征在于，

所述卷积网络包括至少两个呈线性排列连接的卷积单元。