CN109145928A - 一种基于图像的车头朝向识别方法及装置 - Google Patents

Abstract

本发明实施例提供了一种基于图像的车头朝向识别方法及装置，方法包括：确定待识别图像中是否包含符合车牌特征的区域；若待识别图像中包含符合车牌特征的区域，确定待识别图像中至少一个整车图像；在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；将每个整车图像输入预设卷积神经网络，将预设卷积神经网络输出的特征图与车脸的各顶点所在区域进行处理，得到每个车脸的各顶点对应的定位区域；并在其中找到每个车脸的各顶点对应的定位坐标，确定每个车脸所在区域；对于每个整车图像，根据预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应分类结果，分类表示每个整车图像中的车头朝向。

Description

一种基于图像的车头朝向识别方法及装置

技术领域

本发明涉及图像识别领域，特别是涉及一种基于图像的车头朝向识别方法及装置。

背景技术

在智能交通等领域，常需要从图像拍摄设备拍摄的图像中获取车辆的基础信息，如车辆颜色、型号、车牌号、行驶方向等。其中，车辆行驶方向根据车辆与图像拍摄设备的位置关系，可以用车辆的车头朝向表示。车头朝向可以理解为，以图像拍摄设备角度观测到的车辆行驶方向，如车头朝向为正向意为车辆向图像拍摄设备方向行驶，车头朝向为背向意为车辆向背离图像拍摄设备的方向行驶。车辆行驶方向作为车辆的基础信息，能够为智能交通等领域提供基础数据，具有广泛应用，如监测车辆逆行违章、搜索、跟踪车辆等等。

现有技术中，有一种利用车辆在时间序列上的位移信息，判断车辆行驶方向的方法，该方法在时间序列上的不同时间点，采集目标车辆的多帧图像，通过计算多帧图像中目标车辆位置的差异，计算获得目标车辆的行驶方向。但该方法需要输入目标车辆的多帧图像，输入的数据量较大。

发明内容

本发明实施例的目的在于提供一种基于图像的车头朝向识别方法及装置，不需要输入目标车辆的多帧图像，能够减小输入的数据量。具体技术方案如下：

本发明实施例公开了一种基于图像的车头朝向识别方法，包括：确定待识别图像中是否包含符合车牌特征的区域；

若所述待识别图像中包含符合车牌特征的区域，则确定所述待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的；

在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；

将每个整车图像输入预设卷积神经网络，将所述预设卷积神经网络输出的特征图与所述车脸的各顶点所在区域进行处理，得到每个所述车脸的各顶点对应的定位区域；

在每个所述车脸的各顶点对应的定位区域中，找到每个所述车脸的各顶点对应的定位坐标，确定每个所述车脸所在区域；

对于每个整车图像，根据所述预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，所述分类表示每个整车图像中的车头朝向。

可选的，所述确定待识别图像中是否包含符合车牌特征的区域，包括：

逐行扫描待识别图像，确定是否能够获取满足预设车牌像素特征的像素点，若能，将所述满足预设车牌像素特征的像素点作为第一像素点；

连接各行内相邻的第一像素点，获得各行的多个第一像素区域；

连接相邻行的第一像素区域，获得待识别图像的多个第二像素区域；

从多个第二像素区域中，确定是否能够获得与预设车牌特征匹配的第二像素区域，所述预设车牌特征包括：车牌长度特征、车牌宽度特征、车牌颜色特征、车牌字符特征，若能，将与预设车牌特征匹配的第二像素区域作为符合车牌特征的区域。

可选的，所述若所述待识别图像中包含符合车牌特征的区域，则确定所述待识别图像中的至少一个整车图像，包括：

对于所述待识别图像中的每个符合车牌特征的区域，获得所述符合车牌特征的区域的各顶点坐标为车牌坐标；

根据所述车牌坐标获得车牌中心点坐标及实际车牌宽度；

根据所述车牌中心点坐标、所述实际车牌宽度及预设上距离、预设下距离、预设左距离、预设右距离，获得包含符合车牌特征的区域的整车图像的顶点坐标；

根据所述整车图像的顶点坐标，在所述待识别图像中截取整车图像。

可选的，所述在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域，包括：

在每个整车图像中，将所述车牌坐标对应的矩阵，与第一网络中全连接层FC-4的权矩阵相乘，获得车脸各顶点的粗定位坐标；

将所述车脸各顶点的粗定位坐标，向二维空间四个方向扩展预设像素值，获得每个整车图像中，车脸各顶点坐标在整车图像中的坐标范围为车脸的各顶点所在区域。

可选的，所述将每个整车图像输入预设卷积神经网络，将所述预设卷积神经网络输出的特征图与所述车脸的各顶点所在区域进行处理，得到每个所述车脸的各顶点对应的定位区域，包括：

对于每个整车图像，将整车图像输入预设卷积神经网络，获得整车图像的特征图；

将所述整车图像的尺寸、所述整车图像的特征图的尺寸、所述车脸各顶点坐标在整车图像中的坐标范围，处理获得车脸各顶点坐标在整车图像中的坐标范围对应在整车图像的特征图中的坐标范围；

将所述车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围，缩放至预设尺寸，将预设尺寸内的区域作为车脸的各顶点对应的定位区域。

可选的，所述在每个所述车脸的各顶点对应的定位区域中，找到每个所述车脸的各顶点对应的定位坐标，确定每个所述车脸所在区域，包括：

对于每个车脸，将车脸的各顶点对应的定位区域对应的特征矩阵，与预设卷积神经网络中全连接层FC-1的权矩阵相乘，获得车脸的各顶点对应的定位坐标；

根据所述车脸的各顶点对应的定位坐标，确定车脸所在区域。

可选的，所述对于每个整车图像，根据所述预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，包括：

对于每个整车图像，将所述车脸的各顶点对应的定位坐标、所述整车图像的特征图，处理获得车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标；

将所述车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标，对应的矩阵，利用预设卷积神经网络中预设数量个多尺度感知层inception层，提取多尺度的特征，获得第一特征矩阵；

将所述第一特征矩阵，与预设卷积神经网络中全连接层FC-2的权矩阵相乘，得到车脸所在区域中车头朝向的分类数值；

利用预设的映射函数，将所述车头朝向分类数值，映射为概率区间内的车头朝向分类结果。

可选的，所述卷积神经网络的训练过程包括：

构建初始卷积神经网络的结构，并设置初始卷积神经网络的参数值，其中，所述初始卷积神经网络的结构包括至少一层卷积层、至少一层池化层、至少一层关注区域池化层Roipooling层、及至少一层全连接层，所述参数值包括卷积层的卷积核数量、卷积核尺寸、卷积核权重值、全连接层的权矩阵值；

获取含有车辆的多个样本图像；

根据所述样本图像，获得车辆的车牌坐标；

根据所述车牌坐标截取所述样本图像，获得车辆的整车样本图像；

将各整车样本图像，以及已知的各整车样本图像对应的车头朝向分类结果，输入所述初始卷积神经网络，得到各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果；

根据各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的各整车样本图像对应的车头朝向分类结果，获得损失函数的响应值；

根据所述损失函数的响应值，不断调整初始卷积神经网络的结构或参数值，直至所述卷积神经网络满足预设条件，获得训练得到的卷积神经网络。

本发明实施例还公开了一种基于图像的车头朝向识别装置，包括：

车牌特征判断模块，用于确定待识别图像中是否包含符合车牌特征的区域；

整车图像确定模块，用于若所述待识别图像中包含符合车牌特征的区域，则确定所述待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的；

车脸顶点区域确定模块，用于在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；

车脸顶点定位区域获取模块，用于将每个整车图像输入预设卷积神经网络，将所述预设卷积神经网络输出的特征图与所述车脸的各顶点所在区域进行处理，得到每个所述车脸的各顶点对应的定位区域；

车脸定位坐标获取模块，用于在每个所述车脸的各顶点对应的定位区域中，找到每个所述车脸的各顶点对应的定位坐标，确定每个所述车脸所在区域；

分类模块，用于对于每个整车图像，根据所述预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，所述分类表示每个整车图像中的车头朝向。

可选的，所述车牌特征判断模块，具体用于：

逐行扫描待识别图像，确定是否能够获取满足预设车牌像素特征的像素点，若能，将所述满足预设车牌像素特征的像素点作为第一像素点；

连接各行内相邻的第一像素点，获得各行的多个第一像素区域；

连接相邻行的第一像素区域，获得待识别图像的多个第二像素区域；

从多个第二像素区域中，确定是否能够获得与预设车牌特征匹配的第二像素区域，所述预设车牌特征包括：车牌长度特征、车牌宽度特征、车牌颜色特征、车牌字符特征，若能，将与预设车牌特征匹配的第二像素区域作为符合车牌特征的区域。

可选的，所述整车图像确定模块，具体用于：

对于所述待识别图像中的每个符合车牌特征的区域，获得所述符合车牌特征的区域的各顶点坐标为车牌坐标；

根据所述车牌坐标获得车牌中心点坐标及实际车牌宽度；

根据所述车牌中心点坐标、所述实际车牌宽度及预设上距离、预设下距离、预设左距离、预设右距离，获得包含符合车牌特征的区域的整车图像的顶点坐标；

根据所述整车图像的顶点坐标，在所述待识别图像中截取整车图像。

可选的，所述车脸顶点区域确定模块，具体用于：

在每个整车图像中，将所述车牌坐标对应的矩阵，与第一网络中全连接层FC-4的权矩阵相乘，获得车脸各顶点的粗定位坐标；

将所述车脸各顶点的粗定位坐标，向二维空间四个方向扩展预设像素值，获得每个整车图像中，车脸各顶点坐标在整车图像中的坐标范围为车脸的各顶点所在区域。

可选的，所述车脸顶点定位区域获取模块，具体用于：

对于每个整车图像，将整车图像输入预设卷积神经网络，获得整车图像的特征图；

将所述整车图像的尺寸、所述整车图像的特征图的尺寸、所述车脸各顶点坐标在整车图像中的坐标范围，处理获得车脸各顶点坐标在整车图像中的坐标范围对应在整车图像的特征图中的坐标范围；

将所述车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围，缩放至预设尺寸，将预设尺寸内的区域作为车脸的各顶点对应的定位区域。

可选的，所述车脸定位坐标获取模块，具体用于：

对于每个车脸，将车脸的各顶点对应的定位区域对应的特征矩阵，与预设卷积神经网络中全连接层FC-1的权矩阵相乘，获得车脸的各顶点对应的定位坐标；

根据所述车脸的各顶点对应的定位坐标，确定车脸所在区域。

可选的，所述分类模块，具体用于：

对于每个整车图像，将所述车脸的各顶点对应的定位坐标、所述整车图像的特征图，处理获得车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标；

将所述车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标，对应的矩阵，利用预设卷积神经网络中预设数量个多尺度感知层inception层，提取多尺度的特征，获得第一特征矩阵；

将所述第一特征矩阵，与预设卷积神经网络中全连接层FC-2的权矩阵相乘，得到车脸所在区域中车头朝向的分类数值；

利用预设的映射函数，将所述车头朝向分类数值，映射为概率区间内的车头朝向分类结果。

可选的，所述卷积神经网络的训练过程包括：

构建初始卷积神经网络的结构，并设置初始卷积神经网络的参数值，其中，所述初始卷积神经网络的结构包括至少一层卷积层、至少一层池化层、至少一层关注区域池化层Roipooling层、及至少一层全连接层，所述参数值包括卷积层的卷积核数量、卷积核尺寸、卷积核权重值、全连接层的权矩阵值；

获取含有车辆的多个样本图像；

根据所述样本图像，获得车辆的车牌坐标；

根据所述车牌坐标截取所述样本图像，获得车辆的整车样本图像；

将各整车样本图像，以及已知的各整车样本图像对应的车头朝向分类结果，输入所述初始卷积神经网络，得到各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果；

根据各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的各整车样本图像对应的车头朝向分类结果，获得损失函数的响应值；

根据所述损失函数的响应值，不断调整初始卷积神经网络的结构或参数值，直至所述卷积神经网络满足预设条件，获得训练得到的卷积神经网络。

本发明实施例提供的基于图像的车头朝向识别方法及装置，利用卷积神经网络从图像中识别车头朝向，主要包括：首先，确定待识别图像中是否包含符合车牌特征的区域；其次，若所述待识别图像中包含符合车牌特征的区域，则确定所述待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的；再次，在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；接下来，将每个整车图像输入预设卷积神经网络，将所述预设卷积神经网络输出的特征图与所述车脸的各顶点所在区域进行处理，得到每个所述车脸的各顶点对应的定位区域；然后，在每个所述车脸的各顶点对应的定位区域中，找到每个所述车脸的各顶点对应的定位坐标，确定每个所述车脸所在区域；最后，对于每个整车图像，根据所述预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，所述分类表示每个整车图像中的车头朝向。本发明实施例仅利用待识别图像的一帧图像，通过卷积神经网络得到待识别图像中车辆的车头朝向的识别结果，不需要输入含有目标车辆的多帧图像，因此，本发明实施例能够减小输入的数据量。实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为图像拍摄设备拍摄的一帧图像；

图2为本发明实施例的基于图像的车头朝向识别方法的一种流程图；

图3为本发明实施例的卷积神经网络的训练流程图；

图4为本发明实施例的卷积神经网络的结构图；

图5为本发明实施例的基于图像的车头朝向识别方法的另一种流程图；

图6为本发明实施例的整车图像示意图；

图7为inception v2的结构；

图8为inception v1的结构；

图9为本发明实施例的基于图像的车头朝向识别装置的一种结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于图像的车头朝向识别方法及装置，不需要输入目标车辆的多帧图像，能够减小输入的数据量。

下面首先对本发明实施例提供的一种基于图像的车头朝向识别方法进行介绍。

随着卷积神经网络技术的发展，卷积神经网络被广泛应用于图像识别领域。如用于识别图像中的人脸、字符等，卷积神经网络能够提供较高的识别正确率及广泛的识别范围。本发明实施例正是利用卷积神经网络在图像识别领域的优秀能力，提出一种基于图像的车头朝向识别方法，针对图像拍摄设备拍摄的一帧图像，能够获得图像中车辆的车头朝向识别结果。本发明实施例可以利用已有的卷积神经网络，或者利用本发明实施例方法重新建立一个新的卷积神经网络。

在假设不存在倒车的情况下，本发明实施例将图像中的车头朝向分为正向和背向，车头朝向为正向意为车辆向图像拍摄设备方向行驶，也就是车头面向图像拍摄设备；车头朝向为背向意为车辆向背离图像拍摄设备方向行驶，也就是车头背向图像拍摄设备，如图1所示，图1为图像拍摄设备拍摄的一帧图像，其中含有多个车辆，有的车辆车头朝向为正向，有的车辆车头朝向为背向。

在进行卷积神经网络的处理之前，本发明实施例首先利用多种车牌特征，如颜色特征、字符特征、长度宽度特征等，确定待识别图像中是否包含符合车牌特征的区域，也就是确定待识别图像中是否存在车牌区域，通过确定存在车牌区域确定待识别图像中存在车辆。在存在车辆的前提下，应用本发明实施例后续方法。

其次，利用车牌区域与车辆整体轮廓的位置关系，以车牌区域为基准向各方向延伸预设距离后，在待识别图像中确定至少一个包含车辆轮廓范围的整车图像。获取到的每个整车图像仅包含一个车辆。

再次，在每个整车图像中，根据车牌区域与车辆整体轮廓的位置关系，确定一个比整车图像小的，含有车头部分或者车尾部分的车脸区域的，各顶点可能存在的区域。

接下来，将每个整车图像输入预设卷积神经网络，将预设卷积神经网络输出的特征图与车脸的各顶点所在区域进行处理，得到比上一步的车脸区域的各顶点可能存在的区域，范围更准确的，每个车脸的各顶点对应的定位区域。

然后，在每个车脸的各顶点对应的定位区域中，找到每个车脸的各顶点对应的定位坐标，也就是获得车脸的各顶点的精确的定位坐标，并根据车脸的各顶点的精确的定位坐标，确定每个车脸所在区域。

最后，对于每个整车图像，根据预设卷积神经网络输出的特征图与车脸所在区域，对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，分类表示每个整车图像中的车头朝向，具体表示为车头朝向为正向的分类概率及车头朝向为背向的分类概率，本发明实施例根据车头朝向的分类概率较大者，最终确认车头朝向。

本发明实施例的卷积神经网络可以根据大量的整车图像及已知的整车图像中车头朝向识别结果训练得到。

本发明实施例利用卷积神经网络对图像进行识别，输入为图像拍摄设备的一帧图像，相比于现有技术采用多帧图像的时间序列上的位置对比法，本发明实施例的输入数据量较小，并且由于卷积神经网络对图像特征的深度提取、学习特性，本发明实施例的车头朝向识别的准确率更高。

参见图2，图2为本发明实施例的基于图像的车头朝向识别方法的一种流程图，包括如下步骤：

步骤201，确定待识别图像中是否包含符合车牌特征的区域。

待识别图像为图像拍摄设备拍摄的任意一帧图像，如交通监控系统设置于道路上方的摄像头拍摄的图像等，待识别图像既可以是实时获取的样本图像，也可以是已存储的历史图像。待识别图像中可能含有车辆，也可能不含有车辆。而本发明实施例的对车辆的车头朝向识别的基础，是待识别图像中含有车辆，因此，本发明实施例首先必须确认待识别图像中是否含有车辆，如果含有车辆才能够使用本发明实施例的方法。

通过本发明实施例的发明人研究发现，利用车牌来确定待识别图像中是否含有车辆是一种简便有效的方式，因为车牌是车辆共有的特征，车牌不受车辆的车型、大小、颜色等限制，且车牌在车头和车尾位置各有一个，并且车牌与车头、车尾的位置关系相对固定。针对通常情况，如果待识别图像中存在车牌，必然存在车牌所在的车头或者车尾，因此，如果能够判定待识别图像中存在车牌，必然能够确定待识别图像中存在车辆。

通过本发明实施例的发明人研究发现，车牌具有多个特征，比如颜色多为蓝色、白色结合，或者白色、黑色结合，或者黄色、黑色结合，以及车牌一般含有数字、字母等，且车牌具有固定的长度、宽度等特征。因此，可以将多个车牌特征结合起来，在待识别图像中找到符合车牌特征的区域，该符合车牌特征的区域即为车牌所在的区域。

步骤202，若待识别图像中包含符合车牌特征的区域，则确定待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的。

如果待识别图像中包含符合车牌特征的区域，也就是待识别图像中包含车牌所在的区域，则可以根据车牌所在的区域的位置与车辆整体轮廓的位置关系，如车牌所在的区域的位置与车顶、车底盘、车轮胎、两侧车身、倒后镜的位置关系，以车牌所在的区域为基准，向各方向延伸预设距离，获得一个能够包含车辆整体轮廓的区域范围，如以车牌所在的区域为基准，向上下左右延伸预设距离，获得一个矩形区域范围等，将包含车辆整体轮廓的区域范围内的图像作为整车图像，获得仅包含一个符合车牌特征的区域的整车图像，也就是说每个整车图像仅包含一个车辆。

本发明实施例中的待识别图像中如果包含多个车牌所在的区域，则可以对应每个车牌所在的区域，获得对应的整车图像，本发明实施例使用整车图像，是为了获取仅包含一个车辆的图像，避免图像中存在多个车辆、或者图像中的其他物体对图像识别的干扰，因此，本发明实施例利用整车图像能够提高后续车头朝向识别的准确率。同时，本发明实施例获取的整车图像为原待识别图像的一部分，将整车图像作为输入，相比于原待识别图像作为输入，能够减小本发明实施例的卷积神经网络的输入数据量。需要说明的是，本发明实施例选取的预设距离考虑了多种车型及车辆大小，如卡车、公交车、小汽车等，所以获取的整车图像能够包含各种车辆的整体轮廓。

步骤203，在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域。

在每个整车图像中，通过观察分析，与车头朝向相关的区域可以进一步缩小，比如车顶、车窗、轮胎对于识别车头为正向或者背向的贡献不大，而车窗以下、车底盘以上的车牌附近的区域含有车头和车尾的区别点，比如车牌在车头和车尾的位置高低不同，车头和车尾的车灯不同等等。因此本发明实施例设置了一个矩形区域范围为车脸范围，该车脸范围可以为车窗下边沿、车底盘边沿、及两侧车身边沿确定的矩形区域范围等，本发明实施例期望在整车图像中，获取到该车脸范围，然后在该车脸范围中，结合车头和车尾的具体特征差异，识别出图像为车头部分或者车尾部分。而本发明实施例考虑到针对任意一个整车图像，本发明实施例设置的该车脸范围可能为车头部分也可能为车尾部分，而且多种车型、多种车辆大小的车脸范围不尽相同，因此，本发明实施例考虑车脸范围的矩形区域各顶点，应该存在具有最大包容性的可能存在区域，并根据车牌所在的区域，与车辆整体轮廓的位置关系，比如多种车型、多种车辆大小的车牌与车窗、车底盘、车轮的位置关系等，确定车脸的各顶点所在区域，也就是说通过步骤203，本发明实施例获取到车脸范围对应的矩形区域范围的各顶点，各自可能存在的区域范围，举例来说，本步骤针对车脸范围对应的矩形区域的四个顶点，获取到四个顶点各自可能存在的区域范围，为对应的四个矩形区域范围。

步骤204，将每个整车图像输入预设卷积神经网络，将预设卷积神经网络输出的特征图与车脸的各顶点所在区域进行处理，得到每个车脸的各顶点对应的定位区域。

步骤203中已经获取到车脸范围对应的矩形区域范围的各顶点，各自可能存在的区域范围，本发明实施例接下来需要将各顶点可能存在的区域的范围进一步精确定位，直至能够获得到车脸各顶点精确的定位坐标，一旦获取到车脸各顶点精确的定位坐标，就能够确定得到车脸区域对应的矩形区域范围。

由现有的卷积神经网络知识可知，卷积神经网络能够对输入图像进行空间变换，获得空间变换后的特征图，该特征图比原输入图像在数据维度上更适合后续的卷积神经网络的分类处理。卷积神经网络将输入图像进行空间变换获得特征图，主要是利用卷积神经网络的卷积层的卷积核与输入图像各像素点进行卷积运算，提取图像特征，再利用池化层对提取特征后的数据进行空间降采样处理，获得到的特征图相比于输入图像其实是一个宽度、高度尺寸缩小，深度尺寸增加的，数据维度变化后的矩阵，特征图中含有卷积核提取的输入图像的不同的图像特征，特征图中的像素点和输入图像的像素点存在映射关系，但特征图中的像素点可能映射原图中多个像素点，而并不是与原图像素点一一对应的映射关系。

本发明实施例在将每个整车图像输入预设卷积神经网络，通过卷积层、池化层处理，获得预设卷积神经网络输出的特征图之后，利用预设卷积神经网络，将特征图与车脸的各顶点所在区域进行处理，该处理过程可以概括理解为，利用原图、原图的特征图，及关注区域在原图的坐标位置，获取关注区域在原图的特征图中的坐标位置，对应本发明实施例，原图即为整车图像，原图的特征图即为将整车图像输入预设卷积神经网络得到的特征图，可以称之为整车的特征图，关注区域即为车脸的各顶点所在区域。具体的处理过程可以概括为，首先利用整车图像的尺寸、整车图像的特征图的尺寸，计算车脸的各顶点所在区域在整车的特征图上的坐标范围，获得到车脸的各顶点所在区域在整车的特征图上的坐标范围，该坐标范围其实是一个含有多个像素点的矩阵，再对该矩阵进行降采样处理，得到一个采样后的尺寸缩小的新的矩阵，该采样后的尺寸缩小的新的矩阵，即代表每个车脸的各顶点对应的定位区域。也就是说通过步骤204，本发明实施例获取到比步骤203的车脸范围对应的矩形区域范围的各顶点各自可能存在的区域范围，范围更精确的可能存在的区域范围。

步骤205，在每个车脸的各顶点对应的定位区域中，找到每个车脸的各顶点对应的定位坐标，确定每个车脸所在区域。

本发明实施例利用预设卷积神经网络的全连接层的分类特性，在每个车脸的各顶点对应的定位区域中，找到每个车脸的各顶点对应的定位坐标，并利用每个车脸的各顶点对应的定位坐标，确定车脸对应的矩形范围为车脸所在区域。

步骤206，对于每个整车图像，根据预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，分类表示每个整车图像中的车头朝向。

对于每个整车图像，本发明实施例利用预设卷积神经网络，将步骤204得到的整车的特征图，与步骤205得到的车脸所在区域进行处理，处理过程和步骤203的将特征图与车脸的各顶点所在区域进行处理的过程类似，获得车脸的各顶点对应的定位坐标，对应在整车图像的特征图中的坐标，之后利用至少一层全连接层对车脸所在区域进行分类处理，得到车脸所在区域对应的分类结果，分类结果中包含车头朝向为正向的分类概率及车头朝向为背向的分类概率。

可见，本发明实施例提供的基于图像的车头朝向识别方法，利用卷积神经网络从图像中识别车头朝向，主要包括：首先，确定待识别图像中是否包含符合车牌特征的区域；其次，若待识别图像中包含符合车牌特征的区域，则确定待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的；再次，在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；接下来，将每个整车图像输入预设卷积神经网络，将预设卷积神经网络输出的特征图与车脸的各顶点所在区域进行处理，得到每个车脸的各顶点对应的定位区域；然后，在每个车脸的各顶点对应的定位区域中，找到每个车脸的各顶点对应的定位坐标，确定每个车脸所在区域；最后，对于每个整车图像，根据预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，分类表示每个整车图像中的车头朝向。本发明实施例仅利用待识别图像的一帧图像，通过卷积神经网络得到待识别图像中车辆的车头朝向的识别结果，不需要输入含有目标车辆的多帧图像，因此，本发明实施例能够减小输入的数据量，并提高车头朝向识别的准确率。

本发明实施例可以利用图2所示方法建立并训练一个卷积神经网络，以利用建立并训练的卷积神经网络具体执行本发明实施例方法。参见图3，图3为本发明实施例的卷积神经网络的训练流程图，包括：

步骤301，构建初始卷积神经网络的结构，并设置初始卷积神经网络的参数值。

卷积神经网络目前已被广泛应用于图像识别等领域，存在多种已有的卷积神经网络结构，本发明实施例可以预先结合已有的卷积神经网络结构，构建初始卷积神经网络的结构，本发明实施例的卷积神经网络按照功能可以分为车脸定位网络和车头朝向识别网络，两者功能相连，但初始卷积神经网络作为一个整体，网络连接并不分割。作为初始卷积神经网络的结构，本发明实施例可以包括至少一层卷积层、至少一层池化层、至少一层关注区域池化层Roipooling层、及至少一层全连接层等。

本发明实施例在构建初始卷积神经网络的结构的同时，设置初始卷积神经网络的参数值，参数值包括卷积层的卷积核数量，如32个、64个等、卷积核尺寸，如5*5等、卷积核权重值、全连接层的权矩阵值等。本发明实施例可以对初始卷积神经网络的各个矩阵值赋以任意已知值作为初始值，或者可以利用初始化方法msra等方法，对初始卷积神经网络的各个矩阵值产生随机数作为初始值，这些随机数均是以实数的形式存在。

至此为止，本发明实施例的初始卷积神经网络构建完成。

步骤302，获取含有车辆的多个样本图像。

本发明实施例预先获取大量的含有车辆的样本图像，图像的来源可以是任意图像拍摄设备拍摄的图像，如交通监控系统的摄像头拍摄的图像、手机拍摄的图像等，样本图像既可以是实时获取的图像，也可以是已存储的历史图像。

步骤303，根据样本图像，获得车辆的车牌坐标。

本发明实施例根据多个车牌特征，如颜色特征、字符特征、车牌长度宽度特征等，对样本图像进行分析，确定样本图像中满足多个车牌特征的区域为车牌区域，并根据车牌区域确定车牌坐标，该车牌坐标为车牌所在矩形区域的各顶点坐标。

步骤304，根据车牌坐标截取样本图像，获得车辆的整车样本图像。

本发明实施例根据车牌区域与车辆整体轮廓的位置关系，如车牌区域与车顶、车底盘、车轮胎、两侧车身、倒后镜的位置关系，以车牌区域的中心点为基准，向上下左右各方向延伸预设距离，获得一包含车辆全部轮廓的矩形区域，并将该矩形区域内的图像从待识别图像中截取出来，作为车辆的整车样本图像。

步骤305，将各整车样本图像，以及已知的各整车样本图像对应的车头朝向分类结果，输入初始卷积神经网络，得到各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果。

本发明实施例将每个整车样本图像、每个整车样本图像对应的车牌坐标，以及已知的各整车样本图像对应的车头朝向分类结果输入初始卷积神经网络，得到初始卷积神经网络输出的，每个整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果。

步骤306，根据各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的各整车样本图像对应的车头朝向分类结果，获得损失函数的响应值。

本发明实施例中预设多个损失函数，每个损失函数以一定角度衡量整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的车头朝向分类结果的差异，如损失函数可以是整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的车头朝向分类结果的减函数，或者是求取两者欧式距离的函数等，本发明实施例将多个损失函数的响应值进行加权，获得多个角度综合衡量两者差异的结果，以此更加准确地衡量每个整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的车头朝向分类结果的差异程度。

步骤307，根据损失函数的响应值，不断调整初始卷积神经网络的结构或参数值，直至卷积神经网络满足预设条件，获得训练得到的卷积神经网络。

本发明实施例旨在训练卷积神经网络以逼近损失函数达到极小值，因此本发明实施例可以对损失函数的响应值设置目标值，不断调整初始卷积神经网络的结构或参数值，直至卷积神经网络满足预设条件为损失函数的响应值达到目标值，获得训练得到的卷积神经网络。

在实际训练过程中，通常可以采用，多次抽检并对比损失函数的响应值，在损失函数的响应值的减小程度达到预设值时，测试一样本图像经卷积神经网络输出的车头朝向识别结果，将卷积神经网络输出的车头朝向识别结果，与该样本已知的车头朝向识别结果对比获得识别正确率，当识别正确率达到预设正确率时，如预设正确率为98％等，此时停止训练，获得训练得到的卷积神经网络。该过程以车头朝向识别结果的识别正确率为导向，不用设置损失函数的响应值，更贴合使用目的及实际使用情况。

其中，调整初始卷积神经网络的结构可以为，更改网络中各层类型、数量等，还可以增加或者减少其他组件等。调整初始卷积神经网络的参数值可以为，修改卷积层的卷积核数量、卷积核尺寸、卷积核权重值、全连接层的权矩阵值等。调整初始卷积神经网络的参数值可以采用梯度下降法等。

通过步骤301至步骤307，完成了本发明实施例的卷积神经网络的训练过程，训练得到的卷积神经网络针对输入的任意一帧含有车辆的图像，都能够自动提取图像特征，输出获得车辆的车头朝向识别结果。参见图4，图4为本发明实施例的卷积神经网络的结构图，包括车脸定位网络A和车头朝向识别网络B，其中，车脸定位网络A包括卷积层conv1、卷积层conv2，池化层Maxpool1、池化层Maxpool2，Roipooling层，全连接层FC-4、全连接层FC-1等，车头朝向识别网络B包括Roipooling层、Inception1～Inception7共7个多尺度感知层Inception层、全连接层FC-2、映射函数SoftMaxLoss，需要说明的是图4中损失函数EuclideanLoss(0.5)指训练过程采用的损失函数EuclideanLoss的权值为0.5。

参见图5，图5为基于图2所示方法的一实例的流程图，包括如下步骤：

步骤501，确定待识别图像中是否包含符合车牌特征的区域。

步骤501具体可以包括：

第一步，逐行扫描待识别图像，确定是否能够获取满足预设车牌像素特征的像素点，若能，将满足预设车牌像素特征的像素点作为第一像素点。本发明实施例中的逐行扫描可以为横向扫描或者竖向扫描。

本发明实施例的发明人研究发现，图像中车牌区域的像素点，和图像中其他区域的像素点的特征不同，车牌区域可能具有的像素特征如车牌颜色多为蓝色、白色结合，或者白色、黑色结合，或者黄色、黑色结合，通过逐行扫描待识别图像的像素点，如果一些像素点的颜色为蓝色、白色，并呈现出交替变化，则这些像素点很有可能是车牌区域中的像素点，或者，扫描发现一些像素点与周围像素点的灰度值呈现较大差异，出现跳变，则这些像素点很有可能是车牌中颜色变化的交界处，如蓝色和白色的交界处，或者车牌边缘处等，本发明实施例根据预设车牌像素特征在待识别图像的每一行中，确定是否能够获取可能为车牌区域的像素点，若能，将可能为车牌区域的像素点作为第一像素点。

第二步，连接各行内相邻的第一像素点，获得各行的多个第一像素区域。

本发明实施例在每一行内可能获取到多个第一像素点，但车牌区域是一个包含多个连续像素点的矩形区域，因此，满足车牌特征的单独的一个像素点是不可能为车牌区域的像素点的，故本发明实施例连接各行内相邻的第一像素点，获得各行的多个第一像素区域，这些第一像素区域才有可能为车牌区域。

第三步，连接相邻行的第一像素区域，获得待识别图像的多个第二像素区域。

同上，单独一行的第一像素区域也不可能为车牌区域的像素点的，故本发明实施例连接相邻行的第一像素区域，获得待识别图像的多个第二像素区域。可以理解的是，本发明实施例获得的待识别图像的多个第二像素区域，可能大小不一，形状不一，而且多个第二像素区域中可能含有一个或多个车牌区域。

第四步，从多个第二像素区域中，确定是否能够获得与预设车牌特征匹配的第二像素区域，预设车牌特征包括：车牌长度特征、车牌宽度特征、车牌颜色特征、车牌字符特征，若能，将与预设车牌特征匹配的第二像素区域作为符合车牌特征的区域。

本发明实施例，在多个第二像素区域中，依据预设车牌特征中，车牌长度特征、车牌宽度特征、车牌颜色特征、车牌字符特征等，查看是否有一个或多个第二像素区域与上述的车牌特征匹配，举例来说，如果有一个第二像素区域也是矩形区域，且长度宽度与预设的车牌长度、车牌宽度一致，并且矩形区域内出现的像素点的颜色分布为蓝色、白色结合，或者白色、黑色结合，或者黄色、黑色结合，且矩形区域内存在的字符为满足预设字符长度的字母、数字及中文字等结合，那么该第二像素区域应被确定为与预设的车牌特征匹配，则将该第二像素区域作为符合车牌特征的区域。

本发明实施例利用车牌特征识别车牌区域，以此确定待识别图像中是否含有车辆，该方法简便有效，可执行度高。

步骤502，若待识别图像中包含符合车牌特征的区域，则确定待识别图像中的至少一个整车图像。

以下以图6举例说明确定整车图像的过程，参见图6，图6为本发明实施例的整车图像示意图，步骤502具体可以包括：

第一步，对于待识别图像中的每个符合车牌特征的区域，获得符合车牌特征的区域的各顶点坐标为车牌坐标。

本发明实施例对待识别图像中每个符合车牌特征的区域，也就是对每个车牌区域，获得车牌区域对应矩形区域的各顶点坐标为车牌坐标，车牌坐标可以为该矩形区域的4个顶点的坐标，也可以为对角线上2个顶点的坐标，即在图6中，获得车牌区域C的四个顶点a、b、c、d的坐标，或者对角线上的车牌左上角a和右下角d的坐标，或者对角线上的车牌右上角b和左下角c的坐标，其中每个顶点的坐标均包含x坐标和y坐标。

本发明实施例可以仅获得对角线上2个顶点的坐标，是因为本发明实施例仅利用矩形区域对角线上的两个顶点的坐标，即可计算出车牌区域对应的矩形区域的中心点坐标和实际车牌宽度及高度等。

第二步，根据车牌坐标获得车牌中心点坐标及实际车牌宽度。

本发明实施例以车牌坐标为车牌左上角a和右下角d的坐标为例说明，假设a的坐标为(lx，ty)，d的坐标为(rx，by)，则车牌中心点o的x坐标ox＝(lx+rx)/2，y坐标oy＝(ty+by)/2。实际车牌宽度W＝rx-lx+1。

第三步，根据车牌中心点坐标、实际车牌宽度及预设上距离、预设下距离、预设左距离、预设右距离，获得包含符合车牌特征的区域的整车图像的顶点坐标。

本发明实施例以车牌中心点o为基准分别向上下左右各方向延伸预设距离，其中，预设距离包括：预设上距离up_expand_radio、预设下距离down_expand_radio、预设左距离left_expand_radio、预设右距离right_expand_radio。本发明实施例的多个预设距离，是根据车牌区域与车辆整体轮廓的位置关系，如车牌区域与车顶、车底盘、车轮胎、两侧车身、倒后镜的位置关系，并考虑了多种车型及车辆大小，如卡车、公交车、小汽车等设置的数值，能够确保延伸得到的矩形区域包含各种类型车辆的一个完整的整车轮廓，然后本发明实施例在待识别图像中截取出该矩形区域作为整车图像即可。该本发明实施例的预设距离取值可以为：

left_expand_radio＝3；right_expand_radio＝3；up_expand_radio＝4.5；down_expand_radio＝1.5，等等。

本发明实施例根据以下计算公式，获得整车图像的左上角a1的坐标(exp_lx，exp_ty)，及右下角d1的坐标(exp_rx，exp_by)，当然本发明实施例也可以获得右上角b1的坐标及左下角c1的坐标，过程类似不再赘述。

计算公式为：

exp_lx＝cx-W*left_expand_radio；

exp_rx＝cx+W*right_expand_radio；

exp_ty＝cy-W*up_expand_radio；

exp_by＝cy+W*down_expand_radio；

第四步，根据整车图像的顶点坐标，在待识别图像中截取整车图像。

本发明实施例根据整车图像的左上角a1的坐标(exp_lx，exp_ty)，及右下角d1坐标(exp_rx，exp_by)，可以获得整车图像的坐标范围，也就是x坐标范围为exp_lx～exp_rx，y坐标范围为exp_by～exp_ty。然后在待识别图像中截取该坐标范围的整车图像即可。整车图像为图6矩形框Z内的图像。

本发明实施例的方法还包括，在截取整车图像后，利用图像缩放方法，如双线性插值法等，将整车图像的尺寸缩放至预设尺寸，如将整车图像由256*256*3缩放至150*150*3等，本发明实施例之所以将整车图像的尺寸缩放至预设尺寸是为了与预设卷积神经网络的数据尺寸匹配，同时也能够减小卷积神经网络输入的数据量。

在完成整车图像的获取之后，后续步骤均是在卷积神经网络中完成的。以下结合图4本发明实施例的卷积神经网络的结构图，说明本发明实施例的卷积神经网络处理的具体过程。

步骤5031，在每个整车图像中，将车牌坐标对应的矩阵，与第一网络中全连接层FC-4的权矩阵相乘，获得车脸各顶点的粗定位坐标。

卷积神经网络的全连接层，就是卷积神经网络输出层的神经元和输入层的每个神经元均连接。连接方式是利用全连接层中权矩阵的权值，该权矩阵为可以理解为如M*N的矩阵，其中的每个元素为权值W_i，该权值可以理解为一个卷积核，用于提取图像特征。全连接层的输入数据通常为一个含有图像特征的特征图，利用全连接层的权矩阵，提取该输入数据的特征图中的图像特征，并进行分类，获得含有分类后的图像特征的一个输出数据，一般来说，如果不是最后一层的全连接层，该输出数据也是一个特征图。

举例来说，全连接层的输入数据为一个输入特征图，具体可以为一个1*M的向量X＝(X₁,X₂,...,X_M)，全连接层的权矩阵为一个M*N的矩阵其中含有权值W_ij(1≤i≤M,1≤j≤N),则全连接层处理输入数据获得的输出数据为其中Y₁＝X₁*W₁₁+X₂*W₂₁+...+X_M*W_M1…。由此可见，输出数据为一个1*N的向量。从以上的示例可以看出全连接层对输入数据的处理过程，需要说明的是，全连接层的权矩阵中的权值是初始权值经过不断训练得到的。

本发明实施例中的第一网络为一含有全连接层的神经网络。

本步骤可以对应图4中车脸定位网络A中的全连接层FC-4的处理过程，举例来说，本发明实施例的车脸定位网络A中，FC-4相当于一个输入为1x1x4，输出为1x1x4，仅包含一个4节点全连接层的浅层网络，该网络可以称之为车牌回归网络，该车牌回归网络的输入数据为一个1x1x4的数组，具体为车牌坐标的左上角和右下角两个顶点的坐标值，其中每个顶点的坐标值都包含x分量和y分量，也就是说输入给FC-4的是车牌左上角和右下角两个顶点的坐标，共4个坐标值，FC-4是一个4x4的矩阵，其中的权值经过训练后，能够根据车牌顶点坐标对应的图像特征，获取车脸顶点的图像特征，继而获得车脸顶点可能存在的位置，也就是说FC-4的权值含有车牌顶点坐标与对应车脸粗定位坐标的位置关系，经过FC-4后得到车脸各顶点的粗定位坐标，对应依旧是左上角和右下角的坐标，共4个坐标值，如车牌回归网络得到的车脸左上角粗定位坐标为[25,25]，右下角粗定位坐标为[120,120]。

步骤5032，将车脸各顶点的粗定位坐标，向二维空间四个方向扩展预设像素值，获得每个整车图像中，车脸各顶点坐标在整车图像中的坐标范围为车脸的各顶点所在区域。

本步骤对应图4中车脸定位网络A中的expand处理过程，本发明实施例将车脸各顶点的粗定位坐标，向二维空间的四个方向扩展预设像素值，如32像素等，以上述举例继续说明，车脸左上角粗定位坐标为[25,25]，右下角粗定位坐标为[120,120]，对应可以得到右上角粗定位坐标和左下角粗定位坐标，然后将车脸各顶点的粗定位坐标分别向上下左右扩展32像素，得到四个区域的坐标范围，分别为左下角扩展区域范围[9:40,9:40]，左上角扩展区域范围[9:40,104:135]，右下角扩展区域范围[104:135,9:40]，右上角扩展区域范围[104:135,104:135]，本发明实施例认为车脸各顶点精确的定位坐标必然在对应的各个扩展区域范围内。

步骤5041，对于每个整车图像，将整车图像输入预设卷积神经网络，获得整车图像的特征图。

本步骤对应图4中车脸定位网络A中的卷积层conv1、卷积层conv2，池化层Maxpool1、池化层Maxpool2的处理过程。

首先对卷积层和池化层的功能及处理方式进行简介。

由于图像有其固有特性，也就是说，图像的某一部分的统计特性与其他部分是一样的。这意味着在这某一部分学习的特征也能用在另一部分的特征学习上，所以对图像上的所有位置，都能使用同样的学习特征。

对于图像，当从一个大尺寸图像中随机选取一小块，比如说8x8的尺寸作为样本，并且从这个8x8的小块样本中学习到了一些特征，这时可以把从这个8x8样本中学习到的特征作为探测器，应用到图像的任意地方中去。特别是，可以用从8x8样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值，以上可以理解为卷积层的处理机理。

卷积层含有多个卷积核，卷积核可以理解为一些可学习的滤波器。输入数据为输入图像的像素点矩阵，每个滤波器在空间上的宽度和高度尺寸小于输入数据尺寸，但是深度和输入数据一致，滤波器中含有多个权值，卷积核可以视为一个含有权值的矩阵，卷积核就是利用其权值提取图像中的图像特征。举例来说，卷积神经网络第一层的一个典型的滤波器的尺寸可以是5x5x3，也就是宽、高为5，深度为3的一个含有权值的矩阵，深度为3是因为输入图像有红、绿、蓝3个颜色通道。在卷积运算时，每个卷积核，也就是滤波器都在输入数据的宽度和高度上滑动，也就是卷积，在滑动滤波器的时候，需要预设步长滑动。当步长为1时，滤波器每次移动1个像素。然后计算整个滤波器和输入数据任一处的内积，也就是计算滤波器的权值和对应位置的像素点的值的内积。当滤波器沿着输入数据的宽度和高度滑过完成后，会生成一个2维的激活图，也就是本发明实施例的特征图，该激活图给出了在每个空间位置处滤波器的反应，也就是滤波器提取的图像特征。直观地来说，卷积神经网络会让滤波器学习到，当它看到某些类型的视觉特征时就激活，具体的视觉特征可能是某些方位上的边界，或者某些颜色的斑点，甚至可以是网络更高层上的蜂巢状或者车轮状图案。每个滤波器在输入数据中寻找一些不同的东西，也就是不同的图像特征，将获得的不同的图像特征进行叠加得到特征图。举例来说，如果第一个卷积层的输入是原始图像，那么在深度维度上的不同神经元将可能被不同方向的边界，或者是颜色斑点激活。将这些沿着深度方向排列、接受区域相同的神经元集合称为深度列或者深度切片。

在通过卷积层获得了图像特征之后，下一步希望利用这些图像特征进行分类，以获得具有某种特定图像特征的最终的分类结果。从理论上讲，可以把所有解析出来的图像特征关联到一个分类器，例如softmax分类器等，但这种方式的计算量非常大，极易出现过度拟合现象。

如上，因为图像具有的“静态性”的属性，也就是在一个图像区域有用的图像特征极有可能在另一个区域同样适用，所以使用卷积后的图像特征表征原图像。因此同理，为了描述大的图像，采用对不同位置的图像特征进行聚合统计也是一种合理且可行的方式。

池化层就是一种聚合统计的方法，池化层其实就是把特征图区域的一部分求均值或者最大值等，获取一个代表值，用来代表这部分区域。如果是求均值就是mean pooling方式，如果是求最大值就是max pooling方式，还有其他的池化方式，如随机池化stochasticpooling、概率加权probability weighted pooling等。池化层作用就是以一个代表值代替特征图区域的一部分，降低数据体的空间尺寸，这样就能减少网络中参数的数量，使得计算资源耗费变少，计算量变小，也能有效控制过拟合。

本发明实施例的池化层使用max pooling方式，对输入数据体的每一个深度切片独立进行操作，改变它的空间尺寸。最常见的形式是池化层使用尺寸2×2的滤波器，以步长为2对每个深度切片进行降采样，举例说明，如果卷积层输出的是特征图是32*32*12的数据体，池化层将32*32分成16*16个2*2数据体，然后在每个2*2的数据体里面，也就是2*2的4个数字中选取一个最大值，最后得到一个采样过后的16*16*12的数据体。该数据体相比于原来的32*32*12的数据体，宽高缩小，但深度不变。MaxPool将原数据体中可能75％的激活信息都丢掉，能够减小数据量。

本发明实施例，将150*150*3的整车图像，利用卷积层conv1的64个大小为5*5的卷积核，以步进1进行卷积运算，然后利用池化层Maxpool1进行降采样，再利用conv2的32个大小为5*5的卷积核，以步进1进行卷积运算，然后利用池化层Maxpool2进行降采样，最终获得19*19*32的特征图。需要说明的是本发明实施例的卷积层后还需要进行批量归一化层batchnorm的处理，和线性修正层relu的处理，batchnorm层主要用于调整特征空间的分布，使特征空间更利于分类；relu层其实是一种激活函数，该激活函数主要用于，以极小的计算量，避免梯度消失的同时，实现输入向量的非线性化。batchnorm和relu在本发明实施例的图4中省略未示出。该19*19*32的特征图是一个三维矩阵，每个维度都是19*19*32的矩阵，可以理解为将原整车图像的像素矩阵，提取不同的图像特征，并进行空间变换，获得另一个空间的图像特征的数据表现形式，而该空间变换后的特征图与原整车图像的像素矩阵存在映射关系，现有的特征图对应的矩阵中一个像素点，可能代表原整车图像的像素矩阵中多个像素点的信息。而进行空间变换的原因是空间变换后的新空间更适合应用卷积神经网络进行分类，回归运算。

需要说明的是，可以将一个卷积层+池化层理解为一个进行特征提取的处理层，如果该处理层的数目增加，也就是说如果有多个卷积层+池化层的结构，卷积神经网络的非线性程度会增加，复杂度会增加，但该处理层数目太多会出现过拟合现象，但如果该处理层的数目过少，又会出现欠拟合现象，无论是过拟合还是欠拟合，都会导致卷积神经网络的性能变差，也就是导致分类结果的正确率变差。所以实际中需要根据情况选择合适的处理层的层数，本发明实施例一般选择2个、3个或4个比较合适。

步骤5042，将整车图像的尺寸、整车图像的特征图的尺寸、车脸各顶点坐标在整车图像中的坐标范围，处理获得车脸各顶点坐标在整车图像中的坐标范围对应在整车图像的特征图中的坐标范围。

并将车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围，缩放至预设尺寸，将预设尺寸内的区域作为车脸的各顶点对应的定位区域。

本步骤对应图4中车脸定位网络A中的关注区域池化层RoiPooling层的处理过程。以下举例说明该处理过程，如整车图像的尺寸为宽W1＝150，高H1＝150，整车图像的特征图的尺寸为宽W2＝19，高H2＝19，以车脸左上角顶点a3对应的定位区域举例说明，该区域为一矩形区域，其中该矩形区域的左上角点坐标为x1＝50，y1＝50，右下角点坐标为x2＝120，y2＝120。

首先，计算车脸左上角顶点a3对应的定位区域，在整车图像的特征图上的坐标。

本发明实施例利用整车图像的尺寸、整车图像的特征图的尺寸、关注区域在整车图像的坐标(50,50)、(120,120)，获得该关注区域对应在整车图像的特征图上的坐标，即左上角点坐标为：lx1＝x1/W1*W2，ty1＝y1/H1*H2，计算得到该左上角点坐标为(6，6)；

右下角点坐标为：rx1＝x2/W1*W2，by1＝y2/H1*H2，计算得到该右下角点坐标为(15，13)；

通过计算车脸左上角顶点a3对应的定位区域，在整车图像的特征图上的左上角点坐标及右下角点坐标，可以获得整车图像的特征图上的一个区域，并可以得知该区域为一宽为10，高为8的矩阵，该矩阵可以理解为原整车图像的特征图的一个子集，该区域为车脸左上角顶点图像特征的像素点对应的矩阵。

然后，将该宽为10，高为8的矩阵，划分为多个网格区域，在每个网格区域提取像素最大值，该过程类似于前述的max pooling降采样过程，也就是将该宽为10，高为8的矩阵缩放至预设尺寸，获得预设尺寸的特征矩阵为，车脸的各顶点对应的定位区域。以下以一段程序代码示例，以便于理解将该宽为10，高为8的矩阵缩放的过程。

其中i，j仅用于循环示意，fix为取整函数，用于直接去掉小数点后数值。

从代码中可以看出，本发明实施例实际是将该宽为10，高为8的矩阵不均匀的划分为多个网格区域，在每个网格区域中，提取该区域内的最大值代表该网格区域，将依次提取的各个最大值生成一个6*6的新的矩阵，该6*6的矩阵作为一个特征矩阵，代表车脸的左上角顶点a3对应的定位区域，该区域为，在之前利用车牌特征确定的车脸的左上角顶点所在区域的基础上，进一步利用图像特征获得的更精确的车脸的左上角顶点对应的定位区域。获取车脸其余三个顶点对应的定位区域的过程类似，在此不做赘述，需要说明的是，上述举例是以通道数＝1进行举例说明，如果通道数>1的情况类似。

步骤5051，对于每个车脸，将车脸的各顶点对应的定位区域对应的特征矩阵，与预设卷积神经网络中全连接层FC-1的权矩阵相乘，获得车脸的各顶点对应的定位坐标。

本步骤对应图4中车脸定位网络A中全连接层FC-1的处理过程，经过步骤5042，可以获得车脸的各顶点对应的定位坐标，为4个6*6*32的矩阵，将每个6*6*32的矩阵与预设卷积神经网络中全连接层FC-1的权矩阵相乘，该全连接层FC-1的权矩阵为一个6*6*1的矩阵，含有训练得到的多个权值，全连接层FC-1处理后分别得到1个1*1*1的矩阵，也就是一个点，该点为车脸的各顶点对应的定位坐标。

本发明实施例方法还包括，根据车脸的各顶点对应的定位坐标，确定车脸的各顶点对应的定位坐标构成的矩形区域为车脸所在区域。

步骤5061，对于每个整车图像，将车脸的各顶点对应的定位坐标、整车图像的特征图，处理获得车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标。

本步骤对应图4中车头朝向识别网络B中的RoiPooling层的处理过程，该层的处理过程与步骤5042类似，根据整车图像的尺寸、整车图像的特征图的尺寸、车脸的各顶点对应的定位坐标，获得车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标。根据车脸的各顶点对应的定位坐标，对应在整车图像的特征图中的坐标获得一区域范围，该区域范围为一矩阵，该矩阵中含有车脸顶点像素点的图像特征。

步骤5062，将车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标，对应的矩阵，利用预设卷积神经网络中预设数量个多尺度感知inception层，提取多尺度的特征，获得第一特征矩阵。

本步骤对应图4中车头朝向识别网络B中的inception1～inception7的处理过程，Inception为谷歌开发的一现有卷积神经网络模块，参见图7，图7为inception v2的结构。本发明实施例的inception为inception v2模型，包括4个卷积核尺寸为1*1的卷积层conv、3个卷积核尺寸为3*3的卷积层conv，及1个尺寸为3*3池化层MaxPool。参见图8，图8为inception v1的结构。包括卷积核尺寸为1*1的卷积层conv、卷积核尺寸为3*3的卷积层conv、卷积核尺寸为5*5的卷积层conv和一个为3*3池化层MaxPool。

在卷积神经网络中，感受野的定义是卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。从卷积神经网络可视化的角度来讲，感受野就是输出特征图某个节点的响应对应的输入图像的区域。也就是，与特征图上某个像素点特征相关的所有输入图像像素点对应的一个区域。比如第一层是一个3*3的卷积核，那么经过这个卷积核得到的特征图中的每个节点都源自这个3*3的卷积核与原图像中3*3的区域做卷积，那么就称这个特征图的节点感受野大小为3*3，如果再经过pooling层，假定卷积层的卷积核步长是1，pooling层大小为2*2，步长是2，那么pooling层节点的感受野就是4*4。感受野的计算采用是从上至下top to down的方式，即先计算最深层在前一层上的感受野，然后逐渐传递到第一层。感受野的大小与造成特征图某一个图像特征值变化的所有输入图像的像素点组成的区域有关，第一层卷积层的输出特征图像素的感受野的大小等于滤波器的大小，深层卷积层的感受野大小和它之前所有层的滤波器大小和步长有关。

Inception v1的网络，将1x1，3x3，5x5的conv和3x3的max pooling，堆叠在一起，一方面增加了网络的宽度，另一方面增加了网络对尺度的适应性，多尺度体现在不同尺寸的卷积核。

采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合。但是，所有的卷积核都是基于上一层的所有输出，那么5×5的卷积核所需的计算量就太大了，造成了特征图的厚度很大，为了避免这一现象提出的inception v2具有如下结构，在3x3的conv前，5x5的conv前，3x3的max pooling后分别加上了1x1的卷积核conv，1*1卷积conv主要用来降维，起到了降低特征图厚度的作用。

大尺寸的卷积核可以带来更大的感受野，但也意味着更多的参数，比如5x5卷积核参数是3x3卷积核的25/9＝2.78倍。因此，inception v2用2个连续的，步长stride为1的3x3卷积层，组成的小网络来代替单个的5x5卷积层，在保持感受野范围的同时又减少了参数量，并且可以避免表达瓶颈，加深非线性表达能力。用了inception v2之后整个网络结构的宽度和深度都得到扩大，能够带来2-3倍的性能提升。综上，本发明实施例的Inception主要利用多个层扩大卷积神经网络中神经元的感受野，也就是卷积神经网络所能接触的数据范围，以对输入数据进行多尺度的特征提取，提高图像识别的正确率。

本发明实施例采用的inception为预设数量个，其中，预设数量为根据网络训练效率及车头朝向识别的正确率设置的数值，一般可以选择3～7个。本发明实施例采用7个inception，经过7个inception获得到一个第一特征矩阵，该第一特征矩阵尺寸为1*1*2的矩阵。

步骤5063，将第一特征矩阵，与预设卷积神经网络中全连接层FC-2的权矩阵相乘，得到车脸所在区域中车头朝向的分类数值。

本步骤对应图4中车头朝向识别网络B中的全连接层FC-2的处理过程，FC-2的权矩阵为一个2*2的矩阵，权矩阵中含有训练好的权值，将步骤5062得到的尺寸为1*1*2的第一特征矩阵，与该FC-2的权矩阵相乘，获得1*1*2的矩阵，也就是2个数值，这两个数值为全连接层FC-2对第一特征矩阵的分类数值，可能为车头朝向为正向的分类数值为1000，车头朝向为背向的分类数值为0.0001。

步骤5064，利用预设的映射函数，将车头朝向分类数值，映射为概率区间内的车头朝向分类结果。

本步骤对应图4中车头朝向识别网络B中的SoftMaxLoss的处理过程，SoftMaxLoss为一映射函数，映射函数能够将一数值映射为预设数值范围内的数值，在本发明实施例中SoftMaxLoss将数值映射为概率区间[0,1]的数值，如步骤5063的示例，SoftMaxLoss能够将1000映射为1，将0.0001映射为0。当然，本发明实施例还可以采用其他的映射函数，这都是合理的。

至此，本发明实施例获得到车头朝向分类结果为，车头朝向为正向概率为1，车头朝向为背向的概率为0，则本发明实施例的车头朝向识别结果为车头为正向。

可见，本发明实施例提供的基于图像的车头朝向识别方法，利用预设的卷积神经网络处理整车图像和车牌坐标，最终获得车头朝向分类结果，具体过程为，首先，确定待识别图像中是否包含符合车牌特征的区域，在待识别图像中包含符合车牌特征的区域时，确定待识别图像中的至少一个整车图像，将整车图像和车牌坐标作为卷积神经网络的输入；其次，将车牌坐标与卷积神经网络的全连接层处理，获得粗略的车脸各顶点坐标，再将粗略的车脸各顶点坐标，向二维空间四个方向扩展预设像素值，获得整车图像中，车脸的各顶点粗略的可能存在的区域。同时将整车图像，输入预设卷积神经网络，利用卷积层、池化层处理获得整车图像的特征图；再次，将整车图像的尺寸、整车图像的特征图的尺寸、车脸各顶点坐标在整车图像中的坐标范围，处理获得车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围；并将车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围，缩放至预设尺寸，获得预设尺寸的特征矩阵为，车脸的各顶点对应的定位区域，获得到进一步缩小范围的车脸各顶点可能存在的区域范围。又再次，将代表车脸的各顶点对应的定位区域的预设尺寸的特征矩阵，与预设卷积神经网络中全连接层FC-1的权矩阵相乘，获得车脸的各顶点对应的精确的定位坐标，并根据车脸的各顶点对应的精确的定位坐标，确定精确的车脸所在区域。接下来，对于每个整车图像，将车脸的各顶点对应的定位坐标、整车图像的特征图，处理获得车脸的各顶点对应的定位坐标，对应在整车图像的特征图中的坐标；然后，将车脸的各顶点对应的定位坐标，对应在整车图像的特征图中的坐标对应的矩阵，利用预设卷积神经网络中预设数量个inception层，提取多尺度的特征，获得第一特征矩阵；并将第一特征矩阵，与预设卷积神经网络中全连接层FC-2的权矩阵相乘，得到车脸所在区域中车头朝向的分类数值；最后利用预设的映射函数，将车头朝向分类数值，映射为概率区间内的车头朝向分类结果。本发明实施例先利用利用车牌坐标粗定位，再利用整车图像信息细定位，先完成车脸的回归任务，获得精确的车脸定位坐标，之后再利用车脸定位坐标与整车图像的特征图进一步提取车脸特征，完成车脸的分类，获得车脸区域中车头朝向的分类结果，本发明实施例仅利用待识别图像的一帧图像，获得车头朝向的识别结果，不同于现有技术的输入数据为多帧图像，本发明实施例能够减小输入的数据量，并且利用卷积神经网络能够提高车头朝向识别的正确率，并且本发明实施例利用车牌特征获得整车图像，利用车脸定位网络定位车脸区域，逐渐缩小图像特征提取的数据范围，有利于提高车头朝向识别的正确率。

参见图9，图9为本发明实施例的基于图像的车头朝向识别装置的一种结构图，包括：

车牌特征判断模块901，用于确定待识别图像中是否包含符合车牌特征的区域；

整车图像确定模块902，用于若待识别图像中包含符合车牌特征的区域，则确定待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的；

车脸顶点区域确定模块903，用于在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；

车脸顶点定位区域获取模块904，用于将每个整车图像输入预设卷积神经网络，将预设卷积神经网络输出的特征图与车脸的各顶点所在区域进行处理，得到每个车脸的各顶点对应的定位区域；

车脸定位坐标获取模块905，用于在每个车脸的各顶点对应的定位区域中，找到每个车脸的各顶点对应的定位坐标，确定每个车脸所在区域；

分类模块906，用于对于每个整车图像，根据预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，分类表示每个整车图像中的车头朝向。

可见，本发明实施例提供的基于图像的车头朝向识别装置，利用卷积神经网络从图像中识别车头朝向，主要包括：首先，确定待识别图像中是否包含符合车牌特征的区域；其次，若待识别图像中包含符合车牌特征的区域，则确定待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的；再次，在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；接下来，将每个整车图像输入预设卷积神经网络，将预设卷积神经网络输出的特征图与车脸的各顶点所在区域进行处理，得到每个车脸的各顶点对应的定位区域；然后，在每个车脸的各顶点对应的定位区域中，找到每个车脸的各顶点对应的定位坐标，确定每个车脸所在区域；最后，对于每个整车图像，根据预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，分类表示每个整车图像中的车头朝向。本发明实施例仅利用待识别图像的一帧图像，通过卷积神经网络得到待识别图像中车辆的车头朝向的识别结果，不需要输入含有目标车辆的多帧图像，因此，本发明实施例能够减小输入的数据量，并提高车头朝向识别的准确率。

需要说明的是，本发明实施例的基于图像的车头朝向识别装置是应用上述基于图像的车头朝向识别方法的装置，则上述应用基于图像的车头朝向识别方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。

在图9的基础上，作为一种优选的实施例，本发明实施例的基于图像的车头朝向识别装置包括：

车牌特征判断模块901，具体用于：

逐行扫描待识别图像，确定是否能够获取满足预设车牌像素特征的像素点，若能，将满足预设车牌像素特征的像素点作为第一像素点。

连接各行内相邻的第一像素点，获得各行的多个第一像素区域。

连接相邻行的第一像素区域，获得待识别图像的多个第二像素区域。

从多个第二像素区域中，确定是否能够获得与预设车牌特征匹配的第二像素区域，预设车牌特征包括：车牌长度特征、车牌宽度特征、车牌颜色特征、车牌字符特征，若能，将与预设车牌特征匹配的第二像素区域作为符合车牌特征的区域。

整车图像确定模块902，具体用于：

对于待识别图像中的每个符合车牌特征的区域，获得符合车牌特征的区域的各顶点坐标为车牌坐标。

根据车牌坐标获得车牌中心点坐标及实际车牌宽度。

根据车牌中心点坐标、实际车牌宽度及预设上距离、预设下距离、预设左距离、预设右距离，获得包含符合车牌特征的区域的整车图像的顶点坐标。

根据整车图像的顶点坐标，在待识别图像中截取整车图像。

车脸顶点区域确定模块903，具体用于：

在每个整车图像中，将车牌坐标对应的矩阵，与第一网络中全连接层FC-4的权矩阵相乘，获得车脸各顶点的粗定位坐标。

将车脸各顶点的粗定位坐标，向二维空间四个方向扩展预设像素值，获得每个整车图像中，车脸各顶点坐标在整车图像中的坐标范围为车脸的各顶点所在区域。

车脸顶点定位区域获取模块904，具体用于：

对于每个整车图像，将整车图像输入预设卷积神经网络，获得整车图像的特征图。

将整车图像的尺寸、整车图像的特征图的尺寸、车脸各顶点坐标在整车图像中的坐标范围，处理获得车脸各顶点坐标在整车图像中的坐标范围对应在整车图像的特征图中的坐标范围。

将车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围，缩放至预设尺寸，将预设尺寸内的区域作为车脸的各顶点对应的定位区域。

车脸定位坐标获取模块905，具体用于：

对于每个车脸，将车脸的各顶点对应的定位区域对应的特征矩阵，与预设卷积神经网络中全连接层FC-1的权矩阵相乘，获得车脸的各顶点对应的定位坐标。

根据车脸的各顶点对应的定位坐标，确定车脸所在区域。

分类模块906，具体用于：

对于每个整车图像，将车脸的各顶点对应的定位坐标、整车图像的特征图，处理获得车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标。

将车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标，对应的矩阵，利用预设卷积神经网络中预设数量个多尺度感知层inception层，提取多尺度的特征，获得第一特征矩阵。

将第一特征矩阵，与预设卷积神经网络中全连接层FC-2的权矩阵相乘，得到车脸所在区域中车头朝向的分类数值。

利用预设的映射函数，将车头朝向分类数值，映射为概率区间内的车头朝向分类结果。

本发明实施例中，卷积神经网络的训练过程包括：

构建初始卷积神经网络的结构，并设置初始卷积神经网络的参数值，其中，初始卷积神经网络的结构包括至少一层卷积层、至少一层池化层、至少一层关注区域池化层Roipooling层、及至少一层全连接层，参数值包括卷积层的卷积核数量、卷积核尺寸、卷积核权重值、全连接层的权矩阵值。

获取含有车辆的多个样本图像。

根据样本图像，获得车辆的车牌坐标。

根据车牌坐标截取样本图像，获得车辆的整车样本图像。

将各整车样本图像，以及已知的各整车样本图像对应的车头朝向分类结果，输入初始卷积神经网络，得到各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果。

根据各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的各整车样本图像对应的车头朝向分类结果，获得损失函数的响应值。

根据损失函数的响应值，不断调整初始卷积神经网络的结构或参数值，直至卷积神经网络满足预设条件，获得训练得到的卷积神经网络。

可见，本发明实施例提供的基于图像的车头朝向识别装置，利用预设的卷积神经网络处理整车图像和车牌坐标，最终获得车头朝向分类结果，具体过程为，首先，确定待识别图像中是否包含符合车牌特征的区域，在待识别图像中包含符合车牌特征的区域时，确定待识别图像中的至少一个整车图像，将整车图像和车牌坐标作为卷积神经网络的输入；其次，将车牌坐标与卷积神经网络的全连接层处理，获得粗略的车脸各顶点坐标，再将粗略的车脸各顶点坐标，向二维空间四个方向扩展预设像素值，获得整车图像中，车脸的各顶点粗略的可能存在的区域。同时将整车图像，输入预设卷积神经网络，利用卷积层、池化层处理获得整车图像的特征图；再次，将整车图像的尺寸、整车图像的特征图的尺寸、车脸各顶点坐标在整车图像中的坐标范围，处理获得车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围；并将车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围，缩放至预设尺寸，获得预设尺寸的特征矩阵为，车脸的各顶点对应的定位区域，获得到进一步缩小范围的车脸各顶点可能存在的区域范围。又再次，将代表车脸的各顶点对应的定位区域的预设尺寸的特征矩阵，与预设卷积神经网络中全连接层FC-1的权矩阵相乘，获得车脸的各顶点对应的精确的定位坐标，并根据车脸的各顶点对应的精确的定位坐标，确定精确的车脸所在区域。接下来，对于每个整车图像，将车脸的各顶点对应的定位坐标、整车图像的特征图，处理获得车脸的各顶点对应的定位坐标，对应在整车图像的特征图中的坐标；然后，将车脸的各顶点对应的定位坐标，对应在整车图像的特征图中的坐标对应的矩阵，利用预设卷积神经网络中预设数量个inception层，提取多尺度的特征，获得第一特征矩阵；并将第一特征矩阵，与预设卷积神经网络中全连接层FC-2的权矩阵相乘，得到车脸所在区域中车头朝向的分类数值；最后利用预设的映射函数，将车头朝向分类数值，映射为概率区间内的车头朝向分类结果。本发明实施例先利用利用车牌坐标粗定位，再利用整车图像信息细定位，先完成车脸的回归任务，获得精确的车脸定位坐标，之后再利用车脸定位坐标与整车图像的特征图进一步提取车脸特征，完成车脸的分类，获得车脸区域中车头朝向的分类结果，本发明实施例仅利用待识别图像的一帧图像，获得车头朝向的识别结果，不同于现有技术的输入数据为多帧图像，本发明实施例能够减小输入的数据量，并且利用卷积神经网络能够提高车头朝向识别的正确率，并且本发明实施例利用车牌特征获得整车图像，利用车脸定位网络定位车脸区域，逐渐缩小图像特征提取的数据范围，有利于提高车头朝向识别的正确率。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种基于图像的车头朝向识别方法，其特征在于，包括：

确定待识别图像中是否包含符合车牌特征的区域；

若所述待识别图像中包含符合车牌特征的区域，则确定所述待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的；

在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；

将每个整车图像输入预设卷积神经网络，将所述预设卷积神经网络输出的特征图与所述车脸的各顶点所在区域进行处理，得到每个所述车脸的各顶点对应的定位区域；

在每个所述车脸的各顶点对应的定位区域中，找到每个所述车脸的各顶点对应的定位坐标，确定每个所述车脸所在区域；

对于每个整车图像，根据所述预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，所述分类表示每个整车图像中的车头朝向。

2.根据权利要求1所述的方法，其特征在于，所述确定待识别图像中是否包含符合车牌特征的区域，包括：

逐行扫描待识别图像，确定是否能够获取满足预设车牌像素特征的像素点，若能，将所述满足预设车牌像素特征的像素点作为第一像素点；

连接各行内相邻的第一像素点，获得各行的多个第一像素区域；

连接相邻行的第一像素区域，获得待识别图像的多个第二像素区域；

从多个第二像素区域中，确定是否能够获得与预设车牌特征匹配的第二像素区域，所述预设车牌特征包括：车牌长度特征、车牌宽度特征、车牌颜色特征、车牌字符特征，若能，将与预设车牌特征匹配的第二像素区域作为符合车牌特征的区域。

3.根据权利要求1所述的方法，其特征在于，所述若所述待识别图像中包含符合车牌特征的区域，则确定所述待识别图像中的至少一个整车图像，包括：

对于所述待识别图像中的每个符合车牌特征的区域，获得所述符合车牌特征的区域的各顶点坐标为车牌坐标；

根据所述车牌坐标获得车牌中心点坐标及实际车牌宽度；

根据所述车牌中心点坐标、所述实际车牌宽度及预设上距离、预设下距离、预设左距离、预设右距离，获得包含符合车牌特征的区域的整车图像的顶点坐标；

根据所述整车图像的顶点坐标，在所述待识别图像中截取整车图像。

4.根据权利要求1所述的方法，其特征在于，所述在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域，包括：

在每个整车图像中，将所述车牌坐标对应的矩阵，与第一网络中全连接层FC-4的权矩阵相乘，获得车脸各顶点的粗定位坐标；

将所述车脸各顶点的粗定位坐标，向二维空间四个方向扩展预设像素值，获得每个整车图像中，车脸各顶点坐标在整车图像中的坐标范围为车脸的各顶点所在区域。

5.根据权利要求1所述的方法，其特征在于，所述将每个整车图像输入预设卷积神经网络，将所述预设卷积神经网络输出的特征图与所述车脸的各顶点所在区域进行处理，得到每个所述车脸的各顶点对应的定位区域，包括：

对于每个整车图像，将整车图像输入预设卷积神经网络，获得整车图像的特征图；

将所述整车图像的尺寸、所述整车图像的特征图的尺寸、所述车脸各顶点坐标在整车图像中的坐标范围，处理获得车脸各顶点坐标在整车图像中的坐标范围对应在整车图像的特征图中的坐标范围；

将所述车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围，缩放至预设尺寸，将预设尺寸内的区域作为车脸的各顶点对应的定位区域。

6.根据权利要求5所述的方法，其特征在于，所述在每个所述车脸的各顶点对应的定位区域中，找到每个所述车脸的各顶点对应的定位坐标，确定每个所述车脸所在区域，包括：

对于每个车脸，将车脸的各顶点对应的定位区域对应的特征矩阵，与预设卷积神经网络中全连接层FC-1的权矩阵相乘，获得车脸的各顶点对应的定位坐标；

根据所述车脸的各顶点对应的定位坐标，确定车脸所在区域。

7.根据权利要求1所述的方法，其特征在于，所述对于每个整车图像，根据所述预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，包括：

对于每个整车图像，将所述车脸的各顶点对应的定位坐标、所述整车图像的特征图，处理获得车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标；

将所述车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标，对应的矩阵，利用预设卷积神经网络中预设数量个多尺度感知层inception层，提取多尺度的特征，获得第一特征矩阵；

将所述第一特征矩阵，与预设卷积神经网络中全连接层FC-2的权矩阵相乘，得到车脸所在区域中车头朝向的分类数值；

利用预设的映射函数，将所述车头朝向分类数值，映射为概率区间内的车头朝向分类结果。

8.根据权利要求1所述的方法，其特征在于，所述卷积神经网络的训练过程包括：

构建初始卷积神经网络的结构，并设置初始卷积神经网络的参数值，其中，所述初始卷积神经网络的结构包括至少一层卷积层、至少一层池化层、至少一层关注区域池化层Roipooling层、及至少一层全连接层，所述参数值包括卷积层的卷积核数量、卷积核尺寸、卷积核权重值、全连接层的权矩阵值；

获取含有车辆的多个样本图像；

根据所述样本图像，获得车辆的车牌坐标；

根据所述车牌坐标截取所述样本图像，获得车辆的整车样本图像；

将各整车样本图像，以及已知的各整车样本图像对应的车头朝向分类结果，输入所述初始卷积神经网络，得到各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果；

根据各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的各整车样本图像对应的车头朝向分类结果，获得损失函数的响应值；

根据所述损失函数的响应值，不断调整初始卷积神经网络的结构或参数值，直至所述卷积神经网络满足预设条件，获得训练得到的卷积神经网络。

9.一种基于图像的车头朝向识别装置，其特征在于，包括：

车牌特征判断模块，用于确定待识别图像中是否包含符合车牌特征的区域；

整车图像确定模块，用于若所述待识别图像中包含符合车牌特征的区域，则确定所述待识别图像中的至少一个整车图像，每个整车图像包含一个符合车牌特征的区域，且每个整车图像是以一个符合车牌特征的区域为基准向各方向延伸预设距离后确定的；

车脸顶点区域确定模块，用于在每个整车图像中，根据符合车牌特征的区域确定车脸的各顶点所在区域；

车脸顶点定位区域获取模块，用于将每个整车图像输入预设卷积神经网络，将所述预设卷积神经网络输出的特征图与所述车脸的各顶点所在区域进行处理，得到每个所述车脸的各顶点对应的定位区域；

车脸定位坐标获取模块，用于在每个所述车脸的各顶点对应的定位区域中，找到每个所述车脸的各顶点对应的定位坐标，确定每个所述车脸所在区域；

分类模块，用于对于每个整车图像，根据所述预设卷积神经网络输出的特征图与车脸所在区域对车脸所在区域进行分类，得到车脸所在区域对应的分类结果，所述分类表示每个整车图像中的车头朝向。

10.根据权利要求9所述的装置，其特征在于，所述车牌特征判断模块，具体用于：

逐行扫描待识别图像，确定是否能够获取满足预设车牌像素特征的像素点，若能，将所述满足预设车牌像素特征的像素点作为第一像素点；

连接各行内相邻的第一像素点，获得各行的多个第一像素区域；

连接相邻行的第一像素区域，获得待识别图像的多个第二像素区域；

从多个第二像素区域中，确定是否能够获得与预设车牌特征匹配的第二像素区域，所述预设车牌特征包括：车牌长度特征、车牌宽度特征、车牌颜色特征、车牌字符特征，若能，将与预设车牌特征匹配的第二像素区域作为符合车牌特征的区域。

11.根据权利要求9所述的装置，其特征在于，所述整车图像确定模块，具体用于：

对于所述待识别图像中的每个符合车牌特征的区域，获得所述符合车牌特征的区域的各顶点坐标为车牌坐标；

根据所述车牌坐标获得车牌中心点坐标及实际车牌宽度；

根据所述车牌中心点坐标、所述实际车牌宽度及预设上距离、预设下距离、预设左距离、预设右距离，获得包含符合车牌特征的区域的整车图像的顶点坐标；

根据所述整车图像的顶点坐标，在所述待识别图像中截取整车图像。

12.根据权利要求9所述的装置，其特征在于，所述车脸顶点区域确定模块，具体用于：

在每个整车图像中，将所述车牌坐标对应的矩阵，与第一网络中全连接层FC-4的权矩阵相乘，获得车脸各顶点的粗定位坐标；

将所述车脸各顶点的粗定位坐标，向二维空间四个方向扩展预设像素值，获得每个整车图像中，车脸各顶点坐标在整车图像中的坐标范围为车脸的各顶点所在区域。

13.根据权利要求9所述的装置，其特征在于，所述车脸顶点定位区域获取模块，具体用于：

对于每个整车图像，将整车图像输入预设卷积神经网络，获得整车图像的特征图；

将所述整车图像的尺寸、所述整车图像的特征图的尺寸、所述车脸各顶点坐标在整车图像中的坐标范围，处理获得车脸各顶点坐标在整车图像中的坐标范围对应在整车图像的特征图中的坐标范围；

将所述车脸各顶点坐标在整车图像中的坐标范围，对应在整车图像的特征图中的坐标范围，缩放至预设尺寸，将预设尺寸内的区域作为车脸的各顶点对应的定位区域。

14.根据权利要求13所述的装置，其特征在于，所述车脸定位坐标获取模块，具体用于：

对于每个车脸，将车脸的各顶点对应的定位区域对应的特征矩阵，与预设卷积神经网络中全连接层FC-1的权矩阵相乘，获得车脸的各顶点对应的定位坐标；

根据所述车脸的各顶点对应的定位坐标，确定车脸所在区域。

15.根据权利要求9所述的装置，其特征在于，所述分类模块，具体用于：

对于每个整车图像，将所述车脸的各顶点对应的定位坐标、所述整车图像的特征图，处理获得车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标；

将所述车脸的各顶点对应的定位坐标对应在整车图像的特征图中的坐标，对应的矩阵，利用预设卷积神经网络中预设数量个多尺度感知层inception层，提取多尺度的特征，获得第一特征矩阵；

将所述第一特征矩阵，与预设卷积神经网络中全连接层FC-2的权矩阵相乘，得到车脸所在区域中车头朝向的分类数值；

利用预设的映射函数，将所述车头朝向分类数值，映射为概率区间内的车头朝向分类结果。

16.根据权利要求9所述的装置，其特征在于，所述卷积神经网络的训练过程包括：

构建初始卷积神经网络的结构，并设置初始卷积神经网络的参数值，其中，所述初始卷积神经网络的结构包括至少一层卷积层、至少一层池化层、至少一层关注区域池化层Roipooling层、及至少一层全连接层，所述参数值包括卷积层的卷积核数量、卷积核尺寸、卷积核权重值、全连接层的权矩阵值；

获取含有车辆的多个样本图像；

根据所述样本图像，获得车辆的车牌坐标；

根据所述车牌坐标截取所述样本图像，获得车辆的整车样本图像；

将各整车样本图像，以及已知的各整车样本图像对应的车头朝向分类结果，输入所述初始卷积神经网络，得到各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果；

根据各整车样本图像经初始卷积神经网络得到的对应的车头朝向分类结果，与已知的各整车样本图像对应的车头朝向分类结果，获得损失函数的响应值；

根据所述损失函数的响应值，不断调整初始卷积神经网络的结构或参数值，直至所述卷积神经网络满足预设条件，获得训练得到的卷积神经网络。