CN109598943A - 车辆违章的监控方法、装置及系统 - Google Patents

Abstract

本发明提供了一种车辆违章的监控方法、装置及系统，涉及智能监控技术领域，该方法包括：获取当前监控图像；对当前监控图像进行交通标识识别，得到当前监控图像中包含的交通标识的类别；对当前监控图像进行车辆识别，得到当前监控图像中包含的车辆的信息；根据交通标识的类别和车辆的信息，判断车辆是否违章。本发明能够有效提升违章监控的效率和可靠性。

Description

车辆违章的监控方法、装置及系统

技术领域

本发明涉及智能监控技术领域，尤其是涉及一种车辆违章的监控方法、装置及系统。

背景技术

随着城市化的发展，城市的机动车数量越来越大，不可避免的会出现交通违章。当前对于机动车违章行为的检测，大部分靠人力对道路监控视频进行监督，从视频中找出违章的车辆，并且手动上传车辆违章记录。这种依赖人工的车辆违章监控方法不仅需要耗费大量的人力，监控效率较低；而且工作人员无法保持完全专注，时有疏忽的情况发生，因此监控可靠性差。

发明内容

有鉴于此，本发明的目的在于提供一种车辆违章的监控方法、装置及系统，能够有效提升违章监控的效率和可靠性。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种车辆违章的监控方法，所述方法包括：获取当前监控图像；对所述当前监控图像进行交通标识识别，得到所述当前监控图像中包含的交通标识的类别；对所述当前监控图像进行车辆识别，得到所述当前监控图像中包含的车辆的信息；根据所述交通标识的类别和所述车辆的信息，判断所述车辆是否违章。

进一步，所述对所述当前监控图像进行交通标识识别，得到所述当前监控图像中包含的交通标识的类别的步骤包括：对所述当前监控图像进行特征提取，得到特征图；对所述特征图进行语义分割，得到属于交通标识类别的多个像素；将属于同一交通标识类别的多个像素确定为一个目标像素组，所述目标像素组对应一种目标交通标识；所述目标像素组中的像素所属的交通标识类别为所述目标交通标识的类别。

进一步，所述对所述当前监控图像进行车辆识别，得到所述当前监控图像中包含的车辆的信息的步骤，包括：通过卷积神经网络对所述当前监控图像进行车辆属性识别，得到所述当前监控图像中包含的车辆的属性信息；所述属性信息包括车辆类型、车辆姿态、车牌信息、车辆标识、车辆位置中的一种或多种。

进一步，所述对所述当前监控图像进行车辆识别，得到所述当前监控图像中包含的车辆的信息的步骤，还包括：获取历史监控图像；其中，所述历史监控图像的采集时间早于所述当前监控图像的采集时间，且所述历史监控图像的采集时间与所述当前监控图像的采集时间相差预设时间范围内；基于所述历史监控图像和所述当前监控图像进行车辆轨迹识别，得到所述当前监控图像中包含的车辆的行驶轨迹信息。

进一步，所述基于所述历史监控图像和所述当前监控图像进行车辆轨迹识别，得到所述当前监控图像中包含的车辆的行驶轨迹信息的步骤，包括：对所述历史监控图像中包含的车辆所在像素区域进行截图，得到第一车辆图像；对所述当前监控图像中包含的车辆所在像素区域进行截图，得到第二车辆图像；将所述第一车辆图像输入至第一卷积神经网络，得到第一车辆特征图；以及，将所述第二车辆图像输入至第二卷积神经网络，得到第二车辆特征图；其中，所述第一卷积神经网络和所述第二卷积神经网络共享权重；将所述第一车辆特征图和所述第二车辆特征图输入至全连接层，经过相似度计算得到所述第一车辆图像与所述第二车辆图像的相似度；根据所述相似度，确定所述历史监控图像和所述当前监控图像中的同一目标车辆；根据所述历史监控图像中包含的所述目标车辆的车辆位置，以及所述当前监控图像中包含的所述目标车辆的车辆位置，生成所述目标车辆的行驶轨迹信息。

进一步，所述根据所述交通标识的类别和所述车辆的信息，判断所述车辆是否违章的步骤，包括：根据所述交通标识的类别、所述车辆的属性信息和所述车辆的行驶轨迹信息，判断所述车辆是否出现违章行为；其中，所述违章行为包括超速违章、限行违章和位置违章中的至少一种；如果是，确定所述车辆违章。

进一步，所述车辆的属性信息包括车辆类型、车辆姿态、车牌信息和车辆位置；所述根据所述交通标识的类别、所述车辆的属性信息和所述车辆的行驶轨迹信息，判断所述车辆是否出现违章行为的步骤，包括：判断所述车辆的车辆位置和所述车辆姿态是否均与关联交通标识的类别匹配，如果否，确定所述车辆出现位置违章；其中，所述关联交通标识为与所述车辆位置相距预设范围内的交通标识；所述位置违章包括压线、逆行、转向错误和车道占用错误；根据所述车辆的行驶轨迹信息判断所述车辆是否超过预设车速，如果是，确定所述车辆出现超速违章；根据所述车辆的车辆类型和车牌信息判断所述车辆是否为当前限行车辆；如果是，确定所述车辆出现限行违章。

进一步，所述方法还包括：如果确定所述车辆违章，将所述当前监控图像确定为所述车辆对应的违章证明图像，并记录所述当前监控图像的采集时刻；将所述车辆的信息、所述违章证明图像和所述采集时刻关联存储于指定位置。

第二方面，本发明实施例还提供一种车辆违章的监控装置，所述装置包括：图像获取模块，用于获取当前监控图像；交通标识识别模块，用于对所述当前监控图像进行交通标识识别，得到所述当前监控图像中包含的交通标识的类别；车辆识别模块，用于对所述当前监控图像进行车辆识别，得到所述当前监控图像中包含的车辆的信息；违章判断模块，用于根据所述交通标识的类别和所述车辆的信息，判断所述车辆是否违章。

第三方面，本发明实施例提供了一种车辆违章的监控系统，所述系统包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集当前监控图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种车辆违章的监控方法、装置及系统，能够对当前监控图像分别进行交通标识识别和车辆识别，根据识别得到的交通标识的类别和车辆的信息判断车辆是否违章。与现有技术中效率低、可靠性差的依赖人工的车辆违章监控方法相比，本实施例提供的上述方式能够有效提升违章监控的效率和可靠性。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子系统的结构示意图；

图2示出了本发明实施例所提供的一种车辆违章的监控方法流程图；

图3示出了本发明实施例所提供的一种交通标识的概率图生成示意图；

图4示出了本发明实施例所提供的一种网络模型的结构示意图；

图5示出了本发明实施例所提供的一种车辆违章的监控装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有依赖人工的车辆违章监控方法的监控效率较低、监控可靠性差。为改善此问题，本发明实施例提供了一种车辆违章的监控方法、装置及系统，为便于理解，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的车辆违章的监控方法、装置及系统的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的一种车辆违章的监控方法、装置及系统的示例电子设备可以被实现为诸如监控设备、智能手机、平板电脑、计算机等智能终端上。

实施例二：

参照图2所示的一种车辆违章的监控方法的流程图，该方法可由前述实施例提供的电子设备执行，该方法具体包括如下步骤：

步骤S202，获取当前监控图像。可以采用道路监控摄像头、车载的巡回抓拍摄像头、卡口的抓拍摄像头等监控设备采集当前监控图像。当前监控图像可以是抓拍的一张图像，也可以是从视频中提取的帧图像。

步骤S204，对当前监控图像进行交通标识识别，得到当前监控图像中包含的交通标识的类别。其中，交通标识可以包括各种类型的车道线、交通指示牌、交通指示灯等。

在一些可选实施方式中，可以基于CNN网络(Convolutional Neural Networks，卷积神经网络)、R-CNN(Region-CNN)网络或Segnet网络等神经网络对当前监控图像进行交通标识识别，以得到当前监控图像中包含的交通标识的类别。例如，可参考如下具体步骤：

首先，可以通过CNN网络对当前监控图像进行特征提取，得到特征图。本实施例给出了一种CNN网络的具体实现方式，诸如可以包含一系列处理层(也即编码器)以及一组用于像素分类的对应的解码器；处理层部分包括卷积层和池化层，解码器部分由一系列的上采样层及卷积层组成；该结构的CNN网络对当前监控图像采用了卷积、池化以及上采样操作，因此输出的特征图可以保留当前监控图像中的更多细节。可以理解的是，以上仅为示例性说明，CNN网络还可以采用其它结构实现，在此不进行限制。

然后，对特征图进行语义分割，得到属于交通标识类别的多个像素。比如，参照如图3所示的一种交通标识的概率图生成示意图，将当前监控图像输入至CNN网络，通过CNN网络对当前监控图像进行特征提取，得到特征图，以及对特征图进行语义分割，输出多条交通标识的概率图；其中，交通标识的概率图用于表示当前监控图像中的至少一个像素点分别属于交通标识的某一类别的概率值；进而，根据交通标识的概率图确定交通标识类别。

最后，将属于同一交通标识类别的多个像素确定为一个目标像素组，目标像素组对应一种目标交通标识；目标像素组中的像素所属的交通标识类别为目标交通标识的类别。可以理解的是，上述交通标识的类别包括实线、虚线、双实线、直行箭头、左/右转弯箭头、调头箭头、禁停线、公交车道线、人行横道线、禁止标线等等实际应用中的车道线，还可以包括方向指示牌、交通灯等。

步骤S206，对当前监控图像进行车辆识别，得到当前监控图像中包含的车辆的信息。

在本实施例中，识别车辆的信息的方法也可以采用CNN网络对当前监控图像进行车辆识别，以得到当前监控图像中包含的每个车辆的信息。在一些实施方式中，车辆的信息可以包括车辆的属性信息和/或车辆的行驶轨迹信息。

其中，车辆的属性信息可以通过卷积神经网络对当前监控图像进行车辆属性识别得到。车辆的属性信息可以包括：车辆类型(诸如小汽车、客车、工程车、公交车等)、车辆姿态(诸如车头朝向、车体的偏移方向等)、车牌信息(诸如车牌号、车牌类别)、车辆标识、车辆位置中的一种或多种。当然，以上仅为对车辆的属性信息的示例性说明，在实际应用中，还可以包括其它属性信息，在此不进行限制。

车辆的行驶轨迹信息可以基于多张监控图像获得，诸如，对于当前监控图像中的目标车辆，可以获取该目标车辆的历史监控图像和当前监控图像，通过卷积神经网络对历史监控图像和当前监控图像进行车辆轨迹识别，得到目标车辆的行驶轨迹信息。

步骤S208，根据交通标识的类别和车辆的信息，判断车辆是否违章。

在一些实施方式中，可以将造成各种违章的交通标识的类别与交通标识的信息进行组合或关联，并作为违章学习参数进行保存。根据违章学习参数对当前监控图像中的车辆进行是否违章的判断。车辆的违章有多种，诸如：不按规定悬挂车牌、违法停车、不按规定超车或者变更车道、违反交通信号指示、在禁行的时间行驶、在禁行道路上行驶、违反交通标志或者交通标线指示等等。

本实施例提供的车辆违章的监控方法，能够对当前监控图像分别进行交通标识识别和车辆识别，根据识别得到的交通标识的类别和车辆的信息判断车辆是否违章。与现有技术中效率低、可靠性差的依赖人工的车辆违章监控方法相比，本实施例提供的上述方式能够有效提升违章监控的效率和可靠性。

本实施例给出一种识别车辆的属性信息的实现方式，包括：通过卷积神经网络对当前监控图像进行车辆属性识别，得到当前监控图像中包含的车辆的属性信息。在具体实施时，可以将当前监控图像输入至卷积神经网络，通过卷积神经网络对当前监控图像进行特征提取，得到当前监控图像的车辆特征图；将车辆特征图输入至全连接层，通过全连接层对车辆特征图进行分类处理，确定当前监控图像中包含的车辆的属性概率；然后根据车辆的属性概率确定车辆的属性信息。该示例主要以包含于车辆的属性信息中的车辆标识为例进行说明。诸如：首先通过全连接层对车辆特征图进行分类处理，得到车辆的车标特征图。然后将车标特征图与预存的车标参照样本进行比对，得到该车标特征图与各个车标参照样本的相似度，该相似度即为车辆的车标特征图属于某一特征车标的属性概率。假设对当前车标为英菲尼迪的车标特征图进行分类处理，确定的属性概率可以为如表1所示的三组值。最后根据所确定的属性概率确定准确的车辆标识(也即英菲尼迪)。

表1

本实施例给出一种识别车辆的行驶轨迹信息的实现方式，包括：获取历史监控图像；其中，历史监控图像的采集时间早于当前监控图像的采集时间，且历史监控图像的采集时间与当前监控图像的采集时间相差预设时间范围内。以及，基于历史监控图像和当前监控图像进行车辆轨迹识别，得到当前监控图像中包含的车辆的行驶轨迹信息。

为便于理解，给出一种确定车辆的行驶轨迹信息的可能实现方式，可参考如下步骤：

步骤1，基于上述的车辆的属性信息的获取方式，得到当前监控图像中所包含的当前车辆的属性信息。获取当前车辆的属性信息中所包括的车辆在当前监控图像的像素区域，根据像素区域对当前监控图像进行截图，得到与当前监控图像对应的多个第一车辆图像；通过同样的方式，得到与历史监控图像对应的多个第二车辆图像。

步骤2，通过网络模型对第一车辆图像和第二车辆图像进行识别，得到车辆的行驶轨迹信息。上述的网络模型可参照如图4所示的一种网络模型的结构示意图，该网络模型包括共享权重的第一卷积神经网络和第二卷积神经网络，第一卷积神经网络和第二卷积神经网络的输出均与全连接层相连。

其中，将第一车辆图像输入至第一卷积神经网络，得到第一车辆特征图；以及，将第二车辆图像输入至第二卷积神经网络，得到第二车辆特征图。将第一车辆特征图和第二车辆特征图输入至全连接层，经过相似度计算得到第一车辆图像与第二车辆图像的相似度。为便于理解，示例说明如下：将第一车辆特征图和第二车辆特征图成对输入给全连接层，由全连接层得到用于相似度计算的一维特征；并定义度量两个特征的相似度的函数：s(f1,f2)＝cos(f1,f2)。其中，f1、f2分别为第一车辆特征图和第二车辆特征图经全连接层处理后所得的特征向量(也即上述全连接层得到的一维特征)，函数cos(f1,f2)表示余弦函数；根据相似度的函数计算第一车辆图像与第二车辆图像的相似度。根据相似度确定历史监控图像和当前监控图像中的同一目标车辆；可以通过如下判断确定同一目标车辆：如果相似度超过预设阈值，则确定历史监控图像和当前监控图像中的同一目标车辆。

步骤3，根据历史监控图像中包含的目标车辆的车辆位置，为了区分，将车辆位置用A表示，以及当前监控图像中包含的目标车辆的车辆位置，该车辆位置用B表示，生成目标车辆的行驶轨迹信息。

车辆的行驶轨迹信息的生成方式有多种，诸如以下两种方式：

方式一，将目标车辆在两点或多点之间的运动轨迹作为车辆的行驶轨迹信息。诸如，将历史监控图像和当前监控图像中共有的诸如道路线等相同场景作为参照物，确定车辆位置A和车辆位置B之间的相对移动轨迹，该相对移动轨迹即可认为是目标车辆的行驶轨迹信息。

方式二，将真实的行驶距离和行驶方向作为车辆的行驶轨迹信息。诸如，在历史监控图像和当前监控图像中选取一个具有明显特征的相同场景，以下以人行横道为例进行说明，将人行横道的中心点或者其他点作为参考原点，基于该参考原点，确定车辆位置A的中心坐标A₀和车辆位置B的中心坐标B₀；根据中心坐标A₀和中心坐标B₀计算目标车辆的在图像上的第一行驶距离L1；根据预先确定的比例尺计算第一行驶距离L1对应的真实行驶距离L2；其中，比例尺表征监控图像上的线段长度与实地相应线段经水平投影的长度之比。行驶方向可以通过识别路标指示牌、交通标线等方式进行确定。为了更准确的记录车辆的行驶轨迹信息，可以按照转弯方向分段记录车辆的行驶距离。

当然，以上两种方式仅为对车辆的行驶轨迹信息的生成方式的示例性说明，不应理解为限制。

本实施例给出一种判断车辆是否违章的实现方式，包括：根据交通标识的类别、车辆的属性信息和车辆的行驶轨迹信息，判断车辆是否出现违章行为；如果是，确定车辆违章。其中，违章行为包括超速违章、限行违章和位置违章中的至少一种。

上述位置违章行为是对实际交通违章行为的概括性定义，比如，位置违章可以包括压实线、逆行、转向错误、车道占用错误、违法车辆等多种违章行为；限行违章可以包括违反以下中任意一种或者多种的限行规定：单双号限行、尾号限行、早晚高峰期限行、外地车牌限行及货车限行等等。

基于上述的车辆的属性信息包括车辆类型、车辆姿态、车牌信息和车辆位置，判断车辆是否出现违章行为的步骤可以参照如下(1)～(3)所示的判断方式：

(1)位置违章判断方式：判断车辆的车辆位置和车辆姿态是否均与关联交通标识的类别匹配，如果否，确定车辆出现位置违章；其中，关联交通标识为与车辆位置相距预设范围内的交通标识；位置违章包括压线、逆行、转向错误和车道占用错误等等。

诸如，上述预设范围可以为以车辆位置为圆心的3米范围内。在车辆位置周围相距3米的预设范围内，可能有至少一条关联交通标识。获取该关联交通标识的类别，以及根据关联交通标识的类别确定关联交通标识所在区域的类型，比如当关联交通标识的类型为左转箭头时，可确定当前关联交通标识所在区域为左转车道。上述预设范围还可以为距离车辆位置最近的至少一条关联交通标识，且基于关联交通标识的类别可确定关联交通标识所在区域的类型。当然，在实际应用中，上述的预设范围还可以是其他的场景，在此不作限制。

为便于理解，本实施例给出五种位置违章的示例性描述，详细描述如下：

第一种，车道占用错误的违章。诸如，机动车占用非机动车道。判断方法可参考如下具体的步骤：首先，根据交通标识类别确定非机动车道；根据生活常识，车道最外侧实线外的车道为非机动车道。然后，根据机动车辆的车辆位置判断该机动车是否位于非机动车道上；如果是，确定机动车占用非机动车道。

此外，基于已确定的机动车占用非机动车道，还可以机进一步结合车辆行驶轨迹信息，判断激动车辆是否处于行驶状态；如果是，确定该机动车在非机动车道上驾驶。

第二种，车道占用错误的违章。诸如，占用应急车道。判断方法可参考如下具体的步骤：首先，根据交通标识的类别确定应急车道；根据生活常识，车道最外侧两条实线之间的车道为应急车道。然后，根据车辆的车辆位置判断该车辆是否位于应急车道上；如果是，根据车辆的行驶轨迹信息判断车辆是否处于驾驶状态；如果是，确定车辆非法占用应急车道。

第三种，车道占用错误的违章。诸如，车辆不按导向左转。判断方法可参考如下具体的步骤：首先，根据交通标识的类别确定车道导向，且车道导向为左转；比如，交通标识的类别为左转箭头，对应的车道导向为左转车道。然后，判断车辆的车辆位置是否处于左转车道；如果是，根据车辆的车辆行驶轨迹信息或者车辆姿态判断车辆是否左转，如果否，车辆不按导向左转。

第四种，车道占用错误的违章。诸如，车辆压实线。判断方法可参考如下具体的步骤：首先，根据交通标识的类别确定实线；然后，判断车辆的车辆位置是否处于实线上；如果是，确定该车辆压实线。

第五种，车道占用错误的违章。诸如，车辆逆向行驶。判断方法可参考如下具体的步骤：首先，根据交通标识的类别中确定双实线；根据生活常识，双实线将车道分为不同方向的两边，双实线左边为一个行驶方向，右边为另一个行驶方向。然后，根据车辆的车辆位置确定该车辆的规定行驶方向。接着，根据车辆姿态判断车辆的实际行驶方向与规定行驶方向是否一致；如果否，则确定该车辆逆向行驶。

(2)超速违章判断方式：根据车辆的行驶轨迹信息判断车辆是否超过预设车速，如果是，确定车辆出现超速违章。

为便于理解，本实施例给出一种判断超速违章的示例性描述，该示例主要以判断车辆是否在限速60km/h的机动车道上超速行驶为例进行说明。判断方法可参考如下具体的步骤：首先在多个交通标识类别中确定机动车道；然后获取机动车道内车辆的车辆行驶轨迹，并根据车辆行驶轨迹计算行驶距离和行驶时间；根据行驶距离和行驶时间，计算车辆的行驶速度；最后，判断车辆的行驶速度是否超过限定的速度60km/h，如果是，确定车辆在机动车道上超速行驶。

(3)限行违章判断方式：根据车辆的车辆类型和车牌信息判断车辆是否为当前限行车辆；如果是，确定所述车辆出现限行违章。

为便于理解，本实施例给出一种判断限行违章的示例性描述，该示例主要以判断车辆是否在禁行时间在公交车道上行驶为例进行说明。判断方法可参考如下具体的步骤：首先，判断车辆的车辆类型是否为公交车；如果否，判断车辆的车辆位置是否处于公交车道上；如果是，判断当前的监控时间是否处于公交车道禁行时间段内；如果是，确定当前车辆在禁行时间在公交车道行驶。

基于确定的违章行为，本实施例给出一种记录违章行为的方法，包括：如果确定车辆违章，将当前监控图像确定为车辆对应的违章证明图像，并记录当前监控图像的采集时刻；将车辆的信息、违章证明图像和采集时刻关联存储于指定位置。此外，根据关联存储的车辆的信息、违章证明图像和采集时刻生成违章通知信息，并将该违章通知信息公布于违章查询的网站或公众号上，或者直接发送给该违章车辆对应的用户。

综上所述，本实施例提供的上述车辆违章的监控方法，能够对当前监控图像分别进行交通标识识别和车辆识别，根据识别得到的交通标识的类别和车辆的信息判断车辆是否违章，从而有效提升违章监控的效率和可靠性。

实施例三：

对应于前述实施例提供的一种车辆违章的监控方法，本实施例提供了一种车辆违章的监控装置，参见图5所示的一种车辆违章的监控装置，该装置包括：

图像获取模块502，用于获取当前监控图像。

交通标识识别模块504，用于对当前监控图像进行交通标识识别，得到当前监控图像中包含的交通标识的类别。

车辆识别模块506，用于对当前监控图像进行车辆识别，得到当前监控图像中包含的车辆的信息。

违章判断模块508，用于根据交通标识的类别和车辆的信息，判断车辆是否违章。

本实施例提供的上述车辆违章的监控装置，能够对当前监控图像分别进行交通标识识别和车辆识别，根据识别得到的交通标识的类别和车辆的信息判断车辆是否违章。与现有技术中效率低、可靠性差的依赖人工的车辆违章监控方法相比，本实施例提供的上述方式能够对当前监控图像进行识别，并根据多种识别结果判断车辆是否违章，从而有效提升违章监控的效率和可靠性。

在一种实施方式中，上述的交通标识识别模块504还用于，对当前监控图像进行特征提取，得到特征图；对特征图进行语义分割，得到属于交通标识类别的多个像素；将属于同一交通标识类别的多个像素确定为一个目标像素组，目标像素组对应一种目标交通标识；目标像素组中的像素所属的车道类别为目标交通标识的类别。

在一种实施方式中，上述的车辆识别模块506还用于，通过卷积神经网络对当前监控图像进行车辆属性识别，得到当前监控图像中包含的车辆的属性信息；属性信息包括车辆类型、车辆姿态、车牌信息、车辆标识、车辆在当前监控图像的像素区域中的一种或多种。

在一种实施方式中，上述的车辆识别模块506还用于，获取历史监控图像；其中，历史监控图像的采集时间早于当前监控图像的采集时间，且历史监控图像的采集时间与当前监控图像的采集时间相差预设时间范围内；基于历史监控图像和当前监控图像进行车辆轨迹识别，得到当前监控图像中包含的车辆的行驶轨迹信息。

在一种实施方式中，上述的车辆识别模块506还用于，对历史监控图像中包含的车辆所在像素区域进行截图，得到第一车辆图像；对当前监控图像中包含的车辆所在像素区域进行截图，得到第二车辆图像；将第一车辆图像输入至第一卷积神经网络，得到第一车辆特征图；以及，将第二车辆图像输入至第二卷积神经网络，得到第二车辆特征图；其中，第一卷积神经网络和第二卷积神经网络共享权重；将第一车辆特征图和第二车辆特征图输入至全连接层，经过相似度计算得到第一车辆图像与第二车辆图像的相似度；根据相似度，确定历史监控图像和当前监控图像中的同一目标车辆；根据历史监控图像中包含的目标车辆的车辆位置，以及当前监控图像中包含的目标车辆的车辆位置，生成目标车辆的行驶轨迹信息。

在一种实施方式中，上述的违章判断模块508还用于，根据交通标识的类别、车辆的属性信息和车辆的行驶轨迹信息，判断车辆是否出现违章行为；其中，违章行为包括超速违章、限行违章和位置违章中的至少一种；如果是，确定车辆违章。

在一种实施方式中，车辆的属性信息包括车辆类型、车辆姿态、车牌信息和车辆位置；上述的违章判断模块508还用于，判断车辆的车辆位置和车辆姿态是否均与关联交通标识的类别匹配，如果否，确定车辆出现位置违章；其中，关联交通标识为与车辆位置相距预设范围内的交通标识；位置违章包括压线、逆行、转向错误和车道占用错误；根据车辆的行驶轨迹信息判断车辆是否超过预设车速，如果是，确定车辆出现超速违章；根据车辆的车辆类型和车牌信息判断车辆是否为当前限行车辆；如果是，确定车辆出现限行违章。

在一种实施方式中，上述的违章判断模块508还用于，如果确定车辆违章，将当前监控图像确定为车辆对应的违章证明图像，并记录当前监控图像的采集时刻；将车辆的信息、违章证明图像和采集时刻关联存储于指定位置。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例二相同，为简要描述，本实施例部分未提及之处，可参考前述实施例二中相应内容。

实施例四：

基于前述实施例，本实施例给出了一种车辆违章的监控系统，包括：图像采集装置、处理器和存储装置；图像采集装置，用于采集当前监控图像；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述实施例二提供的任一项的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述实施例二提供的任一项方法的步骤，或者，计算机程序被处理设备运行时执行上述实施例二提供的任一项的方法的步骤。

本发明实施例所提供的一种车辆违章的监控方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种车辆违章的监控方法，其特征在于，所述方法包括：

获取当前监控图像；

对所述当前监控图像进行交通标识识别，得到所述当前监控图像中包含的交通标识的类别；

对所述当前监控图像进行车辆识别，得到所述当前监控图像中包含的车辆的信息；

根据所述交通标识的类别和所述车辆的信息，判断所述车辆是否违章。

2.根据权利要求1所述的方法，其特征在于，所述对所述当前监控图像进行交通标识识别，得到所述当前监控图像中包含的交通标识的类别的步骤包括：

对所述当前监控图像进行特征提取，得到特征图；

对所述特征图进行语义分割，得到属于交通标识类别的多个像素；

将属于同一交通标识类别的多个像素确定为一个目标像素组，所述目标像素组对应一种目标交通标识；所述目标像素组中的像素所属的交通标识类别为所述目标交通标识的类别。

3.根据权利要求1所述的方法，其特征在于，所述对所述当前监控图像进行车辆识别，得到所述当前监控图像中包含的车辆的信息的步骤，包括：

通过卷积神经网络对所述当前监控图像进行车辆属性识别，得到所述当前监控图像中包含的车辆的属性信息；所述属性信息包括车辆类型、车辆姿态、车牌信息、车辆标识、车辆位置中的一种或多种。

4.根据权利要求3所述的方法，其特征在于，所述对所述当前监控图像进行车辆识别，得到所述当前监控图像中包含的车辆的信息的步骤，还包括：

获取历史监控图像；其中，所述历史监控图像的采集时间早于所述当前监控图像的采集时间，且所述历史监控图像的采集时间与所述当前监控图像的采集时间相差预设时间范围内；

基于所述历史监控图像和所述当前监控图像进行车辆轨迹识别，得到所述当前监控图像中包含的车辆的行驶轨迹信息。

5.根据权利要求4所述的方法，其特征在于，所述基于所述历史监控图像和所述当前监控图像进行车辆轨迹识别，得到所述当前监控图像中包含的车辆的行驶轨迹信息的步骤，包括：

对所述历史监控图像中包含的车辆所在像素区域进行截图，得到第一车辆图像；对所述当前监控图像中包含的车辆所在像素区域进行截图，得到第二车辆图像；

将所述第一车辆图像输入至第一卷积神经网络，得到第一车辆特征图；以及，将所述第二车辆图像输入至第二卷积神经网络，得到第二车辆特征图；其中，所述第一卷积神经网络和所述第二卷积神经网络共享权重；

将所述第一车辆特征图和所述第二车辆特征图输入至全连接层，经过相似度计算得到所述第一车辆图像与所述第二车辆图像的相似度；

根据所述相似度，确定所述历史监控图像和所述当前监控图像中的同一目标车辆；

根据所述历史监控图像中包含的所述目标车辆的车辆位置，以及所述当前监控图像中包含的所述目标车辆的车辆位置，生成所述目标车辆的行驶轨迹信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述交通标识的类别和所述车辆的信息，判断所述车辆是否违章的步骤，包括：

根据所述交通标识的类别、所述车辆的属性信息和所述车辆的行驶轨迹信息，判断所述车辆是否出现违章行为；其中，所述违章行为包括超速违章、限行违章和位置违章中的至少一种；

如果是，确定所述车辆违章。

7.根据权利要求6所述的方法，其特征在于，所述车辆的属性信息包括车辆类型、车辆姿态、车牌信息和车辆位置；

所述根据所述交通标识的类别、所述车辆的属性信息和所述车辆的行驶轨迹信息，判断所述车辆是否出现违章行为的步骤，包括：

判断所述车辆的车辆位置和所述车辆姿态是否均与关联交通标识的类别匹配，如果否，确定所述车辆出现位置违章；其中，所述关联交通标识为与所述车辆位置相距预设范围内的交通标识；所述位置违章包括压线、逆行、转向错误和车道占用错误；

根据所述车辆的行驶轨迹信息判断所述车辆是否超过预设车速，如果是，确定所述车辆出现超速违章；

根据所述车辆的车辆类型和车牌信息判断所述车辆是否为当前限行车辆；如果是，确定所述车辆出现限行违章。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果确定所述车辆违章，将所述当前监控图像确定为所述车辆对应的违章证明图像，并记录所述当前监控图像的采集时刻；

将所述车辆的信息、所述违章证明图像和所述采集时刻关联存储于指定位置。

9.一种车辆违章的监控装置，其特征在于，所述装置包括：

图像获取模块，用于获取当前监控图像；

交通标识识别模块，用于对所述当前监控图像进行交通标识识别，得到所述当前监控图像中包含的交通标识的类别；

车辆识别模块，用于对所述当前监控图像进行车辆识别，得到所述当前监控图像中包含的车辆的信息；

违章判断模块，用于根据所述交通标识的类别和所述车辆的信息，判断所述车辆是否违章。

10.一种车辆违章的监控系统，其特征在于，所述系统包括：图像采集装置、处理器和存储装置；

所述图像采集装置，用于采集当前监控图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至8任一项所述的方法的步骤。