CN112164227A - 违停车辆告警方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种违停车辆告警方法、装置、计算机设备和存储介质。所述方法包括：设置在现场的边缘计算设备获取现场的摄像头拍摄到的视频；将摄像头拍摄到的所述视频转化为图像序列；将所述图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别；所述违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的；当识别结果为所述图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。采用本方法能够提高违停车辆告警的实时性。

Description

违停车辆告警方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种违停车辆告警方法、装置、计算机设备和存储介质。

背景技术

在城市中，车辆违停(即，违章停车)的现象普遍存在，影响了市容市貌以及正常的交通秩序，需要消耗大量人力进行监督和管理。因此，如何由设备自动对违停车辆进行监督和管理，从而减少人力的消耗非常重要。

在目前的技术中，一般是由计算机设备远程获取设置在现场的摄像头所拍摄到的图像，并对图像进行分析，确定图像中的违停车辆，然后，执法人员可以根据分析结果到现场对违停车辆进行执法。然而，这样远程获取图像进行分析，再由执法人员到现场执法的方法，实时性差，不能及时对违停车辆进行警告。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高实时性的违停车辆告警方法、装置、计算机设备和存储介质。

一种违停车辆告警方法，所述方法包括：

设置在现场的边缘计算设备获取现场的摄像头拍摄到的视频；

将摄像头拍摄到的所述视频转化为图像序列；

将所述图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别；所述违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的；

当识别结果为所述图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。

在其中一个实施例中，所述违停车辆识别模型的训练步骤包括：

获取包括样本图像的训练数据集；

根据所述训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练；

根据训练完成的各层级的所述神经网络，确定最终的所述违停车辆识别模型。

在其中一个实施例中，所述方法还包括：

在训练每一层级的神经网络时，当所述神经网络识别出是否存在违停车辆的准确度大于或等于所述神经网络对应的预设分类准确度阈值、且识别到违停车辆的位置的准确度大于或等于预设回归准确度阈值时，则判定所述神经网络训练完成。

在其中一个实施例中，所述违停车辆识别模型中各层级的神经网络包括浅层神经网络、中层神经网络和深层神经网络；

所述根据所述训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练包括：

根据所述训练数据集，迭代地训练所述浅层神经网络；

固定训练完成的所述浅层神经网络的参数，根据所述训练数据集，迭代地训练所述中层神经网络；

固定训练完成的所述浅层神经网络和所述中层神经网络的参数，根据所述训练数据集，迭代地训练所述深层神经网络；

所述根据训练完成的各层级的所述神经网络，确定最终的所述违停车辆识别模型包括：

根据训练完成的所述浅层神经网络、所述中层神经网络和所述深层神经网络，确定最终的所述违停车辆识别模型。

在其中一个实施例中，所述方法还包括：

当所述识别结果满足预设条件时，将所述图像发送至管理平台，以使所述管理平台根据用户对发送至的所述图像进行标注后的数据，对所述违停车辆识别模型进行优化训练；

接收所述管理平台发送的优化训练后的违停车辆识别模型；

将所述优化训练后的违停车辆识别模型，作为新的预先训练的违停车辆识别模型，执行所述获取现场的摄像头拍摄到的视频及后续步骤。

在其中一个实施例中，所述违停车辆识别模型中包括浅层神经网络、中层神经网络和深层神经网络；所述当所述识别结果满足预设条件时，将所述图像发送至管理平台包括：

当所述违停车辆识别模型中的浅层神经网络和中层神经网络中的至少一种的识别结果为存在违停车辆、且所述违停车辆识别模型中的深层神经网络的识别结果为不存在违停车辆时，将所述图像发送至管理平台。

一种违停车辆告警装置，所述装置设置于安装在现场的边缘计算设备中；所述装置包括：

视频处理模块，用于获取现场的摄像头拍摄到的视频；将摄像头拍摄到的所述视频转化为图像序列；

违停车辆识别模块，用于将所述图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别；所述违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的；

告警模块，用于当识别结果为所述图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。

在其中一个实施例中，所述装置还包括：

模型训练模块，用于获取包括样本图像的训练数据集；根据所述训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练；根据训练完成的各层级的所述神经网络，确定最终的所述违停车辆识别模型。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行本申请各实施例所述的违停车辆告警方法中的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行本申请各实施例所述的违停车辆告警方法中的步骤。

上述违停车辆告警方法、装置、计算机设备和存储介质，设置在现场的边缘计算设备获取现场的摄像头拍摄到的视频，并将视频转化为图像序列，然后将图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别，该违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的，当识别结果为图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。这样由设置在现场的边缘计算设备直接进行违停车辆识别，并控制现场的音频播放设备播放违停告警语音，能够及时发现现场的违停车辆，并及时在现场发出告警，提高了实时性。

附图说明

图1为一个实施例中违停车辆告警方法的应用环境图；

图2为一个实施例中违停车辆告警方法的流程示意图；

图3为一个实施例中违停车辆告警方法的整体架构图；

图4为一个实施例中违停车辆识别模型分层级的训练方法示意图；

图5为一个实施例中违停车辆告警装置的结构框图；

图6为另一个实施例中违停车辆告警装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的违停车辆告警方法，可以应用于如图1所示的应用环境中。其中，边缘计算设备102通过网络与摄像头104进行通信。边缘计算设备102通过网络与音频播放设备106进行通信。边缘计算设备102、摄像头104和音频播放设备106可以设置在需要进行违停车辆告警的现场(比如：路边)。例如：边缘计算设备102、摄像头104和音频播放设备106可以共同设置在路边的路灯的杆子上。边缘计算设备102可以获取摄像头104拍摄的视频，并进行违停车辆识别，当识别结果为图像中存在违停车辆时，边缘计算设备102可以控制音频播放设备106播放违停告警语音。其中，边缘计算设备102是可以设置在靠近数据源头的一端(即，现场)、且计算能力较强的计算机设备。摄像头104是具有拍摄功能和网络通信功能的设备(比如：IPC摄像头，即，网络摄像头)。音频播放设备106具有音频播放功能的设备(比如：音柱)。

在一个实施例中，如图2所示，提供了一种违停车辆告警方法，以该方法应用于图1中的边缘计算设备为例进行说明，包括以下步骤：

S202，设置在现场的边缘计算设备获取现场的摄像头拍摄到的视频。

其中，现场，是指需要进行违停车辆告警的现场。比如：现场可以是路边。

具体地，边缘技术设备和摄像头可以都设置在现场。摄像头可以对现场进行视频拍摄，边缘计算设备可以通过网络(比如：以太网)与摄像头进行通信，实时获取摄像头拍摄到的视频。

在一个实施例中，边缘计算设备和摄像头可以都设置在现场的路灯的杆子上。

在一个实施例中，摄像头可以是IPC摄像头(即，网络摄像头)。

S204，将摄像头拍摄到的视频转化为图像序列。

其中，图像序列，是一序列的多幅图像。

具体地，边缘计算设备可以将所获取的视频中的每一帧转化为图像，得到图像序列。

在一个实施例中，边缘计算设备中包括视频解码模块，边缘计算机设备可以通过视频解码模块对所获取的视频进行解码，并将每一帧视频转化为图像，得到图像序列。在一个实施例中，获取的视频可以是H264格式的视频，边缘计算机设备可以通过视频解码模块对所获取的H264格式的视频进行解码。在一个实施例中，转化得到的图像可以是JPG或PNG等格式的图像。

S206，将图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别；违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的。

其中，违停车辆，是发生违章停车的车辆，即，没有在法律规定的位置停车的车辆。违停车辆识别模型，是用于对图像中的违停车辆进行识别的深度学习模型。违停车辆识别，是对图像中的违停车辆进行识别的处理。

具体地，边缘计算设备中内置有违停车辆识别模型，边缘计算设备可以将每幅图像依次输入内置的违停车辆识别模型中，进行违停车辆识别，违停车辆识别模型可以输出识别结果。

在一个实施例中，在将图像输入违停车辆识别模型中后，每一层的神经网络分别对图像进行特征提取，然后将提取的特征经过Flatten层后输入到全连接层，再通过sigmoid分类器和回归层进行分类与回归。

在一个实施例中，违停车辆识别模型可以包括多个层级的神经网络，在预先对违停车辆识别模型进行训练的过程中，可以按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，从而提高每个层级的神经网络的违停车辆识别的准确性。

在一个实施例中，违停车辆识别模型输出的识别结果，可以包括图像中是否存在违停车辆。在另一个实施例中，违停车辆识别模型输出的识别结果，可以包括图像中是否存在违停车辆、以及图像中违停车辆的位置。

在一个实施例中，当识别结果为图像中存在违停车辆时，边缘计算设备可以执行步骤S208。当识别结果为图像中不存在违停车辆时，边缘计算设备则可以不执行步骤S208。

在一个实施例中，边缘计算设备中包括规则引擎。当识别结果为图像中存在违停车辆时，边缘计算设备可以将该识别结果和识别结果对应的图像发送至规则引擎，规则引擎可以根据识别结果执行步骤S208。当识别结果为图像中不存在违停车辆时，边缘计算设备可以不将该识别结果和识别结果对应的图像发送至规则引擎、且不执行步骤S208。

S208，当识别结果为图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。

其中，音频播放设备，是具有播放音频的功能的设备。在一个实施例中，音频播放设备可以为音柱。违停告警语音，是用于对违停车辆发出告警的语音。比如：违停告警语音可以是“此处发现违停车辆”或“此处发现违停车辆，请尽快处理”等。

在一个实施例中，边缘计算设备中包括规则引擎和音频播放模块。当识别结果为图像中存在违停车辆时，边缘计算设备可以将识别结果发送至规则引擎，规则引擎可以根据识别结果，触发音频播放模块控制现场的音频播放设备播放违停告警语音。

在另一个实施例中，边缘计算设备中包括规则引擎和音频播放模块。当识别结果为图像中存在违停车辆时，边缘计算设备可以控制摄像头对当前的现场进行拍照，并将识别结果和当前拍照得到的图像一起发送至规则引擎。规则引擎可以根据识别结果，触发音频播放模块控制现场的音频播放设备播放违停告警语音，同时规则引擎可以将当前拍照得到的图像上传至管理平台。其中，管理平台，是用于进行数据管理的远程的计算机设备，可以是服务器或终端。

在一个实施例中，当识别结果为图像中存在违停车辆时，边缘计算设备可以触发现场的音频播放设备持续播放违停告警语音，直至识别结果变为图像中不存在违停车辆(即，违停车辆已经被移出违停区域)为止。

上述违停车辆告警方法中，设置在现场的边缘计算设备获取现场的摄像头拍摄到的视频，并将视频转化为图像序列，然后将图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别，该违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的，当识别结果为图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。这样由设置在现场的边缘计算设备直接进行违停车辆识别，并控制现场的音频播放设备播放违停告警语音，能够及时发现现场的违停车辆，并及时在现场发出告警，提高了实时性，且无需中心端投入大量的硬件资源用于图像分析计算。

此外，预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络所得到的违停车辆识别模型中，每个层级的神经网络的违停车辆识别准确性得到了提高。因为由浅至深的神经网络所能识别的违停车辆的复杂程度为由简单至复杂，所以，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，能够使得最终得到的违停车辆识别模型对由简单至复杂(即，由远至近)的违停车辆都能准确识别，提高了对不同距离下的违停车辆的识别准确性，避免了因为边缘计算设备被设置在比较高的位置(比如：路灯的杆子上)而造成远距离识别的准确度降低的问题。

在一个实施例中，提供了违停车辆识别模型的训练步骤，该步骤可以由边缘设备执行，也可以由管理平台(服务器或终端)执行，管理平台在完成违停车辆识别模型的训练后，可以将训练完成的违停车辆识别模型发送至边缘计算设备。

该步骤具体包括：获取包括样本图像的训练数据集；根据训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练；根据训练完成的各层级的神经网络，确定最终的违停车辆识别模型。

其中，样本图像，是被人工对图像中的违停车辆进行过标注的、且用于训练违停车辆识别模型的图像。

在一个实施例中，可以预先对违停车辆识别模型中的神经网络进行划分，划分为多个层级，划分的层级的数量不限定，其中每个层级的神经网络可以包括多层神经网络。比如：违停车辆识别模型中一共包括100层神经网络，假设需要将违停车辆识别模型划分为4个层级，则每25层相邻的神经网络被划分为一个层级。

可以理解，深度学习模型的神经网络层从第一层至最后一层越来越深，因此，相应地，所划分的层级也是由浅至深的顺序。比如：第一层级为1至25层神经网络，第二层级为26至50层神经网络，则第二层级比第一层级深。

在一个实施例中，管理平台可以根据训练数据集，按照由浅至深的顺序依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练，最后，根据训练完成的各层级的神经网络，确定最终的违停车辆识别模型。例如：将车辆识别模型划分为4个层级，则先对第一层级进行训练，在第一层级训练完成后，固定第一层级的参数，训练第二层级，在第二层级训练完成后，固定第一层级和第二层级的参数，训练第三层级，以此类推，直至全部的层级训练完成，根据训练完成的全部的层级，得到最终的违停车辆识别模型。

如图3所示，为本申请各实施例中的整体架构图。边缘计算设备、摄像头和音频播放设备设置于边缘端，即，设置在现场。管理平台设置在非边缘端，即不设置在现场。边缘计算设备与摄像头之间通过网络进行通信，边缘计算设备与音频播放设备之间通过网络进行通信。边缘计算设备与管理平台之间通过网络进行通信。

本实施例中，预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络所得到的违停车辆识别模型中，每个层级的神经网络的违停车辆识别准确性得到了提高。因为由浅至深的神经网络所能识别的违停车辆的复杂程度为由简单至复杂，所以，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，能够使得最终得到的违停车辆识别模型对由简单至复杂(即，由远至近)的违停车辆都能准确识别，提高了对不同距离下的违停车辆的识别准确性，避免了因为边缘计算设备被设置在比较高的位置(比如：路灯的杆子上)而造成远距离识别的准确度降低的问题。

在一个实施例中，该方法还包括：在训练每一层级的神经网络时，当神经网络识别出是否存在违停车辆的准确度大于或等于神经网络对应的预设分类准确度阈值、且识别到违停车辆的位置的准确度大于或等于预设回归准确度阈值时，则判定神经网络训练完成。

其中，分类准确度，是指神经网络识别出样本图像中是否存在违停车辆的准确度。比如：在100幅样本图像中，神经网络正确识别出样本图像中是否存在违停车辆的样本图像数量为40幅，则该神经网络的分类准确度为40％。预设分类准确度阈值，是预设的用于判断相应层级的神经网络的分类准确度是否达到目标的阈值条件。

回归准确度，是指神经网络识别到违停车辆的位置的准确度。在一个实施例中，可以用IOU(Intersection over Union，交并比)来衡量神经网络的回归准确度。即，回归准确度，可以是神经网络所识别到的违停车辆的位置与人工标注的违停车辆的位置之间的交集与并集的比值(即，预测的边框与人工标注的边框的交集和并集的比值)。预设回归准确度阈值，是预设的用于判断神经网络的回归准确度是否达到目标的阈值条件。

在一个实施例中，可以预先针对每个层级的神经网络分别设置预设分类准确度阈值。比如：第一层级的分类准确度阈值为40％，第二层级的分类准确度阈值为60％，第三层级的分类准确度阈值为75％。

在一个实施例中，可以预先针对每个层级的神经网络分别设置预设回归准确度阈值，也可以预先对各层级的神经网络设置统一的预设回归准确度阈值。比如，可以将各层级的神经网络的预设回归准确度阈值统一设置为60％。

在一个实施例中，管理平台在训练每一层级的神经网络时，当所训练的神经网络识别出是否存在违停车辆的准确度大于或等于该神经网络对应的预设分类准确度阈值、且对每幅样本图像识别到违停车辆的位置的准确度均大于或等于预设回归准确度阈值时，则判定该神经网络训练完成。例如：假设违停车辆识别模型被划分为三个层级的神经网络，且第一层级的神经网络对应的预设分类准确度阈值为40％，第二层级的神经网络对应的预设分类准确度阈值为60％，第三层级的神经网络对应的预设分类准确度阈值为75％，各层级的神经网络的预设回归准确度阈值为60％，则在训练第一层级的神经网络时，当第一层级的神经网络识别出是否存在违停车辆的准确度大于或等于40％、且第一层级的神经网络对每幅样本图像识别到违停车辆的位置的准确度均大于或等于60％时，则判定第一层级的神经网络训练完成。针对第二层级的神经网络和第三层级的神经网络的训练，以此类推。

本实施例中，通过预设分类准确度阈值和预设回归准确度阈值，在训练过程中，判断神经网络是否达到目标，在达到目标时，则判定神经网络训练完成，从而提高了所训练的神经网络的准确性，进而提高了最终得到的违停车辆识别模型的准确性，提高了违停车辆识别的准确性。

在一个实施例中，违停车辆识别模型中各层级的神经网络包括浅层神经网络、中层神经网络和深层神经网络。根据训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练的步骤，具体包括如下步骤：根据训练数据集，迭代地训练浅层神经网络；固定训练完成的浅层神经网络的参数，根据训练数据集，迭代地训练中层神经网络；固定训练完成的浅层神经网络和中层神经网络的参数，根据训练数据集，迭代地训练深层神经网络。根据训练完成的各层级的神经网络，确定最终的违停车辆识别模型的步骤包括：根据训练完成的浅层神经网络、中层神经网络和深层神经网络，确定最终的违停车辆识别模型。

其中，浅层神经网络，是在违停车辆识别模型中层级最浅的神经网络。深层神经网络，是在违停车辆识别模型中层级最深的神经网络。中层神经网络，是在违停车辆识别模型中层级深浅程度介于浅层神经网络和深层神经网络之间的神经网络。

具体地，管理平台可以先根据训练数据集，迭代地训练浅层神经网络。在浅层神经网络训练完成后，管理平台可以固定训练完成的浅层神经网络的参数，根据训练数据集，迭代地训练中层神经网络。在中层神经网络训练完成后，管理平台可以固定训练完成的浅层神经网络和中层神经网络的参数，根据训练数据集，迭代地训练深层神经网络。在深层神经网络训练完成后，管理平台可以根据训练完成的浅层神经网络、中层神经网络和深层神经网络，确定最终的违停车辆识别模型。

如图4所示，为依次训练各层级的神经网络的方法示意图，首先管理平台可以通过浅层神经网络提取特征，并对提取的特征进行分类与回归，根据每次分类与回归的结果和样本图像的标注数据之间的比对结果，迭代地调整浅层神经网络的参数，直至浅层神经网络训练完成。然后，固定浅层神经网络的参数，通过浅层神经网络和中层神经网络提取特征，并对提取的特征进行分类与回归，根据每次分类与回归的结果和样本图像的标注数据之间的比对结果，迭代地调整中层神经网络的参数，直至中层神经网络训练完成。最后，固定浅层神经网络和中层神经网络的参数，通过浅层神经网络、中层神经网络和深层神经网络提取特征，并对提取的特征进行分类与回归，根据每次分类与回归的结果和样本图像的标注数据之间的比对结果，迭代地调整深层神经网络的参数，直至深层神经网络训练完成。

本实施例中，通过按照由浅至深的顺序，依次训练浅层神经网络、中层神经网络和深层神经网络，使得浅层神经网络、中层神经网络和深层神经网络的违停车辆识别准确性均得到了提高。因为浅层神经网络主要用于识别简单目标，中层神经网络主要用于识别稍加复杂的目标，深层神经网络主要用于识别更加复杂的泛化目标，所以，按照由浅至深的顺序，依次训练浅层神经网络、中层神经网络和深层神经网络，能够使得最终得到的违停车辆识别模型对由简单至复杂(即，由远至近)的违停车辆都能准确识别，提高了对不同距离下的违停车辆的识别准确性，避免了因为边缘计算设备被设置在比较高的位置(比如：路灯的杆子上)而造成远距离识别的准确度降低的问题。

在一个实施例中，该方法还包括：当识别结果满足预设条件时，将图像发送至管理平台，以使管理平台根据用户对发送至的图像进行标注后的数据，对违停车辆识别模型进行优化训练；接收管理平台发送的优化训练后的违停车辆识别模型；将优化训练后的违停车辆识别模型，作为新的预先训练的违停车辆识别模型，执行获取现场的摄像头拍摄到的视频及后续步骤。

其中，预设条件，是预设的当满足此条件时则需要对违停车辆识别模型进行优化训练的条件。

具体地，当识别结果满足预设条件时，边缘计算设备可以将当前的识别结果和摄像头采集的图像上传至管理平台。用户(即，工作人员)可以通过管理平台对边缘计算设备发送至的图像进行标注(比如：标注出图像中是否存在违停车辆，或标注出图像中的违停车辆的位置)。管理平台可以根据标注后的数据，对违停车辆识别模型进行优化训练，并在训练完成后，将优化训练后的违停车辆识别模型下发至边缘计算设备。边缘计算设备在接收到优化训练后的违停车辆识别模型后，将优化训练后的违停车辆识别模型，作为新的预先训练的违停车辆识别模型，执行获取现场的摄像头拍摄到的视频及后续步骤，以使用新的违停车辆识别模型，实现本申请各实施例中的违停车辆告警方法。

在一个实施例中，用户(即，工作人员)可以通过管理平台对边缘计算设备中的违停车辆识别模型的识别结果进行监测，当监测到识别结果满足预设条件时，用户可以通过管理平台通知边缘计算设备将摄像头采集的图像上传至管理平台，然后对上传至的图像进行标注，管理平台可以根据标注后的图像对违停车辆识别模型进行优化训练。在一个实施例中，用户可以通过管理平台对边缘计算设备中的违停车辆识别模型识别出是否存在违停车辆的准确度进行监测，当各层级的神经网络中的至少一种的识别准确度小于或等于预设分类准确度阈值时，用户可以通过管理平台通知边缘计算设备将摄像头采集的图像上传至管理平台。比如：浅层神经网络的识别准确度为30％至40％、中层神经网络的识别准确度为50％至60％和深层神经网络的识别准确度为60％至75％三个条件中的至少一种被满足时，用户可以通过管理平台通知边缘计算设备将摄像头采集的图像上传至管理平台。

在另一个实施例中，边缘计算设备可以对识别结果进行监测，当监测到识别结果满足预设条件时，边缘计算设备可以自动将摄像头采集的图像上传至管理平台，用户可以通过管理平台对上传至的图像进行标注，管理平台可以根据标注后的图像对违停车辆识别模型进行优化训练。

本实施例中，管理平台可以根据现场拍摄的图像，对违停车辆识别模型进行优化训练，从而能够在违停车辆识别结果不准确时，根据现场的图像对违停车辆识别模型进行优化，从而提高了违停车辆识别的准确性。

在一个实施例中，违停车辆识别模型中包括浅层神经网络、中层神经网络和深层神经网络。当识别结果满足预设条件时，将图像发送至管理平台的步骤包括：当违停车辆识别模型中的浅层神经网络和中层神经网络中的至少一种的识别结果为存在违停车辆、且违停车辆识别模型中的深层神经网络的识别结果为不存在违停车辆时，将图像发送至管理平台。

具体地，当违停车辆识别模型中的浅层神经网络和中层神经网络中的至少一种的识别结果为存在违停车辆、且违停车辆识别模型中的深层神经网络的识别结果为不存在违停车辆时，表明违停车辆识别模型的识别结果不准确，则边缘计算设备可以将当前的识别结果和拍摄到的图像上传至管理平台，以使管理平台根据边缘计算设备发送至的图像对违停车辆识别模型进行优化训练。

可以理解，因为深层神经网络相较于浅层神经网络和中层神经网络，识别结果更加准确，所以当违停车辆识别模型中的浅层神经网络和中层神经网络中的至少一种的识别结果为存在违停车辆，但是违停车辆识别模型中的深层神经网络的识别结果为不存在违停车辆时，表明浅层神经网络和中层神经网络的识别结果不准确，需要进行优化。

本实施例中，当违停车辆识别模型中的浅层神经网络和中层神经网络中的至少一种的识别结果为存在违停车辆、且违停车辆识别模型中的深层神经网络的识别结果为不存在违停车辆时，边缘计算设备可以自动将图像发送至管理平台，从而能够及时对违停车辆识别模型进行优化，提高了违停车辆识别的准确性。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种违停车辆告警装置500，该装置设置于安装在现场的边缘计算设备中；该装置包括：视频处理模块502、违停车辆识别模块504和告警模块506，其中：

视频处理模块502，用于获取现场的摄像头拍摄到的视频；将摄像头拍摄到的视频转化为图像序列。

违停车辆识别模块504，用于将图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别；违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的。

告警模块506，用于当识别结果为图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。

在一个实施例中，违停车辆告警装置500还包括：

模型训练模块508，用于获取包括样本图像的训练数据集；根据训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练；根据训练完成的各层级的神经网络，确定最终的违停车辆识别模型。

在一个实施例中，模型训练模块508还用于在训练每一层级的神经网络时，当神经网络识别出是否存在违停车辆的准确度大于或等于神经网络对应的预设分类准确度阈值、且识别到违停车辆的位置的准确度大于或等于预设回归准确度阈值时，则判定神经网络训练完成。

在一个实施例中，违停车辆识别模型中各层级的神经网络包括浅层神经网络、中层神经网络和深层神经网络。模型训练模块508还用于根据训练数据集，迭代地训练浅层神经网络；固定训练完成的浅层神经网络的参数，根据训练数据集，迭代地训练中层神经网络；固定训练完成的浅层神经网络和中层神经网络的参数，根据训练数据集，迭代地训练深层神经网络。根据训练完成的浅层神经网络、中层神经网络和深层神经网络，确定最终的违停车辆识别模型。

在一个实施例中，如图6所示，违停车辆告警装置500还包括：

模型优化模块510，用于当识别结果满足预设条件时，将图像发送至管理平台，以使管理平台根据用户对发送至的图像进行标注后的数据，对违停车辆识别模型进行优化训练；接收管理平台发送的优化训练后的违停车辆识别模型；将优化训练后的违停车辆识别模型，作为新的预先训练的违停车辆识别模型，执行获取现场的摄像头拍摄到的视频及后续步骤。

在一个实施例中，违停车辆识别模型中包括浅层神经网络、中层神经网络和深层神经网络。模型优化模块510还用于当违停车辆识别模型中的浅层神经网络和中层神经网络中的至少一种的识别结果为存在违停车辆、且违停车辆识别模型中的深层神经网络的识别结果为不存在违停车辆时，将图像发送至管理平台。

关于违停车辆告警装置的具体限定可以参见上文中对于违停车辆告警方法的限定，在此不再赘述。上述违停车辆告警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是边缘计算设备，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种违停车辆告警方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种违停车辆告警方法，其特征在于，所述方法包括：

设置在现场的边缘计算设备获取现场的摄像头拍摄到的视频；

将摄像头拍摄到的所述视频转化为图像序列；

将所述图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别；所述违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的；

当识别结果为所述图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。

2.根据权利要求1所述的方法，其特征在于，所述违停车辆识别模型的训练步骤包括：

获取包括样本图像的训练数据集；

根据所述训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练；

根据训练完成的各层级的所述神经网络，确定最终的所述违停车辆识别模型。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在训练每一层级的神经网络时，当所述神经网络识别出是否存在违停车辆的准确度大于或等于所述神经网络对应的预设分类准确度阈值、且识别到违停车辆的位置的准确度大于或等于预设回归准确度阈值时，则判定所述神经网络训练完成。

4.根据权利要求2所述的方法，其特征在于，所述违停车辆识别模型中各层级的神经网络包括浅层神经网络、中层神经网络和深层神经网络；

所述根据所述训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练包括：

根据所述训练数据集，迭代地训练所述浅层神经网络；

固定训练完成的所述浅层神经网络的参数，根据所述训练数据集，迭代地训练所述中层神经网络；

固定训练完成的所述浅层神经网络和所述中层神经网络的参数，根据所述训练数据集，迭代地训练所述深层神经网络；

所述根据训练完成的各层级的所述神经网络，确定最终的所述违停车辆识别模型包括：

根据训练完成的所述浅层神经网络、所述中层神经网络和所述深层神经网络，确定最终的违停车辆识别模型。

5.根据权利要求1至4中的任意一项所述的方法，其特征在于，所述方法还包括：

当所述识别结果满足预设条件时，将所述图像发送至管理平台，以使所述管理平台根据用户对发送至的所述图像进行标注后的数据，对所述违停车辆识别模型进行优化训练；

接收所述管理平台发送的优化训练后的违停车辆识别模型；

将所述优化训练后的违停车辆识别模型，作为新的预先训练的违停车辆识别模型，执行所述获取现场的摄像头拍摄到的视频及后续步骤。

6.根据权利要求5所述的方法，其特征在于，所述违停车辆识别模型中包括浅层神经网络、中层神经网络和深层神经网络；所述当所述识别结果满足预设条件时，将所述图像发送至管理平台包括：

当所述违停车辆识别模型中的浅层神经网络和中层神经网络中的至少一种的识别结果为存在违停车辆、且所述违停车辆识别模型中的深层神经网络的识别结果为不存在违停车辆时，将所述图像发送至管理平台。

7.一种违停车辆告警装置，其特征在于，所述装置设置于安装在现场的边缘计算设备中；所述装置包括：

视频处理模块，用于获取现场的摄像头拍摄到的视频；将摄像头拍摄到的所述视频转化为图像序列；

违停车辆识别模块，用于将所述图像序列中的各图像依次输入预先训练的违停车辆识别模型中，进行违停车辆识别；所述违停车辆识别模型是预先按照由浅至深的顺序，依次迭代地训练每个层级的神经网络得到的；

告警模块，用于当识别结果为所述图像中存在违停车辆时，触发现场的音频播放设备播放违停告警语音。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

模型训练模块，用于获取包括样本图像的训练数据集；根据所述训练数据集，针对待训练的违停车辆识别模型中各层级的神经网络，按照由浅至深的顺序，依次迭代地训练每个层级的神经网络，在训练完上一层级的神经网络之后，固定上一层级的神经网络的参数，并对下一层级的神经网络进行迭代训练；根据训练完成的各层级的所述神经网络，确定最终的所述违停车辆识别模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images