CN114743120B - 一种基于图像识别的路边车辆非法占道检测方法及系统 - Google Patents

Abstract

本申请的一种基于图像识别的路边车辆非法占道检测方法及系统，无人机将航拍图像信息下发给无线信号收发设备，以通过无线信号收发设备快速、及时地实现航拍图像信息的转发，通过在无人机与智能监控管理服务器的航拍图像信息传输通道之间增设无线信号收发设备作为中间节点，能够尽可能减少因网络原因而导致的航拍图像信息的漏传；此外，智能监控管理服务器能够对航拍图像信息进行图像分析以得到停放车辆在目标检测区域内的车辆空间特征，进而通过车辆空间特征判断停放车辆是否存在非法占道行为，能够通过车辆空间特征对无人机的图像拍摄角度进行考虑，从而以立体三维层面出发进行占道分析，避免漏检或者误检，提高车辆非法占道检测的效率。

Description

一种基于图像识别的路边车辆非法占道检测方法及系统

技术领域

本申请涉及无人机与图像识别技术领域，具体涉及一种基于图像识别的路边车辆非法占道检测方法及系统。

背景技术

随着生活水平和质量的不断提高，现目前的车辆保有量逐年上升。车辆保有量的增加虽然在一定程度上方便了人们的出行，但同时也带来了一些交通问题。车辆非法停放占道作为常见的交通问题之一，不仅影响正常交通运行，还可能造成不同程度的交通事故。为此，需要对车辆非法停放占道进行检测以确保正常的交通运行。然而，相关技术在进行车辆非法停放占道检测时可能存在误检，从而导致检测效率不佳。

发明内容

有鉴于此，本申请提供了一种基于图像识别的路边车辆非法占道检测方法及系统。

本申请提供了一种基于图像识别的路边车辆非法占道检测方法，应用于车辆占道检测系统，所述车辆占道检测系统包括互相之间通信的无人机、无线信号收发设备以及智能监控管理服务器，所述方法至少包括：

无人机对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备；

无线信号收发设备将所述航拍图像信息转发至智能监控管理服务器；

智能监控管理服务器对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征；通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为。

在一些可能的设计思路中，在无人机对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备之后，所述方法还包括：将完成下发的航拍图像信息进行删除。

在一些可能的设计思路中，智能监控管理服务器对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征，包括：

对所述航拍图像信息进行预处理，以获取针对所述停放车辆的车辆轮廓定位图像集，所述车辆轮廓定位图像集包括两帧或多于两帧车辆轮廓定位图像；

获得所述车辆轮廓定位图像集中的各帧车辆轮廓定位图像与所述停放车辆之间的车辆空间形态关联系数；

根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列；

基于所述车辆轮廓定位图像队列生成针对所述停放车辆的目标车辆轮廓特征队列，所述目标车辆轮廓特征队列包括至少两个目标车辆轮廓特征图；

从所述目标车辆轮廓特征队列中选取与所述目标检测区域匹配的目标车辆轮廓特征图以作为所述停放车辆在所述目标检测区域内的车辆空间特征。

在一些可能的设计思路中，所述根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列，具体包括：

根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行切分，得到至少两个车辆轮廓定位图像子集；

对各个车辆轮廓定位图像子集进行图像整理，并分别对所述各个车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理，得到所述车辆轮廓定位图像队列。

在一些可能的设计思路中，所述根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行切分，得到至少两个车辆轮廓定位图像子集，具体包括：

分别根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，对所述各帧车辆轮廓定位图像的多模态位置描述进行全局化处理，得到所述各帧车辆轮廓定位图像的全局多模态位置描述；

根据所述各帧车辆轮廓定位图像的全局多模态位置描述对所述各帧车辆轮廓定位图像进行特征分析，得到至少两个车辆轮廓定位图像子集。

在一些可能的设计思路中，所述对各个车辆轮廓定位图像子集之间进行图像整理，并分别对所述各个车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理，得到所述车辆轮廓定位图像队列，具体包括：

根据各个车辆轮廓定位图像子集所包含的车辆轮廓定位图像的数目，对所述各个车辆轮廓定位图像子集进行图像整理；

以及，针对所述各个车辆轮廓定位图像子集，分别执行以下操作：

根据所述车辆轮廓定位图像子集中各帧车辆轮廓定位图像的多模态位置描述与所述车辆轮廓定位图像子集的相关性情况，对所述车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理；

基于所述各个车辆轮廓定位图像子集之间的图像整理结果，以及所述各个车辆轮廓定位图像子集中各帧车辆轮廓定位图像的图像整理结果，生成所述车辆轮廓定位图像队列。

在一些可能的设计思路中，所述获得所述车辆轮廓定位图像集中的各帧车辆轮廓定位图像与所述停放车辆之间的车辆空间形态关联系数，具体包括：

分别将所述各帧车辆轮廓定位图像导入完成训练的车辆轮廓特征网络模型中，基于所述完成训练的车辆轮廓特征网络模型中的图像块层面的全局空间形态分析单元对所述各帧车辆轮廓定位图像进行空间形态识别，获得所述全局空间形态分析单元导出的所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数；

所述根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列，具体包括：

分别将所述各帧车辆轮廓定位图像，以及所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数导入所述完成训练的车辆轮廓特征网络模型中的级联式图像处理单元，基于所述级联式图像处理单元对所述各帧车辆轮廓定位图像进行特征分析和图像整理，获得所述级联式图像处理单元导出的特征层面的第一组合描述特征，所述第一组合描述特征中的各个车辆轮廓定位图像块融合形成所述车辆轮廓定位图像队列；

所述基于所述车辆轮廓定位图像队列生成针对所述停放车辆的目标车辆轮廓特征队列，具体包括：

将所述组合描述特征导入所述完成训练的车辆轮廓特征网络模型中的车辆轮廓特征处理单元，基于所述车辆轮廓特征处理单元进行聚焦式空间形态识别，获得所述车辆轮廓特征处理单元导出的所述目标车辆轮廓特征队列；

其中，所述完成训练的车辆轮廓特征网络模型是根据样本对象集训练得到的，所述样本对象集中的训练图像包括已绑定相关性特征的样本车辆轮廓定位图像，所述相关性特征表示所述样本车辆轮廓定位图像与样本航拍图像是否相关。

在一些可能的设计思路中，通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为，包括：

获取所述车辆空间特征的车辆部位标签分布信息以及各部位轮廓特征图；

在根据所述车辆部位标签分布信息确定出所述车辆空间特征中包含有非接触性部位标签的情况下，根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的接触性部位标签下的各部位轮廓特征图与车辆空间特征的非接触性部位标签下的各部位轮廓特征图之间的特征相似度，并将车辆空间特征的接触性部位标签下的与非接触性部位标签下的部位轮廓特征图相似的部位轮廓特征图转移到相应的非接触性部位标签下；

在车辆空间特征的当前接触性部位标签下包含有多个部位轮廓特征图的情况下，根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的当前接触性部位标签下的各部位轮廓特征图之间的特征相似度，并根据所述各部位轮廓特征图之间的特征相似度对当前接触性部位标签下的各部位轮廓特征图进行分组；

根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容为上述分组获得的每一组部位轮廓特征图添加非接触性部位索引，并将所述每一组部位轮廓特征图转移到所述非接触性部位索引所指向的非接触性部位标签下；

对所述车辆空间特征的非接触性部位标签下的部位轮廓特征图进行车辆位置识别，得到所述停放车辆的车辆位置坐标；在所述车辆位置坐标位于设定空间内时，判定所述停放车辆在所述目标检测区域内存在非法占道行为；否则，判定所述停放车辆在所述目标检测区域内不存在非法占道行为。

在一些可能的设计思路中，所述根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的接触性部位标签下的各部位轮廓特征图与车辆空间特征的非接触性部位标签下的各部位轮廓特征图之间的特征相似度，并将车辆空间特征的接触性部位标签下的与非接触性部位标签下的部位轮廓特征图相似的部位轮廓特征图转移到相应的非接触性部位标签下包括：

计算车辆空间特征的接触性部位标签下的各部位轮廓特征图与车辆空间特征的非接触性部位标签下的各部位轮廓特征图的描述向量之间的欧式距离；

分别判断各欧式距离是否达到第一设定距离，并将欧式距离达到第一设定距离的接触性部位标签下的部位轮廓特征图转移到相应的非接触性部位标签下；

其中，所述部位轮廓特征图的描述向量为：部位轮廓特征图对应于非接触性部位索引的统计结果，所述统计结果是根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图，以及所述参考车辆的车辆部位标签内容统计出的；

所述根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的当前接触性部位标签下的各部位轮廓特征图之间的特征相似度，并根据所述各部位轮廓特征图之间的特征相似度对当前接触性部位标签下的各部位轮廓特征图进行分组包括：

计算车辆空间特征的当前接触性部位标签下的各部位轮廓特征图的描述向量之间的欧式距离；

针对车辆空间特征的当前接触性部位标签下的一个部位轮廓特征图而言，将该部位轮廓特征图和与其描述向量之间的欧式距离达到第二设定距离的所有部位轮廓特征图划分为一组；

其中，所述部位轮廓特征图的描述向量为：部位轮廓特征图对应于非接触性部位索引的统计结果，所述统计结果是根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图，以及所述参考车辆的车辆部位标签内容统计出的；

相应的，所述多个参考车辆包括：显著性参考车辆和非显著性参考车辆；

且所述部位轮廓特征图的描述向量为：在显著性参考车辆的车辆空间特征的非接触性部位标签所具有的置信度大于非显著性参考车辆的车辆空间特征的非接触性部位标签所具有的置信度的情况下，统计出的部位轮廓特征图对应于非接触性部位索引的统计结果；

其中，所述显著性参考车辆是指对其车辆空间特征中的部位轮廓特征图的识别度评价符合设定标准的参考车辆。

本申请还提供了一种基于图像识别的路边车辆非法占道检测系统，包括互相之间通信的无人机、无线信号收发设备以及智能监控管理服务器；

无人机用于对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备；

无线信号收发设备用于将所述航拍图像信息转发至智能监控管理服务器；

智能监控管理服务器用于对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征；通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为。

本申请还提供了一种智能监控管理服务器，包括处理器、网络模块和存储器；所述处理器和所述存储器通过所述网络模块通信，所述处理器从所述存储器中读取计算机程序并运行，以执行上述的方法。

本申请还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序在运行时实现上述的方法。

相较于现有技术，本申请提供的一种基于图像识别的路边车辆非法占道检测方法及系统具有以下技术效果：无人机将航拍图像信息下发给无线信号收发设备，以通过无线信号收发设备快速、及时地实现航拍图像信息的转发，通过在无人机与智能监控管理服务器的航拍图像信息传输通道之间增设无线信号收发设备作为中间节点，能够尽可能减少因网络原因而导致的航拍图像信息的漏传。此外，智能监控管理服务器能够对航拍图像信息进行图像分析以得到停放车辆在目标检测区域内的车辆空间特征，进而通过车辆空间特征判断停放车辆是否存在非法占道行为，能够通过车辆空间特征对无人机的图像拍摄角度进行考虑，从而以立体三维层面出发进行占道分析，避免漏检或者误检，提高车辆非法占道检测的效率。

在后面的描述中，将部分地陈述其他的特征。在检查后面内容和附图时，本领域的技术人员将部分地发现这些特征，或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面，当前申请中的特征可以被实现和获得。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所提供的一种智能监控管理服务器的方框示意图。

图2为本申请实施例所提供的一种基于图像识别的路边车辆非法占道检测方法的流程图。

图3为本申请实施例所提供的一种基于图像识别的路边车辆非法占道检测系统的通信架构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

图1示出了本申请实施例所提供的一种智能监控管理服务器10的方框示意图。本申请实施例中的智能监控管理服务器10可以为具有数据存储、传输、处理功能的服务端，如图1所示，智能监控管理服务器10包括：存储器11、处理器12、网络模块13和路边车辆非法占道检测装置20。

存储器11、处理器12和网络模块13之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器11中存储有路边车辆非法占道检测装置20，所述路边车辆非法占道检测装置20包括至少一个可以软件或固件（firmware）的形式储存于所述存储器11中的软件功能模块，所述处理器12通过运行存储在存储器11内的软件程序以及模块，例如本申请实施例中的路边车辆非法占道检测装置20，从而执行各种功能应用以及数据处理，即实现本申请实施例中的基于图像识别的路边车辆非法占道检测方法。

其中，所述存储器11可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。其中，存储器11用于存储程序，所述处理器12在接收到执行指令后，执行所述程序。

所述处理器12可能是一种集成电路芯片，具有数据的处理能力。上述的处理器12可以是通用处理器，包括中央处理器 (Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

网络模块13用于通过网络建立智能监控管理服务器10与其他通信终端设备之间的通信连接，实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。

可以理解，图1所示的结构仅为示意，智能监控管理服务器10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序在运行时实现上述的方法。

图2示出了本申请实施例所提供的一种基于图像识别的路边车辆非法占道检测的流程图。所述方法有关的流程所定义的方法步骤应用于车辆占道检测系统，所述车辆占道检测系统包括互相之间通信的无人机、无线信号收发设备以及上述的智能监控管理服务器10，所述方法包括以下步骤S21-步骤S23。

步骤S21、无人机对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备。

例如，目标检测区域可以是街道、停车场或者其他可以进行车辆停放的区域。停放车辆可以是机动车或者非机动车。

在一些可选的实施例中，在无人机对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备之后，所述方法还包括：将完成下发的航拍图像信息进行删除。如此，无人机通过删除完成下发的航拍图像信息，能够及时清理内存，避免内存不足而导致后续拍摄到的图像的丢失。

步骤S22、无线信号收发设备将所述航拍图像信息转发至智能监控管理服务器。

例如，无线信号收发设备可以是相关的网关节点设备，用于进行航拍图像信息的转发。

步骤S23、智能监控管理服务器对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征；通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为。

在本申请实施例中，车辆空间特征用于从立体三维层面出现反应停放车辆与目标检测区域的相对位置关系，从而能够将无人机的拍摄角度因素考虑在内，这样一来，通过对车辆空间特征进行分析，能够准确检测出停放车辆在目标检测区域内是否存在非法占道行为，从而提高车辆非法停放占道检测的效率，避免因图像拍摄角度原因后者图像传输原因而导致的误检或者漏检。

在一些相关的实施例中，上述步骤S23所描述的智能监控管理服务器对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征，可以包括以下步骤S2311-步骤S2314所描述的技术方案。

步骤S2311、对所述航拍图像信息进行预处理，以获取针对所述停放车辆的车辆轮廓定位图像集，所述车辆轮廓定位图像集包括两帧或多于两帧车辆轮廓定位图像。

步骤S2312、获得所述车辆轮廓定位图像集中的各帧车辆轮廓定位图像与所述停放车辆之间的车辆空间形态关联系数。

步骤S2313、根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列。

在一些可能的实施例中，步骤S2313所描述的根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列，可以包括以下步骤S23131和步骤S23132。

步骤S23131、根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行切分，得到至少两个车辆轮廓定位图像子集。

进一步地，根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行切分，得到至少两个车辆轮廓定位图像子集，可以包括以下内容：分别根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，对所述各帧车辆轮廓定位图像的多模态位置描述进行全局化处理，得到所述各帧车辆轮廓定位图像的全局多模态位置描述；根据所述各帧车辆轮廓定位图像的全局多模态位置描述对所述各帧车辆轮廓定位图像进行特征分析，得到至少两个车辆轮廓定位图像子集。

步骤S23132、对各个车辆轮廓定位图像子集进行图像整理，并分别对所述各个车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理，得到所述车辆轮廓定位图像队列。

在一些可能的实施例中，步骤S23132所描述的对各个车辆轮廓定位图像子集之间进行图像整理，并分别对所述各个车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理，得到所述车辆轮廓定位图像队列，可以包括以下内容：根据各个车辆轮廓定位图像子集所包含的车辆轮廓定位图像的数目，对所述各个车辆轮廓定位图像子集进行图像整理；以及，针对所述各个车辆轮廓定位图像子集，分别执行以下操作：根据所述车辆轮廓定位图像子集中各帧车辆轮廓定位图像的多模态位置描述与所述车辆轮廓定位图像子集的相关性情况，对所述车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理；基于所述各个车辆轮廓定位图像子集之间的图像整理结果，以及所述各个车辆轮廓定位图像子集中各帧车辆轮廓定位图像的图像整理结果，生成所述车辆轮廓定位图像队列。如此，可以确保生成车辆轮廓定位图像队列的完整性，避免个别车辆轮廓定位图像的缺失。

步骤S2314、基于所述车辆轮廓定位图像队列生成针对所述停放车辆的目标车辆轮廓特征队列，所述目标车辆轮廓特征队列包括至少两个目标车辆轮廓特征图。

步骤S2315、从所述目标车辆轮廓特征队列中选取与所述目标检测区域匹配的目标车辆轮廓特征图以作为所述停放车辆在所述目标检测区域内的车辆空间特征。

如此设计，通过实施上述步骤S2311-步骤S2315，能够考虑停放车辆的车辆轮廓定位图像，从而基于车辆轮廓定位图像与停放车辆之间的车辆空间形态关联系数准确得到目标车辆轮廓特征队列，从而确保得到的车辆空间特征与停放车辆的空间适配性。

在一些可能的实施例a中，步骤S2312所描述的获得所述车辆轮廓定位图像集中的各帧车辆轮廓定位图像与所述停放车辆之间的车辆空间形态关联系数，可以包括以下内容：分别将所述各帧车辆轮廓定位图像导入完成训练的车辆轮廓特征网络模型中，基于所述完成训练的车辆轮廓特征网络模型中的图像块层面的全局空间形态分析单元对所述各帧车辆轮廓定位图像进行空间形态识别，获得所述全局空间形态分析单元导出的所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数。

在实施例a的基础上，步骤S2313所描述的根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列，可以包括以下内容：分别将所述各帧车辆轮廓定位图像，以及所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数导入所述完成训练的车辆轮廓特征网络模型中的级联式图像处理单元，基于所述级联式图像处理单元对所述各帧车辆轮廓定位图像进行特征分析和图像整理，获得所述级联式图像处理单元导出的特征层面的第一组合描述特征，所述第一组合描述特征中的各个车辆轮廓定位图像块融合形成所述车辆轮廓定位图像队列。

在实施例a的基础上，步骤S2314所描述的基于所述车辆轮廓定位图像队列生成针对所述停放车辆的目标车辆轮廓特征队列，具体包括：将所述组合描述特征导入所述完成训练的车辆轮廓特征网络模型中的车辆轮廓特征处理单元，基于所述车辆轮廓特征处理单元进行聚焦式空间形态识别，获得所述车辆轮廓特征处理单元导出的所述目标车辆轮廓特征队列；其中，所述完成训练的车辆轮廓特征网络模型是根据样本对象集训练得到的，所述样本对象集中的训练图像包括已绑定相关性特征的样本车辆轮廓定位图像，所述相关性特征表示所述样本车辆轮廓定位图像与样本航拍图像是否相关。

在上述内容的基础上，对于步骤S23所描述的通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为，可以包括以下步骤S2321-步骤S2325所描述的技术方案。

步骤S2321、获取所述车辆空间特征的车辆部位标签分布信息以及各部位轮廓特征图。

步骤S2322、在根据所述车辆部位标签分布信息确定出所述车辆空间特征中包含有非接触性部位标签的情况下，根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的接触性部位标签下的各部位轮廓特征图与车辆空间特征的非接触性部位标签下的各部位轮廓特征图之间的特征相似度，并将车辆空间特征的接触性部位标签下的与非接触性部位标签下的部位轮廓特征图相似的部位轮廓特征图转移到相应的非接触性部位标签下。

在相关实施例中，上述步骤S2322可以通过以下方式实施：计算车辆空间特征的接触性部位标签下的各部位轮廓特征图与车辆空间特征的非接触性部位标签下的各部位轮廓特征图的描述向量之间的欧式距离；分别判断各欧式距离是否达到第一设定距离，并将欧式距离达到第一设定距离的接触性部位标签下的部位轮廓特征图转移到相应的非接触性部位标签下；其中，所述部位轮廓特征图的描述向量为：部位轮廓特征图对应于非接触性部位索引的统计结果，所述统计结果是根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图，以及所述参考车辆的车辆部位标签内容统计出的。

步骤S2323、在车辆空间特征的当前接触性部位标签下包含有多个部位轮廓特征图的情况下，根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的当前接触性部位标签下的各部位轮廓特征图之间的特征相似度，并根据所述各部位轮廓特征图之间的特征相似度对当前接触性部位标签下的各部位轮廓特征图进行分组。

在相关实施例中，上述步骤S2323可以通过以下方式实施：计算车辆空间特征的当前接触性部位标签下的各部位轮廓特征图的描述向量之间的欧式距离；针对车辆空间特征的当前接触性部位标签下的一个部位轮廓特征图而言，将该部位轮廓特征图和与其描述向量之间的欧式距离达到第二设定距离的所有部位轮廓特征图划分为一组；其中，所述部位轮廓特征图的描述向量为：部位轮廓特征图对应于非接触性部位索引的统计结果，所述统计结果是根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图，以及所述参考车辆的车辆部位标签内容统计出的。

步骤S2324、根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容为上述分组获得的每一组部位轮廓特征图添加非接触性部位索引，并将所述每一组部位轮廓特征图转移到所述非接触性部位索引所指向的非接触性部位标签下。

步骤S2325、对所述车辆空间特征的非接触性部位标签下的部位轮廓特征图进行车辆位置识别，得到所述停放车辆的车辆位置坐标；在所述车辆位置坐标位于设定空间内时，判定所述停放车辆在所述目标检测区域内存在非法占道行为；否则，判定所述停放车辆在所述目标检测区域内不存在非法占道行为。

这样一来，通过应用上述步骤S2321-步骤S2125，能够考虑车辆空间特征的非接触性部位标签以及接触性部位标签下的部位轮廓特征图，通过对车辆空间特征的非接触性部位标签以及接触性部位标签下的部位轮廓特征图进行调整，能够有效改善图像拍摄角度带来的干扰，这样可以通过车辆空间特征的非接触性部位标签下的部位轮廓特征图进行车辆位置识别以精准得到停放车辆的车辆位置坐标，这样可以基于车辆位置坐标准确可靠地判断停放车辆目标检测区域内是否存在非法占道行为，避免漏检或者误检。

在上述步骤S2321-步骤S2125中，所述多个参考车辆包括：显著性参考车辆和非显著性参考车辆；且所述部位轮廓特征图的描述向量为：在显著性参考车辆的车辆空间特征的非接触性部位标签所具有的置信度大于非显著性参考车辆的车辆空间特征的非接触性部位标签所具有的置信度的情况下，统计出的部位轮廓特征图对应于非接触性部位索引的统计结果。进一步地，所述显著性参考车辆是指对其车辆空间特征中的部位轮廓特征图的识别度评价符合设定标准的参考车辆。

在一些选择性的实施例中，所述多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图包括：对采集的多个参考车辆的车辆空间特征的各部位轮廓特征图进行干扰特征清洗后获得的部位轮廓特征图。

在一些选择性的实施例中，所述干扰特征包括：设定时段内未被使用的部位轮廓特征图以及存在畸变的部位轮廓特征图。

在一些选择性的实施例中，所述根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图为上述分组获得的每一组部位轮廓特征图添加非接触性部位索引包括：针对分组后的一组部位轮廓特征图而言，根据所述多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图确定该组中的各部位轮廓特征图所属的非接触性部位索引的统计结果，并根据所述统计结果为该组部位轮廓特征图添加非接触性部位索引。

基于上述同样的发明构思，请结合参阅图3，还提供了一种基于图像识别的路边车辆非法占道检测系统30，包括互相之间通信的无人机31、无线信号收发设备32以及智能监控管理服务器10。无人机31用于对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备32。无线信号收发设备32用于将所述航拍图像信息转发至智能监控管理服务器10。智能监控管理服务器10用于对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征；通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为。

综上，基于上述技术方案，无人机将航拍图像信息下发给无线信号收发设备，以通过无线信号收发设备快速、及时地实现航拍图像信息的转发，通过在无人机与智能监控管理服务器的航拍图像信息传输通道之间增设无线信号收发设备作为中间节点，能够尽可能减少因网络原因而导致的航拍图像信息的漏传。此外，智能监控管理服务器能够对航拍图像信息进行图像分析以得到停放车辆在目标检测区域内的车辆空间特征，进而通过车辆空间特征判断停放车辆是否存在非法占道行为，能够通过车辆空间特征对无人机的图像拍摄角度进行考虑，从而以立体三维层面出发进行占道分析，避免漏检或者误检，提高车辆非法占道检测的效率。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，智能监控管理服务器10，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于图像识别的路边车辆非法占道检测方法，其特征在于，应用于车辆占道检测系统，所述车辆占道检测系统包括互相之间通信的无人机、无线信号收发设备以及智能监控管理服务器，所述方法至少包括：

无人机对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备；

无线信号收发设备将所述航拍图像信息转发至智能监控管理服务器；

智能监控管理服务器对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征；通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为；

其中，智能监控管理服务器对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征，包括：对所述航拍图像信息进行预处理，以获取针对所述停放车辆的车辆轮廓定位图像集，所述车辆轮廓定位图像集包括两帧或多于两帧车辆轮廓定位图像；获得所述车辆轮廓定位图像集中的各帧车辆轮廓定位图像与所述停放车辆之间的车辆空间形态关联系数；根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列；基于所述车辆轮廓定位图像队列生成针对所述停放车辆的目标车辆轮廓特征队列，所述目标车辆轮廓特征队列包括至少两个目标车辆轮廓特征图；从所述目标车辆轮廓特征队列中选取与所述目标检测区域匹配的目标车辆轮廓特征图以作为所述停放车辆在所述目标检测区域内的车辆空间特征。

2.根据权利要求1所述的方法，其特征在于，在无人机对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备之后，所述方法还包括：将完成下发的航拍图像信息进行删除。

3.根据权利要求1所述的方法，其特征在于，所述根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列，具体包括：

根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行切分，得到至少两个车辆轮廓定位图像子集；

对各个车辆轮廓定位图像子集进行图像整理，并分别对所述各个车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理，得到所述车辆轮廓定位图像队列。

4.根据权利要求3所述的方法，其特征在于，所述根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行切分，得到至少两个车辆轮廓定位图像子集，具体包括：

分别根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，对所述各帧车辆轮廓定位图像的多模态位置描述进行全局化处理，得到所述各帧车辆轮廓定位图像的全局多模态位置描述；

根据所述各帧车辆轮廓定位图像的全局多模态位置描述对所述各帧车辆轮廓定位图像进行特征分析，得到至少两个车辆轮廓定位图像子集。

5.根据权利要求3所述的方法，其特征在于，所述对各个车辆轮廓定位图像子集之间进行图像整理，并分别对所述各个车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理，得到所述车辆轮廓定位图像队列，具体包括：

根据各个车辆轮廓定位图像子集所包含的车辆轮廓定位图像的数目，对所述各个车辆轮廓定位图像子集进行图像整理；

以及，针对所述各个车辆轮廓定位图像子集，分别执行以下操作：

根据所述车辆轮廓定位图像子集中各帧车辆轮廓定位图像的多模态位置描述与所述车辆轮廓定位图像子集的相关性情况，对所述车辆轮廓定位图像子集中的各帧车辆轮廓定位图像进行图像整理；

基于所述各个车辆轮廓定位图像子集之间的图像整理结果，以及所述各个车辆轮廓定位图像子集中各帧车辆轮廓定位图像的图像整理结果，生成所述车辆轮廓定位图像队列。

6.根据权利要求1所述的方法，其特征在于，所述获得所述车辆轮廓定位图像集中的各帧车辆轮廓定位图像与所述停放车辆之间的车辆空间形态关联系数，具体包括：

分别将所述各帧车辆轮廓定位图像导入完成训练的车辆轮廓特征网络模型中，基于所述完成训练的车辆轮廓特征网络模型中的图像块层面的全局空间形态分析单元对所述各帧车辆轮廓定位图像进行空间形态识别，获得所述全局空间形态分析单元导出的所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数；

所述根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列，具体包括：

分别将所述各帧车辆轮廓定位图像，以及所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数导入所述完成训练的车辆轮廓特征网络模型中的级联式图像处理单元，基于所述级联式图像处理单元对所述各帧车辆轮廓定位图像进行特征分析和图像整理，获得所述级联式图像处理单元导出的特征层面的第一组合描述特征，所述第一组合描述特征中的各个车辆轮廓定位图像块融合形成所述车辆轮廓定位图像队列；

所述基于所述车辆轮廓定位图像队列生成针对所述停放车辆的目标车辆轮廓特征队列，具体包括：

将所述组合描述特征导入所述完成训练的车辆轮廓特征网络模型中的车辆轮廓特征处理单元，基于所述车辆轮廓特征处理单元进行聚焦式空间形态识别，获得所述车辆轮廓特征处理单元导出的所述目标车辆轮廓特征队列；

其中，所述完成训练的车辆轮廓特征网络模型是根据样本对象集训练得到的，所述样本对象集中的训练图像包括已绑定相关性特征的样本车辆轮廓定位图像，所述相关性特征表示所述样本车辆轮廓定位图像与样本航拍图像是否相关。

7.根据权利要求1所述的方法，其特征在于，通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为，包括：

获取所述车辆空间特征的车辆部位标签分布信息以及各部位轮廓特征图；

在根据所述车辆部位标签分布信息确定出所述车辆空间特征中包含有非接触性部位标签的情况下，根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的接触性部位标签下的各部位轮廓特征图与车辆空间特征的非接触性部位标签下的各部位轮廓特征图之间的特征相似度，并将车辆空间特征的接触性部位标签下的与非接触性部位标签下的部位轮廓特征图相似的部位轮廓特征图转移到相应的非接触性部位标签下；

在车辆空间特征的当前接触性部位标签下包含有多个部位轮廓特征图的情况下，根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的当前接触性部位标签下的各部位轮廓特征图之间的特征相似度，并根据所述各部位轮廓特征图之间的特征相似度对当前接触性部位标签下的各部位轮廓特征图进行分组；

根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容为上述分组获得的每一组部位轮廓特征图添加非接触性部位索引，并将所述每一组部位轮廓特征图转移到所述非接触性部位索引所指向的非接触性部位标签下；

对所述车辆空间特征的非接触性部位标签下的部位轮廓特征图进行车辆位置识别，得到所述停放车辆的车辆位置坐标；在所述车辆位置坐标位于设定空间内时，判定所述停放车辆在所述目标检测区域内存在非法占道行为；否则，判定所述停放车辆在所述目标检测区域内不存在非法占道行为。

8.根据权利要求7所述的方法，其特征在于，所述根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的接触性部位标签下的各部位轮廓特征图与车辆空间特征的非接触性部位标签下的各部位轮廓特征图之间的特征相似度，并将车辆空间特征的接触性部位标签下的与非接触性部位标签下的部位轮廓特征图相似的部位轮廓特征图转移到相应的非接触性部位标签下包括：

计算车辆空间特征的接触性部位标签下的各部位轮廓特征图与车辆空间特征的非接触性部位标签下的各部位轮廓特征图的描述向量之间的欧式距离；

分别判断各欧式距离是否达到第一设定距离，并将欧式距离达到第一设定距离的接触性部位标签下的部位轮廓特征图转移到相应的非接触性部位标签下；

其中，所述部位轮廓特征图的描述向量为：部位轮廓特征图对应于非接触性部位索引的统计结果，所述统计结果是根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图，以及所述参考车辆的车辆部位标签内容统计出的；

所述根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图及其车辆部位标签内容确定车辆空间特征的当前接触性部位标签下的各部位轮廓特征图之间的特征相似度，并根据所述各部位轮廓特征图之间的特征相似度对当前接触性部位标签下的各部位轮廓特征图进行分组包括：

计算车辆空间特征的当前接触性部位标签下的各部位轮廓特征图的描述向量之间的欧式距离；

针对车辆空间特征的当前接触性部位标签下的一个部位轮廓特征图而言，将该部位轮廓特征图和与其描述向量之间的欧式距离达到第二设定距离的所有部位轮廓特征图划分为一组；

其中，所述部位轮廓特征图的描述向量为：部位轮廓特征图对应于非接触性部位索引的统计结果，所述统计结果是根据多个参考车辆的车辆空间特征的非接触性部位标签下的部位轮廓特征图，以及所述参考车辆的车辆部位标签内容统计出的；

相应的，所述多个参考车辆包括：显著性参考车辆和非显著性参考车辆；

且所述部位轮廓特征图的描述向量为：在显著性参考车辆的车辆空间特征的非接触性部位标签所具有的置信度大于非显著性参考车辆的车辆空间特征的非接触性部位标签所具有的置信度的情况下，统计出的部位轮廓特征图对应于非接触性部位索引的统计结果；

其中，所述显著性参考车辆是指对其车辆空间特征中的部位轮廓特征图的识别度评价符合设定标准的参考车辆。

9.一种基于图像识别的路边车辆非法占道检测系统，其特征在于，包括互相之间通信的无人机、无线信号收发设备以及智能监控管理服务器；

无人机用于对位于目标检测区域内的停放车辆进行图像采集以得到所述停放车辆的航拍图像信息，将所述航拍图像信息下发给无线信号收发设备；

无线信号收发设备用于将所述航拍图像信息转发至智能监控管理服务器；

智能监控管理服务器用于对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征；通过所述车辆空间特征判断所述停放车辆在所述目标检测区域内是否存在非法占道行为；

其中，智能监控管理服务器对所述航拍图像信息进行图像分析，得到所述停放车辆在所述目标检测区域内的车辆空间特征，包括：对所述航拍图像信息进行预处理，以获取针对所述停放车辆的车辆轮廓定位图像集，所述车辆轮廓定位图像集包括两帧或多于两帧车辆轮廓定位图像；获得所述车辆轮廓定位图像集中的各帧车辆轮廓定位图像与所述停放车辆之间的车辆空间形态关联系数；根据所述各帧车辆轮廓定位图像对应的车辆空间形态关联系数，以及所述各帧车辆轮廓定位图像的多模态位置描述，对所述各帧车辆轮廓定位图像进行图像整理，得到所匹配的车辆轮廓定位图像队列；基于所述车辆轮廓定位图像队列生成针对所述停放车辆的目标车辆轮廓特征队列，所述目标车辆轮廓特征队列包括至少两个目标车辆轮廓特征图；从所述目标车辆轮廓特征队列中选取与所述目标检测区域匹配的目标车辆轮廓特征图以作为所述停放车辆在所述目标检测区域内的车辆空间特征。

Images