CN114913419B - 一种智慧停车目标检测方法及系统 - Google Patents

Abstract

本发明涉及一种智慧停车目标检测方法及系统，方法包括：获取原始图像样本集，对原始图像样本集进行预处理，得到原始样本图像和标注后的样本图像；将原始样本图像与标注后的样本图像进行样本融合，并输入到异常物体检测模型进行训练，得到模型输出类别；对待检测图片进行灰度处理，输入到训练好的异常物体检测模型中，将得到的两类输出类别送入异常检测物体推理机中得到最终检测结果。本发明通过使用异常物体检测模型能有效解决遮挡目标检测中目标丢失的问题，极大地提升整体的目标检测过程中的目标检测精度。

Description

一种智慧停车目标检测方法及系统

技术领域

本发明涉及智慧停车目标检测技术领域，特别是涉及一种智慧停车目标检测方法及系统。

背景技术

随着科技的进步和智慧城市的发展，越来越多的人工智能技术将应用到城市的建设中。为了建设智慧城市，用科技手段解决城市职能，智慧停车项目应运而生。传统的智能停车场依赖于从固定的角度对车辆目标进行检测，但城市中车辆的行为并不是完全有序的。同时在检测方案实施过程中，混合着各种复杂检测场景的不确定性因素和碎片化需求。因此，在智慧停车目标检测的实际应用中，传统目标检测技术暴露出各种问题。

但鉴于目前的主要技术实现方案，计算机视觉技术的应用还是会受到很多因素影响，从而局限模型的应用场景。针对不同场景、不同物体的目标检测又需要对算法模型做定制化的结构设计以及独特的特征提取网络。同时考虑到具体应用场景的不同，检测模型对目标检测的精确度和时间消耗(Flops)还不能达到满意的效果。复杂场景下车辆目标检测方法还存在目标丢失、目标检测精度不高等缺点。为此，本发明将克服复杂场景下车辆目标检测方法中目标丢失、目标检测精度不高等问题，以此提高复杂场景下车辆检测的准确度和检测效率。

发明内容

本发明的目的是提供一种智慧停车目标检测方法及系统，已解决现有技术中复杂场景停车目标检测方法存在检测目标丢失、检测精度不高等问题。

为实现上述目的，本发明提供了如下方案：

一种智慧停车目标检测方法，包括：

获取原始图像样本集，对所述原始图像样本集进行预处理，得到原始样本图像和标注后的样本图像；

将所述原始样本图像与所述标注后的样本图像进行灰度处理处理与样本融合，对融合后的样本图像进行归一化处理并输入到异常物体检测模型进行训练，得到训练好的异常物体检测模型；

对待检测图片进行灰度处理，输入到所述训练好的异常物体检测模型中，将得到的输出结果送入异常检测物体推理机中得到最终检测结果。

优选地，对所述原始图像样本集进行预处理的过程包括：

基于所述原始图像样本集，若连续间隔前后的两张图像中右侧车辆静止且未发生变化，则将左侧图像进行切割，保留正常行驶区域的图像。

优选地，对没有进行所述切割处理的原始图像进行预处理的过程包括：

将所述原始图像与所述原始图像的相应底图进行通道拼接，复制所述原始图像样本的标签信息，并添加除车辆之外其他目标的标注信息，得到所述标注后的样本图像。

优选地，将所述原始样本图像与所述标注后的样本图像进行样本融合的过程包括：

提取出所述原始样本图像的彩色背景底图，将所述彩色背景底图转换为灰度图A，同时将所述标注后的样本图像中含有相同背景的异常物体彩色图像样本转换为灰度图B，将所述灰度图A和所述灰度图B按照[A,A,B,B]的方式重新拼接为一张四通道Merge样本图。

优选地，采用labelImg工具，对所述四通道Merge样本图进行异常因素影响下的异常物体和正常车辆物体进行标注，得到异常物体检测样本数据集。

优选地，所述异常物体包括：摩托车、三轮车、行人以及夜间车辆正常行驶的车灯、路灯。

优选地，对所述异常物体检测样本进行归一化处理的过程包括：

将所述样本文件格式转换为所述异常物体检测模型能接受的文件格式；其中，所述样本文件只需要保留每一个目标的label以及归一化后的4个坐标值Xmin、Ymin、Xmax、Ymax，最终每一个图片的label信息保存为一个txt文件。

优选地，所述异常物体检测模型为YOLOv系列网络或RCNN系列网络。

优选地，所述异常检测物体推理机中得到最终检测结果的过程包括：

当所述异常物体检测模型的判定结果为车辆类别时，结合位置坐标信息，确定待检测图像中车辆目标及位置信息，将结果输出到待检测图像上；当判定位为异常物体类别时，则不输出到待检测图像上。

一种智慧停车目标检测系统，包括：

样本上传与展示模块：用于用户在前端页面点击上传样本图片与样本的标注信息，将上传的文件保存到服务器；

灰度样本转化与编辑模块：用于将原始样本通过自动化封装的脚本文件转化为灰度图，并进行通道合并，转化为Merge图；并对转化后的样本进行编辑剪切，对所述原始样本中存在的冗余图像进行过滤，剪辑掉图片中始终除于停放状态的车辆；

模型输出与超参数配置模块：用于设置前端在线训练模型时的超参数设置；

模型自动化训练模块：用于模型的训练，显示模型的训练进度、mAP指标的变化状况，并且在此模块中还能够提前终止模型的训练；

模型测试推理展示模块：用于测试样本图片的上传，并且展示模型的测试结果，包括所述测试图片的检测情况，以及测试过程中的mAP、loss及召回率指标的情况；

所述样本上传与展示模块、所述灰度样本转化与编辑模块、所述模型输出与超参数配置模块、所述模型自动化训练模块、所述模型测试推理展示模块依次连接。

本发明的有益效果为：

本发明通过使用异常物体检测模型能有效解决遮挡目标检测中目标丢失的问题；通过异常物体检测模型捕捉图中像素差异值的变化，再结合异常检测物体推理机的优势，减少目标检测过程中精度丢失的问题。将其两者结合共同加强网络模型的特征学习能力，极大地提升整体的目标检测过程中的目标检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的系统结构示意图；

图2为本发明实施例的异常物体检测模型示意图；

图3为本发明实施例的异常检测物体推理机示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示,一种智慧停车目标检测方法，包括：

步骤1：获取原始图像样本集，对所述原始图像样本集进行预处理，得到原始样本图像和标注后的样本图像；

图像采集的过程中，间隔时间采用2s每次，同时对采集的图像也要重新做处理：若连续间隔前后的图像静止车辆未发生变化，则只保留一张原始图像，其余图像作切割，只保留一张正常行驶的图像区域。

对于没有做切割的原始数据集样本，需要将原始图像与原始图像的相应底图进行通道拼接，相应底图为该样本摄像头场景下采集的底图，复制原始样本的标签信息，并且重新添加除车辆之外其他目标的标注信息。

对于进行了切割的冗余数据样本的切割方式，为了减少后期数据集的标注工作，同时利用起原始数据样本已有的部分标注信息，切割的过程则是使用精确到图像中的像素点位置进行切割，并将xml标注文件中的对应位置减去剪切大小的相对位置。经过上述操作后的标注信息就和新的切割后的图像对应起来了。经过上述步骤的处理，制作成异常物体检测训练的样本集。

具体的图像冗余标准：对于同一场景中始终未发生变化的图像仅保留一张，剪切掉同一场景下其他图像中始终处于静止状态的图像。

步骤2：利用步骤1形成的样本集中的样本，提取出样本背景彩色底图转换为灰度图，同时将含有相同背景的异常物体彩色图片样本转换为灰度图，然后按通道融合的方式生成新的四通道Merge样本图。然后将形成的样本图进行异常因素影响下的异常物体和正常车辆物体标注，在本实施例中，采用labelImg工具进行标注。

将背景底图与含有相同背景的异常物体图片按通道融合的方式生成新的Merge图。其具体的样本融合步骤如下：

(1)将底图由彩色图转换为灰度图A；

(2)将待测图片由彩色图转换为灰度图B；

(3)将灰度图A和灰度图B按照[A,A,B,B]的方式重新拼接为一张四通道Merg图。

步骤3：将步骤2形成的带标注的异常物体和车辆物体图片作为训练样本集，然后对样本进行归一化处理，送入异常物体检测模型进行训练得到模型参数，该模型输出2个类别，一个为车辆目标，一个为异常物体，如图2所示；

异常物体包括异常因素造成影响的摩托车、三轮车、行人以及夜间车辆正常行驶的车灯、路灯。

在本实施例中，异常物体检测模型可以是YOLOv系列网络或RCNN系列网网络。

对样本进行归一化处理具体过程如下；

首先将样本文件格式转换为异常物体检测模型能接受的文件格式，为了提升梯度下降求解的速度，会对样本进行了归一化操作。最终的样本格式中，每一个样本的每一个目标的box并不直接是Xmin、Ymin、Xmax、Ymax，而是归一化后的Xmin、Ymin、Xmax、Ymax。样本文件只需要保留每一个目标的label以及归一化后的4个坐标值。最终每一个图片的label信息保存为一个txt文件。

步骤4：将待检测图片生成底图灰度图和检测图片灰度图，然后送入步骤3训练得到的异常物体检测模型中执行，将得到的两类输出结果送入异常检测物体推理机中得到最终检测结果。

如图3所示，异常检测物体推理机完成如下工作：经过异常物体检测模型在经过训练过后所得模型输出有两个类别，分别为异常物体类别和车辆目标类别，当判定为车辆类别时，然后结合位置坐标信息，确定带检测图片中车辆目标及位置信息，将结果输出到待检测图片上，当判定位为非车辆目标时，则不输出到图片上。最终模型推理的输出结果也只有一个类别。

本实施例中还提供一种智慧停车目标检测系统，如图1所示，包括：

样本上传与展示模块：用于用户在前端页面点击上传样本图片与样本的标注信息，将上传的文件保存到服务器，并提供给后续模型的训练与测试。

灰度样本转化与编辑模块：将原始的正常样本通过自动化封装的脚本文件转化为灰度图，并进行通道合并，转化为Merge图的过程。提供对转化后的样本进行编辑剪切，对原始样本中存在冗余的情况进行过滤，使用图片的剪辑功能，剪辑掉图片中始终除于停放状态的车辆。

模型输出与超参数配置模块：用于置前端在线训练模型时的超参数设置，包括Epoch、batch-size、image-size等。模型的在线训练阶段默认使用原始的训练权重，输出的参数配置主要是设置模型的要提供的输出类别标签。

模型自动化训练模块：用于模型的训练，显示模型的训练进度，mAP指标的变化状况，并且在此阶段也可以提前终止模型的训练。

模型测试推理展示模块：用于测试样本图片的上传，并且展示模型的测试结果，包括测试图片的检测情况，以及测试过程中的相关指标的情况。

所述样本上传与展示模块、所述灰度样本转化与编辑模块、所述模型输出与超参数配置模块、所述模型自动化训练模块、所述模型测试推理展示模块依次连接。

本发明的异常物体检测模型在前20个Epoch就已经趋于收敛，验证集的检测正确率达到了98.91％，训练情况总体较为稳定，同时模型在数据层面的表现很优秀。模型不仅能够准确地检测出异常物体存在的位置，而且对物体预测的box位置也很准确。

异常物体检测模型能有效解决遮挡目标检测中目标丢失的问题。这种目标检测方式，通过异常物体检测捕捉图中像素差异值得变化，再结合目标检测网络模型的优势，减少目标检测过程中精度丢失的问题。将其两者结合共同加强网络模型的特征学习能力，极大地提升整体的目标检测过程中的目标检测精度。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (2)

1.一种智慧停车目标检测方法，其特征在于，包括：

获取原始图像样本集，对所述原始图像样本集进行预处理，得到原始样本图像和标注后的样本图像；

将所述原始样本图像与所述标注后的样本图像进行灰度处理与样本融合，对融合后的样本图像进行归一化处理并输入到异常物体检测模型进行训练，得到训练好的异常物体检测模型；

对待检测图片进行灰度处理，输入到所述训练好的异常物体检测模型中，将得到的输出结果送入异常检测物体推理机中得到最终检测结果；

对所述原始图像样本集进行预处理的过程包括：

基于所述原始图像样本集，若连续间隔前后的两张图像中右侧车辆静止且未发生变化，则将左侧图像进行切割，保留正常行驶区域的图像；

对没有进行所述切割处理的原始图像进行预处理的过程包括：

将所述原始图像与所述原始图像的相应底图进行通道拼接，复制所述原始图像样本的标签信息，并添加除车辆之外其他目标的标注信息，得到所述标注后的样本图像，所述相应底图为该样本摄像头场景下采集的底图；

将所述原始样本图像与所述标注后的样本图像进行灰度处理与样本融合的过程包括：

提取出所述原始样本图像的彩色背景底图，将所述彩色背景底图转换为灰度图A，同时将所述标注后的样本图像中含有相同背景的异常物体彩色图像样本转换为灰度图B，将所述灰度图A和所述灰度图B按照[A,A,B,B]的方式重新拼接为一张四通道Merge样本图；

采用labelImg工具，对所述四通道Merge样本图进行异常因素影响下的异常物体和正常车辆物体标注，得到异常物体检测样本数据集；

所述异常物体包括：摩托车、三轮车、行人以及夜间车辆正常行驶的车灯、路灯；

所述异常物体检测模型为YOLOv系列网络或RCNN系列网络；

所述异常检测物体推理机中得到最终检测结果的过程包括：

当所述异常物体检测模型的判定结果为车辆类别时，结合位置坐标信息，确定待检测图像中车辆目标及位置信息，将结果输出到待检测图像上；当判定为异常物体类别时，则不输出到待检测图像上。

2.根据权利要求1所述的智慧停车目标检测方法，其特征在于，对所述异常物体检测样本进行归一化处理的过程包括：

将所述样本文件格式转换为所述异常物体检测模型能接受的文件格式；其中，所述样本文件只需要保留每一个目标的label以及归一化后的4个坐标值Xmin、Ymin、Xmax、Ymax，最终每一个图片的label信息保存为一个txt文件。