CN113591814B

CN113591814B - 一种基于动态视觉的道路干净度检测方法及检测系统

Info

Publication number: CN113591814B
Application number: CN202111147525.4A
Authority: CN
Inventors: 郑驰; 郭玉海; 夏志; 陈劲全; 鲍文杰; 余卫宇
Original assignee: Guangzhou Feeyy Intelligent Technology Co ltd; Shenzhen Topevery Technology Co ltd
Current assignee: Guangzhou Feeyy Intelligent Technology Co ltd; Shenzhen Topevery Technology Co ltd
Priority date: 2021-09-29
Filing date: 2021-09-29
Publication date: 2022-02-22
Anticipated expiration: 2041-09-29
Also published as: CN113591814A

Abstract

本发明公开了一种基于动态视觉的道路干净度检测方法及检测系统，其中道路干净度检测方法包括：步骤1，获取移动清扫车清扫前后的道路路面监控视频V1及V2；步骤2，标定V1上的目标分析区域D1，以及V2上的与D1对应的区域D2；步骤3，对D1和D2区域内的视频分别进行图像处理，获得区域D1中的所有与路面区分开来的N1个物体，区域D2中的所有与路面区分开来的N2个物体；步骤4，基于D1中的N1个物体和D2中的N2个物体，进行相似度计算，获得区域D1中的所有垃圾块及所有垃圾块面积和S1，区域D2中的所有垃圾块及所有垃圾块面积和S2；步骤5，输出垃圾清理干净指数α，其中，α=S1/S2。本发明检测成本低，算法简单，识别结果准确度高，便于推广。

Description

一种基于动态视觉的道路干净度检测方法及检测系统

技术领域

本发明属于道路干净度检测技术领域，特别涉及一种基于动态视觉的道路干净度检测方法及检测系统。

背景技术

2020年3月20日，为推进城市环卫工作的健康发展，住建部办公厅印发了《关于进一步做好城市环境卫生工作的通知》，其中明确将全面推进环卫各项工作。

目前，我国环卫市场化进程不断加快，数据显示，2019年，“北上深”环卫行业的市场化程度最高；2020年，“智能化、一体化、机械化、市场下沉”是环卫行业的发展趋势。而目前国内城市环卫大数据平台基本上没有人工智能街道干净度的自动采集系统或者设备出现，还是依靠传统的网格化管理员或者环卫工人自行判断并且清扫街道，而有些是在城市的主干道进行不间断的派出机械垃圾清扫车进行循环清扫。这些数据都显示，目前，整个环卫行业还是处于由机械化到信息化的发展过程，智能化应用发展还是处于初期阶段。

随着人工智能技术的慢慢普及，各行业人工智能需求呈现快速上升趋势，利用人工智能技术可以有效地提升城市环卫行业的智能化发展水平。首先要建设城市环卫信息大数据平台，然后将人工智能视觉分析算法部署在街道重要监控点或者流动的垃圾清扫车上进行街道的垃圾点分析，最后把各个街道的垃圾分析数据结果汇总上报到大数据平台，进行全市的环卫信息展示和调度。

目前，利用人工智能进行道路干净度检测技术还是处于发展初期，仅有少数一线城市有能力和资金建设了这套系统，该技术具有以下缺点：

第一，最主要、最关键的技术问题：由于垃圾的种类繁多，而且很多垃圾（如纸碎、破碎的空瓶、破碎的包装袋和大量的腐烂树叶、污泥等等）不具备特定形状和规则，还有的垃圾则是成堆的集在一起，根本没有办法分辨，如果采用计算机视觉深度学习算法去对一个个垃圾进行标注、建模和深度学习训练，最后开发出来的垃圾识别算法的成本惊人的过高，并且算法的识别率效果也难于达到实际应用要求，这就是目前人工智能视觉算法技术在环卫检测及垃圾分析方面最大的难点。

第二，效率低、结构复杂、速度慢问题：由于摄像头的覆盖范围是固定的，而整个城市街道错综复杂，需要部署的检测摄像头参数要求非常高，不然就看不清楚街道上的垃圾，还有对网络的带宽要求，甚至需要考虑各种环境及部署问题，导致整个系统搭建结构复杂，处理及相应速度很慢，这也是目前采用人工智能视觉算法技术应用于城市垃圾检测及街道干净度分析项目难于推广和执行的关键问题。

第三，无法应对复杂路面和天气等情况：目前的采用单纯的深度学习视觉算法无法在下雨及路面坑洼或者施工等特殊情况下的路面进行垃圾识别。

综上所述，虽然目前的人工智能深度学习算法可以实现各种物品的采集标注及数据集训练，最终得到识别结果，但是，在环卫系统街道检测中路面的情况不单包括了各种形状数量均不具体的垃圾，还有其他情况，比如：经过的车辆、行人、路边的栏杆、水沟、停放的车辆、石墩等等干扰的物体，还有路面的异常情况，比如：路面断横、路面积水、路面塌陷、路面施工等因素，所以，采用深度学习技术去处理每个异常情况和物体识别，会导致研发成本太高，周期不确定，而且识别算法难度过大，甚至无法识别等不利因素。

发明内容

现有基于人工智能算法的街道干净度检测方法成本高、算法不成熟、识别结果准确度低，难以推广，本发明的目的在于，针对上述现有技术的不足，提供一种全新的基于动态视觉的道路干净度检测方法及检测系统，检测成本低，算法简单，识别结果准确度高，便于推广。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于动态视觉的道路干净度检测方法，其特点是包括以下步骤：

步骤1，获取移动清扫车未清扫时的道路路面监控视频V1，获取经移动清扫车清扫后的对应的道路路面监控视频V2；

步骤2，标定V1上的目标分析区域D1，以及V2上的与D1对应的区域D2；

步骤3，对D1和D2区域内的视频分别进行图像处理，获得区域D1中的所有与路面区分开来的N1个物体，区域D2中的所有与路面区分开来的N2个物体；

步骤4，基于D1中的N1个物体和D2中的N2个物体，进行相似度计算，获得区域D1中的所有垃圾块及所有垃圾块面积和S1，区域D2中的所有垃圾块及所有垃圾块面积和S2；

步骤5，输出垃圾清理干净指数α，其中，α=S1/S2。

借由上述方法，通过对移动垃圾清扫车两组摄像头采集的清扫前后的两组监控视频进行图像分析和比对，通过计算图像的前后相似度，来实现检测及分析路面垃圾是否清理干净。本发明避免了直接去识别和分析成千上万的各种垃圾带来的诸多技术弊端及研发成本，可以快速有效地达到统计街道是否干净的预想效果。

作为一种优选方式，所述步骤4中，相似度计算方法包括：

针对D1中的各物体，执行下述判定过程：

若D1中的物体在D2中消失，则判断该物体为D1中的一垃圾块；

若D1中的物体在D2中改变形状和/或大小，则判断该物体为D1中的一垃圾块，该物体在D2中同一位置处的对应物体为D2中的一垃圾块。

若物体在清扫前后未发生形状和/或大小的变化，则认为其不是路面垃圾而是异常物品，不能参与垃圾清理干净指数计算，提高检测结果准确性。

进一步地，所述步骤5中，还输出经过图像处理后的监控视频V1和监控视频V2。

进一步地，所述步骤5中，还输出移动清扫车的车辆定位和/或编号信息。

作为一种优选方式，所述步骤3中，图像处理方法依次包括灰度化处理、图像滤波、二值化处理、二值化遮罩。

作为一种优选方式，所述步骤2中，通过手工对监控视频V1和/或监控视频V2进行标注，以获得区域D1及区域D2。

基于同一个发明构思，本发明还提供了一种基于动态视觉的道路干净度检测系统，其特点是包括：

输入模块：用于获取移动清扫车未清扫时的道路路面监控视频V1，以及获取经移动清扫车清扫后的对应的道路路面监控视频V2；

目标区域标定模块：用于标定V1上的目标分析区域D1，以及V2上的与D1对应的区域D2；

图像处理模块：用于对D1和D2区域内的视频分别进行图像处理，并获得区域D1中的所有与路面区分开来的N1个物体，区域D2中的所有与路面区分开来的N2个物体；

相似度计算模块：用于基于D1中的N1个物体和D2中的N2个物体，进行相似度计算，获得区域D1中的所有垃圾块及所有垃圾块面积和S1，区域D2中的所有垃圾块及所有垃圾块面积和S2；

输出模块：用于输出垃圾清理干净指数α，其中，α=S1/S2。

作为一种优选方式，相似度计算模块中的相似度计算算法包括：

针对D1中的各物体，执行下述判定过程：

若D1中的物体在D2中消失，则判断该物体为D1中的一垃圾块；

进一步地，所述输出模块还用于输出经过图像处理后的监控视频V1和监控视频V2，和/或，所述输出模块还用于输出移动清扫车的车辆定位和/或编号信息。

进一步地，所述道路干净度检测系统部署在移动清扫车的AI边缘计算单元的盒子上。

与现有技术相比，本发明是基于人工智能的计算机视觉图像处理的一系列算法的有效组合，形成了一套纯动态的垃圾清扫检测算法，首先，只要分析清扫前后两路视频就知道清扫的干净情况，可以避免直接对垃圾物体进行识别，避免每种垃圾及物品都要做学习和训练带来的高研发成本问题及路面垃圾堆积在一起或者发生破烂后采用视觉分析无法识别的技术难点等核心问题；其次，采用计算前后两路视频相似度的方式可以减少各种路面的干扰因素对分析结果的影响，大大提高了分析效率及数据的准确性；最后，采用本方法无需在道路上部署监控设备，而如果采用传统的接入道路监控的方式来做视觉分析，因为道路很长，摄像头的覆盖范围有限，导致需要部署非常多数量的监控设备才能实现路面垃圾清理检测，系统部署复杂，设备成本高昂，AI技术也无法在环卫行业推广和落地应用。

综上所述，采用本发明方法解决了目前每种垃圾都识别成本高，破烂物品及成堆杂物形成的垃圾无法识别的技术难点问题，解决了目前AI视觉产品效率低，部署复杂，分析速度慢等问题，解决了复杂路面及雨天干扰的识别问题，可以实现在有车辆经过、路面故障、路面施工、路面阴影、路面横断、路面积水等情况下的路面干净度检测及分析。

附图说明

图1为本发明方法流程示意图。

图2为不同的目标分析区域对于最终分割的效果影响图。

图3为针对三种不同的滤波方法计算的滤波后的PSNR值示意图。

图4为图像二值化领域几种较为常见的方法处理效果对比图。

图5为本发明系统框图。

其中，1为输入模块，2为目标区域标定模块，3为图像处理模块，4为相似度计算模块，5为输出模块。

具体实施方式

如图1所示，本发明基于动态视觉的道路（如城市街道）干净度检测方法，包括以下步骤：

步骤1，输入：通过USB摄像头或者IP摄像头获取移动清扫车未清扫时的道路路面实时监控视频V1，同时获取获取经移动清扫车清扫后的对应的道路路面实时监控视频V2；并且进行图像的前期参数调整及优化处理图像的成像质量及分辨率。

与现有技术相比，本发明创造性地提出通过对移动垃圾清扫车两组摄像头采集的清扫前后的两组监控视频进行图像分析和比对，通过计算图像的前后相似度，来实现检测及分析路面垃圾是否清理干净。本发明避免了直接去识别和分析成千上万的各种垃圾带来的诸多技术弊端及研发成本，可以快速有效地达到统计街道是否干净的预想效果。

步骤2，获取感兴趣区域：因为车载视频在车辆移动的过程中会跟随路面发生角度及视频区域的不断变化，需要手工标注路面的区域进行图像分割及以供后期算法处理，这样可以规避车道两边的各种元素干扰，从而提高图像算法分析结果及有效性。具体为：通过手工对监控视频V1和/或监控视频V2进行标注，以标定V1上的目标分析区域D1，以及V2上的与D1对应的区域D2。

选择手动选择目标分析区域进行检测，其中的原因有：1.若直接用全图来进行分割处理，会导致场景非常的混乱；2.若使用算法自适应选择检测区域，会增加额外的计算资源，而且每一次扫描所划归的目标分析区域都不一样，给后面的清洁度计算增加不必要的麻烦。

全景分割所产生的结果如图2所示，图2中最左边的图是原始图像，线条内是手动框选的目标分析区域；中间图为对框选出的感兴趣的目标分析区域进行分割处理，这个多边形框中的区域是本发明的检测方法所重点关注的对象；图2中最右边的图是不设置感兴趣区域所得到的结果，可以看到周围的环境对分割的影响较大，如果不框选区域而直接计算，后续会增大系统的检测误报几率。

步骤3，图像处理：对D1和D2区域内的视频进行抽帧，获取图像数据并分别进行图像处理，获得区域D1中的所有与路面区分开来的N1个物体，区域D2中的所有与路面区分开来的N2个物体。最终，路面的垃圾被一一找到和勾画出来，并在视频界面上动态生成，具体实施方法步骤如下：

步骤301，进行图像的gray processing灰度化处理，所谓灰度值是指色彩的浓淡程度，灰度直方图是指一幅数字图像中，对应每一个灰度值统计出具有该灰度值的象素数。先采用分量法将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，可根据应用需要选取一种灰度图像。然后进行最大值法将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。再进行图像的平均值法，将彩色图像中的三分量亮度求平均得到一个灰度值。最后进行加权平均法，根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，对RGB三分量进行加权平均能得到较合理的灰度图像。

步骤302，进行image filtering图像滤波算法，我们采用的双边滤波（BilateralFilter）是非线性滤波中的一种，这是一种结合图像的空间邻近度与像素值相似度的处理办法，在滤波时，该滤波方法同时考虑空间临近信息与颜色相似信息，在滤除噪声、平滑图像的同时，又做到边缘保存。

图像滤波的目的是为了去除图像中的一些噪声，以提升图像的清晰度，而且，本发明使用了峰值信噪比（PSNR）来进行滤波后的效果量化分析。

峰值信噪比经常用作图像压缩等领域中信号重建质量的测量方法，它常简单地通过均方误差（MSE）进行定义。两个m×n单色图像I和K，如果一个为另外一个的噪声近似，那么它们的均方误差定义为：

然后，根据采样点的比特位数来确定MAX，一般来说PSNR越高越好。

如图3所示，本发明针对三种不同的滤波计算了其滤波后的PSNR值，最终双线性滤波会相比于其他的滤波会略好一些。

值得注意的是，单一的PSNR值并不能完全表征滤波后图像的质量，只能作为一个参考，还是要靠多维度客观地分析才行。但是目前来说因为这一步的处理其实只是为了去除一些小的噪声并且提升一下图像的对比度，所以这种双线性滤波这种程度已经足够使用了。步骤303，进行图像的binarization processing二值化处理+ morphologicalprocessing膨胀腐蚀算法处理。一幅图像包括目标物体、背景还有噪声，要想从多值的数字图像中直接提取出目标物体，最常用的方法就是设定一个全局的阈值T，用T将图像的数据分成两部分：大于T的像素群和小于T的像素群。将大于T的像素群的像素值设定为白色（或者黑色），小于T的像素群的像素值设定为黑色（或者白色），这样就得到了目标物体的具体轮廓，从而把路面中的垃圾及异常点清晰的勾画出来。但是得到的路面杂物及垃圾又太多了，有些是我们不需要的对象，因此还需要进行图像的腐蚀处理，消除边界点，使边界向内部收缩，可以用来消除小且无意义的物体。

步骤304，进行binarization mask二值化遮罩，取出分割出来的垃圾区域，增加遮罩和生成渲染颜色，让路面的垃圾及异常物品与路面区分出来，并且可视化展示。

这一步是算法的核心步骤，这一步的主要目的是将垃圾（前景）和背景分开，方便后续的计算统计。如何有效地将前景和背景进行分割，深度学习的方式或许有用，但是用到本发明的方法上来的话，从成本和资源上来看并不是最优解。本发明采用传统的图像处理算法来进行分割。本发明借助ImageJ软件实验了多种二值化算法的效果，如图4所示。图4中的这些算法都是二值化领域非常经典和高效的算法。它们的共同特征是可以动态地设置阈值，因而可以适应不同的场景。针对目前所给的原图场景来说，MaxEntropy和Yen的二值化效果较好，可以很清楚地将垃圾和背景分割出来。而OSTU和Huang则处理的较差。

步骤4，计算相似度：通过以上的步骤，得到前后两路路面视频分别是：Front_output、Back_output，一个是清扫之前的路面垃圾及异常物体图像分析结果，一个是垃圾车清理之后的路面垃圾及异常物体图像分析结果。

基于D1中的N1个物体和D2中的N2个物体，进行相似度计算，获得区域D1中的所有垃圾块及所有垃圾块面积和S1，区域D2中的所有垃圾块及所有垃圾块面积和S2。

本发明通过对移动垃圾清扫车两组摄像头采集的清扫前后的两组监控视频进行图像分析和比对，通过计算图像的前后相似度，来实现检测及分析路面垃圾是否清理干净。本发明避免了直接去识别和分析成千上万的各种垃圾带来的诸多技术弊端及研发成本，可以快速有效地达到统计街道是否干净的预想效果。

在一种优选实施例中，所述步骤4中，相似度计算方法包括：

针对D1中的各物体，执行下述判定过程：

若D1中的物体在D2中消失，则判断该物体为D1中的一垃圾块；

因为车辆在行驶的途中会有遇到坑洼的路面及积水或者施工区域等情况，这种情况属于之前图像算法分析得到的异常物体的大小，因为这种物体不会被垃圾车清理，它不是垃圾，所以需要进行两者之间的相似度匹配，如果该异常物体不被清理那么又在垃圾的干净指数没有发生变化的情况下的它就是一个意外的干扰，我们的垃圾干净指数就是最终的输出值；如果该异常物体在前后两路视频中发生了大小及形状变化而我们的垃圾干净指数又发生了变化了，那么我们就要把这个干扰的原因列入垃圾计算进行重新统计，从而得到一个新的垃圾干净指数才是我们的最终输出值。当然，在计算和分析的过程中，还可以考虑途径的车辆和雨天等其他干扰因素的处理，这些算法跟上述计算方式类似，不再重复描述。

步骤5，结构化输出：输出垃圾清理干净指数α，其中，α=S1/S2；同时，还输出Front_output、Back _output两路分析视频效果视频流码、移动清扫车的车辆定位和编号信息。

在一种优选实施例中，本发明方法还包括步骤6，算法封装：因为本发明所述的分析算法需要部署在移动清扫车的AI边缘计算单元的盒子上，所以需要做好算法的函数及调用封装，形成API开发接口，提供给应用系统及环卫大数据平台进行实时调用开发及展示。

如图5所示，本发明还提供了一种基于动态视觉的道路干净度检测系统，包括：

输入模块1：用于通过移动清扫车前方的摄像头获取移动清扫车未清扫时的道路路面监控视频V1，以及通过移动清扫车后方的摄像头获取经移动清扫车清扫后的对应的道路路面监控视频V2。

目标区域标定模块2：用于标定V1上的目标分析区域D1，以及V2上的与D1对应的区域D2，规避其他干扰元素。

图像处理模块3：用于对D1和D2区域内的视频分别进行图像处理，并获得区域D1中的所有与路面区分开来的N1个物体，区域D2中的所有与路面区分开来的N2个物体。

相似度计算模块4：用于基于D1中的N1个物体和D2中的N2个物体，进行相似度计算，获得区域D1中的所有垃圾块及所有垃圾块面积和S1，区域D2中的所有垃圾块及所有垃圾块面积和S2。

借由上述结构，本发明系统利用输入模块1采集清扫前后的两组监控视频，经目标区域标定模块2设定目标分析区域D1/ D2后，经图像处理模块3对图像进行处理，并通过相似度计算模块4比较清扫前后图像的相似度，最终来实现检测及分析路面垃圾是否清理干净。本发明避免了直接去识别和分析成千上万的各种垃圾带来的诸多技术弊端及研发成本，可以快速有效地达到统计街道是否干净的预想效果。

相似度计算模块4中的相似度计算算法包括：

针对D1中的各物体，执行下述判定过程：

若D1中的物体在D2中消失，则判断该物体为D1中的一垃圾块；

相似度计算模块4中的相似度计算算法，能够达到下述效果：

输出模块5负责把分析结果进行动态描绘展示和数据结构化输出：其用于输出垃圾清理干净指数α，其中，α=S1/S2；输出模块5还用于输出经过图像处理后的监控视频V1和监控视频V2，移动清扫车的车辆定位和编号信息。整个道路干净度检测系统部署在移动清扫车的AI边缘计算单元的盒子上，以供其他系统及平台进行调用开发和展示。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是局限性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims

1.一种基于动态视觉的道路干净度检测方法，其特征在于，包括以下步骤：

步骤2，标定视频 V1上的目标分析区域D1，以及视频 V2上的与区域 D1对应的区域D2；

步骤3，对区域 D1和D2内的视频分别进行图像处理，获得区域D1中的所有与路面区分开来的N1个物体，区域D2中的所有与路面区分开来的N2个物体；

步骤4，基于区域 D1中的N1个物体和区域 D2中的N2个物体，进行相似度计算，获得区域D1中的所有垃圾块及所有垃圾块面积和S1，区域D2中的所有垃圾块及所有垃圾块面积和S2；

所述步骤4中，相似度计算方法包括：

针对区域 D1中的各物体，执行下述判定过程：

若区域 D1中的物体在区域 D2中消失，则判断该物体为区域 D1中的一垃圾块；

若区域 D1中的物体在区域 D2中改变形状和/或大小，则判断该物体为区域 D1中的一垃圾块，该物体在区域 D2中同一位置处的对应物体为区域 D2中的一垃圾块；

步骤5，输出垃圾清理干净指数α，其中，α=S1/S2。

2.如权利要求1所述的基于动态视觉的道路干净度检测方法，其特征在于，所述步骤5中，还输出经过图像处理后的监控视频V1和监控视频V2。

3.如权利要求1所述的基于动态视觉的道路干净度检测方法，其特征在于，所述步骤5中，还输出移动清扫车的车辆定位和/或编号信息。

4.如权利要求1所述的基于动态视觉的道路干净度检测方法，其特征在于，所述步骤3中，图像处理方法依次包括灰度化处理、图像滤波、二值化处理、二值化遮罩。

5.如权利要求1所述的基于动态视觉的道路干净度检测方法，其特征在于，所述步骤2中，通过手工对监控视频V1和/或监控视频V2进行标注，以获得区域D1及区域D2。

6.一种基于动态视觉的道路干净度检测系统，其特征在于，包括：

输入模块（1）：用于获取移动清扫车未清扫时的道路路面监控视频V1，以及获取经移动清扫车清扫后的对应的道路路面监控视频V2；

目标区域标定模块（2）：用于标定视频 V1上的目标分析区域D1，以及视频 V2上的与区域 D1对应的区域D2；

图像处理模块（3）：用于对区域 D1和D2内的视频分别进行图像处理，并获得区域D1中的所有与路面区分开来的N1个物体，区域D2中的所有与路面区分开来的N2个物体；

相似度计算模块（4）：用于基于区域 D1中的N1个物体和区域 D2中的N2个物体，进行相似度计算，获得区域D1中的所有垃圾块及所有垃圾块面积和S1，区域D2中的所有垃圾块及所有垃圾块面积和S2；

所述相似度计算模块（4）中的相似度计算算法包括：

针对区域 D1中的各物体，执行下述判定过程：

输出模块（5）：用于输出垃圾清理干净指数α，其中，α=S1/S2。

7.如权利要求6所述的道路干净度检测系统，其特征在于，所述输出模块（5）还用于输出经过图像处理后的监控视频V1和监控视频V2，和/或，所述输出模块（5）还用于输出移动清扫车的车辆定位和/或编号信息。

8.如权利要求6至7任一项所述的道路干净度检测系统，其特征在于，所述道路干净度检测系统部署在移动清扫车的AI边缘计算单元的盒子上。