CN111523453A - 一种基于机器视觉的路面清洁度智能评判方法 - Google Patents

一种基于机器视觉的路面清洁度智能评判方法 Download PDF

Info

Publication number
CN111523453A
CN111523453A CN202010322110.5A CN202010322110A CN111523453A CN 111523453 A CN111523453 A CN 111523453A CN 202010322110 A CN202010322110 A CN 202010322110A CN 111523453 A CN111523453 A CN 111523453A
Authority
CN
China
Prior art keywords
road
scoring
machine vision
cleanliness
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010322110.5A
Other languages
English (en)
Inventor
孙宏伟
洪卫星
刘尧
李毅
王湘文
郭丹桂
朱春辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhixing Information Technology Co ltd
Original Assignee
Nanjing Zhixing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhixing Information Technology Co ltd filed Critical Nanjing Zhixing Information Technology Co ltd
Priority to CN202010322110.5A priority Critical patent/CN111523453A/zh
Publication of CN111523453A publication Critical patent/CN111523453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于机器视觉的路面清洁度智能评判方法，涉及人工智能领域，该评判方法步骤包括：1)输入需要检测的视频帧；2)通过检测算法模型对视频帧中的图像进行处理，其中，检测算法模型对输入图像采用不同层卷积得到特征金字塔；3)将处理得出的结果输入到打分算法模型。本发明在机器视觉检测算法的基础上对faster‑rcnn进行了创新与改进，通过提出特征金字塔网络来实现对小目标的识别。同时，提出了一套路面清洁度打分准则与公式，实现了在复杂场景下的路面清洁度打分。

Description

一种基于机器视觉的路面清洁度智能评判方法
技术领域
本发明涉及人工智能领域，尤其涉及一种基于机器视觉的路面清洁度智能评判方法。
背景技术
随着人工智能技术的不断发展，尤其机器视觉技术的发展，近年来目标检测计算变得越来越成熟，包括R-CNN，Fast-rcnn等检测模型的成熟。人工智能模型被广泛应用到实际生活当中，包括行人检测、人脸识别、工业安全生产、自动驾驶等领域。对于现有的机器视觉模型，比如faster-rcnn(由著名人工智能专家何凯明大师提出)，是基于two-stage(两步法)检测网络流程，对图像中指定的目标进行检测与识别。检测模型对于图像中指定的大目标较为友好，但是对于小目标的检测比较欠缺。同时检测出的结果没有经过打分准则的评判，因此实现不了对路面上小目标的检测以及路面清洁度的评分。又如垃圾识别算法(由著名机器视觉专家黄正等人提出)，通过输入实时图像与干净街道图像进行做差，然后采用DCNN与RCNN相结合的方法进行识别。复杂环境下的垃圾识别与道路垃圾检测与清洁度评判具有需求相似之处。
对于上面我们提到的算法模型，包括faster-rcnn等系列的检测算法和复杂环境下的垃圾识别算法等具有一系列缺点，对faster-rcnn模型检测检测算法，它使用最后一层提取的特征层作为RPN网络的输入，难以处理场景中较小的目标，因此卷积神经网络在卷积过程中，浅层网络提取图像底层信息，比如纹理、颜色、形状等，高层网络提取图像语义信息。而对于小目标而言，当经过高层网络卷积后，卷积神经网络感受野越来越小，以至于消失，这样就无法精确的对其进行检测。对于上文所述的复杂环境下的垃圾算法识别模型，它所采用的技术较为古老，模型检测速度较为慢，达不到实时性效果。同时，无论是faster-rcnn网络还是垃圾识别算法，均没有对检测出的结果作分析评定，因此就得不到路面的清洁度分数。
因此，本领域的技术人员致力于开发一种能对路面小目标进行检测并对路面清洁度进行评分的智能评判方法。
发明内容
鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何对检测算法模型进行优化，使其检测出路面出现的小目标等异物，以及如何对检测到的异物根据评分准则进行路面清洁度打分，同时还需要考虑当前天气、车流量、路段环境、路面扬尘等问题。为实现上述目的，本发明提供了一种基于机器视觉的路面清洁度智能评判方法。
所述方法包括以下步骤：
步骤1、输入需要检测的视频帧；
步骤2、通过检测算法模型对视频帧中的图像进行处理；
步骤3、将处理得出的结果输入到打分算法模型；
其中，检测算法模型对输入图像采用不同层卷积得到特征金字塔。
进一步地，所述步骤2的检测算法模型包括：
步骤2.1、卷积网络将视频帧层层卷积；
步骤2.2、对得到的特征图进行侧面连接卷积，然后进行叠加；
步骤2.3、将图像卷积和叠加后得到的特征层输入到候选区域生成网络和分类器。
进一步地，所述步骤3的打分算法模型包括：
步骤3.1、对道路异物通过数据分析的方法进行统计；
步骤3.2、对道路异物的类别按权重系数进行分配；
步骤3.3、对清扫车周边的清洁度分别进行前面打分、后面打分、对比打分和综合打分。
进一步地，所述前面打分公式为：
Figure BDA0002461825170000021
其中，wi代表每个异物类别的权重系数，通过分析统计获取，取值区间[1，10]。
进一步地，所述后面打分公式为：
Figure BDA0002461825170000022
其中d代表扬尘系数，wi代表每个异物类别的权重系数，通过数据分析获取，取值区间[1，10]，ci代表当前路面每个类别的异物数目，C代表当前路面异物的总数目。
进一步地，所述对比打分公式为：ycomp＝yb-yf。
进一步地，综合打分公式为：
Figure BDA0002461825170000023
其中，m代表当前一公里内的采样点数，yk代表当前公里内采样点数的当前分值，t、e、w分别代表车流量系数、路段环境系数和气象系数。
进一步地，车流量系数t通过清扫车GPS定位信息调用第三方接口获取。
进一步地，路段环境系数e通过路段配置文件获取。
进一步地，气象系数w通过调研天气接口获取。
本发明的技术效果：
1、在机器视觉检测算法的基础上对faster-rcnn进行了创新与改进，通过提出特征金字塔网络来实现对小目标的识别。
2、算针对路面清洁度，提出了一套路面清洁度打分准则与公式，同时包括与气象系数、路段环境系数、车流量系数、灰尘系数的结合，实现了在复杂场景下的路面清洁度打分。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的算法模型流程图；
图2是本发明的一个较佳实施例的检测算法模型图；
图3是本发明的一个较佳实施例的道路异物分类数量柱形图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。
如图1所示，展示了改进的算法模型的流程图，输入需要检测的视频帧，使用卷积网络对输入图像做卷积，然后不同层卷积得到的特征金字塔输入到候选区域生成网络和分类器，最后将分类得出的结果输入到打分算法，实现对路面清洁度的打分。
如图2所示，首先将视频帧输入到卷积网络，经过conv1、conv2、conv3、conv4、conv5层层卷积，然后将conv2、conv3、conv4、conv5得到的特征图进行侧面连接卷积分别标记为c2、c3、c4、c5，同时把c5直接标记为p5,最后把p5与c4进行叠加得到p4,把p4和c3进行叠加得到p3,把p3和c2进行叠加得到p2。因此通过上述方式我们便将特征金字塔构造完成。将构造得到的特征图p2、p3、p4、p5分别输入到rpn网络中预测。通过这种方式可以提高检测算法对小目标的识别精度。
考虑到视频帧中分类类别的损失和位置的损失，通过确定的损失函数来实现对检测算法模型参数的优化与学习，实现检测算法模型相对于输入视频帧数据的标签信息的距离最小化。损失函数定义如下：
Figure BDA0002461825170000031
如图3所示，关于评分准则的定义我们主要针对塑料袋、塑料瓶、石子、木屑、烟盒塑料袋、树叶子、纸等类别进行评定。在这里我们根据道路现场收集的图像素材进行人工标注，通过数据分析的方法进行统计，然后对每个类别分配了权重系数。如下表格所示:
类别 权重系数 权重字母表示 类别字母表示
塑料袋 20％ w(1) c(1)
塑料瓶 30％ w(2) c(2)
石子 5％ w(3) c(3)
木屑 10％ w(4) c(4)
烟盒塑料袋 15％ w(5) c(5)
树叶子 5％ w(6) c(6)
纸 15％ w(7) c(7)
在此基础上，我们定义了路面清洁度打分公式：
Figure BDA0002461825170000041
其中，wj代表每个异物类别的权重系数，通过分析统计获取，取值区间[1，10]。
同时考虑到实际应用问题，所设计的检测算法模型和打分算法模型最终需要部署到垃圾清扫车的边缘设备上面，实现对清扫车在清扫过程中的智能监控。清扫车清扫过程中我们在车前后各部署一个摄像头，为此提出了前面打分、后面打分、对比打分、综合打分等概念，关于前面打分即是我们上面提出的路面清洁度智能打分，后面打分是后置摄像头拍摄路面的清洁度，对比打分是前后打分进行相减得到，综合打分是将清扫车以公里行程为单位的综合评定得分。
后面打分公式：
Figure BDA0002461825170000042
其中，d代表扬尘系数，wi代表每个异物类别的权重系数，通过数据分析获取，取值区间[1，10]。ci代表当前路面每个类别的异物数目，C代表当前路面异物的总数目。
对比打分基于当前时刻，使用后面打分减去前面打分。公式为：
ycomp＝yb-yf
综合打分公式：
Figure BDA0002461825170000043
其中，m代表当前一公里内的采样点数，yk代表当前公里内采样点数的当前分值，t、e、w分别代表车流量系数、路段环境系数、气象系数。
在这里对于车流辆系数通过清扫车GPS定位信息调用第三方接口获取，路段环境系数通过路段配置文件获取，气象系数通过调研天气接口获取，灰尘系数我们使用自己设计的算法模型进行获取。
最终的算法模型采用边缘计算+云计算相结合的方式，通过英伟达的JetSon开发板部署模型，实现清扫车在清扫过程中的实时打分，以及对清扫车前后清扫质量的评定，以及对路面长期清洁度的评判，为人工决策等提供了理论数据。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于机器视觉的路面清洁度智能评判方法，其特征在于，所述方法包括以下步骤：
步骤1、输入需要检测的视频帧；
步骤2、通过检测算法模型对视频帧中的图像进行处理；
步骤3、将处理得出的结果输入到打分算法模型；
其中，检测算法模型对输入图像采用不同层卷积得到特征金字塔。
2.如权利要求1所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，所述步骤2的检测算法模型包括：
步骤2.1、卷积网络将视频帧层层卷积；
步骤2.2、对得到的特征图进行侧面连接卷积，然后进行叠加；
步骤2.3、将图像卷积和叠加后得到的特征层输入到候选区域生成网络和分类器。
3.如权利要求1所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，所述步骤3的打分算法模型包括：
步骤3.1、对道路异物通过数据分析的方法进行统计；
步骤3.2、对道路异物的类别按权重系数进行分配；
步骤3.3、对清扫车周边的清洁度分别进行前面打分、后面打分、对比打分和综合打分。
4.如权利要求3所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，所述前面打分公式为：
Figure FDA0002461825160000011
其中，wi代表每个异物类别的权重系数，通过分析统计获取，取值区间[1，10]。
5.如权利要求3所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，所述后面打分公式为：
Figure FDA0002461825160000012
其中d代表扬尘系数，wi代表每个异物类别的权重系数，通过数据分析获取，取值区间[1，10]，ci代表当前路面每个类别的异物数目，C代表当前路面异物的总数目。
6.如权利要求3至5任一项所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，所述对比打分公式为：ycomp＝yb-yf。
7.如权利要求3所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，综合打分公式为：
Figure FDA0002461825160000021
其中，m代表当前一公里内的采样点数，yk代表当前公里内采样点数的当前分值，t、e、w分别代表车流量系数、路段环境系数和气象系数。
8.如权利要求7所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，车流量系数t通过清扫车GPS定位信息调用第三方接口获取。
9.如权利要求7所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，路段环境系数e通过路段配置文件获取。
10.如权利要求7所述的基于机器视觉的路面清洁度智能评判方法，其特征在于，气象系数w通过调研天气接口获取。
CN202010322110.5A 2020-04-22 2020-04-22 一种基于机器视觉的路面清洁度智能评判方法 Pending CN111523453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010322110.5A CN111523453A (zh) 2020-04-22 2020-04-22 一种基于机器视觉的路面清洁度智能评判方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010322110.5A CN111523453A (zh) 2020-04-22 2020-04-22 一种基于机器视觉的路面清洁度智能评判方法

Publications (1)

Publication Number Publication Date
CN111523453A true CN111523453A (zh) 2020-08-11

Family

ID=71904403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010322110.5A Pending CN111523453A (zh) 2020-04-22 2020-04-22 一种基于机器视觉的路面清洁度智能评判方法

Country Status (1)

Country Link
CN (1) CN111523453A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528734A (zh) * 2020-10-29 2021-03-19 长沙市到家悠享家政服务有限公司 整理得分确定方法、装置、设备和存储介质
CN116119589A (zh) * 2023-02-21 2023-05-16 德玛克(浙江)精工科技有限公司 液态pet瓶装饮品吹洗灌旋一体机及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165582A (zh) * 2018-08-09 2019-01-08 河海大学 一种城市街道垃圾检测和清洁度评估方法
CN109214319A (zh) * 2018-08-23 2019-01-15 中国农业大学 一种水下图像目标检测方法及系统
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN110924345A (zh) * 2019-12-05 2020-03-27 武汉理工大学 一种纯电动无人驾驶环卫洗扫车智能作业系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165582A (zh) * 2018-08-09 2019-01-08 河海大学 一种城市街道垃圾检测和清洁度评估方法
CN109214319A (zh) * 2018-08-23 2019-01-15 中国农业大学 一种水下图像目标检测方法及系统
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN110924345A (zh) * 2019-12-05 2020-03-27 武汉理工大学 一种纯电动无人驾驶环卫洗扫车智能作业系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528734A (zh) * 2020-10-29 2021-03-19 长沙市到家悠享家政服务有限公司 整理得分确定方法、装置、设备和存储介质
CN116119589A (zh) * 2023-02-21 2023-05-16 德玛克(浙江)精工科技有限公司 液态pet瓶装饮品吹洗灌旋一体机及其方法

Similar Documents

Publication Publication Date Title
EP3614308B1 (en) Joint deep learning for land cover and land use classification
Akagic et al. Pavement crack detection using Otsu thresholding for image segmentation
CN109165582B (zh) 一种城市街道垃圾检测和清洁度评估方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
Nienaber et al. Detecting potholes using simple image processing techniques and real-world footage
CN112818775B (zh) 基于区域边界像素交换的林区道路快速识别方法及系统
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN107480585A (zh) 基于dpm算法的目标检测方法
CN111611970A (zh) 一种基于城管监控视频的乱扔垃圾行为检测方法
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
CN114565635B (zh) 一种智能识别河道垃圾并进行分类收集的无人船系统
CN107992854A (zh) 基于机器视觉的林业生态环境人机交互方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN111652214A (zh) 一种基于深度学习的垃圾瓶分选方法
CN113191339B (zh) 一种基于视频分析的轨道异物侵限监测方法及系统
CN115731228B (zh) 一种镀金芯片缺陷检测系统和方法
CN113610035A (zh) 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
Rahman et al. Identification of mature grape bunches using image processing and computational intelligence methods
CN113781435A (zh) 一种基于yolov5网络的香烟小包外观缺陷检测方法
CN113808084A (zh) 一种模型融合的在线烟包表面霉变检测方法及系统
CN111523453A (zh) 一种基于机器视觉的路面清洁度智能评判方法
CN116453069A (zh) 基于级联差异感知模型的高速公路抛洒物检测方法
Gorintla et al. Deep-learning-based intelligent PotholeEye+ detection pavement distress detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination