CN111458721A - 一种暴露垃圾的识别定位方法、装置及系统 - Google Patents

一种暴露垃圾的识别定位方法、装置及系统 Download PDF

Info

Publication number
CN111458721A
CN111458721A CN202010242311.4A CN202010242311A CN111458721A CN 111458721 A CN111458721 A CN 111458721A CN 202010242311 A CN202010242311 A CN 202010242311A CN 111458721 A CN111458721 A CN 111458721A
Authority
CN
China
Prior art keywords
garbage
exposed
laser radar
positioning
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010242311.4A
Other languages
English (en)
Other versions
CN111458721B (zh
Inventor
崔伟
张旭
姚想
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Digital Design And Manufacturing Innovation Center Co ltd
Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd
Original Assignee
Wuhan Digital Design And Manufacturing Innovation Center Co ltd
Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Digital Design And Manufacturing Innovation Center Co ltd, Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd filed Critical Wuhan Digital Design And Manufacturing Innovation Center Co ltd
Priority to CN202010242311.4A priority Critical patent/CN111458721B/zh
Publication of CN111458721A publication Critical patent/CN111458721A/zh
Application granted granted Critical
Publication of CN111458721B publication Critical patent/CN111458721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及智能环卫技术领域，具体公开了一种暴露垃圾的识别定位方法，其特征在于，包括：通过相机获取目标图像，目标图像中包括暴露垃圾；根据目标检测算法对目标图像中的暴露垃圾进行识别；通过激光雷达获取空间位置信息；确定相机坐标系与激光雷达坐标系之间的位置关系；根据相机坐标系与激光雷达坐标系之间的位置关系以及目标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的面积；对暴露垃圾的分布位置进行准确定位，并将准确定位后的暴露垃圾的位置映射到地图上。本发明还公开了一种暴露垃圾的识别定位装置及系统。本发明提供的暴露垃圾的识别定位方法能够有效获取到暴露垃圾的位置，可以解决大量人力成本问题。

Description

一种暴露垃圾的识别定位方法、装置及系统
技术领域
本发明涉及智能环卫技术领域，尤其涉及一种暴露垃圾的识别定位方法、 暴露垃圾的识别定位装置及包括该暴露垃圾的识别定位装置的暴露垃圾的识别 定位系统。
背景技术
城市环境卫生是城市管理的重要组成部分，也是城市发展程度、居民良好 生活水平有力的体现。随着国内绿色城市概念的提出，环境卫生工作得到普遍 重视和加强，特别是暴露垃圾治理，更是重中之重。城市暴露垃圾主要分布在 道路和小区内，其中道路垃圾主要分布在机动车道、非机动车道、人行道、绿 化带等地段，小区垃圾则主要分布在垃圾桶旁侧和厢房。这些区域都直接和居 民住行相关联，暴露垃圾的识别监测显得至关重要。目前环卫领域对暴露垃圾 的识别打分主要通过人员拍摄图像线下实行记分制度，一般是由环卫工人和环 卫评估人员共同完成。由于缺乏汽车等移动端的采集工具，相关人员只能使用 手机等摄像终端人为对暴露垃圾图像进行拍摄，然后将数据运送回环卫公司， 并通过专门人员对垃圾污染程度分析打分。这种方式实时性较差，人力工作负 担重，除了拍摄成本，还需要具有专业培养的人员进行评判打分，海量的图片 数据使得这项工作的人力成本巨大，最重要的是客观性无法得到保证。人在拍 摄时的选择性和主观性以及评判时的主观差异或者疲劳引起的评判标准都不尽 相同。环卫领域亟需一套能够部署到移动端进行实时垃圾识别、自动打分并且 规则清晰能够有效指导后续垃圾清理调度的系统。
基于深度学习方式的目标检测是计算机视觉中最重要的技术之一，被广泛 应用于物体识别检测领域。传统计算机视觉技术主要通过HOG、LBP以及SIFT 等算法提取物体特征，并使用随机森林、AdaBoost以及SVM等机器学习方法对 提取的特征进行分类。这类方法需要较为精细地通过手工定义特征，适合于一 些规则的物体和背景较为整洁的场景，对于特征不明显以及复杂背景下的识别 则无能无力。暴露垃圾背景比较复杂，主要包括杂乱的道路环境，而且没有固 定的形态特征，传统方法无法实现针对暴露垃圾这种背景复杂且无固定形态特 征的检测。深度学习方式具有强大的特征拟合能力，多层非线性网络几乎可以完成任何监督学习下的特征拟合。近年来，基于深度学习的目标检测方法取得 了非常大的发展，能够准确有效地定位识别复杂特征下的物体。目标检测领域 先后涌现了RCNN，FastRCNN，Faster RCNN等two-stage网络，以及面向实 时的YOLO系列等one-stage网络。之前的R-CNN系列基于anchor方式，虽然 有较高的检测准确率，但运行速度较慢。YOLO系列率先引进端到端的目标检 测结构，从v1到v3不断进行改进，在速度和准确率上得到了很大的提升。目 前，也有相关研究人员对使用深度学习策略进行垃圾目标检测的研究工作进行 探索研究。Rad M-S利用OverFeat的思想，通过安装在车上的摄像头识别瓶子、 树叶、烟头和其他垃圾，这对小目标识别更有利。该模型取代了AlexNet，转而 使用GoogleNet提供了更多的特征提取功能。然而，这种方法只适用于摄像机和 地面保持平行的情况。真实的场景往往不是那么简单，我们应该考虑周围复杂 的环境。然而，在复杂场景中，这种方法不太适合垃圾识别。
因此，如何提供一种能够对暴露垃圾进行识别定位的方法成为本领域技术 人员亟待解决的技术问题。
发明内容
本发明提供了一种暴露垃圾的识别定位方法、暴露垃圾的识别定位装置及 包括该暴露垃圾的识别定位装置的暴露垃圾的识别定位系统，解决相关技术中 存在的缺乏对暴露垃圾进行识别定位的问题。
作为本发明的第一个方面，提供一种暴露垃圾的识别定位方法，其特征在 于，包括：
通过相机获取目标图像，所述目标图像中包括暴露垃圾；
根据目标检测算法对所述目标图像中的暴露垃圾进行识别；
通过激光雷达获取空间位置信息；
确定相机坐标系与激光雷达坐标系之间的位置关系；
根据所述相机坐标系与激光雷达坐标系之间的位置关系以及所述目标图像 中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的面积；
对所述暴露垃圾的分布位置进行准确定位，并将准确定位后的所述暴露垃 圾的位置映射到地图上。
进一步地，所述暴露垃圾的识别定位方法还包括在所述获取目标图像的步 骤后进行的：
对所述目标图像进行图像增强，得到增强后的目标图像。
进一步地，所述根据目标检测算法对所述目标图像中的暴露垃圾进行识别， 包括：
建立目标检测算法模型；
将所述目标图像输入至所述目标检测算法模型中，得到所述目标图像中的 垃圾位置和数量。
进一步地，所述建立目标检测算法模型，包括：
将YOLOv3模型作为基础模型；
根据GIoU Loss算法和自适应anchor聚类算法对所述基础目标检测模型进 行改进，得到改进后的YOLOv3模型；
将改进后的YOLOv3模型作为所述目标检测算法模型。
进一步地，所述确定相机坐标系与激光雷达坐标系之间的位置关系，包括：
对相机和激光雷达同时采集到的数据寻找多对2D-3D的对应点对；
根据标定算法对相机坐标系和激光雷达坐标系进行位置标定，以使得所述 目标图像上的每个像素均对应一条激光雷达发射线。
进一步地，所述根据所述相机坐标系与激光雷达坐标系之间的位置关系以 及所述目标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的面 积，包括：
对所述激光雷达发射线和像素物理尺寸进行标定，以确定每条所述激光雷 达发射线对应像素物理尺寸的距离；
根据比例变换，对定点视角下的像素物理尺寸进行计算；
基于所述目标图像上的所述暴露垃圾的宽高计算得到激光雷达坐标系下的 暴露垃圾的面积。
进一步地，所述对所述暴露垃圾的分布位置进行准确定位，并将准确定位 后的所述暴露垃圾的位置映射到地图上，包括：
基于定点视角的方式对所述暴露垃圾的分布位置进行计算；
对计算得到的所述暴露垃圾的分布位置基于圆球完成精度验证；
将经过精度验证后的所述暴露垃圾的分布位置映射到地图上。
作为本发明的另一个方面，提供一种暴露垃圾的识别定位装置，其中，包 括：
目标图像获取模块，用于获取目标图像，所述目标图像中包括暴露垃圾；
目标检测模块，用于根据目标检测算法对所述目标图像中的暴露垃圾进行 识别；
空间位置获取模块，用于通过激光雷达获取空间位置信息；
标定模块，用于确定相机坐标系与激光雷达坐标系之间的位置关系；
面积计算模块，用于根据所述相机坐标系与激光雷达坐标系之间的位置关 系以及所述目标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的 面积；
定位与映射模块，用于对所述暴露垃圾的分布位置进行准确定位，并将准 确定位后的所述暴露垃圾的位置映射到地图上。
作为本发明的另一个方面，提供一种暴露垃圾的识别定位系统，其特征在 于，包括：相机、激光雷达、定位模块、车载云台和前文所述的暴露垃圾的识 别定位装置，所述相机、激光雷达、定位模块、车载云台和暴露垃圾的识别定 位装置均安装在环卫巡视车辆上，所述相机、激光雷达、定位模块和车载云台 均与所述暴露垃圾的识别定位装置通信连接，所述相机和所述激光雷达搭载在 所述车载云台上；
所述相机用于实时拍摄道路区域内的目标图像；
所述激光雷达用于实时感知所述道路区域的暴露垃圾；
所述车载云台用于旋转角度以实现所述相机的多角度拍摄和所述激光雷达 的多角度感知；
所述定位模块用于定位所述环卫巡视车辆的位置；
所述暴露垃圾的识别定位装置用于获取所述相机、激光雷达、定位模块和 车载云台的数据以实现数据融合，并输出暴露垃圾的识别定位信息。
进一步地，所述暴露垃圾的识别定位系统还包括：铅蓄电池，所述铅蓄电 池分别与所述相机、激光雷达、定位模块、车载云台和暴露垃圾的识别定位装 置电连接，所述铅蓄电池用于为所述相机、激光雷达、定位模块、、车载云台和 暴露垃圾的识别定位装置提供电源供应。
本发明提供的暴露垃圾的识别定位方法，通过获取目标图像，通过激光雷 达获取空间位置信息，通过激光雷达辅助相机完成暴露垃圾面积的计算，然后 对暴露垃圾分布位置进行准确定位并将垃圾位置映射到地图以进一步可视化分 布情况。这种暴露垃圾的识别定位方法能够有效获取到暴露垃圾的位置，可以 解决大量人力成本问题，另外通过地图实现可视化的方式可以进一步对垃圾的 分布情况进行分析，有效指导后续的清理调度工作。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下 面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的暴露垃圾的识别定位方法的流程图。
图2为本发明提供的暴露垃圾的识别定位系统的功能结构示意图。
图3为本发明提供的暴露垃圾的识别定位系统的软件架构示意图。
图4为本发明提供的暴露垃圾的识别定位系统的软件开发流程和模块搭建 示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征 可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描 述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有 其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、 “第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。 应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实 施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不 排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设 备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对 于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种暴露垃圾的识别定位方法，图1是根据本发明实 施例提供的暴露垃圾的识别定位方法的流程图，如图1所示，包括：
S110、获取目标图像，所述目标图像中包括暴露垃圾；
S120、根据目标检测算法对所述目标图像中的暴露垃圾进行识别；
S130、通过激光雷达获取空间位置信息；
S140、确定相机坐标系与激光雷达坐标系之间的位置关系；
S150、根据所述相机坐标系与激光雷达坐标系之间的位置关系以及所述目 标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的面积；
S160、对所述暴露垃圾的分布位置进行准确定位，并将准确定位后的所述 暴露垃圾的位置映射到地图上。
本发明实施例提供的暴露垃圾的识别定位方法，通过获取目标图像，通过 激光雷达获取空间位置信息，通过激光雷达辅助相机完成暴露垃圾面积的计算， 然后对暴露垃圾分布位置进行准确定位并将垃圾位置映射到地图以进一步可视 化分布情况。这种暴露垃圾的识别定位方法能够有效获取到暴露垃圾的位置， 可以解决大量人力成本问题，另外通过地图实现可视化的方式可以进一步对垃 圾的分布情况进行分析，有效指导后续的清理调度工作。
具体地，所述暴露垃圾的识别定位方法还包括在所述获取目标图像的步骤 后进行的：
对所述目标图像进行图像增强，得到增强后的目标图像。
所述根据目标检测算法对所述目标图像中的暴露垃圾进行识别，包括：
建立目标检测算法模型；
将所述目标图像输入至所述目标检测算法模型中，得到所述目标图像中的 垃圾位置和数量。
通过手机拍摄和车载相机拍摄两种方式完成数据采集，并对采集的数据采 用翻转变换，平移变换，尺度变换，旋转变换，随机裁剪，色彩抖动，对比度 变换，噪声扰动等多种方式完成图像增强，扩充数据集。扩充后的数据集在训 练模型时，能够增强其鲁棒性，训练集、验证集以及测试集之间的划分比例为6： 1：3。
具体地，所述建立目标检测算法模型，包括：
将YOLOv3模型作为基础模型；
根据GIoU Loss算法和自适应anchor聚类算法对所述基础目标检测模型进 行改进，得到改进后的YOLOv3模型；
将改进后的YOLOv3模型作为所述目标检测算法模型。
下面详细说明目标检测算法模型的建立过程。
步骤一、基于GIoU Loss和自适应anchor聚类的方式对YOLOv3模型进行 改进，其中GIoU Loss替代模型原有的回归损失，改进版的损失函数为：
Figure BDA0002432979090000051
式中，λcoord和λnoobj是损失函数的权重，Ci,C′i代表ground truth box下是否包 含物体的置信度和预测box是否包含物体的置信度，pi,p′i代表ground truth box 下的类别概率和预测的类别概率。因为训练数据集中前景很少，更多的为背景， 在这里为了使网络参数更加关注前景，设定λcoord＝5，λnoobj＝0.5，这种不均衡的权 重确保了网络参数往正确方向更新。
步骤二、基于目标检测任务的优化，采用RMSProp结合动量以及批梯度下 降算法，并使用迁移学习方式完成网络的训练。
步骤三、训练过程中，以IoU作为评价标准，anchor与真实box的IoU大 于0.5将其划分为真样本，后期使用非极大值抑制抑制方式，完成多余框的筛选。
步骤四、实验训练环境如下：基于ubuntu 16.04系统环境下，使用Nvidia GeForceGTX 1080ti型号显卡。实验数据集共包括31591幅图片及相应的标注文 件。其中训练网络的具体参数配置如下：batch_size设为64，momentum设为0.9， weight decay设为0.005，采用分段设置学习率的形式。本发明加载 darknet53.conv.74的预训练参数作为网络的初始参数，采用迁移学习方式，这样 可以大大缩短训练的时间，提高学习精度。
步骤五、利用训练好的模型参数进行测试，并采用评价指标对训练好的模 型进行评价。输入测试图片，输出经过网络计算后带有预测目标框和分类置信 度的图片。通过计算mAP作为模型效果的评价标准，可以得到模型在测试集上 的检测精度。
具体地，所述确定相机坐标系与激光雷达坐标系之间的位置关系，包括：
对相机和激光雷达同时采集到的数据寻找多对2D-3D的对应点对；
根据标定算法对相机坐标系和激光雷达坐标系进行位置标定，以使得所述 目标图像上的每个像素均对应一条激光雷达发射线。
可以理解的是，通过标定板完成相机和激光雷达的坐标系位置标定。其中， 标定板采用空心双矩形模式，相机和雷达同时采集数据，并找到对应8对2D-3D 对应点对，通过PnP算法完成两个坐标系的标定。最终2D图像上的每个像素都 可以对应一条最近的激光雷达发射线。
具体地，所述根据所述相机坐标系与激光雷达坐标系之间的位置关系以及 所述目标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的面积， 包括：
对所述激光雷达发射线和像素物理尺寸进行标定，以确定每条所述激光雷 达发射线对应像素物理尺寸的距离；
根据比例变换，对定点视角下的像素物理尺寸进行计算；
基于所述目标图像上的所述暴露垃圾的宽高计算得到激光雷达坐标系下的 暴露垃圾的面积。
具体地，所述对所述暴露垃圾的分布位置进行准确定位，并将准确定位后 的所述暴露垃圾的位置映射到地图上，包括：
基于定点视角的方式对所述暴露垃圾的分布位置进行计算；
对计算得到的所述暴露垃圾的分布位置基于圆球完成精度验证；
将经过精度验证后的所述暴露垃圾的分布位置映射到地图上。
通过多角度信息转换，借助于激光雷达，完成车载GPS到垃圾GPS位置的 映射。根据每幅图像垃圾的类别、数量、污染面积、分布位置等来对污染程度 进行打分，并将GPS位置映射到百度地图，进一步可视化。
为了验证本发明中改进版YOLOv3模型的优势，将模型与原YOLOv3， DSSD，FasterR-CNN以及RetinaNet在检测性能上作对比，对比实验采用相同 测试集数据，最终结果表明改进版的模型在准确率召回率以及检测速度上是最 优的，测试集上准确率达到了85.69％，召回率达到了94.08％。这样的结果主要 得益于GIoU Loss和自适应anchor聚类的改进，GIoU Loss方式使得小目标检测 效果更好。为了验证面积计算的精度，使用圆球作为评估工具来完成垃圾面积 计算精度的评估，不同于其它物体，圆球在各个角度各个视角下的横截面积相 同。
实验表明5m处面积计算误差为8.74％，10m处误差为12.42％，15m处误 差为19.55％。和面积精度计算相同，GPS定位精度通过圆球来验证，在5m、 10m以及15m三类距离下验证。其中5m处的定位精度为2.372m，10m处的定 位精度为2.761m，15m处的定位精度为2.954m。实验表明，两项精度均能满足 环卫领域的应用要求。将检测到的垃圾GPS位置映射到百度地图，可以更有效 地可视化垃圾分布状态，指导后续的清理调度。
暴露垃圾的识别打分主要难点在于垃圾的形态特征不统一，背景较为复杂， 容易误识别。
传统方式由于复杂的特征提取方式，并不适合垃圾分类。基于改进版的 YOLOv3模型，解决了在复杂场景，复杂特征物体下的特征提取的难题，充分 发挥了深度学习方法提取特征的优势，能够不依赖人工的特征工程，从大量数 据集中先学习简单的特征，再逐渐学习到更为复杂抽象的深层特征。除此之外， 基于比例变换定点视角的道路垃圾面积计算以及GPS位置映射方式解决了现有 人工估算方式的缺点，清晰地定义了垃圾污染面积和GPS的精确值。本发明可 以搭载至移动端，较为准确的完成垃圾识别打分任务，同样，在不背离被发明 实质的情况下，本发明的方法还可以通过适当的优化和变形适用于复杂道路场 景下其他不规则的物体识别打分。
作为本发明的另一实施例，提供一种暴露垃圾的识别定位装置，其中，包 括：
目标图像获取模块，用于获取目标图像，所述目标图像中包括暴露垃圾；
目标检测模块，用于根据目标检测算法对所述目标图像中的暴露垃圾进行 识别；
空间位置获取模块，用于通过激光雷达获取空间位置信息；
标定模块，用于确定相机坐标系与激光雷达坐标系之间的位置关系；
面积计算模块，用于根据所述相机坐标系与激光雷达坐标系之间的位置关 系以及所述目标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的 面积；
定位与映射模块，用于对所述暴露垃圾的分布位置进行准确定位，并将准 确定位后的所述暴露垃圾的位置映射到地图上。
本发明实施例提供的暴露垃圾的识别定位装置，通过获取目标图像，通过 激光雷达获取空间位置信息，通过激光雷达辅助相机完成暴露垃圾面积的计算， 然后对暴露垃圾分布位置进行准确定位并将垃圾位置映射到地图以进一步可视 化分布情况。这种暴露垃圾的识别定位方法能够有效获取到暴露垃圾的位置， 可以解决大量人力成本问题，另外通过地图实现可视化的方式可以进一步对垃 圾的分布情况进行分析，有效指导后续的清理调度工作。
作为本发明的另一种实施例，提供一种暴露垃圾的识别定位系统，其中， 如图2和图3所示，包括：相机、激光雷达、定位模块、车载云台和前文所述 的暴露垃圾的识别定位装置，所述相机、激光雷达、定位模块、车载云台和暴 露垃圾的识别定位装置均安装在环卫巡视车辆上，所述相机、激光雷达、定位 模块和车载云台均与所述暴露垃圾的识别定位装置通信连接，所述相机和所述 激光雷达搭载在所述车载云台上；
所述相机用于实时拍摄道路区域内的目标图像；
所述激光雷达用于实时感知所述道路区域的暴露垃圾；
所述车载云台用于旋转角度以实现所述相机的多角度拍摄和所述激光雷达 的多角度感知；
所述定位模块用于定位所述环卫巡视车辆的位置；
所述暴露垃圾的识别定位装置用于获取所述相机、激光雷达、定位模块和 车载云台的数据以实现数据融合，并输出暴露垃圾的识别定位信息。
本发明实施例提供的暴露垃圾的识别定位系统，采用了前文的暴露垃圾的 识别定位装置，通过获取目标图像，通过激光雷达获取空间位置信息，通过激 光雷达辅助相机完成暴露垃圾面积的计算，然后对暴露垃圾分布位置进行准确 定位并将垃圾位置映射到地图以进一步可视化分布情况。这种暴露垃圾的识别 定位方法能够有效获取到暴露垃圾的位置，可以解决大量人力成本问题，另外 通过地图实现可视化的方式可以进一步对垃圾的分布情况进行分析，有效指导 后续的清理调度工作。
优选地，所述暴露垃圾的识别定位系统还包括：铅蓄电池，所述铅蓄电池 分别与所述相机、激光雷达、定位模块、车载云台和暴露垃圾的识别定位装置 电连接，所述铅蓄电池用于为所述相机、激光雷达、定位模块、、车载云台和暴 露垃圾的识别定位装置提供电源供应。
下面结合图2至图4对本发明实施例提供的暴露垃圾的识别定位系统的具 体实现过程进行详细描述。
本发明实施例提供的暴露垃圾的识别定位系统基于移动端，搭载至汽车顶 部，由2D相机自动采集图像，并通过改进版的YOLOv3网络对道路上的暴露 垃圾进行识别统计，激光雷达辅助相机完成垃圾面积的计算，GPS对垃圾分布 位置进行准确定位并将垃圾位置映射到百度地图进一步可视化分布情况。除此 之外，还完成了系统的整体方案设计。该系统能够实时地对道路上的暴露垃圾 进行类别识别、数量统计、面积计算、位置确定，并根据环卫领域中针对污染 情况的定义量化地进行打分。
暴露垃圾的识别定位系统的硬件搭建：主要由车载云台、2D相机、激光雷 达、GPS、PC机、铅蓄电池等组成并搭载至汽车内部，其中相机和激光雷达由 车载云台搭载，识别打分模块通过固定架安装在汽车顶端，PC机和铅蓄电池固 定在汽车内部。环卫领域对污染情况的实时性要求较高，这就需要系统能够较 为方便地搭载到移动工具上，比如汽车。系统中的车载云台将2D相机和激光雷 达封装到一起搭载至汽车顶部，完成感知部分。其中2D相机负责实时自动拍摄 道路区域内的图像，激光雷达辅助完成垃圾面积的计算。针对暴露垃圾的图像 采集是多角度多方位的，系统内的车载云台由两个步进电机控制拍摄角度，能够完成旋转和俯仰位置的调节。垃圾位置的确定对垃圾污染程度的评估以及后 续的清理有着很大意义，一般来说，市区比郊区的污染更受重视，因为市区是 人口密集的地方，垃圾污染会严重影响到人们的生活质量；道路内比道路外的 垃圾污染更受重视，因为道路内的垃圾会影响行车安全。通过GPS结合2D相 机和激光雷达的方式，准确定位暴露垃圾的经纬度坐标，量化地进行评分，同 时也能够指导后续的清理工作。系统的数据采集主要通过相机、激光雷达和GPS 完成，原始数据的融合需要计算单元来完成，在本实施例中通过暴露垃圾的识 别定位装置来实现。
暴露垃圾的识别定位系统的软件搭建，即暴露垃圾的识别定位装置的具体 实现过程是基于ROS系统进行开发，针对不同传感器采集的数据，定义了多个 节点，每个节点作为单个模块。移动视觉识别打分系统的数据发布模块主要包 括：图像数据采集模块、垃圾检测模块、点云数据采集模块、GPS定位信息模 块、云台转角采集模块以及数据融合模块。其中图像数据采集模块用于采集2D 相机所拍摄的图像信息，垃圾检测模块用于对2D图像进行垃圾检测并发布检测 位置信息，点云采集模块用于采集激光雷达发射的三维点云信息，GPS定位信 息模块用于采集经纬度信息，云台转角采集模块用于采集云台朝向的俯仰角和 旋转角，数据融合模块用于融合前面模块的原始数据并发布最终的结果信息。 基于硬件层面，直接获取数据的模块有：图像数据采集模块、点云数据采集模 块、GPS定位信息模块和云台转角采集模块。同时接收并发布数据的模块有： 垃圾检测模块和数据融合模块。数据融合模块负责系统最终的输出结果，输出 单帧图像下的检测时间、垃圾数量、垃圾类别、垃圾在图像中的位置、污染面 积、GPS位置信息以及打分情况。详细的软件架构以及数据输入输出格式如图3 和图4所示。
YOLOv3模型对道路上的暴露垃圾进行识别定位，操作步骤如下：
步骤一：采用手机拍摄和车载相机拍摄两种方式，对垃圾图像进行采集， 并对采集图像进行旋转、平移、裁剪、色彩抖动等方式进行数据增强。使用 LabelImg工具制作目标检测数据集。
步骤二：采用YOLOv3模型作为垃圾识别定位的基础模型，并采用GIoU Loss和自适应anchor聚类的方式对YOLOv3模型进行改进。
步骤三：基于深度学习中的超参数对网络进行调节，采用RMSProp结合动 量以及批梯度下降算法建立网络优化器，并通过迁移学习方式进行网络训练。
步骤四：利用训练好的模型参数进行测试，并采用评价指标对训练好的模 型进行评估，网络的输入为单幅图像，输出为该图像下的垃圾位置和数量。
所述步骤二中的GIoU Loss和自适应anchor聚类方式，具体包括以下步骤：
步骤1-1，使用GIoU Loss方式来替代YOLOv3模型原有的损失函数，GIoU Loss公式如下：
Figure BDA0002432979090000101
Figure BDA0002432979090000102
LossGIoU＝1-GIoU，
其中，A和B分别代表预测box和真实box，C代表A与B的最小外接矩 形。
步骤1-2，使用自适应anchor方式重新定义原有的9个尺寸，使其更好的适 应垃圾数据，anchor的计算通过k-means方式对标签中的定位数据进行聚类，并 采用1-IoU作为距离评估标准：
d(box,centroid)＝1-IoU(box,centroid)，
最终通过GIoU Loss和自适应anchor聚类方式，对YOLOv3模型进行了改 进，模型改进前后的准确率和召回率值如下表所示：
Figure BDA0002432979090000103
激光雷达辅助相机完成垃圾面积的计算，计算步骤如下：
步骤一：通过相机和激光雷达的坐标系标定，完成2D-3D数据的映射，图 像上每个像素通过插值方式可以在激光雷达点云数据上找到对应。
步骤二：提出了一种基于比例变换定点视角的道路垃圾面积计算方式，完 成暴露垃圾的污染面积计算，并基于圆球进行面积计算精度评估。
所述步骤一中的相机与激光雷达坐标系之间的标定，主要通过双矩形标定 板来完成。标定板呈45°垂直地面摆放，相机和激光雷达采集标定板对应的 2D-3D对应点对，并使用PnP算法来完成：
Figure BDA0002432979090000104
式中，[u,v]为像素坐标系下像素坐标，[f/dX,f/dY,u0,v0]为相机内参，R和 T为相机坐标系和雷达坐标系之间的旋转平移矩阵，[x,y,z]为雷达坐标系下三维 点坐标。
所述步骤二中的比例变换定点视角的道路垃圾面积计算方式主要包括以下 步骤：
步骤1-1，2D图像的检测返回垃圾在图像中的位置和宽高，确定每个像素 对应的物理尺寸，即可计算出垃圾实际污染的面积，对于一条雷达线经过的像 素点，沿其发射方向，不同距离下对应像素的物理尺寸不同，可以通过比例变 换计算得到。
步骤1-2，通过标定板，离线标定像素物理尺寸和激光雷达每条发射线的 对应信息，这样即可找到每个激光雷达发射线和对应像素物理尺寸的一组关系， 后期只需确定激光雷达的某条线，即可判断出该条线对应像素的实际物理尺寸。
步骤1-3，上述方式可以计算出2D图像上垃圾检测框中心像素对应的物理 尺寸，结合检测框在像素坐标系下的宽高，即可计算出实际垃圾污染面积。
步骤1-4，面积计算精度通过圆球进行评估，圆球的最大横截面积为4.91 平方分米。5m处面积计算误差为8.74％，10m处误差为12.42％，15m处误差为 19.55％，计算精度满足环卫领域的应用要求。
距离 5m 10m 15m
平均计算面积(平方分米) 4.53 5.52 5.87
平均误差 8.74％ 12.42％ 19.55％
GPS对垃圾分布位置进行准确定位，详细操作步骤如下：
步骤一：和面积计算方式类似，提出了一种基于定点视角的垃圾GPS位置 计算方式。垃圾GPS映射需要借助2D-3D数据融合信息，并涉及多角度信息转 换。
步骤二：通过多角度信息，将车载GPS数据映射到垃圾位置上，并基于圆 球完成定位精度实验。
所述步骤二中，垃圾GPS映射公式为：
Figure BDA0002432979090000111
式中，111000代表经纬度上每一度对应在相应方向上的距离，单位为m。
GPS定位精度在三类距离下验证，其中5m处的定位精度为2.372m，10m 处的定位精度为2.761m，15m处的定位精度为2.954m。
综上，本发明提供的暴露垃圾的识别定位系统，从垃圾类别识别、数量统 计、面积计算、GPS位置确定方面建立了完整的任务，主要有以下显而易见的 优点：
1、第一个基于移动端面向暴露垃圾的识别打分系统。
2、基于移动端，可以实时工作，解决了大量人力成本的问题。
3、基于GIoU Loss和自适应anchor聚类改进版本的YOLOv3模型能够更准 确地完成垃圾定位，其中识别精度为85.69％，召回率为94.08％，在小目标检测 效果上有很大提升，满足应用要求。
4、基于比例变换定点视角的道路垃圾面积能够有效地通过技术计算垃圾污 染面积，计算精度满足环卫领域的应用要求。
5、通过多角度转换，基于定点视角的垃圾GPS位置计算能够有效完成垃圾 定位，实验精度满足环卫领域的应用要求。
6、能够量化的对污染指标进行评价计算，避免人为主观上的不准确。
7、通过百度地图可视化的方式，可以进一步对垃圾的分布情况进行分析， 有效指导后续的清理调度工作。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例 性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言， 在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型 和改进也视为本发明的保护范围。

Claims (10)

1.一种暴露垃圾的识别定位方法，其特征在于，包括：
通过相机获取目标图像，所述目标图像中包括暴露垃圾；
根据目标检测算法对所述目标图像中的暴露垃圾进行识别；
通过激光雷达获取空间位置信息；
确定相机坐标系与激光雷达坐标系之间的位置关系；
根据所述相机坐标系与激光雷达坐标系之间的位置关系以及所述目标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的面积；
对所述暴露垃圾的分布位置进行准确定位，并将准确定位后的所述暴露垃圾的位置映射到地图上。
2.根据权利要求1所述的暴露垃圾的识别定位方法，其特征在于，所述暴露垃圾的识别定位方法还包括在所述获取目标图像的步骤后进行的：
对所述目标图像进行图像增强，得到增强后的目标图像。
3.根据权利要求1所述的暴露垃圾的识别定位方法，其特征在于，所述根据目标检测算法对所述目标图像中的暴露垃圾进行识别，包括：
建立目标检测算法模型；
将所述目标图像输入至所述目标检测算法模型中，得到所述目标图像中的垃圾位置和数量。
4.根据权利要求3所述的暴露垃圾的识别定位方法，其特征在于，所述建立目标检测算法模型，包括：
将YOLOv3模型作为基础模型；
根据GIoU Loss算法和自适应anchor聚类算法对所述基础目标检测模型进行改进，得到改进后的YOLOv3模型；
将改进后的YOLOv3模型作为所述目标检测算法模型。
5.根据权利要求1所述的暴露垃圾的识别定位方法，其特征在于，所述确定相机坐标系与激光雷达坐标系之间的位置关系，包括：
对相机和激光雷达同时采集到的数据寻找多对2D-3D的对应点对；
根据标定算法对相机坐标系和激光雷达坐标系进行位置标定，以使得所述目标图像上的每个像素均对应一条激光雷达发射线。
6.根据权利要求5所述的暴露垃圾的识别定位方法，其特征在于，所述根据所述相机坐标系与激光雷达坐标系之间的位置关系以及所述目标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的面积，包括：
对所述激光雷达发射线和像素物理尺寸进行标定，以确定每条所述激光雷达发射线对应像素物理尺寸的距离；
根据比例变换，对定点视角下的像素物理尺寸进行计算；
基于所述目标图像上的所述暴露垃圾的宽高计算得到激光雷达坐标系下的暴露垃圾的面积。
7.根据权利要求1所述的暴露垃圾的识别定位方法，其特征在于，所述对所述暴露垃圾的分布位置进行准确定位，并将准确定位后的所述暴露垃圾的位置映射到地图上，包括：
基于定点视角的方式对所述暴露垃圾的分布位置进行计算；
对计算得到的所述暴露垃圾的分布位置基于圆球完成精度验证；
将经过精度验证后的所述暴露垃圾的分布位置映射到地图上。
8.一种暴露垃圾的识别定位装置，其特征在于，包括：
目标图像获取模块，用于获取目标图像，所述目标图像中包括暴露垃圾；
目标检测模块，用于根据目标检测算法对所述目标图像中的暴露垃圾进行识别；
空间位置获取模块，用于通过激光雷达获取空间位置信息；
标定模块，用于确定相机坐标系与激光雷达坐标系之间的位置关系；
面积计算模块，用于根据所述相机坐标系与激光雷达坐标系之间的位置关系以及所述目标图像中识别出的暴露垃圾计算激光雷达坐标系下的暴露垃圾的面积；
定位与映射模块，用于对所述暴露垃圾的分布位置进行准确定位，并将准确定位后的所述暴露垃圾的位置映射到地图上。
9.一种暴露垃圾的识别定位系统，其特征在于，包括：相机、激光雷达、定位模块、车载云台和权利要求8所述的暴露垃圾的识别定位装置，所述相机、激光雷达、定位模块、车载云台和暴露垃圾的识别定位装置均安装在环卫巡视车辆上，所述相机、激光雷达、定位模块和车载云台均与所述暴露垃圾的识别定位装置通信连接，所述相机和所述激光雷达搭载在所述车载云台上；
所述相机用于实时拍摄道路区域内的目标图像；
所述激光雷达用于实时感知所述道路区域的暴露垃圾；
所述车载云台用于旋转角度以实现所述相机的多角度拍摄和所述激光雷达的多角度感知；
所述定位模块用于定位所述环卫巡视车辆的位置；
所述暴露垃圾的识别定位装置用于获取所述相机、激光雷达、定位模块和车载云台的数据以实现数据融合，并输出暴露垃圾的识别定位信息。
10.根据权利要求9所述的暴露垃圾的识别定位系统，其特征在于，所述暴露垃圾的识别定位系统还包括：铅蓄电池，所述铅蓄电池分别与所述相机、激光雷达、定位模块、车载云台和暴露垃圾的识别定位装置电连接，所述铅蓄电池用于为所述相机、激光雷达、定位模块、、车载云台和暴露垃圾的识别定位装置提供电源供应。
CN202010242311.4A 2020-03-31 2020-03-31 一种暴露垃圾的识别定位方法、装置及系统 Active CN111458721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010242311.4A CN111458721B (zh) 2020-03-31 2020-03-31 一种暴露垃圾的识别定位方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010242311.4A CN111458721B (zh) 2020-03-31 2020-03-31 一种暴露垃圾的识别定位方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111458721A true CN111458721A (zh) 2020-07-28
CN111458721B CN111458721B (zh) 2022-07-12

Family

ID=71678464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010242311.4A Active CN111458721B (zh) 2020-03-31 2020-03-31 一种暴露垃圾的识别定位方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111458721B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115968A (zh) * 2020-08-10 2020-12-22 北京智行者科技有限公司 一种智能清扫车垃圾识别方法及系统
CN112560576A (zh) * 2020-11-09 2021-03-26 华南农业大学 一种ai识图的垃圾分类与智能回收方法
CN113449615A (zh) * 2021-06-16 2021-09-28 新安洁环境卫生股份有限公司 一种清扫作业质量智能检查方法、系统及存储介质
CN113468976A (zh) * 2021-06-10 2021-10-01 浙江大华技术股份有限公司 垃圾检测方法、垃圾检测系统以及计算机可读存储介质
CN113834451A (zh) * 2021-08-26 2021-12-24 贵阳市环境卫生管理服务中心 一种生活垃圾填埋场作业区垃圾暴露面积自动化监测方法
WO2023050637A1 (zh) * 2021-09-30 2023-04-06 上海仙途智能科技有限公司 垃圾检测
CN116189099A (zh) * 2023-04-25 2023-05-30 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140205154A1 (en) * 2013-01-22 2014-07-24 Vale S.A. System for mapping and identification of plants using digital image processing and route generation
US20140368378A1 (en) * 2011-12-20 2014-12-18 Sadar 3D, Inc. Systems, apparatus, and methods for data acquisition and imaging
US20150269438A1 (en) * 2014-03-18 2015-09-24 Sri International Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics
WO2018052714A2 (en) * 2016-09-19 2018-03-22 Nec Laboratories America, Inc. Video to radar
CN108932475A (zh) * 2018-05-31 2018-12-04 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN109901139A (zh) * 2018-12-28 2019-06-18 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
CN110263675A (zh) * 2019-06-03 2019-09-20 武汉联一合立技术有限公司 一种社区安保机器人的垃圾目标识别系统及其识别方法
CN110660186A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 基于雷达信号在视频图像中识别目标对象的方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368378A1 (en) * 2011-12-20 2014-12-18 Sadar 3D, Inc. Systems, apparatus, and methods for data acquisition and imaging
US20140205154A1 (en) * 2013-01-22 2014-07-24 Vale S.A. System for mapping and identification of plants using digital image processing and route generation
US20150269438A1 (en) * 2014-03-18 2015-09-24 Sri International Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics
WO2018052714A2 (en) * 2016-09-19 2018-03-22 Nec Laboratories America, Inc. Video to radar
CN108932475A (zh) * 2018-05-31 2018-12-04 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN110660186A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 基于雷达信号在视频图像中识别目标对象的方法及装置
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN109901139A (zh) * 2018-12-28 2019-06-18 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
CN110263675A (zh) * 2019-06-03 2019-09-20 武汉联一合立技术有限公司 一种社区安保机器人的垃圾目标识别系统及其识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VIKTOR FEYGELS ET.AL: "《CZMIL as a rapid environmental disaster response tool》", 《OCEANS 2017 - ABERDEEN》 *
范亮: "地面激光雷达技术在土方变化量监测中的应用", 《测绘与空间地理信息》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115968A (zh) * 2020-08-10 2020-12-22 北京智行者科技有限公司 一种智能清扫车垃圾识别方法及系统
WO2022033484A1 (zh) * 2020-08-10 2022-02-17 北京智行者科技有限公司 一种智能清扫车垃圾识别方法及系统
CN112115968B (zh) * 2020-08-10 2024-04-19 北京智行者科技股份有限公司 一种智能清扫车垃圾识别方法及系统
CN112560576A (zh) * 2020-11-09 2021-03-26 华南农业大学 一种ai识图的垃圾分类与智能回收方法
CN112560576B (zh) * 2020-11-09 2022-09-16 华南农业大学 一种ai识图的垃圾分类与智能回收方法
CN113468976A (zh) * 2021-06-10 2021-10-01 浙江大华技术股份有限公司 垃圾检测方法、垃圾检测系统以及计算机可读存储介质
CN113449615A (zh) * 2021-06-16 2021-09-28 新安洁环境卫生股份有限公司 一种清扫作业质量智能检查方法、系统及存储介质
CN113834451A (zh) * 2021-08-26 2021-12-24 贵阳市环境卫生管理服务中心 一种生活垃圾填埋场作业区垃圾暴露面积自动化监测方法
WO2023050637A1 (zh) * 2021-09-30 2023-04-06 上海仙途智能科技有限公司 垃圾检测
CN116189099A (zh) * 2023-04-25 2023-05-30 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法
CN116189099B (zh) * 2023-04-25 2023-10-10 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法

Also Published As

Publication number Publication date
CN111458721B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN111458721B (zh) 一种暴露垃圾的识别定位方法、装置及系统
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN105654732A (zh) 一种基于深度图像的道路监控系统及方法
CN112800911B (zh) 一种路面损伤快速检测及自然数据集构建方法
CN105956632B (zh) 一种检测目标的方法和装置
CN106097755A (zh) 用于识别泊车场地和/或空出场地的方法
CN108234927A (zh) 视频追踪方法和系统
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
KR102308456B1 (ko) 라이다 및 카메라 수집정보 기반 수종탐지 시스템 및 이를 이용한 수종탐지방법, 수종탐지방법을 수행하는 프로그램이 수록된 기록매체
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN105262983A (zh) 基于灯联网的道路监控系统与方法
CN111880191A (zh) 基于多智能体激光雷达和视觉信息融合的地图生成方法
CN110796360A (zh) 一种固定型交通检测源多尺度数据融合方法
CN113313006A (zh) 基于无人机的城市违建监管方法、系统和存储介质
CN115880466A (zh) 基于无人机遥感的城市工程测绘方法及系统
CN111964763A (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
CN114971166A (zh) 一种轻量化道路路面服务质量巡检系统
CN114494845A (zh) 一种用于施工项目现场人工智能隐患排查系统及其排查方法
CN113378659A (zh) 一种占道经营识别方法
Widyantoro et al. Fuzzy traffic congestion model based on speed and density of vehicle
CN112699748A (zh) 基于yolo及rgb图像的人车距离估计方法
CN114495421B (zh) 智能化开放式道路施工作业监测预警方法及系统
CN113822892B (zh) 仿真雷达的评测方法、装置、设备及计算机存储介质
CN115356744A (zh) 一种路测激光雷达布设方式确定方法、装置及电子设备
CN114005041A (zh) 一种基于uavrs和bim的道路病害识别管控方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant