CN112115968B - 一种智能清扫车垃圾识别方法及系统 - Google Patents

一种智能清扫车垃圾识别方法及系统 Download PDF

Info

Publication number
CN112115968B
CN112115968B CN202010796332.0A CN202010796332A CN112115968B CN 112115968 B CN112115968 B CN 112115968B CN 202010796332 A CN202010796332 A CN 202010796332A CN 112115968 B CN112115968 B CN 112115968B
Authority
CN
China
Prior art keywords
garbage
coordinate system
image information
intelligent
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010796332.0A
Other languages
English (en)
Other versions
CN112115968A (zh
Inventor
李慧慧
李波
张放
李晓飞
张德兆
王肖
霍舒豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Idriverplus Technologies Co Ltd
Original Assignee
Beijing Idriverplus Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Idriverplus Technologies Co Ltd filed Critical Beijing Idriverplus Technologies Co Ltd
Priority to CN202010796332.0A priority Critical patent/CN112115968B/zh
Publication of CN112115968A publication Critical patent/CN112115968A/zh
Priority to PCT/CN2021/111840 priority patent/WO2022033484A1/zh
Application granted granted Critical
Publication of CN112115968B publication Critical patent/CN112115968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例涉及一种智能清扫车垃圾识别方法及系统，包括：获取待识别的第一垃圾图像信息；对待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；根据第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾在第一坐标系的位置信息；根据垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息。由此提高了智能清扫车对路面非障碍物目标进行检测识别的能力。

Description

一种智能清扫车垃圾识别方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种智能清扫车垃圾识别方法及系统。
背景技术
机器人智能辅助系统及自动驾驶技术是近几年的热点话题，智能清扫车在园区清扫已完全实现了无人值守，解放了大量的人工劳动力，给人们的生活带来了颠覆性的改变。
智能清扫车可以将路面的树叶、纸屑等小型垃圾清扫干净，但对于矿泉水瓶、一次性纸杯等略大型的垃圾，可能受到底盘吸尘系统高度的影响而不能被吸入车内的垃圾箱中；而且一些危险垃圾，如未熄灭的烟头，会对智能清扫车造成不可估计的损伤。随着垃圾分类的逐渐普及，智能清扫车不仅负责清扫，还需要进行垃圾识别、分类存放。因此垃圾识别功能也逐渐成为智能清扫车研究的关键技术之一，而智能清扫车现有的技术并未对此有针对性的展开，对垃圾识别及分类存放等的研究环节还比较薄弱。
发明内容
本发明的目的是针对现有技术所存在的缺陷，提供一种智能清扫车垃圾识别方法及系统，在智能清扫车头部安装摄像头，采集垃圾图片信息，然后通过一系列的处理和转换，达到垃圾识别和分类的目的。
为实现上述目的，第一方面，本发明提供了一种智能清扫车垃圾识别方法，包括：
获取待识别的第一垃圾图像信息；
对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定所述垃圾在第一坐标系的位置信息；
根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至所述第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息。
优选的，所述获取待识别的第一垃圾图像信息，具体包括：
通过与所述智能清扫车头部的摄像头安装点所在的水平线呈预设的角度的摄像头获取待识别的第一垃圾图像信息。
优选的，所述对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息，具体包括：
通过对摄像头内参进行标定，得到内参矩阵和畸变参数；
通过所述内参矩阵和畸变参数，得到所述第二垃圾图像信息。
优选的，所述已训练的垃圾识别模型具体为深度学习网络模型。
优选的，所述根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至所述第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息，具体包括：
通过所述摄像头获取道路图片；所述道路图片包括两条车道线；
提取道路图片中，所述两条车道线上的标志物；一条所述车道线上具有一组标志物，两组所述标志物关于所述两条车道线的中心线对称；
获取所述两条车道线的交点；其中，所述交点为消失点；
获取所述标志物在所述第一坐标系的位置；
根据所述标志物在所述第一坐标系的位置，确定所述消失点在所述第一坐标系的位置；
获取所述第二坐标系中的多个第一目标点的位置；所述多个第一目标点位于同一直线上；
在所述道路图片中，根据所述第一目标点的位置，确定所述第一目标点对应的第一坐标系中的第二目标点的位置；
对所述第二目标点的位置、所述消失点的位置、所述第一目标点的位置进行拟合，得到拟合后的所述第一坐标系至所述第二坐标系的位置转换多项式。
优选的，所述方法还包括：
根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别；
根据所述垃圾类别，生成与所述垃圾类别相对应的控制信号；
根据所述控制信号，将所述垃圾分类投放至所述垃圾类别对应的所述智能清扫车中的垃圾处理装置中。
第二方面，本发明提供了一种用于执行第一方面和第一方面任一所述方法的智能清扫车垃圾识别系统，所述智能清扫车垃圾识别系统，包括：
获取单元，所述获取单元用于待识别的第一垃圾图像信息；
处理单元，所述处理单元用于对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
确定单元，所述确定单元用于根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定所述垃圾在第一坐标系的位置信息；
转换单元，根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至所述第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息。
优选的，所述确定单元还用于根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别。
进一步优选的，所述智能清扫车垃圾识别系统，还包括控制单元；所述控制单元用于根据所述垃圾类别，生成与所述垃圾类别相对应的控制信号。
优选的，所述智能清扫车垃圾识别系统，还包括执行单元；所述执行单元用于根据所述控制信号，将所述垃圾分类投放至所述垃圾类别对应的所述智能清扫车中的垃圾处理装置中。
本发明实施例提供的一种智能清扫车垃圾识别方法，通过采集待识别的垃圾图片信息，然后将待识别的垃圾图片信息进行处理得到畸变校正后的图片，再输入已训练好的垃圾识别模型中确定垃圾在第一坐标系的位置信息，最后根据垃圾在第一坐标系和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息，达到垃圾识别和分类的目的，提高了智能清扫车对路面非障碍物目标进行检测识别的能力。
附图说明
图1为本发明实施例提供的一种智能清扫车垃圾识别方法流程示意图；
图2为本发明实施例提供的摄像头在智能清扫垃圾车中的安装示意图；
图3为本发明实施例提供的标志物以及第一目标点在第二坐标系的位置关系示意图；
图4为本发明实施例提供的标志物以及第二目标点在第一坐标系的位置关系示意图；
图5为本发明实施例提供的一种智能清扫车垃圾识别系统结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明实施例提供的一种智能清扫车垃圾识别方法流程示意图，该方法应用在安装有智能清扫系统的设备上，比如安装有智能清扫设备的智能清扫车，本申请的执行主体为设备中具有计算功能的终端、服务器或者处理器。本申请以将该方法应用在智能清扫车为例进行说明，当将该方法应用在智能清扫车时，该方法的执行主体为智能清扫车的中央处理器，相当于智能清扫车的“大脑”。如图1所示，本申请包括以下步骤
步骤110，获取待识别的第一垃圾图像信息。
具体的，结合图2所示，在智能清扫车头部的摄像头安装点所在的水平线呈预设的角度安装摄像头，摄像头会实时获取待识别的第一垃圾图像信息，并传回至智能清扫车的中央处理器。其中，第一垃圾图像信息为摄像头获取的原始图像，并且为非障碍物图像信息，比如可以为矿泉水瓶、一次性纸杯、烟头、一次性饭盒、塑料袋和其他。
在一个具体的例子中，该方法用于检测近距离，比如S＝3m左右范围内的路面，不能同行人、车辆、自行车等障碍物检测使用同一个摄像头，因此该摄像头具体安装在智能清扫车的车前下方，优选小型广角摄像头，为了更好对地面进行检测，优选预设角度d＝10°。如图2中所示摄像头的安装预设角度d＝10°，可检测的距离为3m的情况。由此，相比于现有技术中的远距离检测，本申请可以实现近距离检测垃圾的目的，减小了垃圾检测的距离误差。进一步的，为了保证摄像头采集图像的实时性，采集频率优选h＝10Hz。
步骤120，对待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息。
具体的，通过对摄像头内参进行标定，得到内参矩阵和畸变参数；通过内参矩阵和畸变参数，得到第二垃圾图像信息。即第二垃圾图像信息是经过畸变校正之后的图像信息。由于每个镜头的畸变程度各不相同，通过相机内参标定可以校正这种镜头畸变。
步骤130，根据第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾在第一坐标系的位置信息。
具体的，已训练的垃圾识别模型具体为深度学习网络模型。第一坐标系为图像坐标系，位置信息为像素位置。
在一个具体的例子中，首先通过批量垃圾图片数据采集、筛选、预处理以及标注，获得垃圾训练集图片库，然后通过深度学习网络模型进行训练，获取训练好的深度学习网络模型。将畸变校正后的图像信息输入至训练好的深度学习网络模型中，得到垃圾在图片中的像素位置，从而确定垃圾在第一坐标系的位置信息。其中，预处理是指对图片进行裁剪、缩放、旋转、曝光等多种数据增强的处理。
由于垃圾通常在地面上，并且在第一坐标系中呈现的图片中的垃圾具有外接矩形框，外接矩形框中的每个点都具有像素位置。在一个优选的例子中，选取垃圾外接矩形框下边缘的中心点确定为垃圾在第一坐标系的位置信息。
步骤140，根据垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息。
具体的，第二坐标系具体为智能清扫车坐标系即自车坐标系。要获得垃圾相对于智能清扫车的实际物理距离，需要进行外参标定，即需要获得第一坐标系和第二坐标系的转换关系，外参标定得到的是一个多项式，该多项式即为图像坐标与智能清扫车坐标的外参关系，通过输入图像坐标系的像素位置，即可输出该像素位置对应的自车坐标系的一个物理位置。
进一步的，可以根据以下步骤，确定该垃圾在第二坐标系的位置信息。结合图3和图4所示，实际道路中的两条车道线为平行的状态，参见图3中的L1L2。
首先，通过摄像头获取道路图片；道路图片包括两条车道线，参见图4中的L1’L2’。
然后，提取道路图片中，两条车道线上的标志物A，优选小型标志物。为方便计算，一条车道线上具有一组标志物A，两组标志物A关于两条车道线的中心线对称。需要说明的是，此处的两条车道线的中心线是虚拟的，在道路图片中并非直观显示。此条中心线上任意一点到两条车道线之间的距离相等，方便计算。
获取两条车道线L1’L2’的交点B；其中，将交点标记为消失点；
获取标志物A在第一坐标系的位置；即获取标志物A在第一坐标系的像素位置。在一个具体的例子中，可以通过图像处理软件(photoshop)软件或其他画图工具获得。
根据标志物A在第一坐标系的位置，确定消失点B在第一坐标系的位置；根据相似三角形原理，即可计算消失点B的像素位置。其中，可以根据四个标志物A和消失点B所组成的两个三角形，通过相似三角形原理，计算得到消失点B的像素位置，具体计算过程为本领域的常用技术手段，此处不再赘述。
获取第二坐标系中的多个第一目标点D的位置；多个第一目标点D位于同一直线上；具体的，通过相应的测量手段，比如自车上的传感器等获取多个第一目标点D的自车坐标系的位置。
在道路图片中，根据第一目标点D的位置，确定第一目标点D对应的第一坐标系中的第二目标点E的位置。
具体的，在得到消失点B的像素位置之后，取任意点C，与消失点B可确定一条直线，如图3中所示，取该条直线上的与第一目标点D对应的第一坐标系中的第二目标点E，第二目标点E分别具有各自的像素位置。
对第二目标点E的位置、消失点B的位置、第一目标点D的位置利用随机采样算法(Random Sample Consensus，RANSAC)或其他多项式拟合方法进行拟合，得到拟合后的第一坐标系至第二坐标系的位置转换多项式，即得到像素位置计算物理位置的多项式关系。当在图像中找到垃圾目标的像素位置后，就可以利用该多项式，计算得到该垃圾在自车坐标系中的位置，智能清扫车就可以得到该垃圾距离自身的具体位置。
更进一步的，该方法还根据可以第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别；智能清扫车就可以得到该垃圾距离自身的具体位置，连通垃圾的类别一起输出。根据垃圾类别，生成与垃圾类别相对应的控制信号发送给底层执行单元，底层执行单元根据控制信号，将垃圾分类投放至垃圾类别对应的智能清扫车中的垃圾处理装置中，从而达到垃圾识别和分类的目的，提高了智能清扫车对路面非障碍物目标进行检测识别的能力。图5为本发明实施例提供的一种智能清扫车垃圾识别系统结构示意图，用以执行图1所示的方法，如图5所示，该智能清扫车垃圾识别系统，包括：获取单元201、处理单元202、确定单元203、转换单元204、控制单元205和执行单元206。
获取单元201，获取单元201用于待识别的第一垃圾图像信息；
处理单元202，处理单元202用于对待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
确定单元203，确定单元203用于根据第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾在第一坐标系的位置信息；
转换单元204，转换单元204用于根据垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息。
确定单元203，确定单元203还用于根据第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别。
控制单元205，控制单元205用于根据垃圾类别，生成与垃圾类别相对应的控制信号。
执行单元206，执行单元206用于根据控制信号，将垃圾分类投放至垃圾类别对应的智能清扫车中的垃圾处理装置中。
本发明实施例提供的一种智能清扫车垃圾识别方法，通过在智能清扫车头部的安装点呈预设的角度安装摄像头，使得智能清扫车可以进行近距离检测，使得距离估计误差极小，精度很高。通过采集待识别的垃圾图片信息，然后将待识别的垃圾图片信息进行处理得到畸变校正后的图片，再输入已训练好的垃圾识别模型中确定垃圾在第一坐标系的位置信息，最后根据垃圾在第一坐标系和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息，达到垃圾识别和分类的目的，提高了智能清扫车对路面非障碍物目标进行检测识别的能力。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RA智能清扫车垃圾识别方法)、内存、只读存储器(RO智能清扫车垃圾识别方法)、电可编程RO智能清扫车垃圾识别方法、电可擦除可编程RO智能清扫车垃圾识别方法、寄存器、硬盘、可移动磁盘、CD-RO智能清扫车垃圾识别方法动力系统控制方法、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种智能清扫车垃圾识别方法，其特征在于，所述智能清扫车垃圾识别方法包括：
获取待识别的第一垃圾图像信息；
对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定所述垃圾在第一坐标系的位置信息；
根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息；
其中，所述根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息，具体包括：
通过摄像头获取道路图片；所述道路图片包括两条车道线；
提取道路图片中，所述两条车道线上的标志物；一条所述车道线上具有一组标志物，两组所述标志物关于所述两条车道线的中心线对称；
获取所述两条车道线的交点；其中，所述交点为消失点；
获取所述标志物在所述第一坐标系的位置；
根据所述标志物在所述第一坐标系的位置，确定所述消失点在所述第一坐标系的位置；
获取所述第二坐标系中的多个第一目标点的位置；所述多个第一目标点位于同一直线上；
在所述道路图片中，根据所述第一目标点的位置，确定所述第一目标点对应的第一坐标系中的第二目标点的位置；
对所述第二目标点的位置、所述消失点的位置、所述第一目标点的位置进行拟合，得到拟合后的所述第一坐标系至所述第二坐标系的位置转换多项式。
2.根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述获取待识别的第一垃圾图像信息，具体包括：
通过与所述智能清扫车头部的摄像头安装点所在的水平线呈预设的角度的摄像头获取待识别的第一垃圾图像信息。
3.根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息，具体包括：
通过对摄像头内参进行标定，得到内参矩阵和畸变参数；
通过所述内参矩阵和畸变参数，得到所述第二垃圾图像信息。
4.根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述已训练的垃圾识别模型具体为深度学习网络模型。
5.根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述方法还包括：
根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别；
根据所述垃圾类别，生成与所述垃圾类别相对应的控制信号；
根据所述控制信号，将所述垃圾分类投放至所述垃圾类别对应的所述智能清扫车中的垃圾处理装置中。
6.一种用于执行权利要求1-5任一方法的智能清扫车垃圾识别系统，所述智能清扫车垃圾识别系统，包括：
获取单元，所述获取单元用于待识别的第一垃圾图像信息；
处理单元，所述处理单元用于对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
确定单元，所述确定单元用于根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定所述垃圾在第一坐标系的位置信息；
转换单元，根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至所述第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息；
所述转换单元，具体用于通过所述摄像头获取道路图片；所述道路图片包括两条车道线；
提取道路图片中，所述两条车道线上的标志物；一条所述车道线上具有一组标志物，两组所述标志物关于所述两条车道线的中心线对称；
获取所述两条车道线的交点；其中，所述交点为消失点；
获取所述标志物在所述第一坐标系的位置；
根据所述标志物在所述第一坐标系的位置，确定所述消失点在所述第一坐标系的位置；
获取所述第二坐标系中的多个第一目标点的位置；所述多个第一目标点位于同一直线上；
在所述道路图片中，根据所述第一目标点的位置，确定所述第一目标点对应的第一坐标系中的第二目标点的位置；
对所述第二目标点的位置、所述消失点的位置、所述第一目标点的位置进行拟合，得到拟合后的所述第一坐标系至所述第二坐标系的位置转换多项式。
7.根据权利要求6所述的智能清扫车垃圾识别系统，其特征在于，所述确定单元还用于根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别。
8.根据权利要求7所述的智能清扫车垃圾识别系统，其特征在于，所述智能清扫车垃圾识别系统，还包括控制单元；
所述控制单元用于根据所述垃圾类别，生成与所述垃圾类别相对应的控制信号。
9.根据权利要求8所述的智能清扫车垃圾识别系统，其特征在于，所述智能清扫车垃圾识别系统，还包括执行单元；
所述执行单元用于根据所述控制信号，将所述垃圾分类投放至所述垃圾类别对应的所述智能清扫车中的垃圾处理装置中。
CN202010796332.0A 2020-08-10 2020-08-10 一种智能清扫车垃圾识别方法及系统 Active CN112115968B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010796332.0A CN112115968B (zh) 2020-08-10 2020-08-10 一种智能清扫车垃圾识别方法及系统
PCT/CN2021/111840 WO2022033484A1 (zh) 2020-08-10 2021-08-10 一种智能清扫车垃圾识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010796332.0A CN112115968B (zh) 2020-08-10 2020-08-10 一种智能清扫车垃圾识别方法及系统

Publications (2)

Publication Number Publication Date
CN112115968A CN112115968A (zh) 2020-12-22
CN112115968B true CN112115968B (zh) 2024-04-19

Family

ID=73804033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010796332.0A Active CN112115968B (zh) 2020-08-10 2020-08-10 一种智能清扫车垃圾识别方法及系统

Country Status (2)

Country Link
CN (1) CN112115968B (zh)
WO (1) WO2022033484A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115968B (zh) * 2020-08-10 2024-04-19 北京智行者科技股份有限公司 一种智能清扫车垃圾识别方法及系统
CN114565635B (zh) * 2022-03-08 2022-11-11 安徽新宇环保科技股份有限公司 一种智能识别河道垃圾并进行分类收集的无人船系统
CN117975400A (zh) * 2024-03-29 2024-05-03 广东先知大数据股份有限公司 一种垃圾整改情况检测方法、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110263675A (zh) * 2019-06-03 2019-09-20 武汉联一合立技术有限公司 一种社区安保机器人的垃圾目标识别系统及其识别方法
CN110570475A (zh) * 2018-06-05 2019-12-13 上海商汤智能科技有限公司 车载摄像头自标定方法及装置和车辆驾驶方法及装置
CN111008571A (zh) * 2019-11-15 2020-04-14 万翼科技有限公司 室内垃圾处理方法及相关产品
CN111360780A (zh) * 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人
CN111414926A (zh) * 2019-01-04 2020-07-14 卓望数码技术（深圳）有限公司 一种智能垃圾分类方法、装置、存储介质和机器人
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100901150B1 (ko) * 2008-12-08 2009-06-04 이텍산업 주식회사 다기능 저상형 도로청소차
CN102866706B (zh) * 2012-09-13 2015-03-25 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
US9283967B2 (en) * 2014-07-16 2016-03-15 GM Global Technology Operations LLC Accurate curvature estimation algorithm for path planning of autonomous driving vehicle
CN106444786B (zh) * 2016-11-29 2019-07-02 北京小米移动软件有限公司 扫地机器人的控制方法及装置和电子设备
CN109288455B (zh) * 2018-09-21 2022-03-04 北京智行者科技有限公司 垃圾清扫方法及装置
CN109753890B (zh) * 2018-12-18 2022-09-23 吉林大学 一种路面垃圾物智能识别与感知方法及其实现装置
CN112115968B (zh) * 2020-08-10 2024-04-19 北京智行者科技股份有限公司 一种智能清扫车垃圾识别方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570475A (zh) * 2018-06-05 2019-12-13 上海商汤智能科技有限公司 车载摄像头自标定方法及装置和车辆驾驶方法及装置
CN111414926A (zh) * 2019-01-04 2020-07-14 卓望数码技术（深圳）有限公司 一种智能垃圾分类方法、装置、存储介质和机器人
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110263675A (zh) * 2019-06-03 2019-09-20 武汉联一合立技术有限公司 一种社区安保机器人的垃圾目标识别系统及其识别方法
CN111008571A (zh) * 2019-11-15 2020-04-14 万翼科技有限公司 室内垃圾处理方法及相关产品
CN111360780A (zh) * 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图像视觉的垃圾分类机器人识别控制系统算法设计;张方超;董振;张栋;武涛;李卫国;;电子测量技术(20);全文 *
智能移动垃圾分拣机器人设计与实现;曾庆源;沈洪锐;龙健云;杨禹铭;吴海英;;电子制作(23);全文 *

Also Published As

Publication number Publication date
CN112115968A (zh) 2020-12-22
WO2022033484A1 (zh) 2022-02-17

Similar Documents

Publication Publication Date Title
CN112115968B (zh) 一种智能清扫车垃圾识别方法及系统
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN109024417B (zh) 一种智能道路清扫车及其道路污染物识别方法和控制方法
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
Bar Hillel et al. Recent progress in road and lane detection: a survey
CN106997688B (zh) 基于多传感器信息融合的停车场停车位检测方法
CN110674705B (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN108763571B (zh) 一种作业地图更新方法
CN115049700A (zh) 一种目标检测方法及装置
CN112949366B (zh) 障碍物识别方法和装置
CN104880160B (zh) 一种工件表面轮廓的二维激光实时探测方法
CN113176585A (zh) 一种基于三维激光雷达的路面异常检测方法
CN112198899A (zh) 基于无人飞行器的道路检测方法、设备和存储介质
CN114454875A (zh) 一种基于强化学习的城市道路自动泊车方法及系统
CN104915642A (zh) 前方车辆测距方法及装置
CN112308913A (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN115018879A (zh) 目标检测方法、计算机可读存储介质及驾驶设备
CN113378659A (zh) 一种占道经营识别方法
CN112487861A (zh) 车道线识别方法、装置、计算设备及计算机存储介质
CN117124332A (zh) 基于ai视觉抓取的机械臂控制方法及系统
CN115542338B (zh) 一种基于点云空间分布映射的激光雷达数据的学习方法
CN116958837A (zh) 基于无人机的市政设施故障检测系统
CN115760898A (zh) 一种混合高斯域下道路抛洒物的世界坐标定位方法
CN113009910A (zh) 一种人行道检测机器人系统及人行道检测方法
Mattson et al. Reducing ego vehicle energy-use by LiDAR-based lane-level positioning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096

Applicant after: Beijing Idriverplus Technology Co.,Ltd.

Address before: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096

Applicant before: Beijing Idriverplus Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant