CN111539280B - 基于自动驾驶技术的路面清扫方法、装置和计算机设备 - Google Patents
基于自动驾驶技术的路面清扫方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111539280B CN111539280B CN202010294864.4A CN202010294864A CN111539280B CN 111539280 B CN111539280 B CN 111539280B CN 202010294864 A CN202010294864 A CN 202010294864A CN 111539280 B CN111539280 B CN 111539280B
- Authority
- CN
- China
- Prior art keywords
- image
- pavement
- information
- binocular
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000005516 engineering process Methods 0.000 title claims abstract description 13
- 239000010813 municipal solid waste Substances 0.000 claims abstract description 128
- 238000011084 recovery Methods 0.000 claims abstract description 11
- 230000004888 barrier function Effects 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 52
- 238000003709 image segmentation Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 15
- 241001417527 Pempheridae Species 0.000 description 10
- 239000002699 waste material Substances 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 229940112822 chewing gum Drugs 0.000 description 3
- 235000015218 chewing gum Nutrition 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
本申请涉及一种自动驾驶技术的路面清扫方法、装置和计算机设备。所述方法包括：获取室外环境下待清扫路面的路面图像，路面图像包括单目路面图像以及双目路面图像；对单目路面图像进行图像识别，以及将双目路面图像进行深度恢复，得到路面识别结果以及双目路面图像对应的深度图像，路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息；将路面识别结果与深度图像进行结合，得到第二垃圾类型信息、第二障碍物信息以及第二可通行区域信息；根据第二垃圾类型信息、第二障碍物信息以及第二可通行区域信息确定清扫策略；根据清扫策略对待清扫路面进行清扫。采用本方法能够对路面进行有效清扫。
Description
技术领域
本申请涉及人工智能领域，特别是涉及一种基于自动驾驶技术的路面清扫方法、装置、计算机设备和存储介质。
背景技术
随着人工智能的发展，自动驾驶技术的应用也越来越广泛。在自动驾驶过程中，需要时刻监测车辆周围的障碍物。传统的自动驾驶清扫车是通过检测路面上的垃圾以及障碍物，并通过特定清扫模式来进行道路清扫。
然而，传统方式中，特定的清扫模式只能针对特定类型的垃圾进行清扫，当存在多种类型垃圾时，采用特定的清扫模式无法对路面进行有效地清扫。因此，如何对路面进行有效清扫成为目前需要解决的一个技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够对路面进行有效清扫的基于自动驾驶技术的路面清扫方法、装置、计算机设备和存储介质。
一种基于自动驾驶技术的路面清扫方法，所述方法包括：
获取室外环境下待清扫路面的路面图像，所述路面图像包括单目路面图像以及双目路面图像；
对所述单目路面图像进行图像识别，以及将所述双目路面图像进行深度恢复，得到路面识别结果以及所述双目路面图像对应的深度图像，所述路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息；
将所述路面识别结果与所述深度图像进行结合，得到所述第一垃圾类型信息对应的第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息；
根据所述第二垃圾类型信息、所述第二障碍物信息以及所述第二可通行区域信息确定所述待清扫路面对应的清扫策略；
根据所述清扫策略对所述待清扫路面进行清扫。
在其中一个实施例中，所述将所述路面识别结果与所述深度图像进行结合，得到得到所述第一垃圾类型信息对应的第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息包括：
将所述深度图像中的像素点与所述路面识别结果中的像素点进行匹配，得到路面识别结果中每个像素点的距离信息；
根据多个像素点的距离信息确定所述第一垃圾类型信息对应第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息。
在其中一个实施例中，所述对所述单目路面图像进行图像识别，以及将所述双目路面图像进行深度恢复，得到路面识别结果以及所述双目路面图像对应的深度图像，所述路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息包括：
将所述单目路面图像输入至预先建立的图像分割模型中，通过所述图像分割模型对所述单目路面图像进行语义分割，输出图像分割结果，所述图像分割结果包括第一垃圾类型信息以及第一障碍物信息；
在所述图像分割结果中提取待清扫路面信息；
根据所述待清扫路面信息以及所述第一障碍物信息，确定所述待清扫路面的第一可通行区域信息。
在其中一个实施例中，所述对所述单目路面图像进行图像识别，以及将所述双目路面图像进行深度恢复，得到路面识别结果以及所述双目路面图像对应的深度图像，所述路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息，还包括：
对所述双目路面图像进行水平滤波处理，得到水平滤波处理后的双目路面图像；
对所述水平滤波处理后的双目路面图像的像素点进行赋值处理，得到目标图像；
计算所述目标图像以及所述水平滤波处理后的双目路面图像中每个像素点的视差值，根据所述视差值生成视差图像；
对所述视差图像进行深度滤波处理，得到所述双目路面图像对应的深度图像。
在其中一个实施例中，所述对所述视差图像进行深度滤波处理，得到所述双目路面图像对应的深度图像包括：
获取预设权重系数矩阵；
根据所述预设权重系数矩阵对所述视差图像进行深度滤波处理，得到所述双目路面图像对应的深度图像。
在其中一个实施例中，所述根据所述第二垃圾类型信息、第二障碍物信息以及第二可通行区域信息确定所述待清扫路面的清扫策略包括：
根据所述第二障碍物信息以及所述第二可通行区域信息生成所述待清洁路面的清洁路径；
根据所述清洁路径以及所述第二垃圾类型信息确定所述待清扫路面的清扫策略。
在其中一个实施例中，在所述将所述路面识别结果与所述深度图像进行结合之前，所述方法还包括：
将所述深度图像中的像素点信息与预设阈值区间进行比较，确定未在预设像素点区间内的像素点信息；
删除所述未在所述预设阈值区间内的像素点信息，得到删除像素点信息后的深度图像；
对所述删除像素点信息后的深度图像进行去噪处理。
一种基于自动驾驶技术的路面清扫装置，所述装置包括：
获取模块，用于获取室外环境下待清扫路面的路面图像，所述路面图像包括单目路面图像以及双目路面图像；
识别模块，用于对所述单目路面图像进行图像识别，得到路面识别结果，所述路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息；
深度恢复模块，用于将所述双目路面图像进行深度恢复，得到所述双目路面图像对应的深度图像；
结合模块，用于将所述路面识别结果与所述深度图像进行结合，得到所述第一垃圾类型信息对应的第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息；
确定模块，用于根据所述第二垃圾类型信息、所述第二障碍物信息以及所述第二可通行区域信息确定所述待清扫路面对应的清扫策略；
清扫模块，用于根据所述清扫策略对所述待清扫路面进行清扫。
一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
上述基于自动驾驶技术的路面清扫方法、装置、计算机设备和存储介质，获取室外环境下待清扫路面的路面图像，对路面图像中的单目路面图像进行图像识别，能够确定待清扫路面中的垃圾类型、障碍物以及可通行区域。将路面图像中的双目路面图像进行深度恢复，能够得到包含距离信息的深度图像。通过将路面识别结果与深度图像进行结合，得到包含距离信息的垃圾类型信息、包含距离信息的障碍物信息以及包含距离信息的可通行区域信息，由此可以对待清扫路面中的垃圾以及对障碍物进行定位。进而根据包含距离信息的垃圾类型信息、包含距离信息的障碍物信息以及包含距离信息的可通行区域信息确定待清扫路面对应的清扫策略进行清扫，能够针对不同类型的垃圾采取相应的清扫策略，避免简单垃圾清扫时间较长，清扫效率较低以及顽固污渍简单清扫，清洁力度较小的问题，能够对路面进行有效清扫。
附图说明
图1为一个实施例中基于自动驾驶技术的路面清扫方法的应用环境图；
图2为一个实施例中基于自动驾驶技术的路面清扫方法的流程示意图；
图3为一个实施例中将路面识别结果与深度图像进行结合，得到第一垃圾类型信息对应的第二垃圾类型信息、第一障碍物信息对应的第二障碍物信息以及第一可通行区域对应的第二可通行区域信息步骤的流程示意图；
图4为一个实施例中基于自动驾驶技术的路面清扫装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于自动驾驶技术的路面清扫方法，可以应用于如图1所示的应用环境中。其中，车载传感器102采集室外环境下待清扫路面的路面图像。发送至车载计算机设备104。路面图像包括单目路面图像以及双目路面图像。车载传感器可以是车载双目摄像头。可以将车载计算机设备称为计算机设备。计算机设备104对单目路面图像进行图像识别，以及将双目路面图像进行深度恢复，得到路面识别结果以及双目路面图像对应的深度图像。路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息。计算机设备104将路面识别结果与深度图像进行结合，得到第一垃圾类型信息对应的第二垃圾类型信息、第一障碍物信息对应的第二障碍物信息以及第一可通行区域对应的第二可通行区域信息。计算机设备104根据第二垃圾类型信息、第二障碍物信息以及第二可通行区域信息确定待清扫路面对应的清扫策略。计算机设备104根据清扫策略对待清扫路面进行清扫。
在一个实施例中，如图2所示，提供了一种基于自动驾驶技术的路面清扫方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤202，获取室外环境下待清扫路面的路面图像，路面图像包括单目路面图像以及双目路面图像。
自动驾驶清扫车在自动驾驶的过程中，可以通过安装在清扫车头部的车载传感器采集室外环境下待清扫路面的路面图像，并将采集到的路面图像发送至计算机设备。车载传感器可以是车载双目摄像头。单目路面图像是车载双目摄像头通过一个单目摄像头采集到的路面图像。双目路面图像是车载双目摄像头采集到的路面图像。
步骤204，对单目路面图像进行图像识别，以及将双目路面图像进行深度恢复，得到路面识别结果以及双目路面图像对应的深度图像，路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息。
计算机设备可以调用多线程，通过多线程对单目路面图像以及双目路面图像进行并行处理。具体的，计算机设备通过多线程采用深度学习方法对单目路面图像进行图像识别。深度学习方法可以包括图像分割网络。计算机设备通过对单目路面图像进行图像识别，得到相应的路面识别结果。路面识别结果后中可以包括第一垃圾类型信息、第一障碍物信息、第一可通行区域信息、待清扫路面信息以及背景信息。第一垃圾类型信息可以包括待清扫路面中存在的垃圾以及垃圾所对应的垃圾类型。例如，当垃圾为灰尘、树叶时，对应的垃圾类型为简单垃圾。再如，当垃圾为口香糖时，对应的垃圾类别为顽固污渍。第一障碍物信息可以包括障碍物的轮廓信息。例如，障碍物的形状。第一可通行区域信息可以是根据第一障碍物信息以及待清扫路面信息计算得到的。待清扫路面信息是自动驾驶清扫车所在的整个路面的信息，可以包括路面中的障碍物、车道线、中心线、人行道、停止线等信息。
同时，计算机设备通过多线程采用深度恢复方法对双目路面图像进行深度恢复。例如，深度恢复方法可以是半全局块匹配(Semi Global Block Matching，简称SGBM)算法。计算机设备通过对双目路面图像进行深度恢复，能够得到待清扫路面对应的深度图像。深度图像中包括待清扫路面中待测物体的距离信息。距离信息可以包括待清扫路面中待测物体与车载双目摄像头之间的距离，与待清扫路面中待测物体的大小等信息。由于深度图像不受待测物体表面反射特性的影响，而且不存在阴影，能够更准确地表达待测物体的距离以及大小信息。
步骤206，将路面识别结果与深度图像进行结合，得到第一垃圾类型信息对应的第二垃圾类型信息、第一障碍物信息对应的第二障碍物信息以及第一可通行区域对应的第二可通行区域信息。
深度图像中包括待清扫路面中待测物体的距离信息，路面识别结果中包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息。因此，计算机设备将深度图像与路面识别结果进行结合，可以得到第二垃圾类型信息、第二障碍物信息以及第二可通行区域信息。第二垃圾类型信息中包括垃圾的距离信息。第二障碍物信息包括障碍物的距离信息。第二可通行区域信息包括可通行区域的距离信息。计算机设备进而可以根据第二垃圾类型信息对垃圾进行定位，根据第二障碍物信息确定障碍物的具体位置以及根据第二可通行区域信息确定待清扫路面中可通行区域的具体位置。
步骤208，根据二垃圾类型信息、第二障碍物信息以及第二可通行区域信息确定待清扫路面对应的清扫策略。
步骤210，根据清扫策略对待清扫路面进行清扫。
计算机设备在得到包含距离信息的第二垃圾类型信息、包含距离信息的第二障碍物信息以及包含距离信息的第二可通行区域信息后，可以根据包含距离信息的第二障碍物信息以及包含距离信息的第二可通行区域信息来规划清洁路径。从而根据清洁路径以及包含距离信息的第二垃圾类型信息生成清扫策略。清扫策略中包括清洁路径以及清扫方式。进而计算机设备根据清扫策略中的清扫方式按照清扫路径对待清扫路面中的垃圾进行清扫。
在本实施例中，获取室外环境下待清扫路面的路面图像，对路面图像中的单目路面图像进行图像识别，能够确定待清扫路面中的垃圾类型、障碍物以及可通行区域。将路面图像中的双目路面图像进行深度恢复，能够得到包含距离信息的深度图像。通过将路面识别结果与深度图像进行结合，得到包含距离信息的垃圾类型信息、包含距离信息的障碍物信息以及包含距离信息的可通行区域信息，由此可以对待清扫路面中的垃圾以及对障碍物进行定位。进而根据包含距离信息的垃圾类型信息、包含距离信息的障碍物信息以及包含距离信息的可通行区域信息确定待清扫路面对应的清扫策略进行清扫，能够针对不同类型的垃圾采取相应的清扫策略，避免简单垃圾清扫时间较长，清扫效率较低以及顽固污渍简单清扫，清洁力度较小的问题，能够对路面进行有效清扫。
在一个实施例中，如图3所示，将路面识别结果与深度图像进行结合，得到得到第一垃圾类型信息对应的第二垃圾类型信息、第一障碍物信息对应的第二障碍物信息以及第一可通行区域对应的第二可通行区域信息的步骤包括：
步骤302，将深度图像中的像素点与路面识别结果中的像素点进行匹配，得到路面识别结果中每个像素点的距离信息。
步骤304，根据多个像素点的距离信息确定第一垃圾类型信息对应的第二垃圾类型信息、第一障碍物信息对应的第二障碍物信息以及第一可通行区域对应的第二可通行区域信息。
计算机设备在路面识别结果以及深度图像后，可以将路面识别结果与深度图像进行结合，确定待清扫路面中垃圾的距离信息、障碍物的距离信息以及可通行区域的距离信息。路面识别结果可以是语义分割图。具体的，计算机设备可以将深度图像中的像素点与语义分割图中的像素点进行匹配，确定语义分割图中每个像素点对应的深度图像中的像素点，由于深度图像中每个像素点的信息中包括距离信息，从而得到语义分割图中每个像素点的距离信息。语义分割图中每个像素点均标注有相应的目标类型。进而根据语义分割图中多个像素点的距离信息以及标注的目标类型确定包含距离信息的第二垃圾类型信息、包含距离信息的第二障碍物信息以及包含距离信息的第二可通行区域信息。
在本实施例中，将深度图像中的像素点与路面识别结果中的像素点进行匹配，得到路面识别结果中每个像素点的距离信息，能够保留更多的原始图像信息，避免了重要信息的损失，保证了第二垃圾类型信息、第二障碍物信息以及第二可通行区域信息的完整性。
在一个实施例中，对单目路面图像进行图像识别，以及将双目路面图像进行深度恢复，得到路面识别结果以及双目路面图像对应的深度图像，路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息包括：将单目路面图像输入至预先建立的图像分割模型中，通过图像分割模型对单目路面图像进行语义分割，输出图像分割结果，图像分割结果包括第一垃圾类型信息以及第一障碍物信息；在图像分割结果中提取待清扫路面信息；根据待清扫路面信息以及第一障碍物信息，确定待清扫路面的第一可通行区域信息。
计算机设备可以采用深度学习方法对单目路面图像进行语义分割。深度学习方法可以包括图像分割模型。车载双目摄像头可以通过开启一个单目摄像头采集单目路面图像，将单目路面图像发送至计算机设备。计算机设备将单目路面图像输入至图像分割模型中。图像分割模型是通过大量样本图像预先训练得到的。例如，图像分割模型可以是金字塔型场景解析网络模型(Pyramid Scene Parsing Network，简称PSPNet)。金字塔型场景解析网络模型能够获取单目路面图像的多重视野的特征信息，既能够分割大尺度物体，也能够分割小尺度物体，同时能够减少细节信息的丢失，保证了语义分割的准确性和完整性。图像分割模型的网络结构包括基础层、池化层、卷积层等多个网络层。基础层可以是预先训练的ResNet(Residual Neural Network，残差网络)。池化层可以是由多个不同层级的池化层组成的。
通过图像分割模型中多个网络层对单目路面图像进行语义分割，输出图像分割结果。图像分割结果中包括第一垃圾类别信息、第一障碍物信息以及待清扫路面信息。第一垃圾类型信息可以包括待清扫路面中存在的垃圾以及垃圾所对应的垃圾类型。例如，当垃圾为灰尘、树叶时，对应的垃圾类型为简单垃圾。再如，当垃圾为口香糖时，对应的垃圾类别为顽固污渍。第一障碍物信息可以包括障碍物的轮廓信息。例如，障碍物的形状。第一可通行区域信息可以是根据第一障碍物信息以及待清扫路面信息计算得到的。待清扫路面信息是自动驾驶清扫车所在的整个路面的信息，可以包括路面中的障碍物、车道线、中心线、人行道、停止线等信息。计算机设备从而在图像分割结果中提取待清扫路面信息，将待清扫路面信息中的第一障碍物信息去除，得到第一可通行区域信息。
在本实施例中，由于图像分割模型是预先训练得到的，通过图像分割模型对单目路面图像进行语义分割，能够准确、快速地对待清扫路面中的垃圾进行分类、并能够识别障碍物以及可通行区域，有利于后续进行确定清扫策略。
在一个实施例中，对单目路面图像进行图像识别，以及将双目路面图像进行深度恢复，得到路面识别结果以及双目路面图像对应的深度图像，路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息，还包括：对双目路面图像进行水平滤波处理，得到水平滤波处理后的双目路面图像；对水平滤波处理后的双目路面图像的像素点进行赋值处理，得到目标图像；计算目标图像以及水平滤波处理后的双目路面图像中每个像素点的视差值，根据视差值生成视差图像；对视差图像进行深度滤波处理，得到双目路面图像对应的深度图像。
双目路面图像包括第一图像以及第二图像。其中，第一图像可以是左目图像。第二图像可以是右目图像。计算机设备通过对双目路面图像进行水平滤波处理，检测得到双目路面图像的边缘像素点，即第一图像的水平边缘像素点以及第二图像的水平边缘像素点。水平滤波处理的方式可以是水平Sobel算子。
计算机设备中预先设置有梯度阈值P。梯度阈值用于判断水平边缘像素点是否正常。若不正常，则对该像素点进行赋值处理。计算机设备可以根据梯度阈值对水平滤波处理后的双目路面图像的像素点进行赋值处理。具体的，计算机设备可以将梯度阈值与水平滤波处理后的双目路面图像的像素点信息进行比较，即将水平滤波处理后的第一图像的像素点信息以及滤波处理后的第二图像的像素点信息分别进行比较，得到相应的比较结果。计算机设备从而根据该比较结果对水平滤波处理后的第一图像的像素点进行赋值，将赋值处理后的像素点映射至一个新的图像中，得到水平滤波处理后的第一图像对应的目标图像。对滤波处理后的第二图像的像素点进行赋值处理，将赋值处理后的像素点映射至一个新的图像中，得到水平滤波处理后的第二图像对应的目标图像。
在得到目标图像后，计算机设备计算目标图像中相应的像素点之间的代价、水平滤波处理后的双目图像对应的像素点之间的代价，从而将目标图像中相应的像素点之间的代价、水平滤波处理后的双目图像对应的像素点之间的代价进行代价聚合，得到聚合代价。进而计算机设备根据计算得到的聚合代价计算目标图像以及水平滤波处理后的双目路面图像中每个像素点的视差值。在得到视差值之后，可以根据视差值生成对应的视差图像。
计算机设备对视差图像进行深度滤波处理。深度滤波处理可以是将视差图像进行深度恢复，实现将视差图像转换为深度图像。深度图像中包括物体的深度(距离)信息。通过对视差图像进行深度滤波处理，补充了视差图像中部分缺失的视差信息，而且加强了视差信息的连续性，能够减少视差图像在后续应用过程中的计算量。
在本实施例中，通过对双目路面图像进行水平滤波处理，对水平滤波处理后的双目图像的像素点进行赋值处理，能够对异常的像素点进行校正。计算目标图像以及水平滤波处理后的双目路面图像中每个像素点的视差值，根据视差值生成视差图像，再对视差图像进行深度滤波处理，得到深度图像。由于只需要进行水平方向的滤波以及深度滤波处理，滤波处理方式更加快速，能够在保证视差图计算准确性的基础上，减少计算时间，提高了深度图像的计算效率。同时，对视差图像图像进行深度滤波处理，不仅补充了视差图像中部分缺失的视差信息，而且加强了视差信息的连续性，进而提高了深度图像的准确性。
在一个实施例中，对视差图像进行深度滤波处理，得到双目路面图像对应的深度图像包括：获取预设权重系数矩阵；根据预设权重系数矩阵对视差图像进行深度滤波处理，得到双目路面图像对应的深度图像。
计算机设备预先设置有预权重系数矩阵，权重系数矩阵用于对视差图像进行加权处理，以实现深度滤波处理。计算机设备对视差图像进行深度滤波处理，能够将视差图像进行深度恢复，得到深度图像。具体的，计算机设备首先对视差图像进行最小化处理，得到最小化处理后的视差图像。从而将预设权重系数矩阵对最小化处理后的视差图像进行加权处理，通过调整最小化处理后的视差图像的权重值来选择该视差图进行深度滤波的最优权重值。计算机设备根据最优权重值对视差图像进行深度滤波处理，得到深度滤波处理后的视差图像。计算机设备进而可以根据滤波处理后的视差图像得到物体的距离信息，进而得到深度图像。
在本实施例中，根据预设权重系数矩阵对视差图像进行深度滤波处理，得到深度滤波处理后的视差图像，进而根据视差图像得到双目图像对应的三维信息。能够直接通过预设权重系数确定对该视图像进行深度滤波的最优权重值，减少了计算时间，进一步提高了深度图像的获取效率。
在一个实施例中，根据第二垃圾类型信息、第二障碍物信息以及第二可通行区域信息确定待清扫路面的清扫策略包括：根据第二障碍物信息以及第二可通行区域信息生成待清洁路面的清洁路径；根据清洁路径以及第二垃圾类型信息确定待清扫路面的清扫策略。
第二障碍物信息中包括障碍物的轮廓、高度以及大小等信息。计算机设备可以根据障碍物的轮廓、高度、大小等信息以及第二可通行区域信息来确定自动驾驶清扫车是否可以直接进行清扫。例如，当障碍物低于预设高度阈值，或者小于预设尺寸阈值时，自动驾驶清扫车可以直接通过。当障碍物高于预设高度阈值，或大于预设尺寸阈值时，自动驾驶清扫车需要绕行至第二可通行区域信息中的其他可通行区域。计算机设备还可以根据第二垃圾类别信息确定清扫次数以及清扫工具，以按照清洁路径确定清扫策略。例如，当垃圾是灰尘、树叶等简单类型垃圾时，一次清扫即可。当垃圾为口香糖等顽固污渍时，需要多次来回清扫。再如，当垃圾为水渍时，可将清扫工具切换为拖把。又如，当垃圾为可回收垃圾时，可以将该垃圾放入可回收箱体中。
在本实施例中，根据第二障碍物信息以及第二可通行区域信息生成待清洁路面的清洁路径，能够提高清扫安全性，避免自动驾驶清扫车清扫车活动到不可通行区域。根据清洁路径以及第二垃圾类型信息确定待清扫路面的清扫策略。能够根据垃圾类型确定相应的清扫策略，从而对每种类型的垃圾进行有效清扫。还可以对顽固污渍以及需反复清扫的地域进行有效分辨，提高清洁强度。
在一个实施例中，在将路面识别结果与深度图像进行结合之前，上述方法还包括：将深度图像中的像素点信息与预设阈值区间进行比较，确定未在预设像素点区间内的像素点信息；删除未在预设阈值区间内的像素点信息，得到删除像素点信息后的深度图像；对删除像素点信息后的深度图像进行去噪处理。
计算机设备在得到深度图像之后，还可以通过预先设置的阈值区间来去除深度图像中的路面以及异常像素点信息。计算机设备将深度图像中的每个像素点信息与预设阈值区间的区间最小值以及区间最大值进行比较，从而将未在预设阈值区间内的像素点进行删除。进而计算机设备可以通过对删除像素点信息后的深度图像进行开闭操作，实现图像去噪。
在本实施例中，通过删除深度图像中的路面、异常像素点，并进行去噪处理，能够避免异常像素点以及杂点的影响，进一步提高了深度图像的准确性。
应该理解的是，虽然图2至3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种基于自动驾驶技术的路面清扫装置，包括：获取模块402、识别模块404、深度恢复模块406、结合模块408、确定模块410和清扫模块412，其中：
获取模块402，用于获取室外环境下待清扫路面的路面图像，路面图像包括单目路面图像以及双目路面图像。
识别模块404，用于对单目路面图像进行图像识别，得到路面识别结果，路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息。
深度恢复模块406，用于将双目路面图像进行深度恢复，得到双目路面图像对应的深度图像。
结合模块408，用于将路面识别结果与深度图像进行结合，得到第一垃圾类型信息对应的第二垃圾类型信息、第一障碍物信息对应的第二障碍物信息以及第一可通行区域对应的第二可通行区域信息。
确定模块410，用于根据第二垃圾类型信息、第二障碍物信息以及第二可通行区域信息确定待清扫路面对应的清扫策略。
清扫模块412，用于根据清扫策略对待清扫路面进行清扫。
在一个实施例中，结合模块408，还用于将深度图像中的像素点与路面识别结果中的像素点进行匹配，得到路面识别结果中每个像素点的距离信息；根据多个像素点的距离信息确定第一垃圾类型信息对应第二垃圾类型信息、第一障碍物信息对应的第二障碍物信息以及第一可通行区域对应的第二可通行区域信息。
在一个实施例中，识别模块404，还用于将单目路面图像输入至预先建立的图像分割模型中，通过图像分割模型对单目路面图像进行语义分割，输出图像分割结果，图像分割结果包括第一垃圾类型信息以及第一障碍物信息；在图像分割结果中提取待清扫路面信息；根据待清扫路面信息以及第一障碍物信息，确定待清扫路面的第一可通行区域信息。
在一个实施例中，深度恢复模块406，还用于对双目路面图像进行水平滤波处理，得到水平滤波处理后的双目路面图像；对水平滤波处理后的双目路面图像的像素点进行赋值处理，得到目标图像；计算目标图像以及水平滤波处理后的双目路面图像中每个像素点的视差值，根据视差值生成视差图像；对视差图像进行深度滤波处理，得到双目路面图像对应的深度图像。
在一个实施例中，深度恢复模块406，还用于获取预设权重系数矩阵；根据预设权重系数矩阵对视差图像进行深度滤波处理，得到双目路面图像对应的深度图像。
在一个实施例中，确定模块410，用于根据第二障碍物信息以及第二可通行区域信息生成待清洁路面的清洁路径；根据清洁路径以及第二垃圾类型信息确定待清扫路面的清扫策略。
在一个实施例中，上述装置还包括：去噪模块，用于将深度图像中的像素点信息与预设阈值区间进行比较，确定未在预设像素点区间内的像素点信息；删除未在预设阈值区间内的像素点信息，得到删除像素点信息后的深度图像；对删除像素点信息后的深度图像进行去噪处理。
关于基于自动驾驶技术的路面清扫装置的具体限定可以参见上文中对于基于自动驾驶技术的路面清扫方法的限定，在此不再赘述。上述基于自动驾驶技术的路面清扫装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储清扫策略。该计算机设备的网络接口用于与外部的车载传感器通过网络连接通信。该计算机程序被处理器执行时以实现一种基于自动驾驶技术的路面清扫方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于自动驾驶技术的路面清扫方法，其特征在于，所述方法包括：
获取室外环境下待清扫路面的路面图像，所述路面图像包括单目路面图像以及双目路面图像；
对所述单目路面图像进行图像识别，以及将所述双目路面图像进行深度恢复，得到路面识别结果以及所述双目路面图像对应的深度图像，所述路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息，包括：将所述单目路面图像输入至预先建立的图像分割模型中，对所述单目路面图像进行语义分割，输出图像分割结果，所述图像分割模型为金字塔型场景解析网络模型，所述图像分割结果包括第一垃圾类型信息、第一障碍物信息以及待清扫路面信息，所述第一垃圾类型信息包括待清扫路面中存在的垃圾以及垃圾所对应的垃圾类型，垃圾类型包括简单垃圾以及顽固污渍；去除所述待清扫路面信息中的第一障碍物信息，得到第一可通行区域信息；以及将所述双目路面图像进行深度恢复，得到所述双目路面图像对应的深度图像，包括：对所述双目路面图像进行水平滤波处理，得到水平滤波处理后的双目路面图像；将梯度阈值与水平滤波处理后的双目路面图像的像素点信息进行比较，针对水平滤波处理后的双目路面图像中的每一图像，根据比较结果对该图像的像素点进行赋值处理，将赋值处理后的像素点映射至新图像中，得到该图像对应的目标图像；将水平滤波处理后的双目路面图像对应的目标图像中相应的像素点之间的代价、水平滤波处理后的双目路面图像对应的像素点之间的代价进行代价聚合，得到聚合代价；根据聚合代价计算水平滤波处理后的双目路面图像对应的目标图像以及水平滤波处理后的双目路面图像中每个像素点的视差值，根据视差值生成视差图像；对视差图像进行最小化处理，得到最小化处理后的视差图像；根据预设权重系数矩阵对最小化处理后的视差图像进行加权处理，通过调整最小化处理后的视差图像的权重值来选择对该视差图像进行深度滤波的最优权重值；根据最优权重值将视差图像转换为深度图像；
将所述路面识别结果与所述深度图像进行结合，得到所述第一垃圾类型信息对应的第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息；
根据所述第二垃圾类型信息、所述第二障碍物信息以及所述第二可通行区域信息确定所述待清扫路面对应的清扫策略，包括：根据所述第二障碍物信息以及所述第二可通行区域信息生成所述待清扫路面的清洁路径；根据所述第二垃圾类型信息确定清扫次数以及清扫工具，以按照所述清洁路径确定所述待清扫路面的清扫策略；
根据所述清扫策略对所述待清扫路面进行清扫。
2.根据权利要求1所述的方法，其特征在于，所述将所述路面识别结果与所述深度图像进行结合，得到所述第一垃圾类型信息对应的第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息包括：
将所述深度图像中的像素点与所述路面识别结果中的像素点进行匹配，得到路面识别结果中每个像素点的距离信息；
根据多个像素点的距离信息确定所述第一垃圾类型信息对应第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息。
3.根据权利要求1所述的方法，其特征在于，所述第二障碍物信息中包括障碍物的轮廓、高度以及大小；所述根据所述第二障碍物信息以及所述第二可通行区域信息生成所述待清扫路面的清洁路径包括：
当障碍物高于预设高度阈值，或大于预设尺寸阈值时，绕行至第二可通行区域信息中的其他可通行区域。
4.根据权利要求1所述的方法，其特征在于，所述根据最优权重值将视差图像转换为深度图像包括：
根据最优权重值对视差图像进行深度滤波处理，得到深度滤波处理后的视差图像，根据滤波处理后的视差图像确定物体的距离信息，得到深度图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
调用多线程，对单目路面图像以及双目路面图像进行并行处理。
6.根据权利要求1至5任意一项所述的方法，其特征在于，在所述将所述路面识别结果与所述深度图像进行结合之前，所述方法还包括：
将所述深度图像中的像素点信息与预设阈值区间进行比较，确定未在所述预设阈值区间内的像素点信息；
删除所述未在所述预设阈值区间内的像素点信息，得到删除像素点信息后的深度图像；
对所述删除像素点信息后的深度图像进行去噪处理。
7.一种基于自动驾驶技术的路面清扫装置，其特征在于，所述装置包括：
获取模块，用于获取室外环境下待清扫路面的路面图像，所述路面图像包括单目路面图像以及双目路面图像；
识别模块，用于对所述单目路面图像进行图像识别，以及将所述双目路面图像进行深度恢复，得到路面识别结果以及所述双目路面图像对应的深度图像，所述路面识别结果包括第一垃圾类型信息、第一障碍物信息以及第一可通行区域信息，包括：将所述单目路面图像输入至预先建立的图像分割模型中，对所述单目路面图像进行语义分割，输出图像分割结果，图像分割模型为金字塔型场景解析网络模型，所述图像分割结果包括第一垃圾类型信息、第一障碍物信息以及待清扫路面信息，所述第一垃圾类型信息包括待清扫路面中存在的垃圾以及垃圾所对应的垃圾类型，垃圾类型包括简单垃圾以及顽固污渍；去除所述待清扫路面信息中的第一障碍物信息，得到第一可通行区域信息；以及将所述双目路面图像进行深度恢复，得到所述双目路面图像对应的深度图像，包括：对所述双目路面图像进行水平滤波处理，得到水平滤波处理后的双目路面图像；将梯度阈值与水平滤波处理后的双目路面图像的像素点信息进行比较，针对水平滤波处理后的双目路面图像中的每一图像，根据比较结果对该图像的像素点进行赋值处理，将赋值处理后的像素点映射至新图像中，得到该图像对应的目标图像；将水平滤波处理后的双目路面图像对应的目标图像中相应的像素点之间的代价、水平滤波处理后的双目路面图像对应的像素点之间的代价进行代价聚合，得到聚合代价；根据聚合代价计算水平滤波处理后的双目路面图像对应的目标图像以及水平滤波处理后的双目路面图像中每个像素点的视差值，根据视差值生成视差图像；对视差图像进行最小化处理，得到最小化处理后的视差图像；根据预设权重系数矩阵对最小化处理后的视差图像进行加权处理，通过调整最小化处理后的视差图像的权重值来选择对该视差图像进行深度滤波的最优权重值；根据最优权重值将视差图像转换为深度图像；
结合模块，用于将所述路面识别结果与所述深度图像进行结合，得到所述第一垃圾类型信息对应的第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息；
确定模块，用于根据所述第二垃圾类型信息、所述第二障碍物信息以及所述第二可通行区域信息确定所述待清扫路面对应的清扫策略，包括：根据所述第二障碍物信息以及所述第二可通行区域信息生成所述待清扫路面的清洁路径；根据所述第二垃圾类型信息确定清扫次数以及清扫工具，以按照所述清洁路径确定所述待清扫路面的清扫策略；
清扫模块，用于根据所述清扫策略对所述待清扫路面进行清扫。
8.根据权利要求7所述的装置，其特征在于，所述结合模块还用于将所述深度图像中的像素点与所述路面识别结果中的像素点进行匹配，得到路面识别结果中每个像素点的距离信息；根据多个像素点的距离信息确定所述第一垃圾类型信息对应第二垃圾类型信息、所述第一障碍物信息对应的第二障碍物信息以及所述第一可通行区域对应的第二可通行区域信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010294864.4A CN111539280B (zh) | 2020-04-15 | 2020-04-15 | 基于自动驾驶技术的路面清扫方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010294864.4A CN111539280B (zh) | 2020-04-15 | 2020-04-15 | 基于自动驾驶技术的路面清扫方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111539280A CN111539280A (zh) | 2020-08-14 |
| CN111539280B true CN111539280B (zh) | 2024-04-09 |
Family
ID=71976796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010294864.4A Active CN111539280B (zh) | 2020-04-15 | 2020-04-15 | 基于自动驾驶技术的路面清扫方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111539280B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112168074B (zh) * | 2020-09-14 | 2022-06-24 | 上海思寒环保科技有限公司 | 一种智能清洁机器人的清洁方法及系统 |
| CN112232246A (zh) * | 2020-10-22 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 基于深度学习的垃圾检测分类方法和装置 |
| CN112257623B (zh) * | 2020-10-28 | 2022-08-23 | 长沙立中汽车设计开发股份有限公司 | 一种路面清洁度判定和自动清扫方法及自动清扫环卫装置 |
| CN112649013A (zh) * | 2020-12-29 | 2021-04-13 | 天津天瞳威势电子科技有限公司 | 一种可通行区域的确定方法、装置及电子设备 |
| CN112982252B (zh) * | 2021-02-20 | 2022-09-06 | 深圳一清创新科技有限公司 | 一种沿边清扫方法、装置和清扫车 |
| CN113014194A (zh) * | 2021-03-10 | 2021-06-22 | 优兔创新有限公司 | 太阳能面板污迹清理方法、装置、计算机设备和存储介质 |
| CN113255520B (zh) * | 2021-05-25 | 2022-04-12 | 华中科技大学 | 基于双目视觉和深度学习的车辆避障方法与电子设备 |
| CN114103994B (zh) * | 2021-11-19 | 2023-12-19 | 庆铃汽车（集团）有限公司 | 基于车辆自动清扫路面的控制方法、装置、设备及车辆 |
| CN115719325B (zh) * | 2022-12-07 | 2023-11-17 | 钧捷科技（北京）有限公司 | 基于无人驾驶的路况图像处理系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101372843B1 (ko) * | 2014-02-04 | 2014-03-14 | (주)나인정보시스템 | 스테레오 기법을 이용한 교차로 꼬리물기 차량 자동 단속 시스템 및 그 방법 |
| CN107752910A (zh) * | 2017-09-08 | 2018-03-06 | 珠海格力电器股份有限公司 | 区域清扫方法、装置、存储介质、处理器及扫地机器人 |
| CN108205658A (zh) * | 2017-11-30 | 2018-06-26 | 中原智慧城市设计研究院有限公司 | 基于单双目视觉融合的障碍物检测预警系统 |
| CN108415419A (zh) * | 2018-01-24 | 2018-08-17 | 达闼科技（北京）有限公司 | 垃圾拾取方法、机器人、电子设备和计算机程序产品 |
| CN108520537A (zh) * | 2018-03-29 | 2018-09-11 | 电子科技大学 | 一种基于光度视差的双目深度获取方法 |
| CN109288455A (zh) * | 2018-09-21 | 2019-02-01 | 北京智行者科技有限公司 | 垃圾清扫方法及装置 |
| CN110436093A (zh) * | 2019-09-16 | 2019-11-12 | 福建工程学院 | 一种垃圾清理分类车及垃圾清理分类方法 |
-
2020
- 2020-04-15 CN CN202010294864.4A patent/CN111539280B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101372843B1 (ko) * | 2014-02-04 | 2014-03-14 | (주)나인정보시스템 | 스테레오 기법을 이용한 교차로 꼬리물기 차량 자동 단속 시스템 및 그 방법 |
| CN107752910A (zh) * | 2017-09-08 | 2018-03-06 | 珠海格力电器股份有限公司 | 区域清扫方法、装置、存储介质、处理器及扫地机器人 |
| CN108205658A (zh) * | 2017-11-30 | 2018-06-26 | 中原智慧城市设计研究院有限公司 | 基于单双目视觉融合的障碍物检测预警系统 |
| CN108415419A (zh) * | 2018-01-24 | 2018-08-17 | 达闼科技（北京）有限公司 | 垃圾拾取方法、机器人、电子设备和计算机程序产品 |
| CN108520537A (zh) * | 2018-03-29 | 2018-09-11 | 电子科技大学 | 一种基于光度视差的双目深度获取方法 |
| CN109288455A (zh) * | 2018-09-21 | 2019-02-01 | 北京智行者科技有限公司 | 垃圾清扫方法及装置 |
| CN110436093A (zh) * | 2019-09-16 | 2019-11-12 | 福建工程学院 | 一种垃圾清理分类车及垃圾清理分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 席军强.《车辆信息技术》.北京理工大学出版社,2013,(第1版),第169-170 页. * |
| 杨露菁 等.《智能图像处理及应用》.中国铁道出版社,2019,(第1版),第60-63 页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111539280A (zh) | 2020-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539280B (zh) | 基于自动驾驶技术的路面清扫方法、装置和计算机设备 | |
| Hnewa et al. | Object detection under rainy conditions for autonomous vehicles: A review of state-of-the-art and emerging techniques | |
| CN113287156B (zh) | 基于强化学习的信号控制装置及信号控制方法 | |
| CN111160302B (zh) | 基于自动驾驶环境的障碍物信息识别方法和装置 | |
| CN112315383B (zh) | 机器人的巡检清洁方法、装置、机器人和存储介质 | |
| GB2554481A (en) | Autonomous route determination | |
| CN111445368B (zh) | 基于机器视觉与深度学习的垃圾分类方法、装置及设备 | |
| Broggi et al. | Terrain mapping for off-road autonomous ground vehicles using rational b-spline surfaces and stereo vision | |
| CN111609852A (zh) | 语义地图构建方法、扫地机器人及电子设备 | |
| CN112287834A (zh) | 机器人的巡检清洁方法、装置、机器人和存储介质 | |
| CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
| CN111679661A (zh) | 基于深度相机的语义地图构建方法及扫地机器人 | |
| CN111012254A (zh) | 智能扫地机器人 | |
| CN113008296B (zh) | 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元 | |
| Harakeh et al. | Ground segmentation and occupancy grid generation using probability fields | |
| CN107977649A (zh) | 一种障碍物识别方法、装置及终端 | |
| CN113534821B (zh) | 多传感器融合的扫地机器人运动避障方法、装置及机器人 | |
| CN115320637A (zh) | 一种自动驾驶方法、装置及存储介质 | |
| CN111967484A (zh) | 点云聚类方法、装置、计算机设备和存储介质 | |
| Mishra et al. | Visual sparse Bayesian reinforcement learning: a framework for interpreting what an agent has learned | |
| Wei et al. | Robust obstacle segmentation based on topological persistence in outdoor traffic scenes | |
| Burlacu et al. | Stereo vision based environment analysis and perception for autonomous driving applications | |
| CN115236672A (zh) | 障碍物信息生成方法、装置、设备及计算机可读存储介质 | |
| JP2021119802A (ja) | 清掃制御方法 | |
| Xu et al. | Monocular Video Frame Optimization Through Feature-Based Parallax Analysis for 3D Pipe Reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |