CN117152719B - 除草障碍物检测方法、设备、存储介质及装置 - Google Patents
除草障碍物检测方法、设备、存储介质及装置 Download PDFInfo
- Publication number
- CN117152719B CN117152719B CN202311436383.2A CN202311436383A CN117152719B CN 117152719 B CN117152719 B CN 117152719B CN 202311436383 A CN202311436383 A CN 202311436383A CN 117152719 B CN117152719 B CN 117152719B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- information
- point cloud
- cloud data
- weeding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009333 weeding Methods 0.000 title claims abstract description 154
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000003068 static effect Effects 0.000 claims abstract description 77
- 238000007621 cluster analysis Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 12
- 238000013450 outlier detection Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 41
- 238000007781 pre-processing Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 description 13
- 230000002363 herbicidal effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于数据处理技术领域，公开了一种除草障碍物检测方法、设备、存储介质及装置，本发明基于预设ME Mask R‑CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息；对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集；对点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；根据地面聚类结果、障碍物聚类结果、静态障碍物信息以及动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息，本发明能够满足多种障碍物类型的检测，并实现更加精准的障碍物检测，进而提升除草效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种除草障碍物检测方法、设备、存储介质及装置。
背景技术
随着智能机器人发展，越来越多的用户会选择智能机器人辅助作业，例如：农业除草、草坪除草等，然而由于机器人在工作时会遇到障碍物，导致无法精准确定除草区域，进而影响除草效率，现有的障碍物检测通常采用传感器探测的方式，但由于障碍物识别准确性较差，导致除草效率低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种除草障碍物检测方法、设备、存储介质及装置，旨在解决现有技术障碍物识别准确性较差，导致除草效率低的技术问题。
为实现上述目的，本发明提供一种除草障碍物检测方法，所述除草障碍物检测方法包括以下步骤：
基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息；
对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集；
对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；
根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息。
可选地，所述基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物进行检测，获得静态障碍物信息以及动态障碍物信息的步骤，包括：
对目标摄像头采集的图像信息进行初筛选，获得障碍物识别候选区；
基于预设ME Mask R-CNN模型对所述障碍物识别候选区进行特征提取，获得障碍物特征信息；
基于所述ME Mask R-CNN模型对所述障碍物特征信息进行静态障碍物以及动态障碍物跟踪识别，获得静态障碍物信息以及动态障碍物信息。
可选地，所述对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集的步骤，包括：
基于半径滤波器对预设激光雷达采集的点云数据进行离群点检测，获得离群点信息；
将所述离群点信息从所述点云数据中滤除，并基于高斯滤波算法将滤除后的点云数据进行降噪处理，获得降噪后的点云数据；
基于预设语义分割模型对所述降噪后的点云数据进行特征提取，获得点云颜色信息以及几何信息；
根据所述点云颜色信息以及所述几何信息确定预处理后的点云数据集。
可选地，所述点云颜色信息是指包含颜色信息的点云数据以及不包含颜色信息的点云数据；所述基于预设语义分割模型对所述降噪后的点云数据进行特征提取，获得点云颜色信息以及几何信息的步骤，包括：
基于预设语义分割模型中包含的双通道特征提取模块对所述降噪后的点云数据进行颜色特征以及非颜色特征提取，获得包含颜色信息的点云数据以及不包含颜色信息的点云数据；
对所述包含颜色信息的点云数据以及所述不包含颜色信息的点云数据进行维度筛选，获得目标三维点云数据集；
将所述目标三维点云数据集中的几何特征进行统计，获得几何信息。
可选地，所述对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果的步骤，包括：
基于预设空间布局维度以及所述几何信息从所述点云数据集中提取地面点云数据以及障碍物点云数据；
对所述地面点云数据进行聚类分析，获得地面聚类结果；
对所述障碍物点云数据进行聚类分析，获得障碍物聚类结果。
可选地，所述根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息的步骤，包括：
将所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息进行特征维度拼接，获得拼接后的特征信息；
对所述拼接后的特征信息进行逐点特征关联性计算，获得特征相似度；
根据所述特征相似度对所述拼接后的特征信息进行融合与分割，获得融合特征信息；
将所述融合特征信息中三维特征信息确定目标除草障碍物信息。
可选地，所述将所述融合特征信息中三维特征信息确定目标除草障碍物信息的步骤之后，还包括：
将所述目标除草障碍物信息中的点云坐标信息映射至大地坐标系，获得大地坐标信息；
根据所述大地坐标信息确定待除草区域，并根据待除草区域规划除草路径；
根据所述除草路径对目标草地进行除草。
此外，为实现上述目的，本发明还提出一种除草障碍物检测设备，所述除草障碍物检测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的除草障碍物检测程序，所述除草障碍物检测程序配置为实现如上文所述的除草障碍物检测的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有除草障碍物检测程序，所述除草障碍物检测程序被处理器执行时实现如上文所述的除草障碍物检测方法的步骤。
此外，为实现上述目的，本发明还提出一种除草障碍物检测装置，所述除草障碍物检测装置包括：
障碍物检测模块，用于基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息；
数据处理模块，用于对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集；
统计聚类模块，用于对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；
障碍物跟踪模块，用于根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息。
本发明通过基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息；对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集；对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息，本发明通过预设ME Mask R-CNN模型对图像信息进行障碍物跟踪，并结合激光雷达采集的点云数据对空间障碍物进行检测，融合上述两种检测方式获得的结果确定障碍物信息，相较于通过传感器感应障碍物，障碍物识别准确性较差，导致除草效率低，本发明能够满足多种障碍物类型的检测，并实现更加精准的障碍物检测，进而提升除草效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的除草障碍物检测设备的结构示意图；
图2为本发明除草障碍物检测方法第一实施例的流程示意图；
图3为本发明除草障碍物检测方法第二实施例的流程示意图；
图4为本发明除草障碍物检测方法第三实施例的流程示意图；
图5为本发明除草障碍物检测装置第一实施例的结构框图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的除草障碍物检测设备结构示意图。
如图1所示，该除草障碍物检测设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display），可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM），也可以是稳定的存储器（Non-volatileMemory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对除草障碍物检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及除草障碍物检测程序。
在图1所示的除草障碍物检测设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述除草障碍物检测设备通过处理器1001调用存储器1005中存储的除草障碍物检测程序，并执行本发明实施例提供的除草障碍物检测方法。
基于上述硬件结构，提出本发明除草障碍物检测方法的实施例。
参照图2，图2为本发明除草障碍物检测方法第一实施例的流程示意图，提出本发明除草障碍物检测方法第一实施例。
在本实施例中，所述除草障碍物检测方法包括以下步骤：
步骤S10：基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息。
需说明的是，本实施例中的执行主体可以是具有除草障碍物检测系统的设备，如：智能机器人、智能手机、笔记本、电脑以及平板等，还可为其它可实现相同或相似功能的除草障碍物检测设备，本实施例对此不做限制。此处将以上述计算机为例对本实施例和下述各实施例进行说明。本方案中所提出的除草障碍物检测系统具备一种自动化的除草障碍物检测流程，可自动完成除草障碍物检测。在本实施例以及下述各实施例中以计算机为例对本发明除草障碍物检测方法进行说明。其中，所述除草障碍物检测系统可以通过物联网的方式与智能机器人上设置的双目摄像头连接，通过从双目摄像头上传获取视频，设置了两个摄像头，从而能够让拍摄的范围更加广泛，其中所述视频可以通过智能机器人在预设固定区域巡检时实时回传获得。预设固定区域可以是多种场景下的草地，本方案适用于场内或场外的草地除草以及对草地障碍物以及草地除草区域进行检测。本方案中除草过程当中以草地平面作为地面基准界面进行定位等操作。
可理解的是，预设ME Mask R-CNN模型可以是预先设置的用于根据摄像头采集的视频图像完成对静态障碍物以及动态障碍物进行检测的模型，所述模型是基于 Mask R-CNN模型训练获得的模型，其中 Mask R-CNN模型是由SSwin Le Transformer特征提取网络，ME-PAFPN特征融合网络，PrIme Sample Attention（PISA）采样模块构成，所述ME MaskR-CNN计算过程如下：（1）将图像输入SSwin-Le Transformer特征提取网络生成四张不同比例的特征图。其中所述特征提取网络包括分片、分片合并、基于移位窗口的洗牌多头自注意（SSW-MSA）和局部增强前馈网络（LeFF）。（2）通过特征融合网络ME-PAFPN成融合特征图，其中ME-PAFPN通过加强信息流对原有PAFPN进行改进，获得的多尺度特征融合网络。为了增强特征融合网络的多尺度能力，提高小目标的检测性能，在分支中加入了残差特征增强模块、平衡语义特征模块。（3）通过RPN网络（区域提议网络）对特征提取网络提取的特征图进行处理，对前景和背景进行二元分类，对边界盒进行回归，生成区域建议。对区域建议执行ROI对齐，输入ROI头部进行类别分类和回归，以生成边界框和分割掩码。采样方法为PISA，并对原始样本进行加权以提高检测精度。并通过分类后的前景特征图和背景图进行静态障碍物以及动态障碍物识别，其中针对静态障碍物特征提取是通过将前景特征图中包含的静态物体进行定位识别，其中针对动态障碍物特征提取是针对相对静止的物体进行提取获得的特征。由于除草机器人会通过对滑动的轨迹对静态障碍物以及动态障碍物进行图像采集，因此针对动态障碍物会通过相对静止运动速度判定动态障碍物，因此本方案会通过结合除草机器人的运动速度判定动态障碍物。
其中，通过定位动态障碍物运动方向以及运动速度对动态障碍物进行标定，并完成动态障碍物的特征提取，本方案通过图像提取以及雷达点云数据对障碍物进行精确定位是因为动态障碍物在运动时，动态点云会发生改变，若仅仅根据点云数据对障碍物进行定位，需要重复遍历点云数据，导致无法精确完成障碍物定位，而本方案通过两种障碍物定位的方式，可以提升障碍物定位精确性以及定位效率。
应理解的是，对除草机器人采集的视频流信息进行分帧处理，并将视频帧进行冗余预处理，将提取待识别的视频帧输入至ME Mask R-CNN模型中特征提取模块进行特征提取，将包含障碍物的特征图输入至特征融合网络模块中进行多尺度特征融合，获得融合后的特征图，并通过RPN网络（区域提议网络）对特征提取网络提取的特征图进行处理，对前景和背景进行二元分类，对边界盒进行回归，生成区域建议。对区域建议执行ROI对齐，输入ROI头部进行类别分类和回归，以生成边界框和分割掩码，并通过PISA方法对边界框标定的障碍物进行识别，对障碍物进行定位，其中定位过程通过结合除草机器人的移动速度对静态障碍物以及动态障碍物进行标定，并对其进行标定，以便于后期根据点云数据集对障碍物进行进一步的精确划分，获得静态障碍物信息以及动态障碍物信息。
具体实现中，通过ME Mask R-CNN模型中的特征提取网络模块、特征融合模块以及抽样模块对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物进行检测，获得静态障碍物信息以及动态障碍物信息。
步骤S20：对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集。
需说明的是，预设激光雷达可以是预先设置在除草机器人上的激光雷达传感器，其中通过对激光雷达采集的雷达信息进行点云分割处理，获得点云数据，以便于根据点云数据对障碍物进行定位。
可理解的是，激光雷达的数据处理过程包括数据获取、点云数据预处理，其中激光雷达的数据获取是通过发射激光光束并测量激光束的反射时间来获取环境中的距离信息，从而构建点云数据集，点云数据由大量的点组成，每个点包含坐标、反射强度以及颜色等信息。点云数据预处理包括降噪、点云配准等。
步骤S30：对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果。
需说明的是，所述地面点云数据是将根据点云数据处于预设基准平面进行筛选后获得的地面点云数据，所述障碍物点云数据是将点云数据处于预设障碍物平面进行筛选后获得的点云数据。
进一步地，所述步骤S30还包括：基于预设空间布局维度以及所述几何信息从所述点云数据集中提取地面点云数据以及障碍物点云数据；对所述地面点云数据进行聚类分析，获得地面聚类结果；对所述障碍物点云数据进行聚类分析，获得障碍物聚类结果。
需说明的是，预设空间布局维度是指预先设置的用于对点云数据进行划分的维度，所述维度包括地面以及障碍物维度，其中障碍物维度是按照基于地面维度预设角度范围内的维度，例如：以地面为基准，相较于地面的180度内的障碍物面维度。
可理解的是，基于预设空间布局维度以及几何信息从点云数据集中提取地面点云数据以及障碍物点云数据；对地面点云数据进行聚类分析，获得地面聚类结果；对障碍物点云数据进行聚类分析，获得障碍物聚类结果。
可理解的是，本方案通过将地面点云数据以及障碍物点云数据进行聚类分析，获得聚类后的点云数据集合，根据聚类后的点云数据集合确定地面聚类结果以及障碍物聚类结果。所述地面聚类结果是指以地面平面为基准的点云数据集合，所述障碍物聚类结果是指障碍物平面为基准的点云数据集合。
步骤S40：根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息。
需说明的是，本方案通过将地面聚类结果、障碍物聚类结果与图像障碍物识别的静态障碍物信息以及所述动态障碍物信息进行融合确定除草障碍物，并获取目标除草障碍物信息，以便于后期根据目标障碍物进行除草路径的规划。
可理解的是，除草障碍物是基于草地平面维度外的障碍物，通过定位除草障碍物，从而以便于根据除草障碍物对应的点云坐标信息进行除草路径规划。
本实施例基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息；对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集；对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息，本实施例通过预设ME Mask R-CNN模型对图像信息进行障碍物跟踪，并结合激光雷达采集的点云数据对空间障碍物进行检测，融合上述两种检测方式获得的结果确定障碍物信息，相较于通过传感器感应障碍物，障碍物识别准确性较差，导致除草效率低，本实施例能够满足多种障碍物类型的检测，并实现更加精准的障碍物检测，进而提升除草效率。
参照图3，图3为本发明除草障碍物检测方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明除草障碍物检测方法的第二实施例。
在本实施例中，所述步骤S10，还包括：
步骤S101：对目标摄像头采集的图像信息进行初筛选，获得障碍物识别候选区。
需说明的是，对除草机器人采集的视频流信息进行分帧处理，并将视频帧进行冗余预处理，将提取待识别的视频帧输入至ME Mask R-CNN模型中特征提取模块进行特征提取，将包含障碍物的特征图输入至特征融合网络模块中进行多尺度特征融合，获得融合后的特征图，并通过RPN网络（区域提议网络）对特征提取网络提取的特征图进行处理，对前景和背景进行二元分类，对边界盒进行回归，生成区域建议，即障碍物识别候选区。
具体实现中，对目标摄像头采集的图像信息进行初筛选，获得障碍物识别候选区。所述障碍物候选区是通过对视频图像信息中的图像帧进行筛选处理获得候选区，所述筛选处理包括图像分割、灰度以及二值化处理，通过上述处理步骤，确定障碍物候选区，由于草地图像上大多数是由草坪、植被、移动物体所构成，因此需要对图像中的草坪、静态物体、运动物体进行定位，需要先对除草坪以外的障碍物区域进行筛选。
步骤S102：基于预设ME Mask R-CNN模型对所述障碍物识别候选区进行特征提取，获得障碍物特征信息。
需说明的是，预设ME Mask R-CNN模型对所述障碍物识别候选区中的静态物体、动态物体进行识别，获得识别结果，根据识别结果确定障碍物特征信息。对区域建议执行ROI对齐，输入ROI头部进行类别分类和回归，以生成边界框和分割掩码，并通过PISA方法对边界框标定的障碍物进行识别，对障碍物进行定位，其中定位过程通过结合除草机器人的移动速度对静态障碍物以及动态障碍物进行标定，并对其进行标定，以便于后期根据点云数据集对障碍物进行进一步的精确划分，获得静态障碍物信息以及动态障碍物信息。
可理解的是，所述障碍物特征信息包括静态特征和动态特征，所述特征包括图像坐标系下的坐标、面积以及障碍物类型。
具体实现中，通过基于预设ME Mask R-CNN模型对所述障碍物识别候选区进行分类以及特征提取，获得静态特征、动态特征。
步骤S103：基于所述ME Mask R-CNN模型对所述障碍物特征信息进行静态障碍物以及动态障碍物跟踪识别，获得静态障碍物信息以及动态障碍物信息。
需说明的是，通过ME Mask R-CNN模型对障碍物类型进行静态障碍物以及动态障碍物跟踪识别，获得静态障碍物信息以及动态障碍物信息。
具体实现中，为了保证对所述障碍物特征信息进行静态障碍物以及动态障碍物跟踪识别，提升识别效率，需要对障碍物进行实时监控，因此需要，通过ME Mask R-CNN模型对障碍物类型进行静态障碍物以及动态障碍物跟踪识别，并确定静态障碍物信息以及动态障碍物信息，所述静态障碍物信息包括坐标、面积以及障碍物类型，所述动态障碍物信息包括：相对移动速度、坐标、面积以及障碍物类型。
在本实施例中，所述步骤S20还包括：
步骤S201：基于半径滤波器对预设激光雷达采集的点云数据进行离群点检测，获得离群点信息。
需说明的是，半径滤波器考虑从邻域点数角度对离群点进行检测，该算法首先设置半径参数及点数阈值，并统计该球状邻域内的点数，然后对邻域点数低于阈值的外点进行滤除，运行速度相较于其他滤波算法较快。
可理解的是，通过基于半径滤波器对预设激光雷达采集的点云数据进行离群点检测，获得离群点信息。
步骤S202：将所述离群点信息从所述点云数据中滤除，并基于高斯滤波算法将滤除后的点云数据进行降噪处理，获得降噪后的点云数据。
需说明的是，通过将离群点对应的点云数据从点云数据中滤除，并基于高斯滤波算法将滤除后的点云数据进行降噪处理，获得降噪后的点云数据，高斯滤波算法作为平滑滤波方法，适用于消除高斯噪声，该类算法首先指定作用邻域； 然后对于点云中每一点，计算其到邻域内每一点的欧式距离； 之后基于欧式距离为高斯分布的假设，计算对应权重；最后考虑采用加权平均的方式，修正当前点的位置，达到减噪目的。算法滤波平滑效果较强，但对于边、角等曲率较大的区域亦存在较大平滑效应。
可理解的是，通过基于高斯滤波算法将滤除后的点云数据进行降噪处理，获得降噪后的点云数据。
步骤S203：基于预设语义分割模型对所述降噪后的点云数据进行特征提取，获得点云颜色信息以及几何信息。
需说明的是，预设语义分割模型是预先设置的语义算法构建的模型，所述模型适用于针对真实场景进行双通道特征融合的语义分割模型，更有效提取颜色与空间几何特征，进一步地提高分割精度。其中所述模型可以是基于逐点MLP方法、点卷积方法构建的模型。
可理解的是，本方案通过预设语义分割模型对降噪后的点云数据进行特征提取，获得点云颜色信息以及几何信息。所述点云颜色信息可以是点云数据对应的颜色，其中点云颜色特征可以使用RGB三元组表示，其中不同的颜色可以用于标定不同的障碍物，本方案通过结合视频信息中的场景识别以及障碍物标定结果对点云数据进行相应的颜色标定。通过语义分割模型对点云数据进行颜色标定，并获取点云数据对应的几何信息。
进一步地，所述步骤S203还包括：基于预设语义分割模型中包含的双通道特征提取模块对所述降噪后的点云数据进行颜色特征以及非颜色特征提取，获得包含颜色信息的点云数据以及不包含颜色信息的点云数据；对所述包含颜色信息的点云数据以及所述不包含颜色信息的点云数据进行维度筛选，获得目标三维点云数据集；将所述目标三维点云数据集中的几何特征进行统计，获得几何信息。
需说明的是，预设语义分割模型采用了层间融合模块和Transformer通道特征扩充模块，弥补局部特征聚合过程中的特征丢失，改善网络性能；上下两个通道所提取的特征通过DCFFS 模块进行融合，从而获得更好的分割效果。
应理解的是，所述点云颜色信息是指包含颜色信息的点云数据以及不包含颜色信息的点云数据，其中包含颜色信息的点云数据是指赋色后的点云数据，所述点云数据包含包括颜色信息的点云信息，不包含颜色信息的点云数据是指未赋色的点云数据，所述点云数据包括点云信息，本方案通过对除地面以外的物体进行赋色，地面维度的点云数据不进行赋色，从而以便于对障碍物进行定位。
可理解的是，基于预设语义分割模型中包含的双通道特征提取模块对降噪后的点云数据进行颜色特征以及非颜色特征提取，获得包含颜色信息的点云数据以及不包含颜色信息的点云数据；对包含颜色信息的点云数据以及不包含颜色信息的点云数据进行维度筛选，获得目标三维点云数据集；将目标三维点云数据集中的几何特征进行统计，获得几何信息。
步骤S204：根据所述点云颜色信息以及所述几何信息确定预处理后的点云数据集。
需说明的是，根据点云颜色信息以及几何信息确定预处理后的点云数据集。
可理解的是，通过点云颜色信息以及几何信息以便于后期根据视觉识别对应的障碍物信息综合对比确定障碍物信息。
本实施例对目标摄像头采集的图像信息进行初筛选，获得障碍物识别候选区；基于预设ME Mask R-CNN模型对所述障碍物识别候选区进行特征提取，获得障碍物特征信息；基于所述ME Mask R-CNN模型对所述障碍物特征信息进行静态障碍物以及动态障碍物跟踪识别，获得静态障碍物信息以及动态障碍物信息；基于半径滤波器对预设激光雷达采集的点云数据进行离群点检测，获得离群点信息；将所述离群点信息从所述点云数据中滤除，并基于高斯滤波算法将滤除后的点云数据进行降噪处理，获得降噪后的点云数据；基于预设语义分割模型对所述降噪后的点云数据进行特征提取，获得点云颜色信息以及几何信息；根据所述点云颜色信息以及所述几何信息确定预处理后的点云数据集；对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息，本实施例通过预设ME MaskR-CNN模型对图像信息进行障碍物跟踪，并结合激光雷达采集的点云数据对空间障碍物进行检测，融合上述两种检测方式获得的结果确定障碍物信息，相较于通过传感器感应障碍物，障碍物识别准确性较差，导致除草效率低，本实施例能够满足多种障碍物类型的检测，并实现更加精准的障碍物检测，进而提升除草效率。
参照图4，图4为本发明除草障碍物检测方法第三实施例的流程示意图，基于上述图3所示的第二实施例，提出本发明除草障碍物检测方法的第三实施例。
在本实施例中，所述步骤S40还包括：
步骤S401：将所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息进行特征维度拼接，获得拼接后的特征信息。
需说明的是，对于不同维度提取的特征进行特征拼接，获得拼接后的特征信息。
可理解的是了，通过将图像维度以及点云维度对应的地面聚类结果、障碍物聚类结果、静态障碍物信息以及动态障碍物信息进行特征维度拼接，获得拼接后的特征信息。
步骤S402：对所述拼接后的特征信息进行逐点特征关联性计算，获得特征相似度。
可理解的是，将拼接后的特征信息建议学习逐点特征间的相关性，从而确定特征相似度，其中特征相似度计算过程可以通过sigmod函数计算相对应的注意力系数，并用于逐元素乘法中，获得特征相似度。
步骤S403：根据所述特征相似度对所述拼接后的特征信息进行融合与分割，获得融合特征信息。
应理解的是，为了提高分割精度必须对这些不同特征进行融合，将特征相似度对特征信息进行融合与分割，获得融合特征信息，根据融合特征信息确定目标除草障碍物信息。
步骤S404：将所述融合特征信息中三维特征信息确定目标除草障碍物信息。
需说明的是，将融合特征信息中三维特征信息确定目标除草障碍物信息。所述三维特征信息包括坐标、形状、体积、表面点等信息。
进一步地，所述步骤S40之后，还包括：将所述目标除草障碍物信息中的点云坐标信息映射至大地坐标系，获得大地坐标信息；根据所述大地坐标信息确定待除草区域，并根据待除草区域规划除草路径；根据所述除草路径对目标草地进行除草。
需说明的是，根据目标除草障碍物信息中的坐标信息映射至大地坐标系下的大地坐标信息；根据大地坐标信息确定待除草区域，并根据待除草区域规划除草路径；根据除草路径对目标草地进行除草。
具体实现中，通过映射大地坐标系下的坐标信息确定障碍物所在位置，并通过预设除草规划模型和障碍物所在位置规划除草路径，所述预设除草规划模型可以是预先设置的用于除草路径规划的模型，所述模型可以是基于人工势场算法构建的距离规划模型。
本实施例基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息；对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集；对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；将所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息进行特征维度拼接，获得拼接后的特征信息；对所述拼接后的特征信息进行逐点特征关联性计算，获得特征相似度；根据所述特征相似度对所述拼接后的特征信息进行融合与分割，获得融合特征信息；将所述融合特征信息中三维特征信息确定目标除草障碍物信息，本实施例通过预设ME Mask R-CNN模型对图像信息进行障碍物跟踪，并结合激光雷达采集的点云数据对空间障碍物进行检测，融合上述两种检测方式获得的结果确定障碍物信息，相较于通过传感器感应障碍物，障碍物识别准确性较差，导致除草效率低，本实施例能够满足多种障碍物类型的检测，并实现更加精准的障碍物检测，进而提升除草效率。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有除草障碍物检测程序，所述除草障碍物检测程序被处理器执行时实现如上文所述的除草障碍物检测方法的步骤。
参照图5，图5为本发明除草障碍物检测装置第一实施例的结构框图。
障碍物检测模块10，用于基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息；
数据处理模块20，用于对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集；
统计聚类模块30，用于对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；
障碍物跟踪模块40，用于根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息。
本实施例基于预设ME Mask R-CNN模型对目标摄像头采集的图像信息进行静态障碍物以及动态障碍物检测，获得静态障碍物信息以及动态障碍物信息；对预设激光雷达采集的点云数据进行预处理，获得预处理后的点云数据集；对所述点云数据集中的地面点云数据以及障碍物点云数据进行聚类分析，获得地面聚类结果以及障碍物聚类结果；根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息，本实施例通过预设ME Mask R-CNN模型对图像信息进行障碍物跟踪，并结合激光雷达采集的点云数据对空间障碍物进行检测，融合上述两种检测方式获得的结果确定障碍物信息，相较于通过传感器感应障碍物，障碍物识别准确性较差，导致除草效率低，本实施例能够满足多种障碍物类型的检测，并实现更加精准的障碍物检测，进而提升除草效率。
进一步地，所述障碍物检测模块10还用于对目标摄像头采集的图像信息进行初筛选，获得障碍物识别候选区；基于预设ME Mask R-CNN模型对所述障碍物识别候选区进行特征提取，获得障碍物特征信息；基于所述ME Mask R-CNN模型对所述障碍物特征信息进行静态障碍物以及动态障碍物跟踪识别，获得静态障碍物信息以及动态障碍物信息。
进一步地，所述数据处理模块20还用于基于半径滤波器对预设激光雷达采集的点云数据进行离群点检测，获得离群点信息；将所述离群点信息从所述点云数据中滤除，并基于高斯滤波算法将滤除后的点云数据进行降噪处理，获得降噪后的点云数据；基于预设语义分割模型对所述降噪后的点云数据进行特征提取，获得点云颜色信息以及几何信息；根据所述点云颜色信息以及所述几何信息确定预处理后的点云数据集。
进一步地，所述点云颜色信息是指包含颜色信息的点云数据以及不包含颜色信息的点云数据；所述数据处理模块20还用于基于预设语义分割模型中包含的双通道特征提取模块对所述降噪后的点云数据进行颜色特征以及非颜色特征提取，获得包含颜色信息的点云数据以及不包含颜色信息的点云数据；对所述包含颜色信息的点云数据以及所述不包含颜色信息的点云数据进行维度筛选，获得目标三维点云数据集；将所述目标三维点云数据集中的几何特征进行统计，获得几何信息。
进一步地，所述统计聚类模块30还用于基于预设空间布局维度以及所述几何信息从所述点云数据集中提取地面点云数据以及障碍物点云数据；对所述地面点云数据进行聚类分析，获得地面聚类结果；对所述障碍物点云数据进行聚类分析，获得障碍物聚类结果。
进一步地，所述统计聚类模块30还用于将所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息进行特征维度拼接，获得拼接后的特征信息；对所述拼接后的特征信息进行逐点特征关联性计算，获得特征相似度；根据所述特征相似度对所述拼接后的特征信息进行融合与分割，获得融合特征信息；将所述融合特征信息中三维特征信息确定目标除草障碍物信息。
进一步地，所述障碍物跟踪模块40还用于将所述目标除草障碍物信息中的点云坐标信息映射至大地坐标系，获得大地坐标信息；根据所述大地坐标信息确定待除草区域，并根据待除草区域规划除草路径；根据所述除草路径对目标草地进行除草。
本发明除草障碍物检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像（Read Only Memory image，ROM）/随机存取存储器（Random AccessMemory，RAM）、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种除草障碍物检测方法，其特征在于，所述除草障碍物检测方法包括以下步骤：
对目标摄像头采集的图像信息进行初筛选，获得障碍物识别候选区；
基于预设ME Mask R-CNN模型对所述障碍物识别候选区进行特征提取，获得障碍物特征信息；
基于所述ME Mask R-CNN模型对所述障碍物特征信息进行静态障碍物以及动态障碍物跟踪识别，获得静态障碍物信息以及动态障碍物信息；
基于半径滤波器对预设激光雷达采集的点云数据进行离群点检测，获得离群点信息；
将所述离群点信息从所述点云数据中滤除，并基于高斯滤波算法将滤除后的点云数据进行降噪处理，获得降噪后的点云数据；
基于预设语义分割模型中包含的双通道特征提取模块对所述降噪后的点云数据进行颜色特征以及非颜色特征提取，获得包含颜色信息的点云数据以及不包含颜色信息的点云数据；
对所述包含颜色信息的点云数据以及所述不包含颜色信息的点云数据进行维度筛选，获得目标三维点云数据集；
将所述目标三维点云数据集中的几何特征进行统计，获得几何信息；
根据所述包含颜色信息的点云数据、所述不包含颜色信息的点云数据以及所述几何信息确定预处理后的点云数据集；
基于预设空间布局维度以及所述几何信息从所述点云数据集中提取地面点云数据以及障碍物点云数据；
对所述地面点云数据进行聚类分析，获得地面聚类结果；
对所述障碍物点云数据进行聚类分析，获得障碍物聚类结果；
根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息。
2.如权利要求1所述的除草障碍物检测方法，其特征在于，所述根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息的步骤，包括：
将所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息进行特征维度拼接，获得拼接后的特征信息；
对所述拼接后的特征信息进行逐点特征关联性计算，获得特征相似度；
根据所述特征相似度对所述拼接后的特征信息进行融合与分割，获得融合特征信息；
将所述融合特征信息中三维特征信息确定目标除草障碍物信息。
3.如权利要求2所述的除草障碍物检测方法，其特征在于，所述将所述融合特征信息中三维特征信息确定目标除草障碍物信息的步骤之后，还包括：
将所述目标除草障碍物信息中的点云坐标信息映射至大地坐标系，获得大地坐标信息；
根据所述大地坐标信息确定待除草区域，并根据待除草区域规划除草路径；
根据所述除草路径对目标草地进行除草。
4.一种除草障碍物检测设备，其特征在于，所述除草障碍物检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的除草障碍物检测程序，所述除草障碍物检测程序被所述处理器执行时实现如权利要求1至3中任一项所述的除草障碍物检测方法。
5.一种存储介质，其特征在于，所述存储介质上存储有除草障碍物检测程序，所述除草障碍物检测程序被处理器执行时实现如权利要求1至3中任一项所述的除草障碍物检测方法。
6.一种除草障碍物检测装置，其特征在于，所述除草障碍物检测装置包括：
障碍物检测模块，用于对目标摄像头采集的图像信息进行初筛选，获得障碍物识别候选区；基于预设ME Mask R-CNN模型对所述障碍物识别候选区进行特征提取，获得障碍物特征信息；基于所述ME Mask R-CNN模型对所述障碍物特征信息进行静态障碍物以及动态障碍物跟踪识别，获得静态障碍物信息以及动态障碍物信息；
数据处理模块，用于基于半径滤波器对预设激光雷达采集的点云数据进行离群点检测，获得离群点信息；将所述离群点信息从所述点云数据中滤除，并基于高斯滤波算法将滤除后的点云数据进行降噪处理，获得降噪后的点云数据；基于预设语义分割模型中包含的双通道特征提取模块对所述降噪后的点云数据进行颜色特征以及非颜色特征提取，获得包含颜色信息的点云数据以及不包含颜色信息的点云数据；对所述包含颜色信息的点云数据以及所述不包含颜色信息的点云数据进行维度筛选，获得目标三维点云数据集；将所述目标三维点云数据集中的几何特征进行统计，获得几何信息，根据包含颜色信息的点云数据、所述不包含颜色信息的点云数据以及所述几何信息确定预处理后的点云数据集；
统计聚类模块，用于基于预设空间布局维度以及所述几何信息从所述点云数据集中提取地面点云数据以及障碍物点云数据；对所述地面点云数据进行聚类分析，获得地面聚类结果；对所述障碍物点云数据进行聚类分析，获得障碍物聚类结果；
障碍物跟踪模块，用于根据所述地面聚类结果、所述障碍物聚类结果、所述静态障碍物信息以及所述动态障碍物信息对除草障碍物进行跟踪，获得目标除草障碍物信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311436383.2A CN117152719B (zh) | 2023-11-01 | 2023-11-01 | 除草障碍物检测方法、设备、存储介质及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311436383.2A CN117152719B (zh) | 2023-11-01 | 2023-11-01 | 除草障碍物检测方法、设备、存储介质及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152719A CN117152719A (zh) | 2023-12-01 |
| CN117152719B true CN117152719B (zh) | 2024-03-26 |
Family
ID=88903212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311436383.2A Active CN117152719B (zh) | 2023-11-01 | 2023-11-01 | 除草障碍物检测方法、设备、存储介质及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152719B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118168559A (zh) * | 2024-05-13 | 2024-06-11 | 锐驰激光(深圳)有限公司 | 割草路径规划方法、装置、设备、存储介质及产品 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921119A (zh) * | 2018-07-12 | 2018-11-30 | 电子科技大学 | 一种障碍物实时检测和分类方法 |
| CN114326704A (zh) * | 2021-11-26 | 2022-04-12 | 潍坊中科晶上智能装备研究院有限公司 | 基于卷积神经网络的智能农机静、动态物体检测的路径规划方法 |
| CN114973199A (zh) * | 2022-05-31 | 2022-08-30 | 广西大学 | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 |
| CN114998276A (zh) * | 2022-06-14 | 2022-09-02 | 中国矿业大学 | 一种基于三维点云的机器人动态障碍物实时检测方法 |
| CN115797739A (zh) * | 2022-11-30 | 2023-03-14 | 东风商用车有限公司 | 井下多传感器融合目标检测方法、装置、设备及存储介质 |
| CN116088503A (zh) * | 2022-12-16 | 2023-05-09 | 深圳市普渡科技有限公司 | 动态障碍物检测方法和机器人 |
| CN116524219A (zh) * | 2023-01-16 | 2023-08-01 | 西北工业大学 | 一种基于激光雷达点云聚类的障碍物检测方法 |
| CN116630931A (zh) * | 2023-04-18 | 2023-08-22 | 中国农业大学 | 障碍物检测方法、系统、农业机械、电子设备和存储介质 |
| WO2023179405A1 (zh) * | 2022-03-21 | 2023-09-28 | 深圳市正浩创新科技股份有限公司 | 障碍物的识别方法、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230012128A1 (en) * | 2021-07-11 | 2023-01-12 | Wanshih Electronic Co., Ltd. | Millimeter wave radar apparatus determining obstacle on railway |
-
2023
- 2023-11-01 CN CN202311436383.2A patent/CN117152719B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921119A (zh) * | 2018-07-12 | 2018-11-30 | 电子科技大学 | 一种障碍物实时检测和分类方法 |
| CN114326704A (zh) * | 2021-11-26 | 2022-04-12 | 潍坊中科晶上智能装备研究院有限公司 | 基于卷积神经网络的智能农机静、动态物体检测的路径规划方法 |
| WO2023179405A1 (zh) * | 2022-03-21 | 2023-09-28 | 深圳市正浩创新科技股份有限公司 | 障碍物的识别方法、设备及存储介质 |
| CN114973199A (zh) * | 2022-05-31 | 2022-08-30 | 广西大学 | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 |
| CN114998276A (zh) * | 2022-06-14 | 2022-09-02 | 中国矿业大学 | 一种基于三维点云的机器人动态障碍物实时检测方法 |
| CN115797739A (zh) * | 2022-11-30 | 2023-03-14 | 东风商用车有限公司 | 井下多传感器融合目标检测方法、装置、设备及存储介质 |
| CN116088503A (zh) * | 2022-12-16 | 2023-05-09 | 深圳市普渡科技有限公司 | 动态障碍物检测方法和机器人 |
| CN116524219A (zh) * | 2023-01-16 | 2023-08-01 | 西北工业大学 | 一种基于激光雷达点云聚类的障碍物检测方法 |
| CN116630931A (zh) * | 2023-04-18 | 2023-08-22 | 中国农业大学 | 障碍物检测方法、系统、农业机械、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152719A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7395301B2 (ja) | 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体 | |
| Vandapel et al. | Natural terrain classification using 3-d ladar data | |
| Fritsch et al. | A new performance measure and evaluation benchmark for road detection algorithms | |
| Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
| US10043097B2 (en) | Image abstraction system | |
| CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| CN117152719B (zh) | 除草障碍物检测方法、设备、存储介质及装置 | |
| CN112949366B (zh) | 障碍物识别方法和装置 | |
| CN111027481A (zh) | 基于人体关键点检测的行为分析方法及装置 | |
| Mei et al. | Scene-adaptive off-road detection using a monocular camera | |
| Lin et al. | Development of navigation system for tea field machine using semantic segmentation | |
| Liu et al. | Autonomous road detection and modeling for UGVs using vision-laser data fusion | |
| Kalantar et al. | Smart counting–oil palm tree inventory with UAV | |
| CN111487643B (zh) | 一种基于激光雷达点云和近红外影像的建筑物检测方法 | |
| CN114283355A (zh) | 一种基于小样本学习的多目标濒危动物跟踪方法 | |
| Ferguson et al. | A 2d-3d object detection system for updating building information models with mobile robots | |
| Xiao et al. | Geo-spatial aerial video processing for scene understanding and object tracking | |
| Kukolj et al. | Road edge detection based on combined deep learning and spatial statistics of LiDAR data | |
| Aadi et al. | Proposed real-time obstacle detection system for visually impaired assistance based on deep learning | |
| Koc-San et al. | A model-based approach for automatic building database updating from high-resolution space imagery | |
| CN113496163A (zh) | 障碍物识别方法和装置 | |
| Budzan | Fusion of visual and range images for object extraction | |
| Hamzah et al. | Drone Aerial Image Identification of Tropical Forest Tree Species Using the Mask R-CNN | |
| CN112233121A (zh) | 一种基于双目空间定位和智能分割的果实产量估算方法 | |
| Meger et al. | Mobile 3D object detection in clutter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |