CN117523532B - 一种杂草点云滤除方法、系统和存储介质 - Google Patents

一种杂草点云滤除方法、系统和存储介质 Download PDF

Info

Publication number
CN117523532B
CN117523532B CN202311611382.7A CN202311611382A CN117523532B CN 117523532 B CN117523532 B CN 117523532B CN 202311611382 A CN202311611382 A CN 202311611382A CN 117523532 B CN117523532 B CN 117523532B
Authority
CN
China
Prior art keywords
weed
pixel
target
map
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311611382.7A
Other languages
English (en)
Other versions
CN117523532A (zh
Inventor
刘文静
兰晓松
刘羿
何贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinian Zhijia Technology Co ltd
Original Assignee
Beijing Sinian Zhijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinian Zhijia Technology Co ltd filed Critical Beijing Sinian Zhijia Technology Co ltd
Priority to CN202311611382.7A priority Critical patent/CN117523532B/zh
Publication of CN117523532A publication Critical patent/CN117523532A/zh
Application granted granted Critical
Publication of CN117523532B publication Critical patent/CN117523532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供一种杂草点云滤除方法、系统和存储介质。该方法包括:获取目标时刻对应的传感数据和雷达点云数据;基于传感数据,确定雷达点云数据中的初步杂草点;基于初步杂草点和前一时刻对应的前一杂草地图,确定目标时刻对应的目标杂草地图,目标杂草地图体现目标时刻对应的车辆预设范围内的杂草情况;基于目标时刻对应的目标杂草地图,确定雷达点云数据中的目标杂草点并对目标杂草点进行滤除。

Description

一种杂草点云滤除方法、系统和存储介质
技术领域
本说明书涉及自动驾驶领域,特别涉及一种杂草点云滤除方法、系统和存储介质。
背景技术
对自车周围障碍物的准确识别,对无人驾驶车辆的安全性、可靠性上都具有重要意义,是构建高级自动驾驶系统的关键一环。障碍物识别通常基于雷达点云数据进行,在众多待识别的障碍物类型中,因杂草形态复杂,在高度、密度、生长区域上,并没有固定的几何规律;且车辆上部署的激光雷达,可视范围很大,但线数、点数有限,尤其对于小簇杂草,返回的激光点很少,因此从点云中识别杂草较为困难。倘若无法将杂草点从雷达点云数据中滤除,就无法有效避免杂草点引起的误停车。
因此,希望提供一种杂草点云滤除方法、系统和存储介质,有效识别雷达点云数据中的杂草点并进行滤除。
发明内容
本说明书一个或多个实施例提供一种杂草点云滤除方法,所述方法包括:获取目标时刻对应的传感数据和雷达点云数据;基于所述传感数据,确定所述雷达点云数据中的初步杂草点;基于所述初步杂草点和前一时刻对应的前一杂草地图,确定所述目标时刻对应的目标杂草地图,所述目标杂草地图体现所述目标时刻对应的车辆预设范围内的杂草情况;基于所述目标时刻对应的所述目标杂草地图,确定所述雷达点云数据中的目标杂草点并对所述目标杂草点进行滤除。
本说明书一个或多个实施例提供一种杂草点云滤除系统,所述系统包括:获取模块,用于获取目标时刻对应的传感数据和雷达点云数据;第一确定模块,用于基于所述传感数据,确定所述雷达点云数据中的初步杂草点;第二确定模块,用于基于所述初步杂草点和前一时刻对应的前一杂草地图,确定所述目标时刻对应的目标杂草地图,所述目标杂草地图体现所述目标时刻对应的车辆预设范围内的杂草情况;滤除模块,用于基于所述目标时刻对应的所述目标杂草地图,确定所述雷达点云数据中的目标杂草点并对所述目标杂草点进行滤除。
本说明书一个或多个实施例提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行所述杂草点云滤除方法。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的杂草点云滤除系统的示意图;
图2是根据本说明书一些实施例所示的杂草点云滤除方法的示例性流程图;
图3是根据本说明书一些实施例所示的确定目标杂草地图的示意图;
图4是根据本说明书一些实施例所示的车辆上相机和激光雷达的位置示意图;
图5A是根据本说明书一些实施例所示的重叠区域的示意图;
图5B是根据本说明书一些实施例所示的完整像素点和不完整像素点的示意图;
图5C是根据本说明书一些实施例所示的邻域像素点的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的杂草点云滤除系统的示意图。
在一些实施例中,杂草点云滤除系统100可以包括获取模块110、第一确定模块120、第二确定模块130和滤除模块140。
在一些实施例中,获取模块110可以用于获取目标时刻对应的传感数据和雷达点云数据。
在一些实施例中,第一确定模块120可以用于基于传感数据,确定雷达点云数据中的初步杂草点。
在一些实施例中,第二确定模块130可以用于基于初步杂草点和前一时刻对应的前一杂草地图,确定目标时刻对应的目标杂草地图。
在一些实施例中,第二确定模块130还可以用于构建目标时刻对应的初始目标杂草地图;确定初始目标杂草地图与前一杂草地图的重叠区域;基于前一杂草地图,确定初始目标杂草地图中重叠区域的至少部分像素点的第一像素值;基于初步杂草点,确定初始目标杂草地图中非重叠区域的至少部分像素点的第二像素值;基于初始目标杂草地图、第一像素值和第二像素值,确定目标时刻对应的目标杂草地图。
在一些实施例中,滤除模块140可以用于基于目标时刻对应的目标杂草地图,确定雷达点云数据中的目标杂草点并对目标杂草点进行滤除。
关于目标时刻、传感数据、雷达点云数据、初步杂草点、前一时刻、前一杂草地图、目标杂草地图、初始目标杂草地图、重叠区域、第一像素值、第二像素值、目标杂草点的更多内容可以参见图2、图3及其相关描述。
需要注意的是,以上对于杂草点云滤除及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。在一些实施例中,图1中披露的获取模块110、第一确定模块120、第二确定模块130、滤除模块140可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
图2是根据本说明书一些实施例所示的杂草点云滤除方法的示例性流程图。如图2所示,流程200包括下述步骤。在一些实施例中,流程200可以由处理器执行。
步骤210,获取目标时刻对应的传感数据和雷达点云数据。
目标时刻可以指需要进行杂草滤除的时刻。例如,目标时刻可以为当前时刻等。
传感数据可以指汽车上传感设备采集到的传感数据信息。例如,汽车车身上的相机的拍摄画面等。
在一些实施例中,处理器可以通过传感设备直接获取传感数据。传感设备可以包括相机等。在一些实施例中,相机的像素可以为1940×1080,左右视场角可以为120度。在一些实施例中,如图4所示,相机可以安装于车前居中处。
雷达点云数据可以指是由激光雷达设备扫描得到的空间点的数据集。
在一些实施例中,处理器可以通过激光雷达设备直接获取雷达点云数据。
在一些实施例中,如图4所示,汽车车身可以安装有四颗激光雷达,分布在自车左前、右前、左后、右后位置。
步骤220,基于传感数据,确定雷达点云数据中的初步杂草点。
初步杂草点可以指初步确定为杂草的点云数据。
在一些实施例中,处理器可以基于传感数据,通过以下步骤确定雷达点云数据中的初步杂草点:
步骤一:处理器可以通过杂草标注模型对传感数据进行处理,获取标注传感数据。
在一些实施例中,杂草标注模型可以为机器学习模型。例如,卷积神经网络(Convolutional Neural Network,CNN)模型等。杂草标注模型的输入可以为传感数据(例如,拍摄图像等),输出可以为标注传感数据(例如,标注杂草像素点的拍摄图像等)。在一些实施例中,杂草标注模型可以通过多个带有标签的训练样本训练得到。训练样本可以包括样本传感数据,标签可以包括标注杂草像素点的样本传感数据。训练样本可以基于历史数据获取,标签可以通过人工标注的方式确定。
步骤二:处理器可以将标注传感数据、雷达点云数据进行坐标系转换,获取车体坐标系下标注传感数据的杂草像素点到雷达点云的映射关系。
可以理解的,传感设备(例如,相机等)具有对应的传感设备坐标系(例如,以相机为中心的坐标系),雷达设备具有对应的雷达坐标系(例如,以雷达为中心的坐标系),处理器可以将前述坐标系均转换为车体坐标系,进而得到标注传感数据的杂草像素点到雷达点云数据中点的映射关系。其中,车体坐标系可以指以车体中心(例如,车头后轴中心位置等)为坐标中心、沿车头向前为x轴正向、垂直于x轴向左为y轴正向的坐标系。具体的转换过程可以基于转换矩阵等方式实现,此处不再赘述。
步骤三:处理器可以将标注传感数据的杂草像素点对应的雷达点云数据的点进行标注,确定为初步杂草点。例如,处理器可以基于标注传感数据的杂草像素点,为对应的雷达点云数据的点的标注(label)字段赋值,label=1为初步杂草点。
步骤230,基于初步杂草点和前一时刻对应的前一杂草地图,确定目标时刻对应的目标杂草地图。
前一时刻可以指目标时刻之前的时刻。例如,目标时刻为t时刻,前一时刻可以为t-1时刻。
在一些实施例中,前一时刻可以基于经验或需求设定。
杂草地图可以指体现车辆预设范围内的杂草情况的图。
预设范围可以基于经验或需求设定。例如,预设范围可以为车周60×60m矩形范围。仅作为示例的,杂草地图可以为以车体中心为坐标中心、尺寸为60×60m的图。
在一些实施例中,杂草地图的分辨率可以基于经验或需求设定。例如,处理器可以设置杂草地图的分辨率为0.1m/pixel,对于前述尺寸为60×60m的杂草地图,则其像素尺寸为600×600pixel。
在一些实施例中,杂草地图中包括多个像素点,每个像素点具有对应的像素值。像素值可以指反映像素点为杂草可能性大小的参数。例如,像素值可以为0-100的数值,数值越大,表示像素点为杂草点的可能性越大。
前一杂草地图可以指前一时刻对应的杂草地图。
在一些实施例中,处理器可以基于历史数据获取前一杂草地图。
在一些实施例中,若不存在前一杂草地图,即目标杂草地图为第一幅获取的杂草地图时,处理器可以直接将雷达点云数据转换至杂草地图坐标系,确定为目标杂草地图。
目标杂草地图可以指目标时刻对应的杂草地图。目标杂草地图可以体现目标时刻对应的车辆预设范围内的杂草情况。
在一些实施例中,杂草地图的中心位置为车体中心,x轴和y轴分别平行于通用横墨卡托格网系统(Universal Transverse Mercator Grid System,UTM)坐标系的x轴和y轴。
车体中心可以指车身的中心,例如,车体中心可以为车头后轴中心位置等。在一些实施例中,处理器可以基于GPS卫星系统等等获取车辆位置信息,确定车体中心。
在一些实施例中,处理器可以基于转换矩阵等实现车体坐标系至UTM坐标系的转化,获取UTM坐标系下的雷达点云数据及对应的初步杂草点,将其进行像素值标注(例如,处理器可以标注初步杂草点的像素值为100,其余点的像素值为0等),进而实现杂草地图的构建。
可以理解的,车辆是不断移动的,处理器可以基于预设频率对杂草地图进行实时更新,以获取连续的前一杂草地图、目标杂草地图。预设频率可以基于经验或需求设定,例如,预设频率可以为雷达点云数据的输出频率10Hz等。
通过设置杂草地图的中心位置为车体中心,x轴和y轴分别平行于UTM坐标系的x轴和y轴,可以避免保存雷达点云数据时帧数的不确定性带来的问题,还可以保证无论车体如何移动,对杂草地图进行实时更新时,前一杂草地图和目标杂草地图始终保持平移关系,避免像素旋转带来的精度损失。
在一些实施例中,处理器可以基于初步杂草点和前一时刻对应的前一杂草地图,通过多种方式确定目标时刻对应的目标杂草地图。例如,处理器可以直接将初步杂草点标注于前一时刻对应的前一杂草地图中,作为目标杂草地图。
在一些实施例中,处理器可以构建目标时刻对应的初始目标杂草地图;确定初始目标杂草地图与前一杂草地图的重叠区域;基于前一杂草地图,确定初始目标杂草地图中重叠区域的至少部分像素点的第一像素值;基于初步杂草点,确定初始目标杂草地图中非重叠区域的至少部分像素点的第二像素值;基于初始目标杂草地图、第一像素值和第二像素值,确定目标时刻对应的目标杂草地图。具体说明可以参见图3及其相关描述。
步骤240,基于目标时刻对应的目标杂草地图,确定雷达点云数据中的目标杂草点并对目标杂草点进行滤除。
目标杂草点可以指最终确定为杂草的点云数据。
在一些实施例中,处理器可以通过转换矩阵等方式,将雷达点云数据转换于目标杂草地图的坐标系下,判断雷达点云数据中的每个点在目标时刻对应的目标杂草地图中的像素值是否满足预设条件,将满足预设条件的点确定为目标杂草点。预设条件可以基于用户输入信息获取。例如,预设条件可以为像素值大于预设阈值。预设阈值可以基于经验或需求设定,例如,预设阈值可以为30。
在一些实施例中,预设阈值可以相关于天气数据。天气数据可以指表征天气状况的相关参数。例如,温度、湿度、可见度等。
在一些实施例中,处理器可以通过预设阈值确定模型对天气数据进行处理,确定预设阈值。
在一些实施例中,预设阈值确定模型可以是机器学习模型,例如,神经网络(Neural Networks,NN)模型等。
在一些实施例中,预设阈值确定模型的输入可以是天气数据;输出可以是预设阈值。
在一些实施例中,预设阈值确定模型可以通过多个带有标签的训练样本训练得到。训练样本可以包括样本天气数据,标签可以包括前述天气数据对应的除草效果最好的实际预设预支。训练样本可以基于历史数据获取,标签可以通过人工标注的方式确定,例如,用户可以在样本天气数据下,采用多个预设阈值进行杂草滤除,选择除草效果最好的预设阈值作为标签。
通过设置预设阈值相关于天气数据,可以考虑天气因素,使得预设阈值的设置更加结合实际详情,使得除草更加精确。
在一些实施例中,处理器可以基于确定的目标杂草点,通过预设算法等在雷达点云数据中进行滤除。
通过获取目标时刻对应的传感数据和雷达点云数据,确定雷达点云数据中的初步杂草点;基于初步杂草点和前一时刻对应的前一杂草地图,确定目标时刻对应的目标杂草地图,确定雷达点云数据中的目标杂草点并对目标杂草点进行滤除,可以利用单一相机的自车前方检测结果,结合雷达点云数据构造出自车周全域的杂草地图,获取准确标注的杂草点并进行滤除,避免杂草对障碍物检测的干扰。
图3是根据本说明书一些实施例所示的确定目标杂草地图的示意图。
在一些实施例中,处理器可以构建目标时刻对应的初始目标杂草地图310;确定初始目标杂草地图310与前一杂草地图320的重叠区域331;基于前一杂草地图320,确定初始目标杂草地图310中重叠区域331的至少部分像素点的第一像素值341;基于初步杂草点351,确定初始目标杂草地图310中非重叠区域332的至少部分像素点的第二像素值342;基于初始目标杂草地图310、第一像素值341和第二像素值342,确定目标时刻对应的目标杂草地图360。
初始目标杂草地图310可以指初步构建的目标杂草地图。
可以理解的,初始目标杂草地图310仅体现车体中心及尺寸大小,并不体现具体像素点的像素值。关于目标杂草地图、像素点、像素值的更多内容可以参见图2及其相关描述。
在一些实施例中,处理器可以基于车辆位置信息及预设范围,构建目标时刻对应的初始目标杂草地图310。例如,处理器可以基于目标时刻对应的车辆位置信息,确定车体中心为中心位置,基于预设范围为60×60m,构建尺寸为600×600pixel的杂草地图,将所有像素点赋值为0,作为目标时刻对应的初始目标杂草地图310。关于车辆位置信息、车体中心、预设范围等的更多内容可以参见图2及其相关描述。
重叠区域331可以指初始目标杂草地图与前一杂草地图的重叠部分。例如,如图5A所示,重叠区域可以为前一杂草地图(mat t-1)和初始目标杂草地图(mat t)的交集重叠区域A。
非重叠区域332可以指初始目标杂草地图中,与前一杂草地图的非重叠部分。
在一些实施例中,处理器可以基于UTM坐标系上初始目标杂草地图310和前一杂草地图320的相对位置,确定重叠区域331和非重叠区域332。
第一像素值341可以指初始目标杂草地图中重叠区域的像素点的像素值。关于像素值的更多内容可以参见图2及其相关描述。
在一些实施例中,处理器可以将前一杂草地图320中重叠区域331中所有像素点的像素值,直接作为初始目标杂草地图310的重叠区域中对应像素点的第一像素值341。
在一些实施例中,响应于初始目标杂草地图310中,重叠区域331包含不完整像素点374和完整像素点371,对于完整像素点371,处理器可以确定前一杂草地图320中,完整像素点371的邻域像素点372;对邻域像素点372的像素值进行插值处理,确定插值像素值373;至少基于插值像素值373,确定完整像素点371对应的第一像素值341;对于不完整像素点374,基于雷达点云数据,确定不完整像素点374对应的第一像素值341。
完整像素点371可以指重叠区域中完整包括的像素点。其中,完整可以指像素块的所有面积全部被包含在重叠区域中,例如,如图5B所示,完整像素点371可以为重叠区域中的阴影部分的像素点。
不完整像素点374可以指重叠区域中不完整包括的像素点。其中,不完整可以指像素块的有部分面积未被包含在重叠区域中,例如,如图5B所示,不完整像素点374可以为重叠区域中的非阴影部分的像素点。
在一些实施例中,处理器可以直接获取重叠区域331的大小,判断重叠区域331是否包含不完整像素点374。例如,处理器可以基于重叠区域的大小为2×3pixel,判断重叠区域仅包含完整像素点371;处理器可以基于重叠区域的大小为2.5×3.2pixel,判断重叠区域包含不完整像素点374和完整像素点371。
邻域像素点372可以指与完整像素点相交的前一杂草地图中的像素点。
例如,如图5C所示,对于重叠区域中的完整像素点13(mat t中的像素点13),其与前一杂草地图中的像素点6、7、10、11(mat t-1中的像素点6、7、10、11)相交,即其邻域像素点可以为前一杂草地图中的像素点6、7、10、11。
在一些实施例中,处理器可以基于重叠区域331中的完整像素点371,将其覆盖的前一杂草地图320中的像素点确定为邻域像素点372。
插值像素值373可以指经插值运算后获取的像素值。
在一些实施例中,处理器可以对邻域像素点372的像素值进行插值处理,通过预设插值算法计算确定插值像素值373。预设插值算法可以基于经验或需求设定。例如,如图5B、5C所示,处理器可以设定预设插值算法为求取平均值,计算邻域像素点(mat t-1中的像素点6、7、10、11)的像素值的平均值,确定为完整像素点(mat t中的像素点13)的插值像素值。
在一些实施例中,处理器可以基于邻域像素点372的像素值,加权确定插值像素值373,加权的权重基于完整像素点371在邻域像素点372的覆盖面积确定。
覆盖面积可以指完整像素点与前一杂草地图中各邻域像素点相交的面积。例如,如图5B和图5C所示,覆盖面积可以指完整像素点(mat t中的像素点13)与各邻域像素点(mat t-1中的像素点6、7、10、11)相交的具体面积。
仅作为示例,如图5B和图5C所示,处理器可以确定完整像素点(mat t中的像素点13)的像素值=k1×邻域像素点1(mat t-1中的像素点6)+k2×邻域像素点2(mat t-1中的像素点7)+k3×邻域像素点3(mat t-1中的像素点10)+k4×邻域像素点4(mat t-1中的像素点11),其中,k1-k4为权重。
在一些实施例中,处理器可以设置权重与覆盖面积成正比。例如,处理器可以设置权重为某一完整像素点在各邻域像素点的覆盖面积与各邻域像素点总面积的比值。仅作为示例,如图5B和图5C所示,前述k1可以为完整像素点(mat t中的像素点13)在邻域像素点1(mat t-1中的像素点6)的覆盖面积与邻域像素点1(mat t-1中的像素点6)的总面积的比值,k2-k4同理。
通过基于邻域像素点的像素值,加权确定插值像素值,加权的权重基于完整像素点在邻域像素点的覆盖面积确定,可以充分考虑多像素占据面积的影响因素,使得插值结果能够更具有代表性。
在一些实施例中,处理器在通过预设插值算法计算确定插值像素值373之前,可以基于时间衰减系数381对邻域像素点372的像素值进行预处理。例如,处理器可以计算确定时间衰减系数381与邻域像素点372的像素值的乘积,基于该乘积,再通过预设插值算法计算确定插值像素值373。关于时间衰减系数381的更多内容可以参见后述相关描述。
在一些实施例中,处理器可以基于插值像素值373,通过多种方式确定完整像素点371对应的第一像素值341。例如,处理器可以直接将插值像素值373作为完整像素点371对应的第一像素值341。又例如,处理器可以将插值像素值373与目标时刻的UTM坐标系下的雷达点云数据(例如,若完整像素点对应雷达点云数据中的初步杂草点,则其像素值可以赋值为100,若完整像素点对应雷达点云数据的其他点,则其像素值可以赋值为0等)经加权计算后,确定为完整像素点371对应的第一像素值341。权重可以基于经验或需求预设,例如,权重可以为插值像素值0.1,雷达点云数据0.9等。
在一些实施例中,处理器可以基于雷达点云数据,确定不完整像素点374对应的第一像素值341。例如,处理器可以基于UTM坐标系下的雷达点云数据及对应的初步杂草点351,确定不完整像素点374对应的第一像素值341(例如,若不完整像素点对应雷达点云数据中的初步杂草点351,则其第一像素值可以赋值为100,若不完整像素点对应雷达点云数据的其他点,则其第一像素值可以赋值为0)。
通过对于完整像素点,确定前一杂草地图中,完整像素点的邻域像素点;对邻域像素点的像素值进行插值处理,确定插值像素值,进而确定完整像素点对应的第一像素值,可以综合考虑邻域像素点的已知相关信息,通过插值运算确定较为准确的第一像素值。
在一些实施例中,处理器可以响应于初始目标杂草地图310中,重叠区域331不包含不完整像素点374,至少基于前一杂草地图320中重叠区域331对应的像素点的像素值383和时间衰减系数381,确定初始目标杂草地图310中与重叠区域331对应的第一像素值341。关于判断重叠区域331是否包含不完整像素点374的更多内容可以参见前述相关内容。
时间衰减系数381可以指与时间相关的衰减系数。在一些实施例中,时间衰减系数381可以表示为0.9-1的数值。
在一些实施例中,时间衰减系数381可以基于前一时刻与目标时刻的时间距离确定,时间距离越大,衰减越强,时间衰减系数381越小。具体数值可以基于经验或需求设定。
在一些实施例中,若初始目标杂草地图310中,重叠区域331不包含不完整像素点374,处理器可以将前一杂草地图320中重叠区域331对应的像素点的像素值383和时间衰减系数381的乘积,确定为初始目标杂草地图310中与重叠区域331对应的第一像素值341。
通过基于前一杂草地图中重叠区域对应的像素点的像素值和时间衰减系数,确定初始目标杂草地图中与重叠区域对应的第一像素值,可以在构建目标杂草地图时考虑前一时刻至目标时刻的时间距离的影响,使得离目标时刻越远的历史信息的可信度越低、衰减越多,使得结果更加精确,减少时间上的累计误差。
第二像素值可以指初始目标杂草地图中非重叠区域的像素点的像素值。
在一些实施例中,处理器可以将初步杂草点351与初始目标杂草地图310的非重叠区域332中的像素点进行对比,为对应的像素点进行赋值,确定第二像素值342。例如,处理器可以将初始目标杂草地图310的非重叠区域332中与初步杂草点351对应的像素点赋值为100,其余像素点赋值为0,作为第二像素值342。
在一些实施例中,处理器可以将初步杂草点351转换至初始目标杂草地图310对应的坐标系,确定初步杂草像素点352;基于初步杂草像素点352对应的初始像素值353和空间衰减系数382,确定初始目标杂草地图310中非重叠区域332的至少部分像素点的第二像素值342。
初步杂草像素点352可以指初步杂草点转换坐标系后对应的像素点。例如,初步杂草像素点352可以指初步杂草点在杂草地图坐标系下对应的像素点。
在一些实施例中,处理器可以通过转换矩阵等方式,将初步杂草点351转换至初始目标杂草地图310对应的坐标系,确定初步杂草像素点352。
初始像素值353可以指初始确定的像素值。在一些实施例中,处理器可以确定初步杂草像素点352对应的初始像素值为100。
空间衰减系数382可以指与空间相关的衰减系数。在一些实施例中,空间衰减系数382可以表示为0.9-1的数值。
在一些实施例中,空间衰减系数382可以负相关于初步杂草点351与车辆间的空间距离。空间距离越大,衰减越强,空间衰减系数382越小。
可以理解的,初步杂草点351来源于传感数据中的杂草检测结果至雷达点云数据的映射,其会受相机标定、雷达标定精度的影响,若标定角度存在误差,会随着距离的增加而放大。通过设置空间衰减系数382负相关于初步杂草点351与车辆间的空间距离,可以使得距离车体越远的检测结果,可信度越低。
在一些实施例中,处理器可以基于初步杂草点351与车辆间的空间距离,通过预设规则确定空间衰减系数382。仅作为示例,预设规则可以为预设公式 其中,α表示空间衰减系数,x表示初步杂草点与车辆间的空间距离。处理器可以基于欧式距离等方式,计算初步杂草点对应的初步杂草像素点352与车体中心像素点的距离,确定空间距离。
在一些实施例中,空间衰减系数382可以基于天气状况自适应调整。例如,雾霾天气下,可见度下降,传感设备获取的传感数据精度可能下降,致使后续获取的像素值的精确度下降,空间衰减系数可以适当调高。又例如,晴朗天气下,湿度下降,传感设备获取的传感数据、像素值精度较为准确,空间衰减系数可以适当调低。具体的调整数值可以基于经验或需求设定。
天气状况可以指反应天气情况的相关信息。在一些实施例中,天气状况可以通过天气数据进行表示。关于天气数据的更多内容可以参见图2及其相关描述。
在一些实施例中,自适应调整可以基于空间衰减系数确定模型实现。处理器可以通过空间衰减系数确定模型对天气数据进行处理,确定空间衰减系数。
在一些实施例中,空间衰减系数确定模型可以是机器学习模型,例如,神经网络(Neural Networks,NN)模型等。
在一些实施例中,空间衰减系数确定模型的输入可以是天气数据;输出可以是空间衰减系数382。
在一些实施例中,空间衰减系数确定模型可以通过多个带有标签的训练样本训练得到。训练样本可以包括样本天气数据,标签可以包括前述天气数据对应的除草效果最好的实际空间衰减系数。训练样本可以基于历史数据获取,标签可以通过人工标注的方式确定,例如,用户可以在样本天气数据下,采用多个空间衰减系数进行杂草滤除,选择除草效果最好的空间衰减系数作为标签。
通过设定空间衰减系数基于天气状况自适应调整,可以考虑天气因素,使得空间衰减系数更加贴合实际情况,进而使得获取的目标杂草地图更加精确。
在一些实施例中,处理器可以基于初步杂草像素点352对应的初始像素值353和空间衰减系数382,通过计算确定初始目标杂草地图310中非重叠区域332的至少部分像素点的第二像素值342。例如,处理器可以确定初始目标杂草地图310中非重叠区域332中,与初步杂草像素点352对应的像素点,将其对应的初始像素值353与空间衰减系数382的乘积,作为第二像素值342。
通过基于初步杂草像素点对应的初始像素值和空间衰减系数,确定初始目标杂草地图中非重叠区域的至少部分像素点的第二像素值,可以在构建目标杂草地图时考虑像素点至车体的空间距离的影响,使得离车体越远的检测结果的可信度越低、衰减越多,使得结果更加精确,减少空间上的累计误差。
在一些实施例中,处理器可以将确定的第一像素值341和第二像素值342赋值与初始目标杂草地图310上,确定为目标时刻对应的目标杂草地图360。
通过构建目标时刻对应的初始目标杂草地图,确定初始目标杂草地图与前一杂草地图的重叠区域,确定第一像素值和第二像素值,进而确定目标时刻对应的目标杂草地图,可以综合考虑多种因素的影响,最大程度保留已知信息,使得得到的杂草地图更加贴合实际,更加准确。
本说明书一个或多个实施例还提供了一种计算机可读存储介质,该存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如上述实施例中任一项所述的杂草点云滤除方法。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (9)

1.一种杂草点云滤除方法,其特征在于,所述方法包括:
获取目标时刻对应的传感数据和雷达点云数据;
基于所述传感数据,确定所述雷达点云数据中的初步杂草点;
构建所述目标时刻对应的初始目标杂草地图;
确定所述初始目标杂草地图与前一时刻对应的前一杂草地图的重叠区域;
基于所述前一杂草地图,确定所述初始目标杂草地图中所述重叠区域的至少部分像素点的第一像素值;
基于所述初步杂草点,确定所述初始目标杂草地图中非重叠区域的至少部分像素点的第二像素值;
基于所述初始目标杂草地图、所述第一像素值和所述第二像素值,确定所述目标时刻对应的目标杂草地图,所述目标杂草地图体现所述目标时刻对应的车辆预设范围内的杂草情况;
基于所述目标时刻对应的所述目标杂草地图,确定所述雷达点云数据中的目标杂草点并对所述目标杂草点进行滤除。
2.根据权利要求1所述的方法,其特征在于,所述基于所述前一杂草地图,确定所述初始目标杂草地图中所述重叠区域的至少部分像素点的第一像素值包括:
响应于所述初始目标杂草地图中,所述重叠区域包含不完整像素点和完整像素点,
对于所述完整像素点,确定所述前一杂草地图中,所述完整像素点的邻域像素点;
对所述邻域像素点的像素值进行插值处理,确定插值像素值;
至少基于所述插值像素值,确定所述完整像素点对应的第一像素值;
对于所述不完整像素点,基于所述雷达点云数据,确定所述不完整像素点对应的第一像素值。
3.根据权利要求1所述的方法,其特征在于,所述基于所述前一杂草地图,确定所述初始目标杂草地图中所述重叠区域的至少部分像素点的第一像素值包括:
响应于所述初始目标杂草地图中,所述重叠区域不包含不完整像素点,至少基于所述前一杂草地图中所述重叠区域对应的像素点的像素值和时间衰减系数,确定所述初始目标杂草地图中与所述重叠区域对应的第一像素值。
4.根据权利要求1所述的方法,其特征在于,所述基于所述初步杂草点,确定所述初始目标杂草地图中非重叠区域的至少部分像素点的第二像素值包括:
将所述初步杂草点转换至所述初始目标杂草地图对应的坐标系,确定初步杂草像素点;
基于所述初步杂草像素点对应的初始像素值和空间衰减系数,确定所述初始目标杂草地图中所述非重叠区域的至少部分像素点的第二像素值。
5.根据权利要求4所述的方法,其特征在于,所述空间衰减系数负相关于所述初步杂草点与车辆间的空间距离。
6.根据权利要求4所述的方法,其特征在于,所述空间衰减系数基于天气状况自适应调整。
7.根据权利要求1所述的方法,其特征在于,对于所述前一杂草地图和/或所述目标杂草地图,其中心位置为车体中心,x轴和y轴分别平行于通用横墨卡托格网系统坐标系的x轴和y轴。
8.一种杂草点云滤除系统,其特征在于,所述系统包括:
获取模块,用于获取目标时刻对应的传感数据和雷达点云数据;
第一确定模块,用于基于所述传感数据,确定所述雷达点云数据中的初步杂草点;
第二确定模块,用于:
构建所述目标时刻对应的初始目标杂草地图;
确定所述初始目标杂草地图与前一时刻对应的前一杂草地图的重叠区域;
基于所述前一杂草地图,确定所述初始目标杂草地图中所述重叠区域的至少部分像素点的第一像素值;
基于所述初步杂草点,确定所述初始目标杂草地图中非重叠区域的至少部分像素点的第二像素值;
基于所述初始目标杂草地图、所述第一像素值和所述第二像素值,确定所述目标时刻对应的目标杂草地图,所述目标杂草地图体现所述目标时刻对应的车辆预设范围内的杂草情况;
滤除模块,用于基于所述目标时刻对应的所述目标杂草地图,确定所述雷达点云数据中的目标杂草点并对所述目标杂草点进行滤除。
9.一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取所述存储介质中的所述计算机指令后,所述计算机执行如权利要求1~7任一项所述的杂草点云滤除方法。
CN202311611382.7A 2023-11-29 2023-11-29 一种杂草点云滤除方法、系统和存储介质 Active CN117523532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311611382.7A CN117523532B (zh) 2023-11-29 2023-11-29 一种杂草点云滤除方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311611382.7A CN117523532B (zh) 2023-11-29 2023-11-29 一种杂草点云滤除方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN117523532A CN117523532A (zh) 2024-02-06
CN117523532B true CN117523532B (zh) 2024-06-04

Family

ID=89756550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311611382.7A Active CN117523532B (zh) 2023-11-29 2023-11-29 一种杂草点云滤除方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN117523532B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151418A (zh) * 2005-04-29 2008-03-26 G&G诺芙尼威德米和克斯克德米有限公司 用于构建杂草地图的装置
CN107942312A (zh) * 2017-11-13 2018-04-20 浙江大学 一种基于差分进化入侵杂草优化算法的智能雷达海上目标检测系统及方法
CN114782511A (zh) * 2021-11-15 2022-07-22 中南大学 基于点云数据的建模方法
CN116363021A (zh) * 2023-06-02 2023-06-30 中国人民解放军总医院第八医学中心 一种创伤患者护理评估智能采集系统
CN116485674A (zh) * 2023-04-24 2023-07-25 智道网联科技(北京)有限公司 激光点云数据的实时去噪方法、装置及电子设备、存储介质
CN116978009A (zh) * 2023-07-14 2023-10-31 广西大学 基于4d毫米波雷达的动态物体滤除方法
EP4273501A1 (en) * 2022-05-05 2023-11-08 HERE Global B.V. Method, apparatus, and computer program product for map data generation from probe data imagery

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11567209B2 (en) * 2018-01-23 2023-01-31 Innoviz Technologies Ltd. Distributed LIDAR systems and methods thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151418A (zh) * 2005-04-29 2008-03-26 G&G诺芙尼威德米和克斯克德米有限公司 用于构建杂草地图的装置
CN107942312A (zh) * 2017-11-13 2018-04-20 浙江大学 一种基于差分进化入侵杂草优化算法的智能雷达海上目标检测系统及方法
CN114782511A (zh) * 2021-11-15 2022-07-22 中南大学 基于点云数据的建模方法
EP4273501A1 (en) * 2022-05-05 2023-11-08 HERE Global B.V. Method, apparatus, and computer program product for map data generation from probe data imagery
CN116485674A (zh) * 2023-04-24 2023-07-25 智道网联科技(北京)有限公司 激光点云数据的实时去噪方法、装置及电子设备、存储介质
CN116363021A (zh) * 2023-06-02 2023-06-30 中国人民解放军总医院第八医学中心 一种创伤患者护理评估智能采集系统
CN116978009A (zh) * 2023-07-14 2023-10-31 广西大学 基于4d毫米波雷达的动态物体滤除方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Filtering Method for LiDAR Point Cloud Based on Multi-Scale CNN with Attention Mechanism;Bin Wang等;《Remote Sensing》;20221206;第14卷(第23期);第1-19页 *
Laser scanned point clouds to support autonomous vehicles;Vivien Poto等;《Transportation Research Procedia》;20171231;第7卷;第531-537页 *
基于伪占用区在线点云去除的激光雷达SLAM算法;曾庆轩等;《光学学报》;20231031;第43卷(第20期);第281-290页 *
基于激光雷达点云的自动驾驶场景语义理解方法;钟泽宇;《工程科技Ⅱ辑》;20210115(第01期);第C035-362页 *

Also Published As

Publication number Publication date
CN117523532A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN112907676B (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN114820465B (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN110770791A (zh) 一种基于点云地图的图像边界获取方法、设备及飞行器
CN111510704B (zh) 校正摄像头错排的方法及利用其的装置
CN112348902A (zh) 路端相机的安装偏差角标定方法、装置及系统
CN110718137A (zh) 目标物密度分布地图的构建方法及装置、终端、移动装置
CN112115913B (zh) 图像处理方法、装置及设备、存储介质
CN112308928B (zh) 一种无标定装置的相机与激光雷达自动标定方法
CN114677410A (zh) 一种障碍物测距方法、移动机器人、设备及介质
CN111273701A (zh) 一种云台视觉控制系统以及控制方法
CN114581678A (zh) 一种模板特征匹配的自动跟踪与重识别方法
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN117523532B (zh) 一种杂草点云滤除方法、系统和存储介质
CN110992291B (zh) 基于三目视觉的测距方法、系统及存储介质
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
CN111783726A (zh) 基于人工智能和bim的放牧牲畜离群视频采集方法
CN115761693A (zh) 一种基于全景图像下车位标志点检测与车辆跟踪定位方法
CN115236643A (zh) 一种传感器标定方法、系统、装置、电子设备及介质
CN116148818A (zh) 一种激光定位置信度的评估方法、芯片和机器人
US20240112363A1 (en) Position estimation system, position estimation method, and program
CN115015910B (zh) 微波与光学视觉的交互感知识别方法、装置、终端及介质
CN115375772B (zh) 相机标定方法、装置、设备及存储介质
CN115131262A (zh) 目标检测方法和装置
CN117953362A (zh) 障碍物信息识别方法、装置、智能设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant