CN117789155A - 一种黑色障碍物检测方法及装置、相关产品 - Google Patents
一种黑色障碍物检测方法及装置、相关产品 Download PDFInfo
- Publication number
- CN117789155A CN117789155A CN202211144580.2A CN202211144580A CN117789155A CN 117789155 A CN117789155 A CN 117789155A CN 202211144580 A CN202211144580 A CN 202211144580A CN 117789155 A CN117789155 A CN 117789155A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- grid
- black
- grid set
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 230000007613 environmental effect Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000008447 perception Effects 0.000 claims abstract description 10
- 230000004888 barrier function Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种黑色障碍物检测方法及装置、相关产品,包括:对障碍物检测区域进行栅格图像化处理,生成障碍物检测栅格图;确定障碍物环境深度图像对应的四边形区域;根据环境感知数据生成环境点云数据;将环境点云数据映射至四边形区域内,四边形区域内有环境点云数据的栅格标记为第一栅格集中的栅格,无环境点云数据的栅格标记为第二栅格集中的栅格;对第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素;对环境点云数据进行目标障碍物点云数据提取生成目标障碍物集;将满足第三栅格集中的元素与目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
Description
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种黑色障碍物检测方法、装置、程序产品、介质、计算机装置和移动工具。
背景技术
目前,自动驾驶车辆或机器人在行进过程中主要通过自身测距传感器获取周围环境障碍物的信息,再根据获取的障碍物信息进行实时路径规划。自动驾驶中常用的测距传感器有3D结构光,3D飞行时间(Time of flight,TOF),单线激光雷达、超声波等传感器。
3D结构光,3D TOF是通过发射器发射激光、接收器接收激光,然后根据发射激光和接收激光的时间差或发射图案与接收图案的比较来计算物体的距离信息,但是由于黑色物体对光线有较强的吸收作用,发射的激光大部分被黑色物体吸收只有小部分激光反射回去,反射回的激光功率达不到测距的要求,因而3D结构光、3D TOF大部分情况下探测不到黑色物体的距离信息;单线激光雷达、超声波等传感器虽然能探测到黑色物体的距离信息但由于点云太少探测不到黑色物体的完整边界信息。当无法获取黑色障碍物的精确边界信息时,规控模块在进行路径规划时路径有可能穿过黑色物体边界处,自动驾驶车辆或机器人在实际运行过程中会碰到黑色物体,引发安全问题。
发明内容
本发明的目的是针对现有技术的缺陷,提供一种黑色障碍物检测方法及装置、相关产品,以解决现有技术中利用激光检测黑色障碍物存在的问题。
为实现上述目的,本发明第一方面提供了一种黑色障碍物检测方法,所述方法包括:
对障碍物检测区域进行栅格图像化处理,生成障碍物检测栅格图;
获取障碍物环境深度图像,根据摄像头内外参数确定所述障碍物环境深度图像对应在所述障碍物检测栅格图内的四边形区域;
获取环境感知数据,并根据所述环境感知数据生成环境点云数据;
将所述环境点云数据映射至四边形区域内,所述四边形区域内有环境点云数据的栅格标记为第一栅格集中的栅格,无环境点云数据的栅格标记为第二栅格集中的栅格;
对所述第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素;
通过障碍物检测算法对所述环境点云数据进行目标障碍物点云数据提取生成目标障碍物集;
将满足所述第三栅格集中的元素与所述目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
进一步,所述根据摄像头内外参数确定所述障碍物环境深度图像对应在所述障碍物检测栅格图内的四边形区域,包括:
确定所述障碍物环境深度图像的四个边缘点;
根据摄像头内外参计算所述四个边缘点在所述障碍物检测栅格图上的四个投影点;
连接所述四个投影点围成所述四边形区域。
进一步,所述对所述第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素,包括:
对所述第二栅格进行连通域检测,生成连通域集;
遍历所述连通域集中的元素,将元素栅格面积大于第一预设面积且小于第二预设面积的连通域集中的元素标记为第三栅格集中的元素。
进一步,所述通过障碍物检测算法对所述环境点云数据进行目标障碍物点云数据提取生成目标障碍物集,包括:
对所述环境点云数据进行分割,生成地面点云数据和非地面点云数据;
将所述非地面点云数据聚类生成待定目标障碍物集;
通过目标障碍物筛选和目标障碍物投影算法对所述待定目标障碍物集进行目标障碍物点云数据提取,生成目标障碍物集。
进一步,所述将满足所述第三栅格集中的元素与所述目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素,包括:
根据目标障碍物点云数据计算目标障碍物的第一中心坐标;
将所述第一中心坐标映射至所述障碍物检测栅格图,生成第二中心坐标;
以所述第二中心坐标为基点搜索目标障碍物的边缘栅格,将所述边缘栅格标记为目标障碍物边缘栅格集中的栅格;
将与所述目标障碍物边缘栅格集中的任意栅格相连接的所述第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
进一步,所述以所述第二中心坐标为基点搜索目标障碍物的边缘栅格,将所述边缘栅格标记为目标障碍物边缘栅格集中的栅格,包括:
以所述第二中心坐标为基点搜索目标障碍物沿水平向左、水平向右、竖直向下、左下45度和右下45度方向的五个边缘栅格,标记所述五个边缘栅格为目标障碍物边缘栅格集中的栅格。
进一步,所述以所述第二中心坐标为基点搜索目标障碍物的边缘栅格,将所述边缘栅格标记为目标障碍物边缘栅格集中的栅格之前,所述方法还包括:
判断所述第二中心坐标是否在所述四边形区域内;
若是,以所述第二中心坐标为基点搜索目标障碍物的边缘栅格,将所述边缘栅格标记为目标障碍物边缘栅格集中的栅格;
若否,返回根据目标障碍物点云数据计算目标障碍物的第一中心坐标。
进一步,所述将满足所述第三栅格集中的元素与所述目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素之后,所述方法还包括:
筛选所述第一黑色障碍物栅格集中的栅格纵坐标值不小于第二中心纵坐标,且栅格坐标与第二中心坐标的距离值小于预设距离值的栅格,标记为第二黑色障碍物栅格集中的栅格。
进一步,所述筛选所述第一黑色障碍物栅格集中的栅格纵坐标值不小于第二中心纵坐标,且栅格坐标与第二中心坐标的距离值小于预设距离值的栅格,标记为第二黑色障碍物栅格集中的栅格之后,所述方法还包括:计算所述第二黑色障碍物栅格集中的关于第二中心坐标对称的栅格坐标;
将属于第三栅格集的,且与第二黑色障碍物栅格集中的关于第二中心坐标对称的栅格标记为第三黑色障碍物栅格集中的栅格;
将所述第二黑色障碍物栅格集和第三黑色障碍物栅格集合并生成第四黑色障碍物栅格集。
本发明第二方面提供了一种黑色障碍物检测装置,包括:
检测数据处理模块,所述检测数据处理模块用于对障碍物检测区域进行栅格图像化处理,生成障碍物检测栅格图;
数据采集模块,用于获取障碍物环境深度图像;
所述检测数据处理模块,还用于根据摄像头内外参数确定所述障碍物环境深度图像对应在所述障碍物检测栅格图内的四边形区域;
所述数据采集模块,还用于获取环境感知数据;
所述检测数据处理模块,还用于根据所述环境感知数据生成环境点云数据;将所述环境点云数据映射至四边形区域内,所述四边形区域内有环境点云数据的栅格标记为第一栅格集中的栅格,无环境点云数据的栅格标记为第二栅格集中的栅格;对所述第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素;通过障碍物检测算法对所述环境点云数据进行目标障碍物点云数据提取生成目标障碍物集;将满足所述第三栅格集中的元素与所述目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
本发明第三方面提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面任一项所述的黑色障碍物检测方法。
本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面任一项所述方法的步骤。
本发明第五方面提供了一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现第一方面任一项所述方法的步骤。
本发明第六方面提供了一种移动工具,其特征在于,包括第五方面所述的计算机装置。
本发明提供的黑色障碍物检测方法及装置、相关产品,通过检测无环境点云数据的区域,并对所述区域中的元素进行连通域检测筛选,判断筛选后的元素与已有障碍物之间的连接条件,实现目标黑色障碍物的检测。
附图说明
图1为本发明实施例一提供的黑色障碍物检测方法的流程图之一;
图2为本发明实施例一提供的障碍物检测区域栅格图像化示意图;
图3为本发明实施例一提供的黑色障碍物检测方法的流程图之二;
图4为本发明实施例一提供的黑色障碍物检测方法的流程图之三;
图5为本发明实施例一提供的黑色障碍物检测方法的流程图之四;
图6为本发明实施例二提供的黑色障碍物检测装置结构示意图;
图7为本发明实施例三提供的计算机程序产品结构示意图;
图8为本发明实施例五提供的计算机装置结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明实施例提供的黑色障碍物检测方法、介质、计算机装置和移动工具,通过检测无环境点云数据的区域,并对所述区域中的元素进行连通域检测筛选,判断筛选后的元素与已有障碍物之间的连接条件,实现目标黑色障碍物的检测;在判断备选黑色障碍物栅格集中元素与已有障碍物之间的连接条件时,利用筛选后的元素与已有障碍物的中心坐标搜索到的边缘栅格的连接关系,通过已有障碍物的关键栅格进行连接判断,提高了黑色障碍物检测效率;通过距离关系,去除第一黑色障碍物栅格集中被误判的黑色障碍物栅格;通过对称关系,计算与第二黑色障碍物栅格集中的栅格对称的栅格,找回部分丢失黑色障碍物栅格,通过距离关系和对称关系的判断,提高了黑色障碍物的检测精度,。
实施例一
图1为本发明实施例一提供的黑色障碍物检测方法的流程图之一。本申请的执行主体为具有计算功能的终端、服务器或者处理器。示例而非限定,本申请以将该方法应用在自动行驶机器人(简称机器人)为例进行说明,当将该方法应用在机器人时,该方法的执行主体为机器人的自动控制单元。如图1所示,黑色障碍物检测方法包括:
步骤110,对障碍物检测区域进行栅格图像化处理,生成障碍物检测栅格图。
障碍物检测区域可定义为以机器人为中心,向四周延伸的区域,该区域可以为任何规则或不规则的图形。对障碍物检测区域进行栅格图像化时,栅格的长宽可以进行自定义。在一种可能的实施方式中,图2为本发明实施例一提供的障碍物检测区域栅格图像化示意图,如图2(a)和(b)所示,其中图2(b)为图2(a)中大栅格104的放大图,在机器人坐标系100下,以机器人101为中心,前后各H米,左右各W米设置障碍物检测区域102,以长和宽均为a米的小栅格103对障碍物检测区域102进行栅格化,每一个大栅格104内划分了多个长和宽为a米的小栅格103,每个小栅格103表示图像的一个像素,障碍物检测区域102可转化为一张行数R=2*H/a,列数C=2*W/a的图像,障碍物检测区域坐标与障碍物检测栅格图坐标的转化关系如公式(1)所示:
row=R/2-(x/a)
col=C/2-(y/a) (1)
其中,x为物点在机器人坐标系100下的横坐标,y为物点在机器人坐标系100下的纵坐标,row为物点在栅格图像坐标系下的行坐标,col为物点在栅格图像坐标系下的列坐标。机器人坐标系的坐标原点在机器人中心,栅格图像坐标系105的坐标原点在障碍物检测区域左上角的极限位置。
若取H=5米,W=3米,a=0.025米,根据行数R=2*H/a,列数C=2*W/a可得到一张(2*5/0.025)*(2*3/0.025)=400*240的栅格图像,栅格图像的单位为像素pixel。
步骤120,获取障碍物环境深度图像,根据摄像头内外参数确定障碍物环境深度图像对应在障碍物检测栅格图内的四边形区域。
深度相机的拍摄不受物体自身条件的影响,比如反光率等因素,在可拍摄视角范围内的场景均可成像,因此可通过深度图像先确定障碍物的范围。
在一种可能的实施方式中,步骤120包括:
S1,确定障碍物环境深度图像的四个边缘点。
S2,根据摄像头内外参计算四个边缘点在障碍物检测栅格图上的四个投影点。
S3,连接四个投影点围成四边形区域。
具体的,障碍物环境深度图像可由深度相机进行拍摄获取,深度相机配置在机器人主体上,深度相机可以为机器人前后左右多个视角的多个深度相机,以机器人前视深度相机为例,障碍物环境深度图像的四个边缘点为深度相机的摄像头所能拍摄到的前视场景范围,包括摄像头前视宽、高度范围和前视深度范围。
根据摄像头成像原理,利用深度相机的摄像头内参计算障碍物环境深度图像四个边缘点在摄像头坐标系下的三维坐标,根据摄像头外参计算摄像头坐标原点和四个边缘点的三维坐标映射到机器人坐标系下的五个三维坐标,将摄像头坐标原点分别与四个边缘点相连接并延长得到四条射线,将射线延长至障碍物检测区域平面与之形成的交点即为四个边缘点在障碍物检测区域上的四个投影点,再根据机器人坐标系与栅格图像坐标系的映射关系,生成四个边缘点在障碍物检测栅格图上的四个投影点坐标。
在一个具体的例子中,假设障碍物环境深度图像的宽为dw,高为dh,四个边缘点坐标分别为Plu(0,0)、Pru(0,0)、Prd(0,0)、Pld(0,0),根据摄像头成像原理可逆推出距离摄像头L米处四个边缘点在摄像头坐标系下的三维坐标,分别记作Plu_c、Pru_c、Prd_c、Pld_c,记摄像头原点坐标为Oc,连接摄像头原点与四个边缘点的三维坐标可得到四条射线分别为OcPlu_c、OcPru_c、OcPrd_c、OcPld_c,根据摄像头与机器人的位姿关系,可把四条射线变换到机器人坐标系下分别记作OcwPlu_cw、OcwPru_cw、OcwPrd_cw、OcwPld_cw,根据射线方程与地面方程联合求解得到对应的交点坐标,其中地面方程为障碍物检测区域所在的地面方程,记四条射线对应的交点坐标分别为Plu_g、Pru_g、Prd_g、Pld_g,四边形Plu_gPru_g Prd_g Pld_g组成的区域就是障碍物环境深度图像在障碍物检测区域的投影区域,再根据机器人坐标系与栅格图像坐标系的映射关系,得到障碍物环境深度图像在障碍物检测栅格图的四边形区域。如图2所示,包括障碍物环境深度图像映射到障碍物检测栅格图的四边形区域106。
步骤130,获取环境感知数据,并根据环境感知数据生成环境点云数据。
通过不同传感器探测到的距离值获取环境感知数据,根据不同传感器的探测原理得到对应环境物体在该传感器坐标系下的点云数据,根据传感器与机器人之间的位姿关系可计算得到多个传感器探测下的环境点云数据。
步骤140,将环境点云数据映射至四边形区域内,四边形区域内有环境点云数据的栅格标记为第一栅格集中的栅格,无环境点云数据的栅格标记为第二栅格集中的栅格。
根据机器人坐标系与栅格图像坐标系的映射关系,将环境点云数据映射至四边形区域内,四边形区域内有环境点云数据的栅格表示传感器能接收到障碍物反射光的栅格,无环境点云数据的栅格表示传感器无法接收到反射光的栅格,无法接收到反射光包括在四边形区域内存在低反光障碍物的情况或者存在被遮挡区域的情况,低反光障碍物比如有表面为黑色的物体,黑色对光的吸收率高,往往会出现无效点云的情况,为了描述方便,本发明实施例中的低反光障碍物均以黑色障碍物进行表述,所述方案可用于检测所有低反光障碍,不限于黑色障碍物。在一种可能的实施方式中,第一栅格集中的栅格和第二栅格集中的栅格分别用二值化的0和1进行标记。
步骤150,对第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素。
对第二栅格集中的每个栅格进行连通域检测,将每组连通的栅格作为一个元素进行标记,生成连通域集,其中一个元素可以包括一个或多个栅格,将第二栅格集中满足连通约束条件的元素标记为第三栅格集,第三栅格集为备选的黑色障碍物栅格集。
在一种可选的方案中,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素,包括:
遍历连通域集中的元素,将元素栅格面积大于第一预设面积且小于第二预设面积的连通域集中的元素标记为第三栅格集中的元素。
具体的,当连通域集中的元素栅格面积大小不在第一预设面积和第二预设面积之间时,说明该元素不是障碍物,或者不属于黑色障碍物,或者由于噪声、误检等因素产生的。
步骤160,通过障碍物检测算法对环境点云数据进行目标障碍物点云数据提取生成目标障碍物集。
具体步骤包括:对环境点云数据进行分割,生成地面点云数据和非地面点云数据。
将非地面点云数据通过聚类算法进行障碍物聚类生成待定目标障碍物集。
通过目标障碍物筛选和目标障碍物投影算法对待定目标障碍物集进行目标障碍物点云数据提取,生成机器人四周的目标障碍物集,目标障碍物集中每个连通域即每个元素代表一个目标障碍物,目标障碍物集中的目标障碍物包括具有黑色部分的不完整的目标障碍物。
步骤170,将满足第三栅格集中的元素与目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
在一种可选的方案中,步骤170包括:
选取目标障碍物集中的一个目标障碍物的点云数据映射到障碍物检测栅格图,标记为待匹配目标障碍物栅格集,依次判断第三栅格集中的每一个元素是否与待匹配目标障碍物栅格集中的任意栅格相连接,将相连接的元素标记为第一黑色障碍物栅格集中的元素。同理,遍历目标障碍物集中的每一个目标障碍物,找出与目标障碍物集中每一个目标障碍物相匹配的第三栅格集中的元素,标记为第一黑色障碍物栅格集中的元素,所有第一黑色障碍物栅格集中的元素构成第一黑色障碍物栅格集,该第一黑色障碍物栅格集中的元素为所有黑色障碍物在障碍物检测栅格图上的映射。将第一黑色障碍物栅格集中的元素的栅格坐标逆变换至机器人坐标系下和目标障碍物集中的元素合并后生成的新的障碍物边界可用于规控模块的路径规划。
在又一种可选的方案中,图3为本发明实施例一提供的黑色障碍物检测方法的流程图之二,如图3所示,步骤170包括:
步骤210,根据目标障碍物点云数据计算目标障碍物的第一中心坐标。
其中,选取目标障碍物集中的一个目标障碍物的点云数据计算该目标障碍物在机器人坐标系下的第一中心坐标。
步骤220,将第一中心坐标映射至障碍物检测栅格图,生成第二中心坐标。
其中,根据机器人坐标系与栅格图像坐标系的映射关系,将第一中心坐标映射至障碍物检测栅格图中,生成第二中心坐标,第二中心坐标为栅格像素坐标。
步骤230,以第二中心坐标为基点搜索目标障碍物的边缘栅格,将边缘栅格标记为目标障碍物边缘栅格集中的栅格。
在一种可能的实施方式中,以第二中心坐标为基点搜索目标障碍物沿水平向左、水平向右、竖直向下、左下45度和右下45度方向的五个边缘栅格,标记五个边缘栅格为目标障碍物边缘栅格集中的栅格。由于目标障碍物沿水平向上方向的障碍物点云在实际场景中是目标障碍物远离测距传感器的方向,点云数据存在被遮挡而无法将障碍物的上方进行栅格映射,因此放弃向上方搜索边缘栅格。
步骤240,将与目标障碍物边缘栅格集中的任意栅格相连接的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
基于步骤230中的一种可能的实施方式,步骤240在一种可能的实施方式中,以第二中心坐标为基点搜索到五个边缘栅格,将第三栅格集中的元素依次检测与五个边缘栅格的连接关系,该元素只要与五个边缘栅格中任意一个边缘栅格相连接,则将该第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
在步骤210-240中,利用目标障碍物的中心坐标搜索边缘栅格作为关键栅格进行连接判断,提高了第一黑色障碍物栅格集中元素的标记效率。
在一种可选的方案中,步骤230之前,还包括:
判断第二中心坐标是否在四边形区域内。
若是,执行步骤230。
若否,返回步骤210。
具体的,目标障碍物集中的元素有些可能属于机器人其它方位深度相机的摄像头所拍摄的方位元素,在步骤230之前,通过第二中心坐标的位置,先筛掉一部分不在当前环境深度图像四边形区域内的元素,可减少目标障碍物集中执行步骤230和240的目标障碍物的元素数量,从而提高检测效率。
在一种优选的方案中,图4为本发明实施例一提供的黑色障碍物检测方法的流程图之三,如图4所示,步骤240之后还包括:
步骤310,筛选第一黑色障碍物栅格集中的栅格纵坐标值不小于第二中心纵坐标,且栅格坐标与第二中心坐标的距离值小于预设距离值的栅格,标记为第二黑色障碍物栅格集中的栅格。
其中,第一黑色障碍物栅格集中包含一个或多个元素,每个元素包含一个或多个栅格,在第一黑色障碍物栅格集中以栅格为单位逐一进行筛选,当被筛选栅格同时满足纵坐标值不小于第二中心纵坐标且与第二中心坐标的距离值小于预设距离值两个条件时,将该栅格标记为第二黑色障碍物栅格集中的栅格。由于横向不存在遮挡的情况,在此不考虑栅格的横坐标与第二中心坐标的距离关系。预设距离值的设置可以根据实际要检测的黑色障碍物的大小范围来进行设置。
在进一步优选的方案中,图5为本发明实施例一提供的黑色障碍物检测方法的流程图之四,如图5所示,步骤310之后还包括:
步骤410,计算第二黑色障碍物栅格集中的关于第二中心坐标对称的栅格坐标。
步骤420,将属于第三栅格集的,且与第二黑色障碍物栅格集中的关于第二中心坐标对称的栅格标记为第三黑色障碍物栅格集中的栅格。
具体的,将第二黑色障碍物栅格集中的栅格与第二中心栅格相连接并延长至对称位置,生成与第二中心坐标对称的栅格坐标。在栅格图像中,每个栅格的坐标为图像的像素坐标。
步骤430,将第二黑色障碍物栅格集和第三黑色障碍物栅格集合并生成第四黑色障碍物栅格集。
第四黑色障碍物栅格集中的栅格为最终检测的黑色障碍物栅格。再根据机器人坐标系与栅格图像坐标系的逆变换关系,计算出黑色障碍物在机器人坐标系下的坐标。机器人坐标系与栅格图像坐标系的逆变换关系如公式(2)所示:
x=(R/2-row)*a
y=(C/2-col)*a (2)
其中,x为物点在机器人坐标系下的横坐标,y为物点在机器人坐标系下的纵坐标,row为物点在栅格图像坐标系下的行坐标,col为物点在栅格图像坐标系下的列坐标。机器人坐标系的坐标原点在机器人中心,栅格图像坐标系的坐标原点在障碍物检测区域障碍物检测区域左上角的极限位置。
在步骤210-240中对第三栅格集中的元素进行筛选时,有可能误判少删了一部分不属于黑色障碍物的栅格或者错删了一部分属于黑色障碍物的栅格。通过步骤310可去掉一部分误判不属于黑色障碍物的栅格。通过步骤410-430,可找回一部分丢失的栅格,从而提高黑色障碍物的检测精度。
对目标障碍物集中的每个目标障碍物的点云数据执行步骤210-240,310,410-430,标注的所有第四黑色障碍物栅格集中的元素构成第四黑色障碍物栅格集,该第四黑色障碍物栅格集中的元素为所有黑色障碍物在障碍物检测栅格图上的映射。将第四黑色障碍物栅格集中的元素的栅格坐标逆变换至机器人坐标系下和目标障碍物集中的元素合并后生成的新的障碍物边界,其中该新的障碍物边界为当前深度相机视角范围内的障碍物边界。
实施例二
本发明实施例二提供了一种黑色障碍物检测装置。图6为本发明实施例二提供的黑色障碍物检测装置结构示意图,该黑色障碍物检测装置300包括:检测数据处理模块301和数据采集模块302。
检测数据处理模块301,用于对障碍物检测区域进行栅格图像化处理,生成障碍物检测栅格图。
数据采集模块302,用于获取障碍物环境深度图像。
检测数据处理模块301,还用于根据摄像头内外参数确定障碍物环境深度图像对应在障碍物检测栅格图内的四边形区域。
数据采集模块302,还用于获取环境感知数据。
检测数据处理模块301,还用于根据环境感知数据生成环境点云数据。将环境点云数据映射至四边形区域内,四边形区域内有环境点云数据的栅格标记为第一栅格集中的栅格,无环境点云数据的栅格标记为第二栅格集中的栅格。对第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素。通过障碍物检测算法对环境点云数据进行目标障碍物点云数据提取生成目标障碍物集。将满足第三栅格集中的元素与目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
其中,检测数据处理模块301根据摄像头内外参数确定障碍物环境深度图像对应在障碍物检测栅格图内的四边形区域,包括:确定障碍物环境深度图像的四个边缘点;根据摄像头内外参计算四个边缘点在障碍物检测栅格图上的四个投影点;连接四个投影点围成四边形区域。
其中,检测数据处理模块301对第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素,包括:对第二栅格进行连通域检测,生成连通域集;遍历连通域集中的元素,将元素栅格面积大于第一预设面积且小于第二预设面积的连通域集中的元素标记为第三栅格集中的元素。
其中,检测数据处理模块301通过障碍物检测算法对环境点云数据进行目标障碍物点云数据提取生成目标障碍物集,包括:对环境点云数据进行分割,生成地面点云数据和非地面点云数据;将非地面点云数据聚类生成待定目标障碍物集;通过目标障碍物筛选和目标障碍物投影算法对待定目标障碍物集进行目标障碍物点云数据提取,生成目标障碍物集。
其中,检测数据处理模块301将满足第三栅格集中的元素与目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素,包括:根据目标障碍物点云数据计算目标障碍物的第一中心坐标;将第一中心坐标映射至障碍物检测栅格图,生成第二中心坐标;以第二中心坐标为基点搜索目标障碍物的边缘栅格,将边缘栅格标记为目标障碍物边缘栅格集中的栅格;将与目标障碍物边缘栅格集中的任意栅格相连接的第三栅格集中的元素标记为第一黑色障碍物栅格集。
其中,检测数据处理模块301以第二中心坐标为基点搜索目标障碍物的边缘栅格,将边缘栅格标记为目标障碍物边缘栅格集中的栅格,包括;以第二中心坐标为基点搜索目标障碍物沿水平向左、水平向右、竖直向下、左下45度和右下45度方向的五个边缘栅格,标记五个边缘栅格为目标障碍物边缘栅格集中的栅格。
检测数据处理模块301在用于以第二中心坐标为基点搜索目标障碍物的边缘栅格,将边缘栅格标记为目标障碍物边缘栅格集中的栅格之前,检测数据处理模块301,还用于判断第二中心坐标是否在四边形区域内;若是,以第二中心坐标为基点搜索目标障碍物的边缘栅格,将边缘栅格标记为目标障碍物边缘栅格集中的栅格;若否,返回根据目标障碍物点云数据计算目标障碍物的第一中心坐标。
检测数据处理模块301在用于将满足第三栅格集中的元素与目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素之后,检测数据处理模块301还用于筛选第一黑色障碍物栅格集中的栅格纵坐标值不小于第二中心纵坐标,且栅格坐标与第二中心坐标的距离值小于预设距离值的栅格,标记为第二黑色障碍物栅格集中的栅格。
检测数据处理模块301在用于筛选第一黑色障碍物栅格集中的栅格纵坐标值不小于第二中心纵坐标,且栅格坐标与第二中心坐标的距离值小于预设距离值的栅格,标记为第二黑色障碍物栅格集中的栅格之后,检测数据处理模块301还用于计算第二黑色障碍物栅格集中的关于第二中心坐标对称的栅格坐标;将属于第三栅格集的,且与第二黑色障碍物栅格集中的关于第二中心坐标对称的栅格标记为第三黑色障碍物栅格集中的栅格;将第二黑色障碍物栅格集和第三黑色障碍物栅格集合并生成第四黑色障碍物栅格集。。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,检测数据处理模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,ASIC),或,一个或多个微处理器(Digital Signal Processor,DSP),或,一个或者多个现场可编程门阵列(Field Programmable GateArray,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central ProcessingUnit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(System-on-a-chip,SOC)的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line,DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
实施例三
实施例三提供了一种包含指令的计算机程序产品,如图7所示,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如实施例一提供的任意一种黑色障碍物检测方法。
实施例四
本发明实施例四提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如实施例一提供的任意一种黑色障碍物检测方法。
实施例五
本发明实施例五提供了一种计算机装置,图8为本发明实施例五提供的计算机装置结构示意图。如图7所示,包括存储器400、处理器500及存储在存储器上的计算机程序,处理器执行所述计算机程序以实现上述实施例一提供的任意一种黑色障碍物检测方法。
实施例六
本发明实施例六提供了一种移动工具,包括上述实施例五的计算机装置。
本申请所称的移动工具可以是具有如下各种功能的车辆设备或机器人设备:
(1)载人功能,如家用轿车、公共汽车等;
(2)载货功能,如普通货车、厢式货车、甩挂车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等;
(3)工具功能,如物流配送车、自动导引运输车AGV、巡逻车、起重机、吊车、挖掘机、推土机、铲车、压路机、装载机、越野工程车、装甲工程车、污水处理车、环卫车、吸尘车、洗地车、洒水车、扫地机器人、送餐机器人、导购机器人、割草机、高尔夫球车等;
(4)娱乐功能,如娱乐车、游乐场装置、平衡车等;
(5)特殊救援功能,如消防车、救护车、电力抢修车、工程抢险车等。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种黑色障碍物检测方法,其特征在于,所述方法包括:
对障碍物检测区域进行栅格图像化处理,生成障碍物检测栅格图;
获取障碍物环境深度图像,根据摄像头内外参数确定所述障碍物环境深度图像对应在所述障碍物检测栅格图内的四边形区域;
获取环境感知数据,并根据所述环境感知数据生成环境点云数据;
将所述环境点云数据映射至四边形区域内,所述四边形区域内有环境点云数据的栅格标记为第一栅格集中的栅格,无环境点云数据的栅格标记为第二栅格集中的栅格;
对所述第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素;
通过障碍物检测算法对所述环境点云数据进行目标障碍物点云数据提取生成目标障碍物集;
将满足所述第三栅格集中的元素与所述目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
2.根据权利要求1所述的黑色障碍物检测方法,其特征在于,所述根据摄像头内外参数确定所述障碍物环境深度图像对应在所述障碍物检测栅格图内的四边形区域,包括:
确定所述障碍物环境深度图像的四个边缘点;
根据摄像头内外参计算所述四个边缘点在所述障碍物检测栅格图上的四个投影点;
连接所述四个投影点围成所述四边形区域。
3.根据权利要求1所述的黑色障碍物检测方法,其特征在于,所述对所述第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素,包括:
对所述第二栅格进行连通域检测,生成连通域集;
遍历所述连通域集中的元素,将元素栅格面积大于第一预设面积且小于第二预设面积的连通域集中的元素标记为第三栅格集中的元素。
4.根据权利要求1所述的黑色障碍物检测方法,其特征在于,所述通过障碍物检测算法对所述环境点云数据进行目标障碍物点云数据提取生成目标障碍物集,包括:
对所述环境点云数据进行分割,生成地面点云数据和非地面点云数据;
将所述非地面点云数据聚类生成待定目标障碍物集;
通过目标障碍物筛选和目标障碍物投影算法对所述待定目标障碍物集进行目标障碍物点云数据提取,生成目标障碍物集。
5.根据权利要求1所述的黑色障碍物检测方法,其特征在于,所述将满足所述第三栅格集中的元素与所述目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素,包括:
根据目标障碍物点云数据计算目标障碍物的第一中心坐标;
将所述第一中心坐标映射至所述障碍物检测栅格图,生成第二中心坐标;
以所述第二中心坐标为基点搜索目标障碍物的边缘栅格,将所述边缘栅格标记为目标障碍物边缘栅格集中的栅格;
将与所述目标障碍物边缘栅格集中的任意栅格相连接的所述第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
6.根据权利要求5所述的黑色障碍物检测方法,其特征在于,所述以所述第二中心坐标为基点搜索目标障碍物的边缘栅格,将所述边缘栅格标记为目标障碍物边缘栅格集中的栅格,包括:
以所述第二中心坐标为基点搜索目标障碍物沿水平向左、水平向右、竖直向下、左下45度和右下45度方向的五个边缘栅格,标记所述五个边缘栅格为目标障碍物边缘栅格集中的栅格。
7.根据权利要求5所述的黑色障碍物检测方法,其特征在于,所述以所述第二中心坐标为基点搜索目标障碍物的边缘栅格,将所述边缘栅格标记为目标障碍物边缘栅格集中的栅格之前,所述方法还包括:
判断所述第二中心坐标是否在所述四边形区域内;
若是,以所述第二中心坐标为基点搜索目标障碍物的边缘栅格,将所述边缘栅格标记为目标障碍物边缘栅格集中的栅格;
若否,返回根据目标障碍物点云数据计算目标障碍物的第一中心坐标。
8.根据权利要求5所述的黑色障碍物检测方法,其特征在于,所述将满足所述第三栅格集中的元素与所述目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素之后,所述方法还包括:
筛选所述第一黑色障碍物栅格集中的栅格纵坐标值不小于第二中心纵坐标,且栅格坐标与第二中心坐标的距离值小于预设距离值的栅格,标记为第二黑色障碍物栅格集中的栅格。
9.根据权利要求8所述的黑色障碍物检测方法,其特征在于,所述筛选所述第一黑色障碍物栅格集中的栅格纵坐标值不小于第二中心纵坐标,且栅格坐标与第二中心坐标的距离值小于预设距离值的栅格,标记为第二黑色障碍物栅格集中的栅格之后,所述方法还包括:
计算所述第二黑色障碍物栅格集中的关于第二中心坐标对称的栅格坐标;
将属于第三栅格集的,且与第二黑色障碍物栅格集中的关于第二中心坐标对称的栅格标记为第三黑色障碍物栅格集中的栅格;
将所述第二黑色障碍物栅格集和第三黑色障碍物栅格集合并生成第四黑色障碍物栅格集。
10.一种黑色障碍物检测装置,其特征在于,所述装置包括:
检测数据处理模块,所述检测数据处理模块用于对障碍物检测区域进行栅格图像化处理,生成障碍物检测栅格图;
数据采集模块,用于获取障碍物环境深度图像;
所述检测数据处理模块,还用于根据摄像头内外参数确定所述障碍物环境深度图像对应在所述障碍物检测栅格图内的四边形区域;
所述数据采集模块,还用于获取环境感知数据;
所述检测数据处理模块,还用于根据所述环境感知数据生成环境点云数据;将所述环境点云数据映射至四边形区域内,所述四边形区域内有环境点云数据的栅格标记为第一栅格集中的栅格,无环境点云数据的栅格标记为第二栅格集中的栅格;对所述第二栅格集进行连通域检测,将第二栅格集中满足连通约束条件的元素标记为第三栅格集中的元素;通过障碍物检测算法对所述环境点云数据进行目标障碍物点云数据提取生成目标障碍物集;将满足所述第三栅格集中的元素与所述目标障碍物集中的目标障碍物连接条件的第三栅格集中的元素标记为第一黑色障碍物栅格集中的元素。
11.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-9任一项所述的黑色障碍物检测方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-9所述的黑色障碍物检测方法的步骤。
13.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-9所述黑色障碍物检测方法的步骤。
14.一种移动工具,其特征在于,包括如权利要求13所述的计算机装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211144580.2A CN117789155A (zh) | 2022-09-20 | 2022-09-20 | 一种黑色障碍物检测方法及装置、相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211144580.2A CN117789155A (zh) | 2022-09-20 | 2022-09-20 | 一种黑色障碍物检测方法及装置、相关产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117789155A true CN117789155A (zh) | 2024-03-29 |
Family
ID=90400464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211144580.2A Pending CN117789155A (zh) | 2022-09-20 | 2022-09-20 | 一种黑色障碍物检测方法及装置、相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117789155A (zh) |
-
2022
- 2022-09-20 CN CN202211144580.2A patent/CN117789155A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11709058B2 (en) | Path planning method and device and mobile device | |
JP6931096B2 (ja) | オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 | |
WO2021093240A1 (en) | Method and system for camera-lidar calibration | |
CN105404844B (zh) | 一种基于多线激光雷达的道路边界检测方法 | |
US10591277B2 (en) | Method and system for measuring outermost dimension of a vehicle positioned at an inspection station | |
WO2020215172A1 (zh) | 一种障碍物检测方法、设备、可移动平台及存储介质 | |
CN110794406B (zh) | 多源传感器数据融合系统和方法 | |
CN108509972A (zh) | 一种基于毫米波和激光雷达的障碍物特征提取方法 | |
CN112513679B (zh) | 一种目标识别的方法和装置 | |
CN111712731A (zh) | 目标检测方法、系统及可移动平台 | |
CN112464812B (zh) | 一种基于车辆的凹陷类障碍物检测方法 | |
CN113874927A (zh) | 停车检测方法、系统、处理设备和存储介质 | |
CN102248947A (zh) | 使用3-d激光测距仪的目标和车辆检测及跟踪 | |
CN110674705A (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
CN110659548B (zh) | 车辆及其目标检测方法、装置 | |
CN113743171A (zh) | 目标检测方法及装置 | |
CN114724110A (zh) | 目标检测方法及设备 | |
JP2015125760A (ja) | 鉱山用作業機械 | |
CN115273018A (zh) | 障碍物识别方法、装置及电子设备 | |
CN114821526A (zh) | 基于4d毫米波雷达点云的障碍物三维边框检测方法 | |
Kellner et al. | Multi-cue, model-based detection and mapping of road curb features using stereo vision | |
CN117970341A (zh) | 一种基于多数据融合的矿区电铲电缆检测方法及系统 | |
CN117789155A (zh) | 一种黑色障碍物检测方法及装置、相关产品 | |
JP7312275B2 (ja) | 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム | |
CN112651405B (zh) | 目标检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |