CN115546747A

CN115546747A - 一种路沿检测方法、装置、摄像设备以及存储介质

Info

Publication number: CN115546747A
Application number: CN202211048650.4A
Authority: CN
Inventors: 潘颢文; 张勇; 陈宇; 徐跃明; 赵荣杰; 罗德祥; 姚紫微
Original assignee: Zhuhai Shixi Technology Co Ltd
Current assignee: Zhuhai Shixi Technology Co Ltd
Priority date: 2022-08-29
Filing date: 2022-08-29
Publication date: 2022-12-30
Anticipated expiration: 2042-08-29
Also published as: CN115546747B

Abstract

本申请公开了一种路沿检测方法、装置、摄像设备以及存储介质，用于对路沿进行检测，提高路沿检测精度，减少算力负载。本申请方法包括：获取包含路沿的路沿深度图像；将所述路沿深度图像转换为三维点云图；计算所述三维点云图中每个点的单位法向量，获得向量矩阵；计算所述向量矩阵中上下相邻向量的内积,得到内积矩阵；根据所述内积矩阵中的各个内积确定疑似边缘点；建立滑动窗口，并依据预设的筛选规则，通过所述滑动窗口遍历所述内积矩阵，从而对所述疑似边缘点进行筛选；将筛选后保留的疑似边缘点标记为路沿点。

Description

一种路沿检测方法、装置、摄像设备以及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种路沿检测方法、装置、摄像设备以及存储介质。

背景技术

路沿即道路边界，路沿检测是道路检测项目之一，也是自动驾驶中检测行驶区域的重要项目。在路沿检测中，路面的凹凸不平和气候光照等因素都会使得图像传输过程受到噪声影响。

在实际对路沿的检测过程中，由于路面不平滑,图像传输过程会受到噪声影响,因此，难以简单的通过边缘提取的方式来分离出路沿，并且，简单的边缘提取手段提取出的边缘是离散点,很容易受到路面不平滑的影响,而实际中的路沿可能高度较低，其特征与路面的特征非常接近，因此，路沿的边缘检测强度响应和路面非常接近,难以通过阈值处理来分离，亟需一种准确的路沿分离方法。

发明内容

为了解决上述技术问题，本申请提供了一种路沿检测方法、装置、摄像设备以及存储介质。

本申请第一方面提供了一种路沿检测方法，包括：

获取包含路沿的路沿深度图像；

将所述路沿深度图像转换为三维点云图；

计算所述三维点云图中每个点的单位法向量，获得向量矩阵；

计算所述向量矩阵中上下相邻向量的内积,得到内积矩阵；

根据所述内积矩阵中的各个内积确定疑似边缘点；

建立滑动窗口，并依据预设的筛选规则，通过所述滑动窗口遍历所述内积矩阵，从而对所述疑似边缘点进行筛选；

根据筛选后保留的疑似边缘点进一步确定路沿点。

可选的，所述预设的筛选规则包括：

通过所述滑动窗口在所述内积矩阵中截取一个目标矩阵；

将所述目标矩阵划分为左半矩阵和右半矩阵，若所述左半矩阵和所述右半矩阵的疑似边缘点的数量都超过第一预设阈值,则保留所述目标矩阵中的疑似边缘点；

若所述左半矩阵和所述右半矩阵的疑似边缘点的数量未超过所述第一预设阈值，则移除所述目标矩阵中的疑似边缘点。

可选的，在所述通过所述滑动窗口在所述内积矩阵中截取一个目标矩阵之后，所述预设的筛选规则还包括：

将所述目标矩阵划分为上半矩阵和下半矩阵，若所述上半矩阵和所述下半矩阵的疑似边缘点的数量未超过第二预设阈值,则保留所述目标矩阵中的疑似边缘点；

若所述上半矩阵或所述下半矩阵的疑似边缘点的数量超过所述第二预设阈值，则移除所述目标矩阵中的疑似边缘点。

可选的，所述根据筛选后保留的疑似边缘点进一步确定路沿点包括：

在保留的疑似边缘点中搜索有效非零点；

根据所述有效非零点中坐标的最大x值以及最大y值确定待定矩形框，并通过所述待定矩形框来框出待定区域；

对所述待定区域进行腐蚀膨胀，得到目标区域；

根据所述目标区域，在路沿深度图像中对应位置标记路沿。

可选的，在保留的疑似边缘点中搜索有效非零点包括：

在保留的疑似边缘点中纵向搜索有效非零点。

可选的，所述获取包含路沿的路沿深度图像包括：

通过向深度相机截流获取包含路沿的路沿深度图像，所述深度相机倾斜安装于道路的一侧，并朝向路面。

本申请第二方面提供了一种路沿检测装置，包括：

获取单元，获取包含路沿的路沿深度图像；

转换单元，将所述路沿深度图像转换为三维点云图；

第一计算单元，用于计算所述三维点云图中每个点的单位法向量，获得向量矩阵；

第二计算单元，用于计算所述向量矩阵中上下相邻向量的内积,得到内积矩阵；

确定单元，用于根据所述内积矩阵中的各个内积确定疑似边缘点；

筛选单元，用于建立滑动窗口，并依据预设的筛选规则，通过所述滑动窗口遍历所述内积矩阵，从而对所述疑似边缘点进行筛选；

标记单元，用于在保留的疑似边缘点中搜索有效非零点；

对所述待定区域进行腐蚀膨胀，得到目标区域；

根据所述目标区域，在路沿深度图像中对应位置标记路沿。

标记单元，用于：在保留的疑似边缘点中纵向搜索有效非零点。

可选的，所述筛选单元具体用于：

通过所述滑动窗口在所述内积矩阵中截取一个目标矩阵；

可选的，所述筛选单元具体用于：

本申请第三方面提供了一种路沿检测装置，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

本申请第五方面提供了一种摄像设备，所述摄像设备包括处理器和深度摄像头，所述处理器在运行过程中执行第一方面以及第一方面中任一项可选的所述方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供的方法中，将路沿深度图像转换为三维点云图，通过三维点云图能够更好的反应现实世界的特征，通过计算三维点云图中每个点的单位法向量获取向量矩阵，再计算上下相邻的向量的内积，得到内积矩阵，由于向量的内积能够在一定程序上反映出路沿，但是实际中依然有可能会受到噪声影响，从而存在很多离散点，因此，通过建立滑动窗口，并通过滑动窗口来进行进一步的筛选，从而确定最终的路沿点，并进行标记。本方法能够很好的应对噪声的影响，例如很好的应对路沿与路面高度差较小或者路沿图像受到光照影响的情形，并且该方法不需要庞大的训练集建立模型，没有过度深的卷积网络，算力消耗低，实时性强,具有很高的适应性，尤其适用于微小型的检测设备，例如能够集成于小型的图像采集设备中使用。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的路沿检测方法的一个实施例流程示意图；

图2为本申请提供的路沿检测方法的另一个实施例流程示意图；

图3为本申请中三维点云图的一个示意图；

图4为本申请中左半矩阵和右半矩阵的疑似边缘点超过第一预设阈值的示意图；

图5为本申请中左半矩阵和右半矩阵的疑似边缘点未超过第一预设阈值的示意图；

图6为本申请中上半矩阵和下半矩阵的疑似边缘点超过第二预设阈值的示意图；

图7为本申请中上半矩阵和下半矩阵的疑似边缘点未超过第二预设阈值的示意图；

图8为保留的疑似边缘点的示意图；

图9为框选出路沿的示意图；

图10为本申请中提供的路沿检测装置的一个实施例结构示意图；

图11为本申请中提供的路沿检测装置的另一个实施例结构示意图；

图12为本申请中提供的标记路沿的一个实施例流程示意图；

图13为在路沿深度图像中标记路沿的一个示意图。

具体实施方式

基于此，本申请提供了一种路沿检测方法，用于对路沿进行检测，提高路沿检测精度，减少算力负载。

需要说明的是，本申请提供的方法，可以应用于检测相机、深度相机以及其它终端，还可以应用于服务器上，其它终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等具备运算以及数据分析能力的智能终端。为方便阐述，本申请中以终端为执行主体进行举例说明。

下面对本申请提供的方法进行详细描述，请参阅图1，图1为本申请提供的路沿检测方法一个实施例流程示意图，该方法包括：

101、获取包含路沿的路沿深度图像；

终端获取路沿深度图像，可以通过向深度相机截流来获取，在实际中，深度相机可以安装扫地车上，靠近道路的一侧，并朝向路沿或者朝向路面，使得能够采集路面的图像。

102、将所述路沿深度图像转换为三维点云图；

终端将路沿深度图像转换为三维点云图，三维点云图能够更好的反映物体在真实世界中的特征，请参阅图3，图3是转换得到的三维点云图的一个示意图。

103、计算所述三维点云图中每个点的单位法向量，获得向量矩阵；

对于三维点云图的每个点计算该点的单位法向量，从而获得向量矩阵，单位法向量就是与该点切面垂直的单位向量，下面举例进行说明：

对于三维点云图中的一个点(x，y，z)，具体是在该点附近寻找最临近的二十个点，使用最小二乘法拟合成一个平面：

z＝Ax+By+C→g＝Σ(Ax+By+C-z)²

要使拟合结果误差最小，所以g对A，B，C的偏导数均为0，满足：

Σ(Axi+Byi+C–zi)xi＝0

Σ(Axi+Byi+C–zi)yi＝0

Σ(Axi+Byi+C–zi)＝0

即：

AΣxi²+BΣxiyi+CΣxi＝Σxizi

AΣxiyi+BΣyi²+CΣyi＝Σyizi

AΣxi+BΣyi+Cn＝Σzi

其中，n是点的数量

解线性方程即可得到A，B，C的值

(A，B，-1)就是该点的法向量；

则：

是该点的单位法向量。

计算三维点云图中所有的点的单位法向量，然后获得一个向量矩阵,每个向量是三维向量(x,y,z)三个维度，x,y,z对应三维空间直角坐标系的三个维度。

104、计算所述向量矩阵中上下相邻向量的内积,得到内积矩阵；

105、根据所述内积矩阵中的各个内积确定疑似边缘点；

向量内积反映着两个向量的相似性,当向量方向完全一致的时候，向量内积为1，路沿的边缘附近的法向量的方向的差异会比较大，比如路沿的法向量指向水平方向，但路面的法向量指向竖直方向，单位向量内积范围是[-1,1], 反映两个向量指向的相似度,内积越接近1，说明向量指向越接近。

因此内积比较小的地方可能是路沿的边缘，本申请将这些点定义为疑似边缘点，通过计算向量矩阵中上下相邻向量的内积，得到内积矩阵，通过内积矩阵就可以确定出疑似边缘点，下面举例进行说明：

向量内积计算方式：

(x1,y1,z1)·(x2,y2,z2)＝x1*x2+y1*y2+z1*z2；

例如：

点(x1,y1,z1)＝(0.06763,0.94545,0.31867)；

点(x2,y2,z2)＝(-0.02765,0.94267,0.33291)；

向量内积(x1,y1,z1)·(x2,y2,z2)＝0.06763*(-0.02765)+ 0.94545*0.94267+0.31867*0.33291≈0.99546。

即使通过步骤104和105计算得到了向量的内积，确定了疑似边缘点，但是在实际中，会受到噪声影响,出现很多离散的噪点，例如路面与路沿之间的高度差较小，或者图像受到了光照的影响，这些噪点可能会影响最终路沿的识别，因此，还需要进行进一步的筛选。

106、建立滑动窗口，并依据预设的筛选规则，通过所述滑动窗口遍历所述内积矩阵，从而对所述疑似边缘点进行筛选；

在实际中，离散噪点的邻近内积和边缘临近内积相近,因此难以通过阈值的方式来滤除，因此，本申请中，设计一个基于保护离散点直线的滤波器，具体为建立滑动窗口来对疑似边缘点进行筛选。

参阅图2，滤波器的筛选过程如下：

1061、通过所述滑动窗口在所述内积矩阵中截取一个目标矩阵；

1062、将所述目标矩阵划分为左半矩阵和右半矩阵；

1063、若所述左半矩阵和所述右半矩阵的疑似边缘点的数量都超过第一预设阈值,则保留所述目标矩阵中的疑似边缘点；

1064、若所述左半矩阵或所述右半矩阵的疑似边缘点的数量未超过所述第一预设阈值，则移除所述目标矩阵中的疑似边缘点。

通过预设尺寸的滑动窗口在内积矩阵中截取一个目标矩阵，尺寸的大小根据实际情况设置，分别计算左半矩阵和右半矩阵的疑似边缘点的数量，如果都超过第一预设阈值，则认为这些疑似边缘点属于路沿点，保留目标矩阵中的疑似边缘点，请参阅图4，图4为左半矩阵和右半矩阵都超过第一预设值的示意图；

如果所述左半矩阵或所述右半矩阵的疑似边缘点的数量未超过所述第一预设阈值，则认为这些疑似边缘点不属于路沿点，移除目标矩阵中的疑似边缘点，请参阅图5，图5为左半矩阵和右半矩阵都未超过第一预设值的示意图。

本申请提供的方法中，将路沿深度图像转换为三维点云图，通过三维点云图能够更好的反应现实世界的特征，通过计算三维点云图中每个点的单位法向量获取向量矩阵，再计算上下相邻的向量的内积，得到内积矩阵，由于向量的内积能够在一定程序上反映出路沿，但是实际中依然有可能会受到噪声影响，从而存在很多离散点，因此，通过建立滑动窗口，并通过滑动窗口来进行进一步的筛选，从而确定最终的路沿点，并进行标记。本方法能够很好的应对噪声的影响，例如很好的应对路沿与路面高度差较小或者路沿图像受到光照影响的情形，并且该方法不需要庞大的训练集建立模型，没有过度深的卷积网络，算力消耗低，实时性强,具有很高的适应性，尤其适用于微小型的检测设备，例如能够集成于小型的图像采集设备中使用，并且，该方法对于室外复杂环境下采集的图像适应性强，即使图像干扰大也能有好的边缘检测效果，减少了对采集的图像的画质依赖。

参阅图2，基于上述步骤1061至步骤1064，本申请还提供了另一个实施例，除了将目标矩阵划分为左半矩阵和右半矩阵来进行判断之外，还将目标矩阵划分为上半矩阵和下半矩阵进行判断，具体方式为：

1065、将所述目标矩阵划分为上半矩阵和下半矩阵；

1066、若所述上半矩阵和所述下半矩阵的疑似边缘点的数量未超过第二预设阈值,则保留所述目标矩阵中的疑似边缘点；

1067、若所述上半矩阵或所述下半矩阵的疑似边缘点的数量超过所述第二预设阈值，则移除所述目标矩阵中的疑似边缘点。

如果上半矩阵和下半矩阵的疑似边缘点数量均未超过第二预设阈值，则保留目标矩阵中的疑似边缘点，如果上半矩阵或者下半矩阵中的一个或者两个的疑似边缘点数量超过第二预设阈值，则移除目标矩阵中的疑似边缘点，请参阅图6以及图7，图6为超过的示意图，图7为未超过的示意图。

在实际中，可以通过上述滤波的方法进行3次滤波，设置的阈值是：

左右：10、15和20；

上下：2、20和2。

107、根据筛选后保留的疑似边缘点进一步确定路沿点。

根据筛选后保留的疑似边缘点标记为路沿点，标记方式可以是通过矩形的标记框在对应的路沿深度图像的对应位置框选出来，参阅图8以及图9，图 8为保留的疑似边缘点的示意图，图9为框选出路沿的示意图。

进一步，参阅图12，本申请还提供了一个实施例，能够更精准的对路沿进行标记，该实施例包括：

1071：在保留的疑似边缘点中搜索有效非零点；

可以纵向在保留的疑似边缘点中进行搜索非零点，并进一步确定有效非零点，当非零点数量超过2，并且最大距离超过5个像素时才认为是有效非零点。

1072：根据所述有效非零点中坐标的最大x值以及最大y值确定待定矩形框，并通过所述待定矩形框来框出待定区域；

在所有有效非零点中确定最大的x坐标值以及y坐标值，从而确定出一个矩形框，将该矩形框定义为待定矩形框，并框出待定区域，该待定区域表示实际路沿所处的区域。

1073：对所述待定区域进行腐蚀膨胀，得到目标区域；

对待定区域进行腐蚀膨胀，例如顺序可以是依次膨胀-侵蚀-膨胀-侵蚀，最后得到一个完整的目标区域，可以再通过矩形框来将目标区域标记出来。

1074：根据所述目标区域，在路沿深度图像中对应位置标记路沿。

请参阅图13，在对应的路沿深度图像中将目标区域标记出来，可以使用矩形框来框选出来。

本实施例提供的方法，在得到保留的疑似边缘点之后，能够进一步的精细的确定出路沿的位置并标记出来，从而提高路沿检测的精准度。

请参阅图10，本申请第二方面提供了一种路沿检测装置，包括：

获取单元701，获取包含路沿的路沿深度图像；

转换单元702，将所述路沿深度图像转换为三维点云图；

第一计算单元703，用于计算所述三维点云图中每个点的单位法向量，获得向量矩阵；

第二计算单元704，用于计算所述向量矩阵中上下相邻向量的内积,得到内积矩阵；

确定单元705，用于根据所述内积矩阵中的各个内积确定疑似边缘点；

筛选单元706，用于建立滑动窗口，并依据预设的筛选规则，通过所述滑动窗口遍历所述内积矩阵，从而对所述疑似边缘点进行筛选；

标记单元707，用于根据筛选后保留的疑似边缘点进一步确定路沿点。

可选的，筛选单元706具体用于：

通过所述滑动窗口在所述内积矩阵中截取一个目标矩阵；

可选的，所述筛选单元706具体用于：

可选的，标记单元707具体用于：

在保留的疑似边缘点中搜索有效非零点；

对所述待定区域进行腐蚀膨胀，得到目标区域；

根据所述目标区域，在路沿深度图像中对应位置标记路沿。

可选的，标记单元707具体用于：

在保留的疑似边缘点中纵向搜索有效非零点。

可选的，获取单元701具体用于：

参阅图11，本申请还提供了一种路沿检测装置，包括：

处理器801、存储器802、输入输出单元803、总线804；

处理器801与存储器802、输入输出单元803以及总线804相连；

存储器802保存有程序，处理器801调用程序以执行如上任一路沿检测方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一路沿检测方法。

本申请还涉及一种摄像设备，所述摄像设备包括处理器和深度摄像头，所述处理器在运行过程中执行如上任一路沿检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种路沿检测方法，其特征在于，所述方法包括：

获取包含路沿的路沿深度图像；

将所述路沿深度图像转换为三维点云图；

计算所述向量矩阵中上下相邻向量的内积,得到内积矩阵；

根据所述内积矩阵中的各个内积确定疑似边缘点；

根据筛选后保留的疑似边缘点进一步确定路沿点。

2.根据权利要求1中所述的路沿检测方法，其特征在于，所述预设的筛选规则包括：

通过所述滑动窗口在所述内积矩阵中截取一个目标矩阵；

若所述左半矩阵或所述右半矩阵的疑似边缘点的数量未超过所述第一预设阈值，则移除所述目标矩阵中的疑似边缘点。

3.根据权利要求2中所述的路沿检测方法，其特征在于，在所述通过所述滑动窗口在所述内积矩阵中截取一个目标矩阵之后，所述预设的筛选规则还包括：

4.根据权利要求1中所述的路沿检测方法，其特征在于，所述根据筛选后保留的疑似边缘点进一步确定路沿点包括：

在保留的疑似边缘点中搜索有效非零点；

对所述待定区域进行腐蚀膨胀，得到目标区域；

根据所述目标区域，在路沿深度图像中对应位置标记路沿。

5.根据权利要求1中所述的路沿检测方法，其特征在于，所述在保留的疑似边缘点中搜索有效非零点包括：

在保留的疑似边缘点中纵向搜索有效非零点。

6.根据权利要求1至5中任一项所述的路沿检测方法，其特征在于，所述获取包含路沿的路沿深度图像包括：

7.一种路沿检测装置，其特征在于，包括：

获取单元，获取包含路沿的路沿深度图像；

转换单元，将所述路沿深度图像转换为三维点云图；

标记单元，用于根据筛选后保留的疑似边缘点进一步确定路沿点。

8.根据权利要求6中所述的路沿检测装置，其特征在于，所述筛选单元具体用于：

通过所述滑动窗口在所述内积矩阵中截取一个目标矩阵；

9.一种路沿检测装置，其特征在于，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至6任一项所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至6中任一项所述方法。

11.一种摄像设备，其特征在于，所述摄像设备包括处理器和深度摄像头，所述处理器在运行过程中执行如权利要求1至6中任一项任一项所述方法。