CN113743265A - 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 - Google Patents
一种基于深度相机的自动驾驶可行驶区域检测方法及系统 Download PDFInfo
- Publication number
- CN113743265A CN113743265A CN202110974923.7A CN202110974923A CN113743265A CN 113743265 A CN113743265 A CN 113743265A CN 202110974923 A CN202110974923 A CN 202110974923A CN 113743265 A CN113743265 A CN 113743265A
- Authority
- CN
- China
- Prior art keywords
- depth
- pixel
- pixels
- gradient
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 12
- 230000009467 reduction Effects 0.000 abstract description 6
- 238000012549 training Methods 0.000 abstract description 4
- 238000003672 processing method Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000004438 eyesight Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于深度相机的自动驾驶可行驶区域检测方法，包括：获取深度图像；获取深度图像的垂直梯度图；根据梯度结果二值化分类地面和障碍物，将筛选后的二值图像取接近车体的像素作为种子点获取最大连通区域，该最大连通区域的深度像素即为可行驶区域深度图。本发明使用深度图像2D处理方法对3D几何特征进行降维分类处理，大幅降低计算复杂度，保证实时性的同时消耗很少的计算资源；基于3维几何特征进行检测，直接得到可行驶区域结果，无需提前标注训练，不会出现未训练样本导致识别失效的问题。
Description
技术领域
本发明属于图像处理和计算机视觉技术领域，尤其是涉及一种基于深度相机的自动驾驶可行驶区域检测方法及系统。
背景技术
计算机视觉技术是使计算机模拟人类的视觉过程，具有感受环境的能力和人类视觉功能的技术。图像处理、人工智能和模式识别等技术的综合。80年代以来，计算机视觉的研究已经历从实验室走向实际应用的发展阶段。而计算机工业水平的飞速提高以及人工智能、并行处理和神经元网络等学科的发展，更促进了计算机视觉系统的实用化和涉足许多复杂视觉过程的研究。目前，计算机视觉技术正在广泛的应用于计算几何、计算机图形学、图像处理、机器人学等多个领域中。
深度相机又称之为3D相机，顾名思义，就是通过该相机能检测出拍摄空间的景深距离，这也是与普通摄像头最大的区别。通过深度相机获取到的数据，能准确知道图像中每个点离摄像头距离，这样加上该点在2D图像中的(x,y)坐标，就能获取图像中每个点的三维空间坐标。
可行驶区域(Free Space)检测技术是辅助驾驶系统和自动驾驶系统的关键技术，基于视觉的可行驶区域检测系统由于信息丰富，成本低廉等优势成为科研人员的研究重点。
目前的可行驶区域检测技术主要是基于模式识别和相机几何，即对图像中的主要特征，包括颜色、纹理、形状模型、消失点等，进行识别，从而检测出可行驶区域。但是现有技术中存在以下问题：
1、传统可行驶区域检测仅能针对2D图像进行识别，单帧图像无法针对自动驾驶车辆行驶环境进行3维重建，获得3D可行驶区域需要进行2D、3D融合等大量额外计算。
2、常规可行驶区域检测算法多使用神经网络技术，在实时处理要求下算力要求极高，消耗系统资源极大，导致整体系统算力成本极高。
3、基于神经网络的可行驶区域检测算法需要对检测模型进行大量训练，同时需准备大量定制化标注数据，费时费力并且无法应对训练样本类之外的异常情况，如神经网络遇到在地面上的虚拟投影、玩偶假人等异常样本。
发明内容
1、本发明的目的
针对上述存在的技术问题，提出了一种基于深度相机的自动驾驶可行驶区域检测方法及系统，使用深度图像2D处理方法对3D几何特征进行降维分类处理，大幅降低计算复杂度，保证实时性的同时消耗很少的计算资源；基于3维几何特征进行检测，直接得到可行驶区域结果，无需提前标注训练，不会出现未训练样本导致识别失效的问题。
2、本发明所采用的技术方案
一种基于深度相机的自动驾驶可行驶区域检测方法，包括以下步骤：
S01：获取深度图像；
S02：获取深度图像的垂直梯度图；
S03：根据梯度结果二值化分类地面和障碍物，将筛选后的二值图像取接近车体的像素作为种子点获取最大连通区域，该最大连通区域的深度像素即为可行驶区域深度图。
优选的技术方案中，所述步骤S02之前还包括对深度图像进行预处理操作，包括深度像素滤波和孔洞填补。
优选的技术方案中，所述步骤S02中深度图像的垂直梯度图的获取方法，包括：
S21：以卷积核尺寸为窗口，依次取当前窗口内的三行一列像素，每行像素与卷积核的对应的行相乘获得三行一列的乘积，再将三行乘积相加，获得当前窗口下中心像素的梯度；
S22：计算完成后滑动窗口，取紧邻一列的三行像素计算中心梯度；
S23：当一行像素的梯度计算完成后，窗口向下移动，继续执行下一行像素的梯度计算，直到窗口中心滑动遍历完图像中所有像素，计算完成后得到的行列结果即为深度图像的像素梯度图。
优选的技术方案中，所述步骤S03中还包括，计算深度像素点垂直倾斜角，设定阈值进行筛选，得到筛选后的二值图像。
优选的技术方案中，所述深度像素点垂直倾斜角的计算方法，包括：
S31：根据深度相机视场角及深度成像高度计算像素间纵向视角夹角α；
S32：计算深度像素点行间的实际纵向距离，用角分辨率的正切tanα乘以深度值ρ，记录为矩阵E；
S33：用深度图像的像素梯度图与矩阵E相除，计算得到该处深度像素与纵向邻像素的倾角的正切值，记为矩阵E2；
S34：对矩阵E2每个元素求反正切arctan，获得深度像素所在面与相机视角方向的夹角，即深度像素点垂直倾斜角。
优选的技术方案中，所述步骤S03之后还包括将可行驶区域深度图的每个像素根据图像宽高和深度相机视场角信息映射至对应球坐标系的俯仰θ和偏向角φ方向，深度值ρ作为球坐标距离，在三维中重建可行使区域点云。
本发明还公开了一种基于深度相机的自动驾驶可行驶区域检测系统，包括：
深度图像获取模块，获取深度图像；
垂直梯度计算模块，获取深度图像的垂直梯度图；
可行驶区域深度图计算模块，根据梯度结果二值化分类地面和障碍物，将筛选后的二值图像取接近车体的像素作为种子点获取最大连通区域，该最大连通区域的深度像素即为可行驶区域深度图。
优选的技术方案中，所述垂直梯度计算模块的深度图像的垂直梯度图的获取方法，包括：
S21：以卷积核尺寸为窗口，依次取当前窗口内的三行一列像素，每行像素与卷积核的对应的行相乘获得三行一列的乘积，再将三行乘积相加，获得当前窗口下中心像素的梯度；
S22：计算完成后滑动窗口，取紧邻一列的三行像素计算中心梯度；
S23：当一行像素的梯度计算完成后，窗口向下移动，继续执行下一行像素的梯度计算，直到窗口中心滑动遍历完图像中所有像素，计算完成后得到的行列结果即为深度图像的像素梯度图。
优选的技术方案中，所述可行驶区域深度图计算模块中还包括，计算深度像素点垂直倾斜角，设定阈值进行筛选，得到筛选后的二值图像；
所述深度像素点垂直倾斜角的计算方法，包括：
S31：根据深度相机视场角及深度成像高度计算像素间纵向视角夹角α；
S32：计算深度像素点行间的实际纵向距离，用角分辨率的正切tanα乘以深度值ρ，记录为矩阵E；
S33：用深度图像的像素梯度图与矩阵E相除，计算得到该处深度像素与纵向邻像素的倾角的正切值，记为矩阵E2；
S34：对矩阵E2每个元素求反正切arctan，获得深度像素所在面与相机视角方向的夹角，即深度像素点垂直倾斜角。
优选的技术方案中，所述可行驶区域深度图计算模块之后还包括将可行驶区域深度图的每个像素根据图像宽高和深度相机视场角信息映射至对应球坐标系的俯仰θ和偏向角φ方向，深度值ρ作为球坐标距离，在三维中重建可行使区域点云。
3、本发明所采用的有益效果
1、本发明使用深度图像2D处理方法对3D几何特征进行降维分类处理的思路，大幅降低计算复杂度，保证实时性的同时消耗很少的计算资源。
2、本发明使用深度传感器作为原始数据输入，使用2D图像算法却以可直接得到每个像素深度信息，便于3维重建，无需多传感器融合。
3、本发明基于3维几何特征进行检测，直接得到可行驶区域结果，无需提前标注训练，不会出现未训练样本导致识别失效的问题。
附图说明
图1为本发明基于深度相机的自动驾驶可行驶区域检测方法的流程图；
图2为本发明基于深度相机的自动驾驶可行驶区域检测系统的原理框图；
图3为使用Intel realsense D435深度图；
图4为图3的梯度卷积结果；
图5为使用Azure Kinect dk梯度卷积后的结果。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例1
如图1所示，一种基于深度相机的自动驾驶可行驶区域检测方法，包括以下步骤：
S01：获取深度图像；
S02：获取深度图像的垂直梯度图；
S03：根据梯度结果二值化分类地面和障碍物，将筛选后的二值图像取接近车体的像素作为种子点获取最大连通区域，该最大连通区域的深度像素即为可行驶区域深度图。
在一较佳的实施例中，为了对深度图像平滑降噪，增强识别的抗干扰能力，让识别结果更精准，步骤S02之前还包括对深度图像进行预处理操作，预处理操作主要流程包括深度像素滤波和孔洞填补。
孔洞填补操作包括将双目视差或是噪点产生的深度像素无效的值(NAN)使用最临近的深度值填补；
深度像素滤波操作包括采用空间滤波器进行深度像素滤波处理，空间滤波器可以为Intel Realsense的空间滤波器，可以在线性时间内有效地执行一维边缘保留滤波。可以减小由于测距精度不足导致的深度像素值上下波动，达到平滑物体表面的效果。
在一较佳的实施例中，步骤S02中深度图像的垂直梯度图的获取方法，可以包括：
S21：以卷积核尺寸为窗口，依次取当前窗口内的三行一列像素，每行像素与卷积核的对应的行相乘获得三行一列的乘积，再将三行乘积相加，获得当前窗口下中心像素的梯度；
S22：计算完成后滑动窗口，取紧邻一列的三行像素计算中心梯度；
S23：当一行像素的梯度计算完成后，窗口向下移动，继续执行下一行像素的梯度计算，直到窗口中心滑动遍历完图像中所有像素，计算完成后得到的行列结果即为深度图像的像素梯度图。
这里的卷积核为垂直卷积核[-1，0,1]，可以使用OpenCV的sobel函数生成核心大小为1的卷积核。
图像梯度是指图像某像素在x和y两个方向上的变化率(与相邻像素比较)，是一个二维向量，由2个分量组成，X轴(水平方向)的变化、Y轴(垂直方向)的变化，其中X轴的变化是指当前像素右侧(X加1)的像素值减去当前像素左侧(X减1)的像素值。
同理，Y轴的变化是当前像素下方(Y加1)的像素值减去当前像素上方(Y减1)的像素值。
计算出来这2个分量，形成一个二维向量，就得到了该像素的图像梯度。取反正切arctan，可得到梯度角度。
在现实驾驶环境中，与车辆行驶方向平行的地面映射到深度图中时接近一个平面，即使有轻微上下坡其垂直梯度也与水平路面像素的垂直梯度相差不大，同时又与路沿、障碍物的像素的垂直梯度有明显差值，因此使用深度图的垂直梯度层面可以轻易划分出可行驶区域。
使用2D梯度卷积计算获得像素梯度后，根据像素梯度值筛选平行于行驶方向的坐标，具体梯度阈值可依据行驶需求设定，在一较佳的实施例中，步骤S03中还包括，计算深度像素点垂直倾斜角即深度像素所在面与相机视角方向的夹角，设定阈值进行筛选，得到筛选后的二值图像。
较佳的，深度像素所在面与相机视角方向的夹角的阈值为0°到45°，夹角小于0的平面由于遮挡原因无深度图像。
在一较佳的实施例中，给出了一种深度像素点垂直倾斜角的计算方法，包括：
S31：根据深度相机视场角及深度成像高度计算像素间纵向视角夹角α(纵向视角分辨率)；
S32：计算深度像素点行间的实际纵向距离，用角分辨率的正切tanα乘以深度值ρ，记录为矩阵E；
S33：用深度图像的像素梯度图与矩阵E相除(每个元素除以矩阵E对应行列的值)，计算得到该处深度像素与纵向邻像素的倾角的正切值，记为矩阵E2；
S34：对矩阵E2每个元素求反正切arctan，获得深度像素所在面与相机视角方向的夹角，即深度像素点垂直倾斜角。
本发明截取相机视角方向夹角为0°到45°，将筛选后的二值图像取接近车体(图像底边中点，即车体中线下方)的像素作为种子点，使用泛洪填充获得种子点附近的最大连通区域，该区域内的深度像素即为可行驶区域深度图。
在一较佳的实施例中，步骤S03之后还包括度像素转化坐标操作，将可行驶区域深度图的每个像素根据图像宽高和深度相机视场角信息映射至对应球坐标系的俯仰θ和偏向角φ方向，深度值ρ作为球坐标距离，在三维中重建可行使区域点云。
另一实施例中，如图2所示，本发明还公开了一种基于深度相机的自动驾驶可行驶区域检测系统，包括：
深度图像获取模块10，获取深度图像；
垂直梯度计算模块20，获取深度图像的垂直梯度图；
可行驶区域深度图计算模块30，根据梯度结果二值化分类地面和障碍物，将筛选后的二值图像取接近车体的像素作为种子点获取最大连通区域，该最大连通区域的深度像素即为可行驶区域深度图。
可行驶区三维重建模块40，将筛选出的深度像素结合深度相机FOV信息映射回3D坐标，交由上层系统实现实时行驶地图。
将深度传感器固定在车体合适位置，将深度相机视角与车体行驶方向或障碍物检测方向对齐，本发明不需严格限制传感器固定位置。
下面详细介绍该可行驶区域检测系统的完整的详细工作流程：
1、深度图像预处理
深度图像预处理主要对深度图像平滑降噪，增强识别的抗干扰能力，让识别结果更精准，其处理流程主要包括：深度像素滤波和孔洞填补。
孔洞填补是将双目视差或是噪点产生的深度像素无效的值(NAN)使用最临近的深度值填补；
深度像素滤波采用Intel Realsense的空间滤波器(Spatial Filter)，可以减小由于测距精度不足导致的深度像素值上下波动，达到平滑物体表面的效果。
2、灰度垂直梯度算法
图像梯度为图像某像素在x和y两个方向上的变化率(与相邻像素比较)，是一个二维向量，由2个分量组成，X轴(水平方向)的变化、Y轴(垂直方向)的变化，其中X轴的变化是指当前像素右侧(X加1)的像素值减去当前像素左侧(X减1)的像素值。
同理，Y轴的变化是当前像素下方(Y加1)的像素值减去当前像素上方(Y减1)的像素值。
计算出来这2个分量，形成一个二维向量，就得到了该像素的图像梯度。取反正切arctan，可得到梯度角度。
在现实驾驶环境中，与车辆行驶方向平行的地面映射到深度图中时接近一个平面，即使有轻微上下坡其垂直梯度也与水平路面像素的垂直梯度相差不大，同时又与路沿、障碍物的像素的垂直梯度有明显差值，因此使用深度图的垂直梯度层面可以轻易划分出可行驶区域；
求深度图像梯度的过程可以通过一个垂直卷积核来实现：[-1,0,1]，使用OpenCV的sobel函数生成核心大小为1的卷积核，即为垂直梯度卷积核；
具体计算过程为：
以卷积核尺寸为窗口，从图像左上角开始，依次取当前窗口内的三行一列像素，每行像素与卷积核的对应的行相乘获得三行一列的乘积，再将三行乘积相加，获得当前窗口下中心像素的梯度；
本轮计算完成后窗口向左滑动，取紧邻一列的三行像素计算中心梯度；
当一行像素的梯度计算完成后，窗口向下移动一行像素，继续执行下一行像素的梯度计算，直到窗口中心滑动遍历完图像中所有像素；
计算完成后得到的行列结果即为深度图的像素梯度图。
3、可行驶区域提取
使用2D梯度卷积计算获得像素梯度后，根据像素梯度值筛选平行于行驶方向的坐标，具体梯度阈值可依据行驶需求设定，其中，深度像素点垂直倾斜角的计算具体过程为：
根据深度相机FOV及深度成像高度计算像素间纵向视角夹角α(纵向视角分辨率)；
计算深度像素点行间的实际纵向距离，用角分辨率的正切tanα乘以深度值ρ，记录为矩阵E；
用深度图的梯度结果与矩阵E相除(每个元素除以矩阵E对应行列的值)，计算得该处深度像素与纵向邻像素的倾角的正切值，记为矩阵E2；
对E2每个元素求反正切arctan，即可获得深度像素所在面与相机视角方向的夹角。
本发明截取相机视角方向夹角为0°到45°(夹角小于0的平面由于遮挡原因无深度图像)，将筛选后的二值图像取接近车体(图像底边中点，即车体中线下方)的像素作为种子点，使用泛洪填充获得种子点附近的最大联通区域，该区域内的深度像素即为可行驶区域深度图；
4、可行驶区三维重建
将深度图内可行驶区域的每个像素根据图像宽高和相机FOV映射至对应球坐标系的俯仰θ和偏向角φ方向，深度值作为球坐标距离ρ，即可在三维中重建可行使区域点云。
下面以具体的实例数据进行说明：
某一实际场景中使用Intel realsense D435深度数据如图3所示。图3的梯度卷积结果如图4所示。本发明使用深度图像2D处理技术对3D几何特征进行降维分类处理的思路，大幅降低计算复杂度，保证实时性的同时消耗很少的计算资源。
使用Azure Kinect dk深度相机的梯度卷积后的结果如图5所示，白色部分为障碍物，由于该传感器深度测量结果浮动误差较小，障碍物和地面卷积结果的形状比较精确。
本发明使用深度传感器作为原始数据输入，使用2D图像算法却以可直接得到每个像素深度信息，便于3维重建，无需多传感器融合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种基于深度相机的自动驾驶可行驶区域检测方法，其特征在于，包括以下步骤：
S01：获取深度图像；
S02：获取深度图像的垂直梯度图；
S03：根据梯度结果二值化分类地面和障碍物，将筛选后的二值图像取接近车体的像素作为种子点获取最大连通区域，该最大连通区域的深度像素即为可行驶区域深度图。
2.根据权利要求1所述的基于深度相机的自动驾驶可行驶区域检测方法，其特征在于，所述步骤S02之前还包括对深度图像进行预处理操作，包括深度像素滤波和孔洞填补。
3.根据权利要求1所述的基于深度相机的自动驾驶可行驶区域检测方法，其特征在于，所述步骤S02中深度图像的垂直梯度图的获取方法，包括：
S21：以卷积核尺寸为窗口，依次取当前窗口内的三行一列像素，每行像素与卷积核的对应的行相乘获得三行一列的乘积，再将三行乘积相加，获得当前窗口下中心像素的梯度；
S22：计算完成后滑动窗口，取紧邻一列的三行像素计算中心梯度；
S23：当一行像素的梯度计算完成后，窗口向下移动，继续执行下一行像素的梯度计算，直到窗口中心滑动遍历完图像中所有像素，计算完成后得到的行列结果即为深度图像的像素梯度图。
4.根据权利要求1所述的基于深度相机的自动驾驶可行驶区域检测方法，其特征在于，所述步骤S03中还包括，计算深度像素点垂直倾斜角，设定阈值进行筛选，得到筛选后的二值图像。
5.根据权利要求4所述的基于深度相机的自动驾驶可行驶区域检测方法，其特征在于，所述深度像素点垂直倾斜角的计算方法，包括：
S31：根据深度相机视场角及深度成像高度计算像素间纵向视角夹角α；
S32：计算深度像素点行间的实际纵向距离，用角分辨率的正切tanα乘以深度值ρ，记录为矩阵E；
S33：用深度图像的像素梯度图与矩阵E相除，计算得到该处深度像素与纵向邻像素的倾角的正切值，记为矩阵E2；
S34：对矩阵E2每个元素求反正切arctan，获得深度像素所在面与相机视角方向的夹角，即深度像素点垂直倾斜角。
6.根据权利要求1所述的基于深度相机的自动驾驶可行驶区域检测方法，其特征在于，所述步骤S03之后还包括将可行驶区域深度图的每个像素根据图像宽高和深度相机视场角信息映射至对应球坐标系的俯仰θ和偏向角φ方向，深度值ρ作为球坐标距离，在三维中重建可行使区域点云。
7.一种基于深度相机的自动驾驶可行驶区域检测系统，其特征在于，包括：
深度图像获取模块，获取深度图像；
垂直梯度计算模块，获取深度图像的垂直梯度图；
可行驶区域深度图计算模块，根据梯度结果二值化分类地面和障碍物，将筛选后的二值图像取接近车体的像素作为种子点获取最大连通区域，该最大连通区域的深度像素即为可行驶区域深度图。
8.根据权利要求7所述的基于深度相机的自动驾驶可行驶区域检测系统，其特征在于，所述垂直梯度计算模块的深度图像的垂直梯度图的获取方法，包括：
S21：以卷积核尺寸为窗口，依次取当前窗口内的三行一列像素，每行像素与卷积核的对应的行相乘获得三行一列的乘积，再将三行乘积相加，获得当前窗口下中心像素的梯度；
S22：计算完成后滑动窗口，取紧邻一列的三行像素计算中心梯度；
S23：当一行像素的梯度计算完成后，窗口向下移动，继续执行下一行像素的梯度计算，直到窗口中心滑动遍历完图像中所有像素，计算完成后得到的行列结果即为深度图像的像素梯度图。
9.根据权利要求7所述的基于深度相机的自动驾驶可行驶区域检测系统，其特征在于，所述可行驶区域深度图计算模块中还包括，计算深度像素点垂直倾斜角，设定阈值进行筛选，得到筛选后的二值图像；
所述深度像素点垂直倾斜角的计算方法，包括：
S31：根据深度相机视场角及深度成像高度计算像素间纵向视角夹角α；
S32：计算深度像素点行间的实际纵向距离，用角分辨率的正切tanα乘以深度值ρ，记录为矩阵E；
S33：用深度图像的像素梯度图与矩阵E相除，计算得到该处深度像素与纵向邻像素的倾角的正切值，记为矩阵E2；
S34：对矩阵E2每个元素求反正切arctan，获得深度像素所在面与相机视角方向的夹角，即深度像素点垂直倾斜角。
10.根据权利要求7所述的基于深度相机的自动驾驶可行驶区域检测系统，其特征在于，所述可行驶区域深度图计算模块之后还包括将可行驶区域深度图的每个像素根据图像宽高和深度相机视场角信息映射至对应球坐标系的俯仰θ和偏向角φ方向，深度值ρ作为球坐标距离，在三维中重建可行使区域点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974923.7A CN113743265B (zh) | 2021-08-24 | 2021-08-24 | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974923.7A CN113743265B (zh) | 2021-08-24 | 2021-08-24 | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743265A true CN113743265A (zh) | 2021-12-03 |
| CN113743265B CN113743265B (zh) | 2024-01-12 |
Family
ID=78732497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110974923.7A Active CN113743265B (zh) | 2021-08-24 | 2021-08-24 | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743265B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117542003A (zh) * | 2024-01-08 | 2024-02-09 | 大连天成电子有限公司 | 基于图像特征分析的货运列车车型判断方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015031990A (ja) * | 2013-07-31 | 2015-02-16 | ヤマハ発動機株式会社 | 障害物及び急斜面を検出する検出装置およびそれを備えた車両 |
| CN107066950A (zh) * | 2017-03-14 | 2017-08-18 | 北京工业大学 | 一种基于深度信息的人体检测窗口快速提取方法 |
| CN113255520A (zh) * | 2021-05-25 | 2021-08-13 | 华中科技大学 | 基于双目视觉和深度学习的车辆避障方法与电子设备 |
-
2021
- 2021-08-24 CN CN202110974923.7A patent/CN113743265B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015031990A (ja) * | 2013-07-31 | 2015-02-16 | ヤマハ発動機株式会社 | 障害物及び急斜面を検出する検出装置およびそれを備えた車両 |
| CN107066950A (zh) * | 2017-03-14 | 2017-08-18 | 北京工业大学 | 一种基于深度信息的人体检测窗口快速提取方法 |
| CN113255520A (zh) * | 2021-05-25 | 2021-08-13 | 华中科技大学 | 基于双目视觉和深度学习的车辆避障方法与电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 薛培林;吴愿;殷国栋;刘帅鹏;林乙蘅;黄文涵;张云;: "基于信息融合的城市自主车辆实时目标识别", 机械工程学报, no. 12, pages 183 - 191 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117542003A (zh) * | 2024-01-08 | 2024-02-09 | 大连天成电子有限公司 | 基于图像特征分析的货运列车车型判断方法 |
| CN117542003B (zh) * | 2024-01-08 | 2024-04-02 | 大连天成电子有限公司 | 基于图像特征分析的货运列车车型判断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743265B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| Shin et al. | Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities | |
| US10915793B2 (en) | Method and system for converting point cloud data for use with 2D convolutional neural networks | |
| CN105825173B (zh) | 通用道路和车道检测系统与方法 | |
| CN113819890B (zh) | 测距方法、装置、电子设备及存储介质 | |
| CN112258618A (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
| CN108597009B (zh) | 一种基于方向角信息进行三维目标检测的方法 | |
| Tian et al. | Depth estimation using a self-supervised network based on cross-layer feature fusion and the quadtree constraint | |
| CN107330376A (zh) | 一种车道线识别方法及系统 | |
| CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN111488812A (zh) | 障碍物位置识别方法、装置、计算机设备和存储介质 | |
| CN111126116A (zh) | 无人船河道垃圾识别方法及系统 | |
| US20240013505A1 (en) | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime | |
| CN112154448A (zh) | 目标检测方法、设备及可移动平台 | |
| CN113221648A (zh) | 一种基于移动测量系统的融合点云序列影像路牌检测方法 | |
| CN116279592A (zh) | 一种用于无人物流车的可行驶区域划分方法 | |
| CN110197104B (zh) | 基于车辆的测距方法及装置 | |
| CN113743265B (zh) | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 | |
| CN107944350B (zh) | 一种基于外观和几何信息融合的单目视觉道路识别方法 | |
| CN113792593A (zh) | 一种基于深度融合的水下近距离目标识别跟踪方法及系统 | |
| Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN116092035A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| CN106909936B (zh) | 一种基于双车辆可变形部件模型的车辆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |