CN116823909A - 一种驾驶环境综合信息提取方法、装置、设备及介质 - Google Patents
一种驾驶环境综合信息提取方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116823909A CN116823909A CN202310803955.XA CN202310803955A CN116823909A CN 116823909 A CN116823909 A CN 116823909A CN 202310803955 A CN202310803955 A CN 202310803955A CN 116823909 A CN116823909 A CN 116823909A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- camera
- determining
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000003014 reinforcing effect Effects 0.000 claims abstract description 5
- 230000009466 transformation Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种驾驶环境综合信息提取方法、装置、设备及介质，根据相机参数确定获取的图像的深度图；基于真实地图坐标系生成图像的法向矢量组成的平面法线图；对生成的平面法线图进行优化与分割；根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息；从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。能够有效地消除干扰，提高驾驶环境综合信息的精度。
Description
技术领域
本发明涉及数据获取技术领域，尤其涉及一种驾驶环境综合信息提取方法、装置、设备及介质。
背景技术
无人驾驶汽车是一种智能汽车，从大方向上来说智能车辆属于移动机器人的研究范畴。无人驾驶主要依靠车内的以计算机系统和各种控制系统自主感知外界环境，根据获取到的信息做出最优的运动控制决策，并根据预置的算法和程序，实现对智能车辆的整体控制。
驾驶环境信息的获取主要使用面向道路的摄像机捕获图像，并通过基于视觉的车道环境综合识别算法提取特征信息。但是现有的驾驶环境信息获取方法容易受到干扰，难以准确计算障碍物距离提取车道线信息。
发明内容
为解决上述技术问题，本发明提供一种驾驶环境综合信息提取方法、装置、设备及介质，能够有效地消除干扰，提高驾驶环境综合信息的精度。
本发明实施例提供一种驾驶环境综合信息提取方法，所述方法包括：
根据相机参数确定获取的图像的深度图；
基于真实地图坐标系生成图像的法向矢量组成的平面法线图；
对生成的平面法线图进行优化与分割；
根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息；
从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。
优选地，所述深度图具体为
其中，Z为从场景中的物体到相机基线的实际距离，B为双目摄像机的光学中心距离，f为相机的焦距，d为物体的视差。
作为一种优选方案，所述基于真实地图坐标系生成图像的法向矢量组成的平面法线图，具体包括：
通过校准获得相机的固有参数；
根据所述固有参数和变换模型，将所述深度图中的点从图像坐标系中转换到相机坐标系；
遍历搜索所述深度图中的每个像素，从相邻像素组成的矢量的邻域搜索到两个顺时针相邻的像素并形成两个向量；
根据搜索到的两个向量计算法向矢量；
根据计算得到的法向向量确定平面法线图；
其中，固有参数方向dx上的比例因子fx＝/dx，方向dy上的比例因子fy＝/dy，f为相机的焦距，u0和v0分别表示图像平面的中心，所述变换模型为(，v)为图像像素坐标，(C，YC)为相机图像坐标，搜索到的两个向量为/>法向矢量c＝×b，Xci，Yci和Zci为a在深度图的坐标，Xcj，Ycj和Zcj为b在深度图的坐标，Zc为相机图像的z轴坐标。
优选地，所述对生成的平面法线图进行优化与分割，具体包括：
将生成的平面法线图中具有相似颜色的像素合并到区域中，选择车辆的前部作为种子区域；判断车辆前方是否存在与种子区域相同法向矢量的区域；
当车辆前方没有存在与种子区域相同法向矢量的区域，确定车辆前方没有安全区域，反馈报警；
当车辆前方存在与种子区域相同法向矢量的区域，将具有与种子区域相同法向矢量的区域视为道路路面。
作为一种优选方案，所述根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息，具体包括：
根据对像素相邻块的像素值的统计特性，计算该像素的二值化阈值；
对根据预设的区域约束和方向约束执行噪声消除；
在分段图像中提取九个子图像，根据预设的线段条件将通道确定为一组离散线段，保留确定的线段以及其扩展中存在于二进制图中的所有点作为所述特征信息；
其中，以像素(,j)为中心的w×w个像素块的二值化阈值统计特性C＝max(k1σ,k2m)，w×w为相邻像素块的数量，k1和k2和均为常数，f(i,j)表示图像中第i行第j列的像素值，m为以像素(,j)为中心的w×w个像素块的灰度值的平均值，σ为标准偏差，区域S的线段条件/>θ为区域S的方向。
优选地，所述从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标，具体包括：
采用预先提取出的候选目标边缘，采用霍夫变换结合实时消失点检测方法找到候选线和消失点，扩展所有候选线以找到与图像底部的水平线的交叉点，计算每个交叉点与穿过消失点的垂直线之间的距离，得到目标的初始位置；
根据得到的初始位置，确定靠近主车道的第一个感兴趣区域，然后在第一个感兴趣区域中搜索内车道边缘的点，应用最小二乘法将这些点拟合成一个短线段；
根据拟合得到的短线段的位置、角度和预设的间隔，沿着车道方向线性依次预测后续感兴趣区域中的短线段，根据依次预测得到的短线段提取初步车道；
当提取的初步车道角度变化大于预设值时，采用最小二乘曲线模型拟合得到车道线；
当提取的初步车道角度变化不大于所述预设值时，采用最小二乘线性模型拟合得到车道线；
其中，霍夫变换结合实时消失点检测方法的成本函数为I为所有候选线的总平方距离，ni是与线i垂直的单位向量，Vi表示第i条直线到消失点的距离，V0表示期望距离；消失点/>pi表示霍夫变换综合识别到的第i行点变换和；/>XL1和YL1为根据前一感兴趣区域位置XL0和YL0预测得到的新的感兴趣区域的位置，α0为前一感兴趣区域中短线段的角度，Δy为所述间隔。
本发明实施例还提供一种驾驶环境综合信息提取装置，所述装置包括：
深度图获取模块，用于根据相机参数确定获取的图像的深度图；
法向矢量生成模块，用于基于真实地图坐标系生成图像的法向矢量组成的平面法线图；
分割模块，用于对生成的平面法线图进行优化与分割；
车道信息增强模块，用于根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息；
环境识别模块，用于从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。
作为上述方案的改进，所述深度图具体为
其中，Z为从场景中的物体到相机基线的实际距离，B为双目摄像机的光学中心距离，f为相机的焦距，d为物体的视差。
优选地，所述法向矢量生成模块具体用于：
通过校准获得相机的固有参数；
根据所述固有参数和变换模型，将所述深度图中的点从图像坐标系中转换到相机坐标系；
遍历搜索所述深度图中的每个像素，从相邻像素组成的矢量的邻域搜索到两个顺时针相邻的像素并形成两个向量；
根据搜索到的两个向量计算法向矢量；
根据计算得到的法向向量确定平面法线图；
其中，固有参数方向dx上的比例因子fx＝/dx，方向dy上的比例因子fy＝/dy，f为相机的焦距，u0和v0分别表示图像平面的中心，所述变换模型为(，v)为图像像素坐标，(C，YC)为相机图像坐标，搜索到的两个向量为/>法向矢量c＝×b，Xci，Yci和Zci为a在深度图的坐标，Xcj，Ycj和Zcj为b在深度图的坐标，Zc为相机图像的z轴坐标。
优选地，所述分割模块具体用于：
将生成的平面法线图中具有相似颜色的像素合并到区域中，选择车辆的前部作为种子区域；判断车辆前方是否存在与种子区域相同法向矢量的区域；
当车辆前方没有存在与种子区域相同法向矢量的区域，确定车辆前方没有安全区域，反馈报警；
当车辆前方存在与种子区域相同法向矢量的区域，将具有与种子区域相同法向矢量的区域视为道路路面。
优选地，所述车道信息增强模块具体用于：
根据对像素相邻块的像素值的统计特性，计算该像素的二值化阈值；
对根据预设的区域约束和方向约束执行噪声消除；
在分段图像中提取九个子图像，根据预设的线段条件将通道确定为一组离散线段，保留确定的线段以及其扩展中存在于二进制图中的所有点作为所述特征信息；
其中，以像素(,j)为中心的w×w个像素块的二值化阈值统计特性C＝max(k1σ,k2m)，w×w为相邻像素块的数量，k1和k2和均为常数，f(i,j)表示图像中第i行第j列的像素值，m为以像素(,j)为中心的w×w个像素块的灰度值的平均值，σ为标准偏差，区域S的线段条件/>θ为区域S的方向。
优选地，所述环境识别模块具体用于：
采用预先提取出的候选目标边缘，采用霍夫变换结合实时消失点检测方法找到候选线和消失点，扩展所有候选线以找到与图像底部的水平线的交叉点，计算每个交叉点与穿过消失点的垂直线之间的距离，得到目标的初始位置；
根据得到的初始位置，确定靠近主车道的第一个感兴趣区域，然后在第一个感兴趣区域中搜索内车道边缘的点，应用最小二乘法将这些点拟合成一个短线段；
根据拟合得到的短线段的位置、角度和预设的间隔，沿着车道方向线性依次预测后续感兴趣区域中的短线段，根据依次预测得到的短线段提取初步车道；
当提取的初步车道角度变化大于预设值时，采用最小二乘曲线模型拟合得到车道线；
当提取的初步车道角度变化不大于所述预设值时，采用最小二乘线性模型拟合得到车道线；
其中，霍夫变换结合实时消失点检测方法的成本函数为I为所有候选线的总平方距离，ni是与线i垂直的单位向量，Vi表示第i条直线到消失点的距离，V0表示期望距离；消失点/>pi表示霍夫变换综合识别到的第i行点变换和；/>XL1和YL1为根据前一感兴趣区域位置XL0和YL0预测得到的新的感兴趣区域的位置，α0为前一感兴趣区域中短线段的角度，Δy为所述间隔。
本发明另一实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的驾驶环境综合信息提取方法。
本发明另一实施例提供了一种驾驶环境综合信息提取装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的驾驶环境综合信息提取方法。
与现有技术相比，本发明提供的一种驾驶环境综合信息提取方法、装置、设备及介质，根据相机参数确定获取的图像的深度图；基于真实地图坐标系生成图像的法向矢量组成的平面法线图；对生成的平面法线图进行优化与分割；根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息；从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。能够有效地消除干扰，提高驾驶环境综合信息的精度。
附图说明
图1是本发明实施例提供的一种驾驶环境综合信息提取方法的流程示意图；
图2是本发明实施例提供的法向矢量估计的示意图；
图3是本发明实施例提供的道路分割的样本结果的示意图；
图4是本发明实施例提供的消除边缘噪声的示意图；
图5是本发明实施例提供的车道线预测的示意图；
图6是本发明实施例提供的一种驾驶环境综合信息提取装置的结构示意图；
图7是本发明另一实施例提供的一种驾驶环境综合信息提取装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种驾驶环境综合信息提取方法，参见图1，是本发明实施例提供的一种驾驶环境综合信息提取方法的流程示意图，所述方法步骤S1～S5：
S1，根据相机参数确定获取的图像的深度图；
S2，基于真实地图坐标系生成图像的法向矢量组成的平面法线图；
S3，对生成的平面法线图进行优化与分割；
S4，根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息；
S5，从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。
在本实施例具体实施时，本发明提供的驾驶环境综合信息提取方法在面向复杂交通条件下，信息提取的方法包括以下步骤：
根据相机参数确定获取的图像的深度图，根据视差和深度之间的关系获取深度图；
基于真实地图坐标系进行正常地图的估计，生成原始图像的法向矢量组成的平面法线图；
对生成的平面法线图进行优化与分割；
进行目标功能特征增强，即根据道路场景的自然特征，采用Sobel算子增强车道边缘，随后二值化处理以保留有效的通道特征信息，并减少数据处理；
从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。
本实施例根据道路场景的自然特征，采用Sobel算子来增强车道边缘，在执行边缘综合识别过程之后，运用二值化，保留有了效的通道特征并减少数据处理；改进了传统的局部自适应阈值分割方法，将Hough变换和消失点组合起来以共同识别目标边界，更好地适应各种复杂的光照条件。
在本发明提供的又一实施例中，所述深度图具体为
其中，Z为从场景中的物体到相机基线的实际距离，B为双目摄像机的光学中心距离，f为相机的焦距，d为物体的视差。
在本实施例具体实施时，获取的相机参数包括从场景中的物体到相机基线的实际距离Z，即深度。双目摄像机的光学中心距离B，相机的焦距f，物体的视差d。
根据获取的相机参数中视差和深度之间的关系，获取深度图的公式为：
在本发明提供的又一实施例中，所述步骤S2具体包括：
所述基于真实地图坐标系生成图像的法向矢量组成的平面法线图，具体包括：
通过校准获得相机的固有参数；
根据所述固有参数和变换模型，将所述深度图中的点从图像坐标系中转换到相机坐标系；
遍历搜索所述深度图中的每个像素，从相邻像素组成的矢量的邻域搜索到两个顺时针相邻的像素并形成两个向量；
根据搜索到的两个向量计算法向矢量；
根据计算得到的法向向量确定平面法线图；
其中，固有参数方向dx上的比例因子fx＝/dx，方向dy上的比例因子fy＝/dy，f为相机的焦距，u0和v0分别表示图像平面的中心，所述变换模型为(，v)为图像像素坐标，(C，YC)为相机图像坐标，搜索到的两个向量为/>法向矢量c＝×b，Xci，Yci和Zci为a在深度图的坐标，Xcj，Ycj和Zcj为b在深度图的坐标，Zc为相机图像的z轴坐标。
在本实施例具体实施时，通过校准获得摄像机的固有参数K，
利用相机模型中坐标系之间的变换模型，将深度图中的点从图像像素坐标(，v)转换为相机坐标(C，YC)，变换模型具体为
其中，方向dx上的比例因子fx＝/dx，方向dy上的比例因子fy＝/dy，f为相机的焦距，u0和v0分别表示图像平面的中心，(，v)为图像像素坐标，(C，YC)为相机图像坐标。
当遍历深度图中的每个像素并搜索它，N×N个相邻像素形成矢量；参见图2，是本发明实施例提供的法向矢量估计的示意图；
在图2中以3×3邻域为例，该像素的法向矢量C可以通过叉积得到，在其N×N邻域中找到两个顺时针相邻的像素并形成两个向量a和b，然后计算法向量，最后平均法线像素的法向矢量，根据计算得到的法向向量确定平面法线图；
其中，Xci，Yci和Zci为a在深度图的坐标，Xvj，Ycj和Zcj为b在深度图的坐标，Zc为相机图像的z轴坐标。
通过计算深度图，摄像机固有参数，将深度图中的点从图像像素坐标转换为相机坐标，利用形态学操作将具有相似颜色的像素合并到区域中，提高图像识别精度。
在本发明提供的又一实施例中，所述步骤S3具体包括：
将生成的平面法线图中具有相似颜色的像素合并到区域中，选择车辆的前部作为种子区域；判断车辆前方是否存在与种子区域相同法向矢量的区域；
当车辆前方没有存在与种子区域相同法向矢量的区域，确定车辆前方没有安全区域，反馈报警；
当车辆前方存在与种子区域相同法向矢量的区域，将具有与种子区域相同法向矢量的区域视为道路路面。
在本实施例具体实施时，参见图3，是本发明实施例提供的道路分割的样本结果的示意图，图(a1)-(a4)为原始图像；图(b1)-(b4)为MultiNet算法的结果；图(c1)-(c4)是所提出方法的结果。
对法线贴图进行优化与分割时，每个点的法向矢量可以逐个对应于颜色图中的，首先利用形态学操作将具有相似颜色的像素合并到区域中；选择车辆的前部作为种子区域，判断车辆前方是否存在与种子区域相同法向矢量的区域；
当车辆前方没有存在与种子区域相同法向矢量的区域，确定车辆前方没有安全区域，反馈报警；
当车辆前方存在与种子区域相同法向矢量的区域，将具有与种子区域相同法向矢量的区域视为道路路面。
通过对前方区域的判断，确定前方没有安全区域并且出现警报，从而提高驾驶的安全性。
在本发明提供的又一实施例中，步骤S4具体包括：
根据对像素相邻块的像素值的统计特性，计算该像素的二值化阈值；
对根据预设的区域约束和方向约束执行噪声消除；
在分段图像中提取九个子图像，根据预设的线段条件将通道确定为一组离散线段，保留确定的线段以及其扩展中存在于二进制图中的所有点作为所述特征信息；
其中，以像素(,j)为中心的w×w个像素块的二值化阈值统计特性C＝max(k1σ,k2m)，w×w为相邻像素块的数量，k1和k2和均为常数，f(i,j)表示图像中第i行第j列的像素值，m为以像素(,j)为中心的w×w个像素块的灰度值的平均值，σ为标准偏差，区域S的线段条件/>θ为区域S的方向。
在本实施例具体实施时，本实施例提供的改进的局部自适应阈值分割方法具体执行时：
对于图像f(x，y)，计算以像素(,j)为中心的w×w像素块的灰度值的平均值是m，标准偏差是σ，定义校正阈值的常数差，其取决于相邻块中的像素值的统计特性：C＝max(k1σ,k2m)，其中，k1和k2均为常数。
根据对像素相邻块的像素值的统计特性，计算该像素的二值化阈值；以像素(,j)为中心的w×w个像素块的二值化阈值
随后消除分割的结果中的噪声，对区域S约束即定义区域大小连通区域的阈值，和方向θ约束即限制车道的角度两个方面执行噪声消除，将通道视为一组离散线段，并在分段图像中提取九个子图像(L1，L2，L3，L4，R1，R2，R3，R4，LR5)，参见图4，是本发明实施例提供的消除边缘噪声的示意图，在图4中，在分段图像中提取九个子图像，根据预设的线段条件将通道确定为一组离散线段，区域S的线段条件θ为区域S的方向。
将被视为一条线路中的线条，并且保留线条以及其扩展中存在于二进制图中的所有点，保留确定的线段以及其扩展中存在于二进制图中的所有点作为所述特征信息。
在执行边缘综合识别过程之后，运用二值化，保留有了效的通道特征并减少数据处理。
在本发明提供的又一实施例中，所述步骤S5具体包括：
采用预先提取出的候选目标边缘，采用霍夫变换结合实时消失点检测方法找到候选线和消失点，扩展所有候选线以找到与图像底部的水平线的交叉点，计算每个交叉点与穿过消失点的垂直线之间的距离，得到目标的初始位置；
根据得到的初始位置，确定靠近主车道的第一个感兴趣区域，然后在第一个感兴趣区域中搜索内车道边缘的点，应用最小二乘法将这些点拟合成一个短线段；
根据拟合得到的短线段的位置、角度和预设的间隔，沿着车道方向线性依次预测后续感兴趣区域中的短线段，根据依次预测得到的短线段提取初步车道；
当提取的初步车道角度变化大于预设值时，采用最小二乘曲线模型拟合得到车道线；
当提取的初步车道角度变化不大于所述预设值时，采用最小二乘线性模型拟合得到车道线；
其中，霍夫变换结合实时消失点检测方法的成本函数为I为所有候选线的总平方距离，ni是与线i垂直的单位向量，Vi表示第i条直线到消失点的距离，V0表示期望距离；消失点/>pi表示霍夫变换综合识别到的第i行点变换和；/>XL1和YL1为根据前一感兴趣区域位置XL0和YL0预测得到的新的感兴趣区域的位置，α0为前一感兴趣区域中短线段的角度，Δy为所述间隔。
在本实施例具体实施时，确定识别目标的过程具体包括：
采用预先提取出的候选目标边缘，采用霍夫变换结合实时消失点检测方法找到候选线和消失点，扩展所有候选线以找到与图像底部的水平线的交叉点，计算每个交叉点与穿过消失点的垂直线之间的距离，得到目标的初始位置；
其中，霍夫变换结合实时消失点检测方法的成本函数为I为所有候选线的总平方距离，ni是与线i垂直的单位向量，Vi表示第i条直线到消失点的距离，V0表示期望距离；消失点/>pi表示霍夫变换综合识别到的第i行点变换和；
找到候选线和消失点，扩展所有这些候选线以找到它们与图像底部的水平线的交叉点，然后计算每个交叉点与穿过消失点的垂直线之间的距离，以找到目标的初始位置，根据初始位置信息，确定靠近主车道的第一感兴趣区域ROI，然后在ROI中搜索内车道边缘的点，应用最小二乘法将这些点拟合成一个短线段，该线段的角度，先前ROI的位置和间隔Δy将用于确定下一个ROI，参见图5，是本发明实施例提供的车道线预测的示意图；
以左车道为例进行ROI计算，XL1和YL1为根据前一感兴趣区域XL0和YL0预测得到的新的感兴趣区域的位置，α0为左车道中前一感兴趣区域中短线段的角度，Δy为所述间隔；
需要说明的是，以右车道进行ROI计算时，XR1和YR1为根据前一感兴趣区域XR0和YR0预测得到的新的感兴趣区域的位置，β0为左车道中前一感兴趣区域中短线段的角度。
这允许沿着车道方向线性预测ROI，如图5所示，在提取车道之后，从每个ROI获得的车道线的角度用于将车道识别为直线或曲线，当提取的初步车道角度变化大于预设值时，在本实施例中预设值设置为10°，采用最小二乘曲线模型拟合得到车道线；
当提取的初步车道角度变化不大于所述预设值时，在本实施例中预设值设置为10°，采用最小二乘线性模型拟合得到车道线。
通过对车道线角度判断，采用不同拟合模型进行车道线拟合，提高车道线拟合准确率。
在本发明提供的又一实施例中，参见图6，是本发明实施例提供的一种驾驶环境综合信息提取装置的结构示意图，所述装置包括：
深度图获取模块，用于根据相机参数确定获取的图像的深度图；
法向矢量生成模块，用于基于真实地图坐标系生成图像的法向矢量组成的平面法线图；
分割模块，用于对生成的平面法线图进行优化与分割；
车道信息增强模块，用于根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息；
环境识别模块，用于从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。
需要说明的是，本发明实施例提供的一种驾驶环境综合信息提取装置用于执行上述实施例的一种驾驶环境综合信息提取方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
参见图7，是本发明另一实施例提供的一种驾驶环境综合信息提取装置的结构示意图。该实施例的驾驶环境综合信息提取装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如驾驶环境综合信息提取程序。所述处理器执行所述计算机程序时实现上述各个驾驶环境综合信息提取方法实施例中的步骤，例如图1所示的步骤S1～S5。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述驾驶环境综合信息提取装置中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能再次不作赘述。
所述驾驶环境综合信息提取装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述驾驶环境综合信息提取装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是驾驶环境综合信息提取装置的示例，并不构成对驾驶环境综合信息提取装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述驾驶环境综合信息提取装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述驾驶环境综合信息提取装置的控制中心，利用各种接口和线路连接整个驾驶环境综合信息提取装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述驾驶环境综合信息提取装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述驾驶环境综合信息提取装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种驾驶环境综合信息提取方法，其特征在于，所述方法包括：
根据相机参数确定获取的图像的深度图；
基于真实地图坐标系生成图像的法向矢量组成的平面法线图；
对生成的平面法线图进行优化与分割；
根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息；
从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。
2.如权利要求1所述的驾驶环境综合信息提取方法，其特征在于，所述深度图具体为
其中，Z为从场景中的物体到相机基线的实际距离，B为双目摄像机的光学中心距离，f为相机的焦距，d为物体的视差。
3.如权利要求1所述的驾驶环境综合信息提取方法，其特征在于，所述基于真实地图坐标系生成图像的法向矢量组成的平面法线图，具体包括：
通过校准获得相机的固有参数；
根据所述固有参数和变换模型，将所述深度图中的点从图像坐标系中转换到相机坐标系；
遍历搜索所述深度图中的每个像素，从相邻像素组成的矢量的邻域搜索到两个顺时针相邻的像素并形成两个向量；
根据搜索到的两个向量计算法向矢量；
根据计算得到的法向向量确定平面法线图；
其中，固有参数方向dx上的比例因子fx＝/dx，方向dy上的比例因子fy＝/dy，f为相机的焦距，u0和v0分别表示图像平面的中心，所述变换模型为(，v)为图像像素坐标，(C，Yc)为相机图像坐标，搜索到的两个向量为/>法向矢量c＝×b，Xci，Yci和Zci为a在深度图的坐标，Xcj，Ycj和Zcj为b在深度图的坐标，Zc为相机图像的z轴坐标。
4.如权利要求1所述的驾驶环境综合信息提取方法，其特征在于，所述对生成的平面法线图进行优化与分割，具体包括：
将生成的平面法线图中具有相似颜色的像素合并到区域中，选择车辆的前部作为种子区域；判断车辆前方是否存在与种子区域相同法向矢量的区域；
当车辆前方没有存在与种子区域相同法向矢量的区域，确定车辆前方没有安全区域，反馈报警；
当车辆前方存在与种子区域相同法向矢量的区域，将具有与种子区域相同法向矢量的区域视为道路路面。
5.如权利要求1所述的驾驶环境综合信息提取方法，其特征在于，所述根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息，具体包括：
根据对像素相邻块的像素值的统计特性，计算该像素的二值化阈值；
对根据预设的区域约束和方向约束执行噪声消除；
在分段图像中提取九个子图像，根据预设的线段条件将通道确定为一组离散线段，保留确定的线段以及其扩展中存在于二进制图中的所有点作为所述特征信息；
其中，以像素(,j)为中心的w×w个像素块的二值化阈值统计特性C＝max(k1σ,k2m)，w×w为相邻像素块的数量，k1和k2和均为常数，f(i,j)表示图像中第i行第j列的像素值，m为以像素(,j)为中心的w×w个像素块的灰度值的平均值，σ为标准偏差，区域S的线段条件/>θ为区域S的方向。
6.如权利要求1所述的驾驶环境综合信息提取方法，其特征在于，所述从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标，具体包括：
采用预先提取出的候选目标边缘，采用霍夫变换结合实时消失点检测方法找到候选线和消失点，扩展所有候选线以找到与图像底部的水平线的交叉点，计算每个交叉点与穿过消失点的垂直线之间的距离，得到目标的初始位置；
根据得到的初始位置，确定靠近主车道的第一个感兴趣区域，然后在第一个感兴趣区域中搜索内车道边缘的点，应用最小二乘法将这些点拟合成一个短线段；
根据拟合得到的短线段的位置、角度和预设的间隔，沿着车道方向线性依次预测后续感兴趣区域中的短线段，根据依次预测得到的短线段提取初步车道；
当提取的初步车道角度变化大于预设值时，采用最小二乘曲线模型拟合得到车道线；
当提取的初步车道角度变化不大于所述预设值时，采用最小二乘线性模型拟合得到车道线；
其中，霍夫变换结合实时消失点检测方法的成本函数为I为所有候选线的总平方距离，ni是与线i垂直的单位向量，Vi表示第i条直线到消失点的距离，V0表示期望距离；消失点/>pi表示霍夫变换综合识别到的第i行点变换和；/>XL1和YL1为根据前一感兴趣区域位置XL0和YL0预测得到的新的感兴趣区域的位置，α0为前一感兴趣区域中短线段的角度，Δy为所述间隔。
7.一种驾驶环境综合信息提取装置，其特征在于，所述装置包括：
深度图获取模块，用于根据相机参数确定获取的图像的深度图；
法向矢量生成模块，用于基于真实地图坐标系生成图像的法向矢量组成的平面法线图；
分割模块，用于对生成的平面法线图进行优化与分割；
车道信息增强模块，用于根据道路场景的自然特征，采用sobel算子增强车道边缘，并进行二值化处理保留特征信息；
环境识别模块，用于从特征信息中确定车道线位置，对车辆自适应感兴趣区域进行预测，用最小二乘法拟合目标轮廓，确定识别目标。
8.如权利要求7所述的驾驶环境综合信息提取装置，其特征在于，所述法向矢量生成模块具体用于：
通过校准获得相机的固有参数；
根据所述固有参数和变换模型，将所述深度图中的点从图像坐标系中转换到相机坐标系；
遍历搜索所述深度图中的每个像素，从相邻像素组成的矢量的邻域搜索到两个顺时针相邻的像素并形成两个向量；
根据搜索到的两个向量计算法向矢量；
根据计算得到的法向向量确定平面法线图；
其中，固有参数方向dx上的比例因子fx＝/dx，方向dy上的比例因子fy＝/dy，f为相机的焦距，u0和v0分别表示图像平面的中心，所述变换模型为(，v)为图像像素坐标，(C，YC)为相机图像坐标，搜索到的两个向量为/>法向矢量c＝×b，Xci，Yci和Zci为a在深度图的坐标，Xcj，Ycj和Zcj为b在深度图的坐标，Zc为相机图像的z轴坐标。
9.一种驾驶环境综合信息提取装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的驾驶环境综合信息提取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的驾驶环境综合信息提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310803955.XA CN116823909A (zh) | 2023-06-30 | 2023-06-30 | 一种驾驶环境综合信息提取方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310803955.XA CN116823909A (zh) | 2023-06-30 | 2023-06-30 | 一种驾驶环境综合信息提取方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116823909A true CN116823909A (zh) | 2023-09-29 |
Family
ID=88118190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310803955.XA Withdrawn CN116823909A (zh) | 2023-06-30 | 2023-06-30 | 一种驾驶环境综合信息提取方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823909A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893949A (zh) * | 2016-03-29 | 2016-08-24 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
| CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学（武汉） | 一种车辆驾驶路径偏移的识别方法及系统 |
| CN114693716A (zh) * | 2022-03-26 | 2022-07-01 | 苏州惠临充智能科技有限公司 | 一种面向复杂交通条件下的驾驶环境综合识别信息提取方法 |
-
2023
- 2023-06-30 CN CN202310803955.XA patent/CN116823909A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893949A (zh) * | 2016-03-29 | 2016-08-24 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
| CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学（武汉） | 一种车辆驾驶路径偏移的识别方法及系统 |
| CN114693716A (zh) * | 2022-03-26 | 2022-07-01 | 苏州惠临充智能科技有限公司 | 一种面向复杂交通条件下的驾驶环境综合识别信息提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108280450B (zh) | 一种基于车道线的高速公路路面检测方法 | |
| Yan et al. | A method of lane edge detection based on Canny algorithm | |
| CN110363817B (zh) | 目标位姿估计方法、电子设备和介质 | |
| CN111444778B (zh) | 一种车道线检测方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN112947419B (zh) | 避障方法、装置及设备 | |
| CN109685827B (zh) | 一种基于dsp的目标检测与跟踪方法 | |
| Küçükmanisa et al. | Real-time illumination and shadow invariant lane detection on mobile platform | |
| CN114693716A (zh) | 一种面向复杂交通条件下的驾驶环境综合识别信息提取方法 | |
| CN113034497A (zh) | 一种基于视觉的保温杯焊缝定位检测方法及系统 | |
| Bao et al. | Unpaved road detection based on spatial fuzzy clustering algorithm | |
| CN113516853B (zh) | 一种针对复杂监控场景的多车道车流量检测方法 | |
| Gu et al. | Vision-based multi-scaled vehicle detection and distance relevant mix tracking for driver assistance system | |
| Gong et al. | Complex lane detection based on dynamic constraint of the double threshold | |
| CN115601435B (zh) | 车辆姿态检测方法、装置、车辆及存储介质 | |
| CN116681932A (zh) | 一种对象识别方法、装置、电子设备及存储介质 | |
| Zhu et al. | Moment-based multi-lane detection and tracking | |
| Han et al. | Accurate and robust vanishing point detection method in unstructured road scenes | |
| CN116052120A (zh) | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 | |
| CN116823909A (zh) | 一种驾驶环境综合信息提取方法、装置、设备及介质 | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| CN113255405B (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
| Heidarizadeh | Preprocessing Methods of Lane Detection and Tracking for Autonomous Driving | |
| Liu et al. | Detection of geometric shape for traffic lane and mark | |
| Liu et al. | Research on lane detection method with shadow interference |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230929 |