CN118470680B - 基于图像处理的智能驾驶方法与装置 - Google Patents
基于图像处理的智能驾驶方法与装置 Download PDFInfo
- Publication number
- CN118470680B CN118470680B CN202410918613.7A CN202410918613A CN118470680B CN 118470680 B CN118470680 B CN 118470680B CN 202410918613 A CN202410918613 A CN 202410918613A CN 118470680 B CN118470680 B CN 118470680B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- edge
- driving
- line segment
- driving area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 75
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请提供的一种基于图像处理的智能驾驶方法与装置，涉及智能驾驶技术领域。识别车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线和右车道线构成的第一行驶区域；确定包括第一目标线段的左侧边缘区域，以及包括第二目标线段的右侧边缘区域；确定左侧边缘区域中与第一目标线段平行的各第一参考线上的各像素的亮度，在垂直于第一参考线的方向的梯度值的绝对值之和，以及确定右侧边缘区域中与第二目标线段平行的各第二参考线上的各像素的亮度，在垂直于第二参考线的方向的梯度值的绝对值之和；校准确定的第一行驶区域，在确定车辆不存在变道需求的条件下，精准地控制车辆在所行驶的路段上的第一行驶区域内行驶。
Description
技术领域
本申请涉及智能驾驶技术领域，尤其涉及一种基于图像处理的智能驾驶方法与装置。
背景技术
随着科技的发展，人们也驾驶车辆的体验的要求也越来越高，智能驾驶应运而生。智能驾驶可以实现解放驾驶人员的双手，实现车辆的智能驾驶。
需要说明的是，当车辆在公路上行驶时，是需要沿着两侧的车道线划定的行驶区域行驶。因而，车辆需要精准地识别位于车辆左右两侧的车道线的位置，以便基于识别的车辆左右两侧的车道线的位置控制车辆行驶。
然而，若在环境光线较暗(如晚上)的情况下，车辆通常无法准确的识别车辆左右两侧的车道线的位置，进而可能导致车辆无法精准地控制行驶路径，从而导致交通事故。
发明内容
本申请提供一种基于图像处理的智能驾驶方法与装置，用于解决现有技术中若在环境光线较暗(如晚上)的情况下，车辆通常无法准确的识别车辆左右两侧的车道线的位置，进而可能导致车辆无法精准地控制行驶路径，从而导致交通事故的问题。
第一方面，本申请提供的一种基于图像处理的智能驾驶方法，应用于车辆的车载控制器，包括：
接收来自车载环境光强传感器传输的环境光强，在环境光强低于设定的光强阈值时，确定车辆处于夜间行驶模式；
在夜间行驶模式下，在当前采样时刻接收车载摄像头采集的车辆行驶的道路的路面图像；
识别车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线和右车道线构成的第一行驶区域；
确定位于左车道线的左侧的第一目标线段和位于右车道线的右侧的第二目标线段，根据第一目标线段和第二目标线段，校准第一行驶区域的位置，其中，根据第一目标线段和第二目标线段，校准第一行驶区域的位置，包括：
确定包括第一目标线段的左侧边缘区域，以及包括第二目标线段的右侧边缘区域，其中，第一目标线段与左侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内，第二目标线段与右侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内；
确定左侧边缘区域中与第一目标线段平行的各第一参考线上的各像素的亮度，在垂直于第一参考线的方向的梯度值的绝对值之和，以及确定右侧边缘区域中与第二目标线段平行的各第二参考线上的各像素的亮度，在垂直于第二参考线的方向的梯度值的绝对值之和；
校准确定的第一行驶区域，其中，校准后的第一行驶区域的最左侧边缘为梯度值的绝对值之和最大的第一参考线，校准后的第一行驶区域的最右侧边缘为梯度值的绝对值之和最大的第二参考线；
在确定车辆不存在变道需求的条件下，控制车辆在所行驶的路段上的第一行驶区域内行驶。
在一种可能的实施方式中，在在确定车辆不存在变道需求的条件下，控制车辆在所行驶的路段上的第一行驶区域内行驶之前，方法还包括：
提取在之前的预设时长内确定的第一行驶区域的最左侧边缘，在之前的预设时长内的各个采样时刻的第一位置变化特征，以及提取在之前的预设时长内确定的第一行驶区域的最右侧边缘，在之前的预设时长内的各个采样时刻的第二位置变化特征；
获取车辆的定位信息以及导航路线信息；
将车辆的定位信息、导航路线信息、第一位置变化特征以及第二位置变化特征输入到预训练的神经网络预测模型中，得到在所行驶的路段上的所在车道的左车道线的最左侧预测边缘以及在所行驶的路段上的所在车道的右车道线的最右侧预测边缘，其中，神经网络预测模型是基于车辆多个的历史定位信息、历史导航路线信息、历史第一位置变化特征、历史第二位置变化特征以及对应的历史实际最左侧边缘、历史实际最右侧边缘作为训练样本集合训练得到的；
根据最左侧预测边缘和最右侧预测边缘，确定第二行驶区域；
根据第二行驶区域，再次校准第一行驶区域。
在一种可能的实施方式中，根据第二行驶区域，再次校准第一行驶区域，包括：
根据算式P3＝k1P1+k2P2，再次校准第一行驶区域，其中，k1为第一加权系数，k2为第二加权系数，且k1+k2＝1，P1为本次校准前的第一行驶区域的位置，P2为本次校准前的第二行驶区域的位置，P3为本次校准后的第一行驶区域的位置。
在一种可能的实施方式中，取在之前的预设时长内确定的第一行驶区域的最左侧边缘，在之前的预设时长内的各个采样时刻的第一位置变化特征，包括：
根据卷积神经网络CNN提取在之前的预设时长内确定的第一行驶区域的最左侧边缘，在之前的预设时长内的各个采样时刻的第一位置特征；
根据深度置信DBN网络提取各个采样时刻的第一位置特征在时序上的依赖关系；
融合各个采样时刻的第一位置特征在时序上的依赖关系，得到在之前的预设时长内确定的第一行驶区域的最左侧边缘，在之前的预设时长内的各个采样时刻的第一位置变化特征。
在一种可能的实施方式中，提取在之前的预设时长内确定的第一行驶区域的最右侧边缘，在之前的预设时长内的各个采样时刻的第二位置变化特征，包括：
根据卷积神经网络CNN提取在之前的预设时长内确定的第一行驶区域的最右侧边缘，在之前的预设时长内的各个采样时刻的第二位置特征；
根据深度置信DBN网络提取各个采样时刻的第二位置特征在时序上的依赖关系；
融合各个采样时刻的第二位置特征在时序上的依赖关系，得到在之前的预设时长内确定的第一行驶区域的最右侧边缘，在之前的预设时长内的各个采样时刻的第二位置变化特征。
第二方面，本申请提供了一种基于图像处理的智能驾驶装置，配置于车辆的车载控制器，该装置包括：
信息接收单元，用于接收来自车载环境光强传感器传输的环境光强，在环境光强低于设定的光强阈值时，确定车辆处于夜间行驶模式；
信息接收单元，还用于在夜间行驶模式下，在当前采样时刻接收车载摄像头采集的车辆行驶的道路的路面图像；
区域识别单元，用于识别车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线和右车道线构成的第一行驶区域；
位置校准单元，用于确定位于左车道线的左侧的第一目标线段和位于右车道线的右侧的第二目标线段，根据第一目标线段和第二目标线段，校准第一行驶区域的位置；
位置校准单元，具体用于确定包括第一目标线段的左侧边缘区域，以及包括第二目标线段的右侧边缘区域，其中，第一目标线段与左侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内，第二目标线段与右侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内；确定左侧边缘区域中与第一目标线段平行的各第一参考线上的各像素的亮度，在垂直于第一参考线的方向的梯度值的绝对值之和，以及确定右侧边缘区域中与第二目标线段平行的各第二参考线上的各像素的亮度，在垂直于第二参考线的方向的梯度值的绝对值之和；校准确定的第一行驶区域，其中，校准后的第一行驶区域的最左侧边缘为梯度值的绝对值之和最大的第一参考线，校准后的第一行驶区域的最右侧边缘为梯度值的绝对值之和最大的第二参考线；
行驶控制单元，用于在确定车辆不存在变道需求的条件下，控制车辆在所行驶的路段上的第一行驶区域内行驶。
在一种可能的实施方式中，本申请提供的装置还包括：
特征提取单元，用于提取在之前的预设时长内确定的第一行驶区域的最左侧边缘，在之前的预设时长内的各个采样时刻的第一位置变化特征，以及提取在之前的预设时长内确定的第一行驶区域的最右侧边缘，在之前的预设时长内的各个采样时刻的第二位置变化特征；
信息获取单元，用于获取车辆的定位信息以及导航路线信息；
边缘预测单元，用于将车辆的定位信息、导航路线信息、第一位置变化特征以及第二位置变化特征输入到预训练的神经网络预测模型中，得到在所行驶的路段上的所在车道的左车道线的最左侧预测边缘以及在所行驶的路段上的所在车道的右车道线的最右侧预测边缘，其中，神经网络预测模型是基于车辆多个的历史定位信息、历史导航路线信息、历史第一位置变化特征、历史第二位置变化特征以及对应的历史实际最左侧边缘、历史实际最右侧边缘作为训练样本集合训练得到的；
区域确定单元，还用于根据最左侧预测边缘和最右侧预测边缘，确定第二行驶区域；
区域校准单元，还用于根据第二行驶区域，再次校准第一行驶区域。
在一种可能的实施方式中，区域校准单元，具体用于根据算式P3＝k1P1+k2P2，再次校准第一行驶区域，其中，k1为第一加权系数，k2为第二加权系数，且k1+k2＝1，P1为本次校准前的第一行驶区域的位置，P2为本次校准前的第二行驶区域的位置，P3为本次校准后的第一行驶区域的位置。
在一种可能的实施方式中，区域校准单元，具体用于根据卷积神经网络CNN提取在之前的预设时长内确定的第一行驶区域的最左侧边缘，在之前的预设时长内的各个采样时刻的第一位置特征；根据深度置信DBN网络提取各个采样时刻的第一位置特征在时序上的依赖关系；融合各个采样时刻的第一位置特征在时序上的依赖关系，得到在之前的预设时长内确定的第一行驶区域的最左侧边缘，在之前的预设时长内的各个采样时刻的第一位置变化特征。
在一种可能的实施方式中，区域校准单元，具体用于根据卷积神经网络CNN提取在之前的预设时长内确定的第一行驶区域的最右侧边缘，在之前的预设时长内的各个采样时刻的第二位置特征；根据深度置信DBN网络提取各个采样时刻的第二位置特征在时序上的依赖关系；融合各个采样时刻的第二位置特征在时序上的依赖关系，得到在之前的预设时长内确定的第一行驶区域的最右侧边缘，在之前的预设时长内的各个采样时刻的第二位置变化特征。
本申请提供了一种基于图像处理的智能驾驶方法与装置，在夜间行驶模式下，在当前采样时刻接收车载摄像头采集的车辆行驶的道路的路面图像；识别车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线和右车道线构成的第一行驶区域；确定位于左车道线的左侧的第一目标线段和位于右车道线的右侧的第二目标线段，确定包括第一目标线段的左侧边缘区域，以及包括第二目标线段的右侧边缘区域，其中，第一目标线段与左侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内，第二目标线段与右侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内；
确定左侧边缘区域中与第一目标线段平行的各第一参考线上的各像素的亮度，在垂直于第一参考线的方向的梯度值的绝对值之和，以及确定右侧边缘区域中与第二目标线段平行的各第二参考线上的各像素的亮度，在垂直于第二参考线的方向的梯度值的绝对值之和；校准确定的第一行驶区域，其中，校准后的第一行驶区域的最左侧边缘为梯度值的绝对值之和最大的第一参考线，校准后的第一行驶区域的最右侧为梯度值的绝对值之和最大的第二参考线。这样一来，可以更精确地识别第一行驶区域的最左侧边缘的位置和最右侧边缘的位置，进而，可以更精确地确定第一行驶区域的位置。这样一来，在确定车辆不存在变道需求的条件下，精准地控制车辆在所行驶的路段上的第一行驶区域内行驶，可以避免交通事故的发生。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于图像处理的智能驾驶方法的流程图；
图2为本申请实施例提供的车辆在路面上行驶的示意图。
图3为本申请一实施例提供的基于图像处理的智能驾驶装置的功能单元图。
图4为本申请另一实施例提供的基于图像处理的智能驾驶装置的功能单元图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在根据本实施例的启示下作出的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，本申请实施例提供的一种基于图像处理的智能驾驶方法，应用于车辆的车载控制器。本申请实施例提供的方法包括：
步骤101：接收来自车载环境光强传感器传输的环境光强，在环境光强低于设定的光强阈值时，确定车辆处于夜间行驶模式。
步骤102：在夜间行驶模式下，在当前采样时刻接收车载摄像头采集的车辆行驶的道路的路面图像。
其中，车载摄像头可以每隔预设采样时长采集车辆行驶的道路的路面图像，并传输到车载控制器。
步骤103：识别车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线201和右车道线202构成的第一行驶区域。
步骤104：确定位于左车道线201的左侧的第一目标线段205和位于右车道线202的右侧的第二目标线段206，根据第一目标线段205和第二目标线段206，校准第一行驶区域的位置。
具体地，如图1和图2所示，S104可以具体实现为：
S201：确定包括第一目标线段205的左侧边缘区域，以及包括第二目标线段206的右侧边缘区域。
其中，第一目标线段205与左侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内，第二目标线段206与右侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内。
S202：确定左侧边缘区域中与第一目标线段205平行的各第一参考线上的各像素的亮度，在垂直于第一参考线的方向的梯度值的绝对值之和，以及确定右侧边缘区域中与第二目标线段206平行的各第二参考线上的各像素的亮度，在垂直于第二参考线的方向的梯度值的绝对值之和。
S203：校准确定的第一行驶区域。
其中，校准后的第一行驶区域的最左侧边缘203为梯度值的绝对值之和最大的第一参考线，校准后的第一行驶区域的最右侧边缘204为梯度值的绝对值之和最大的第二参考线。
可以理解地，基于上述的S201-S203可以更精准地校准确定的第一行驶区域。
S105：在确定车辆不存在变道需求的条件下，控制车辆在所行驶的路段上的第一行驶区域内行驶。
在一些实施方式中，在上述的图1对应的实施例的基础上，在S105之前，本申请实施例提供的方法还包括：
步骤1：提取在之前的预设时长内确定的第一行驶区域的最左侧边缘203，在之前的预设时长内的各个采样时刻的第一位置变化特征，以及提取在之前的预设时长内确定的第一行驶区域的最右侧边缘204，在之前的预设时长内的各个采样时刻的第二位置变化特征。
在一些实施方式中，在一种可能的实施方式中，取在之前的预设时长内确定的第一行驶区域的最左侧边缘203，在之前的预设时长内的各个采样时刻的第一位置变化特征，包括：根据卷积神经网络CNN提取在之前的预设时长内确定的第一行驶区域的最左侧边缘203，在之前的预设时长内的各个采样时刻的第一位置特征；根据深度置信DBN网络提取各个采样时刻的第一位置特征在时序上的依赖关系；融合各个采样时刻的第一位置特征在时序上的依赖关系，得到在之前的预设时长内确定的第一行驶区域的最左侧边缘203，在之前的预设时长内的各个采样时刻的第一位置变化特征。这样一来，可以精准地提取出第一位置变化特征。
在一些实施方式中，提取在之前的预设时长内确定的第一行驶区域的最右侧边缘204，在之前的预设时长内的各个采样时刻的第二位置变化特征，包括：根据卷积神经网络CNN提取在之前的预设时长内确定的第一行驶区域的最右侧边缘204，在之前的预设时长内的各个采样时刻的第二位置特征；根据深度置信DBN网络提取各个采样时刻的第二位置特征在时序上的依赖关系；融合各个采样时刻的第二位置特征在时序上的依赖关系，得到在之前的预设时长内确定的第一行驶区域的最右侧边缘204，在之前的预设时长内的各个采样时刻的第二位置变化特征。这样一来，可以精准地提取出第二位置变化特征。
步骤2：获取车辆的定位信息以及导航路线信息。
步骤3：将车辆的定位信息、导航路线信息、第一位置变化特征以及第二位置变化特征输入到预训练的神经网络预测模型中，得到在所行驶的路段上的所在车道的左车道线201的最左侧预测边缘以及在所行驶的路段上的所在车道的右车道线202的最右侧预测边缘。
其中，神经网络预测模型是基于车辆多个的历史定位信息、历史导航路线信息、历史第一位置变化特征、历史第二位置变化特征以及对应的历史实际最左侧边缘、历史实际最右侧边缘作为训练样本集合训练得到的。
步骤3：根据最左侧预测边缘和最右侧预测边缘，确定第二行驶区域。
步骤4：根据第二行驶区域，再次校准第一行驶区域。
步骤4可以具体实现为：根据算式P3＝k1P1+k2P2，再次校准第一行驶区域，其中，k1为第一加权系数，k2为第二加权系数，且k1+k2＝1，P1为本次校准前的第一行驶区域的位置，P2为本次校准前的第二行驶区域的位置，P3为本次校准后的第一行驶区域的位置。例如，k1＝k2＝0.5。
可以理解地，经过步骤1-步骤4可以更精准地校准第一行驶区域。
请参阅图3-4，本申请实施例提供了一种基于图像处理的智能驾驶装置，配置于车辆的车载控制器，需要说明的是，本申请实施例所提供的基于图像处理的智能驾驶装置，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本申请实施例部分未提及之处，可参考上述的实施例中相应内容。该装置包括信息接收单元、区域识别单元、位置校准单元、区域确定单元、数据求和单元、区域校准单元、以及行驶控制单元，其中，
信息接收单元，用于接收来自车载环境光强传感器传输的环境光强，在环境光强低于设定的光强阈值时，确定车辆处于夜间行驶模式；
信息接收单元，还用于在夜间行驶模式下，在当前采样时刻接收车载摄像头采集的车辆行驶的道路的路面图像；
区域识别单元，用于识别车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线201和右车道线202构成的第一行驶区域；
位置校准单元，具体用于确定包括第一目标线段205的左侧边缘区域，以及包括第二目标线段206的右侧边缘区域，其中，第一目标线段205与左侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内，第二目标线段206与右侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内；确定左侧边缘区域中与第一目标线段205平行的各第一参考线上的各像素的亮度，在垂直于第一参考线的方向的梯度值的绝对值之和，以及确定右侧边缘区域中与第二目标线段206平行的各第二参考线上的各像素的亮度，在垂直于第二参考线的方向的梯度值的绝对值之和；校准确定的第一行驶区域，其中，校准后的第一行驶区域的最左侧边缘203为梯度值的绝对值之和最大的第一参考线，校准后的第一行驶区域的最右侧边缘204为梯度值的绝对值之和最大的第二参考线；
行驶控制单元，用于在确定车辆不存在变道需求的条件下，控制车辆在所行驶的路段上的第一行驶区域内行驶。
在一种可能的实施方式中，本申请提供的装置还包括：
特征提取单元，用于提取在之前的预设时长内确定的第一行驶区域的最左侧边缘203，在之前的预设时长内的各个采样时刻的第一位置变化特征，以及提取在之前的预设时长内确定的第一行驶区域的最右侧边缘204，在之前的预设时长内的各个采样时刻的第二位置变化特征；
信息获取单元，用于获取车辆的定位信息以及导航路线信息；
边缘预测单元，用于将车辆的定位信息、导航路线信息、第一位置变化特征以及第二位置变化特征输入到预训练的神经网络预测模型中，得到在所行驶的路段上的所在车道的左车道线201的最左侧预测边缘以及在所行驶的路段上的所在车道的右车道线202的最右侧预测边缘，其中，神经网络预测模型是基于车辆多个的历史定位信息、历史导航路线信息、历史第一位置变化特征、历史第二位置变化特征以及对应的历史实际最左侧边缘、历史实际最右侧边缘作为训练样本集合训练得到的；
区域确定单元，还用于根据最左侧预测边缘和最右侧预测边缘，确定第二行驶区域；
区域校准单元，还用于根据第二行驶区域，再次校准第一行驶区域。
在一种可能的实施方式中，区域校准单元，具体用于根据算式P3＝k1P1+k2P2，再次校准第一行驶区域，其中，k1为第一加权系数，k2为第二加权系数，且k1+k2＝1，P1为本次校准前的第一行驶区域的位置，P2为本次校准前的第二行驶区域的位置，P3为本次校准后的第一行驶区域的位置。
在一种可能的实施方式中，区域校准单元，具体用于根据卷积神经网络CNN提取在之前的预设时长内确定的第一行驶区域的最左侧边缘203，在之前的预设时长内的各个采样时刻的第一位置特征；根据深度置信DBN网络提取各个采样时刻的第一位置特征在时序上的依赖关系；融合各个采样时刻的第一位置特征在时序上的依赖关系，得到在之前的预设时长内确定的第一行驶区域的最左侧边缘203，在之前的预设时长内的各个采样时刻的第一位置变化特征。
在一种可能的实施方式中，区域校准单元，具体用于根据卷积神经网络CNN提取在之前的预设时长内确定的第一行驶区域的最右侧边缘204，在之前的预设时长内的各个采样时刻的第二位置特征；根据深度置信DBN网络提取各个采样时刻的第二位置特征在时序上的依赖关系；融合各个采样时刻的第二位置特征在时序上的依赖关系，得到在之前的预设时长内确定的第一行驶区域的最右侧边缘204，在之前的预设时长内的各个采样时刻的第二位置变化特征。
综上所述，本申请实施例提供的一种基于图像处理的智能驾驶方法与装置，在夜间行驶模式下，在当前采样时刻接收车载摄像头采集的车辆行驶的道路的路面图像；识别车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线201和右车道线202构成的第一行驶区域；
确定包括第一目标线段205的左侧边缘区域，以及包括第二目标线段206的右侧边缘区域，其中，第一目标线段205与左侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内，第二目标线段206与右侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内；
确定左侧边缘区域中与第一目标线段205平行的各第一参考线上的各像素的亮度，在垂直于第一参考线的方向的梯度值的绝对值之和，以及确定右侧边缘区域中与第二目标线段206平行的各第二参考线上的各像素的亮度，在垂直于第二参考线的方向的梯度值的绝对值之和；校准确定的第一行驶区域，其中，校准后的第一行驶区域的最左侧边缘203为梯度值的绝对值之和最大的第一参考线，校准后的第一行驶区域的最右侧204为梯度值的绝对值之和最大的第二参考线。这样一来，可以更精确地识别第一行驶区域的最左侧边缘203的位置和最右侧边缘204的位置，进而，可以更精确地确定第一行驶区域的位置。这样一来，在确定车辆不存在变道需求的条件下，精准地控制车辆在所行驶的路段上的第一行驶区域内行驶，可以避免交通事故的发生。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (2)
1.一种基于图像处理的智能驾驶方法，其特征在于，应用于车辆的车载控制器，所述方法包括：
接收来自车载环境光强传感器传输的环境光强，在所述环境光强低于设定的光强阈值时，确定所述车辆处于夜间行驶模式；
在所述夜间行驶模式下，在当前采样时刻接收车载摄像头采集的所述车辆行驶的道路的路面图像；
识别所述车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线和右车道线构成的第一行驶区域；
确定位于所述左车道线的左侧的第一目标线段和位于所述右车道线的右侧的第二目标线段，根据所述第一目标线段和第二目标线段，校准所述第一行驶区域的位置，其中，所述根据所述第一目标线段和第二目标线段，校准所述第一行驶区域的位置，包括：
确定包括所述第一目标线段的左侧边缘区域，以及包括所述第二目标线段的右侧边缘区域，其中，所述第一目标线段与所述左侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内，所述第二目标线段与所述右侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内；
确定所述左侧边缘区域中与所述第一目标线段平行的各第一参考线上的各像素的亮度，在垂直于所述第一参考线的方向的梯度值的绝对值之和，以及确定所述右侧边缘区域中与所述第二目标线段平行的各第二参考线上的各像素的亮度，在垂直于所述第二参考线的方向的梯度值的绝对值之和；
校准确定的所述第一行驶区域，其中，校准后的所述第一行驶区域的最左侧边缘为所述梯度值的绝对值之和最大的第一参考线，校准后的所述第一行驶区域的最右侧边缘为所述梯度值的绝对值之和最大的第二参考线；
在确定所述车辆不存在变道需求的条件下，控制所述车辆在所行驶的路段上的所述第一行驶区域内行驶；
在所述在确定所述车辆不存在变道需求的条件下，控制所述车辆在所行驶的路段上的所述第一行驶区域内行驶之前，所述方法还包括：
提取在之前的预设时长内确定的所述第一行驶区域的最左侧边缘，在所述之前的预设时长内的各个采样时刻的第一位置变化特征，以及提取在之前的预设时长内确定的所述第一行驶区域的最右侧边缘，在所述之前的预设时长内的各个采样时刻的第二位置变化特征；
获取所述车辆的定位信息以及导航路线信息；
将所述车辆的定位信息、所述导航路线信息、所述第一位置变化特征以及所述第二位置变化特征输入到预训练的神经网络预测模型中，得到在所行驶的路段上的所在车道的左车道线的最左侧预测边缘以及在所行驶的路段上的所在车道的右车道线的最右侧预测边缘，其中，所述神经网络预测模型是基于车辆多个的历史定位信息、历史导航路线信息、历史第一位置变化特征、历史第二位置变化特征以及对应的历史实际最左侧边缘、历史实际最右侧边缘作为训练样本集合训练得到的；
根据所述最左侧预测边缘和所述最右侧预测边缘，确定第二行驶区域；
根据所述第二行驶区域，再次校准所述第一行驶区域；
所述根据所述第二行驶区域，再次校准所述第一行驶区域，包括：
根据算式P3＝k1P1+k2P2，再次校准所述第一行驶区域，其中，k1为第一加权系数，k2为第二加权系数，且k1+k2＝1，P1为本次校准前的所述第一行驶区域的位置，P2为本次校准前的所述第二行驶区域的位置，P3为本次校准后的所述第一行驶区域的位置；
所述提取在之前的预设时长内确定的所述第一行驶区域的最左侧边缘，在所述之前的预设时长内的各个采样时刻的第一位置变化特征，包括：
根据卷积神经网络CNN提取在之前的预设时长内确定的所述第一行驶区域的最左侧边缘，在所述之前的预设时长内的各个采样时刻的第一位置特征；
根据深度置信DBN网络提取各个采样时刻的所述第一位置特征在时序上的依赖关系；
融合各个采样时刻的所述第一位置特征在时序上的依赖关系，得到在之前的预设时长内确定的所述第一行驶区域的最左侧边缘，在所述之前的预设时长内的各个采样时刻的第一位置变化特征；
所述提取在之前的预设时长内确定的所述第一行驶区域的最右侧边缘，在所述之前的预设时长内的各个采样时刻的第二位置变化特征，包括：
根据卷积神经网络CNN提取在之前的预设时长内确定的所述第一行驶区域的最右侧边缘，在所述之前的预设时长内的各个采样时刻的第二位置特征；
根据深度置信DBN网络提取各个采样时刻的所述第二位置特征在时序上的依赖关系；
融合各个采样时刻的所述第二位置特征在时序上的依赖关系，得到在之前的预设时长内确定的所述第一行驶区域的最右侧边缘，在所述之前的预设时长内的各个采样时刻的第二位置变化特征。
2.一种基于图像处理的智能驾驶装置，其特征在于，配置于车辆的车载控制器，所述装置包括：
信息接收单元，用于接收来自车载环境光强传感器传输的环境光强，在所述环境光强低于设定的光强阈值时，确定所述车辆处于夜间行驶模式；
所述信息接收单元，还用于在所述夜间行驶模式下，在当前采样时刻接收车载摄像头采集的所述车辆行驶的道路的路面图像；
区域识别单元，用于识别所述车辆行驶的道路的路面图像中的车辆在所行驶的路段上的所在车道的左车道线和右车道线构成的第一行驶区域；
位置校准单元，用于确定位于所述左车道线的左侧的第一目标线段和位于所述右车道线的右侧的第二目标线段，根据所述第一目标线段和第二目标线段，校准所述第一行驶区域的位置；
位置校准单元，具体用于确定包括所述第一目标线段的左侧边缘区域，以及包括所述第二目标线段的右侧边缘区域，其中，所述第一目标线段与所述左侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内，所述第二目标线段与所述右侧边缘区域的左侧和右侧的距离均分别在预设的距离范围内；确定所述左侧边缘区域中与所述第一目标线段平行的各第一参考线上的各像素的亮度，在垂直于所述第一参考线的方向的梯度值的绝对值之和，以及确定所述右侧边缘区域中与所述第二目标线段平行的各第二参考线上的各像素的亮度，在垂直于所述第二参考线的方向的梯度值的绝对值之和；校准确定的所述第一行驶区域，其中，校准后的所述第一行驶区域的最左侧边缘为所述梯度值的绝对值之和最大的第一参考线，校准后的所述第一行驶区域的最右侧边缘为所述梯度值的绝对值之和最大的第二参考线；
行驶控制单元，用于在确定所述车辆不存在变道需求的条件下，控制所述车辆在所行驶的路段上的所述第一行驶区域内行驶；
所述装置还包括：
特征提取单元，用于提取在之前的预设时长内确定的所述第一行驶区域的最左侧边缘，在所述之前的预设时长内的各个采样时刻的第一位置变化特征，以及提取在之前的预设时长内确定的所述第一行驶区域的最右侧边缘，在所述之前的预设时长内的各个采样时刻的第二位置变化特征；
信息获取单元，用于获取所述车辆的定位信息以及导航路线信息；
边缘预测单元，用于将所述车辆的定位信息、所述导航路线信息、所述第一位置变化特征以及所述第二位置变化特征输入到预训练的神经网络预测模型中，得到在所行驶的路段上的所在车道的左车道线的最左侧预测边缘以及在所行驶的路段上的所在车道的右车道线的最右侧预测边缘，其中，所述神经网络预测模型是基于车辆多个的历史定位信息、历史导航路线信息、历史第一位置变化特征、历史第二位置变化特征以及对应的历史实际最左侧边缘、历史实际最右侧边缘作为训练样本集合训练得到的；
所述区域确定单元，还用于根据所述最左侧预测边缘和所述最右侧预测边缘，确定第二行驶区域；
所述区域校准单元，还用于根据所述第二行驶区域，再次校准所述第一行驶区域；
所述区域校准单元，具体用于根据算式P3＝k1P1+k2P2，再次校准所述第一行驶区域，其中，k1为第一加权系数，k2为第二加权系数，且k1+k2＝1，P1为本次校准前的所述第一行驶区域的位置，P2为本次校准前的所述第二行驶区域的位置，P3为本次校准后的所述第一行驶区域的位置；
所述区域校准单元，具体用于根据卷积神经网络CNN提取在之前的预设时长内确定的所述第一行驶区域的最左侧边缘，在所述之前的预设时长内的各个采样时刻的第一位置特征；根据深度置信DBN网络提取各个采样时刻的所述第一位置特征在时序上的依赖关系；融合各个采样时刻的所述第一位置特征在时序上的依赖关系，得到在之前的预设时长内确定的所述第一行驶区域的最左侧边缘，在所述之前的预设时长内的各个采样时刻的第一位置变化特征；
所述区域校准单元，具体用于根据卷积神经网络CNN提取在之前的预设时长内确定的所述第一行驶区域的最右侧边缘，在所述之前的预设时长内的各个采样时刻的第二位置特征；根据深度置信DBN网络提取各个采样时刻的所述第二位置特征在时序上的依赖关系；融合各个采样时刻的所述第二位置特征在时序上的依赖关系，得到在之前的预设时长内确定的所述第一行驶区域的最右侧边缘，在所述之前的预设时长内的各个采样时刻的第二位置变化特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410918613.7A CN118470680B (zh) | 2024-07-10 | 2024-07-10 | 基于图像处理的智能驾驶方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410918613.7A CN118470680B (zh) | 2024-07-10 | 2024-07-10 | 基于图像处理的智能驾驶方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118470680A CN118470680A (zh) | 2024-08-09 |
| CN118470680B true CN118470680B (zh) | 2024-09-03 |
Family
ID=92162377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410918613.7A Active CN118470680B (zh) | 2024-07-10 | 2024-07-10 | 基于图像处理的智能驾驶方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118470680B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1686538A2 (en) * | 2005-01-28 | 2006-08-02 | Aisin Aw Co., Ltd. | Vehicle position recognizing device and vehicle position recognizing method |
| CN114537434A (zh) * | 2020-03-20 | 2022-05-27 | 上海商汤临港智能科技有限公司 | 车道导航路径生成方法及装置、驾驶控制方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4645516B2 (ja) * | 2005-08-24 | 2011-03-09 | 株式会社デンソー | ナビゲーション装置及びプログラム |
-
2024
- 2024-07-10 CN CN202410918613.7A patent/CN118470680B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1686538A2 (en) * | 2005-01-28 | 2006-08-02 | Aisin Aw Co., Ltd. | Vehicle position recognizing device and vehicle position recognizing method |
| CN114537434A (zh) * | 2020-03-20 | 2022-05-27 | 上海商汤临港智能科技有限公司 | 车道导航路径生成方法及装置、驾驶控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118470680A (zh) | 2024-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10942517B2 (en) | Autonomous driving assistance device, control method, program and storage medium | |
| CN110312633B (zh) | 图像显示系统、图像显示方法以及程序 | |
| US20220171065A1 (en) | Systems and methods for predicting a pedestrian movement trajectory | |
| CN106778548B (zh) | 用于检测障碍物的方法和装置 | |
| EP1752947B1 (en) | Lane boundary recognition apparatus for vehicle | |
| EP3279052A1 (en) | Automatic driving control device | |
| CN112084833B (zh) | 图像识别装置 | |
| CN108230421A (zh) | 一种道路图生成方法、装置、电子设备和计算机存储介质 | |
| RU2690727C1 (ru) | Устройство управления движением по маршруту и способ управления движением по маршруту | |
| EP1760662A1 (en) | Travel section line recognizer for vehicle | |
| US20220169263A1 (en) | Systems and methods for predicting a vehicle trajectory | |
| EP1596322A2 (en) | Driving lane recognizer and driving lane recognizing method | |
| EP1764758A1 (en) | Lane boundary recognition apparatus for vehicle | |
| CN1880919A (zh) | 车辆驾驶辅助系统 | |
| CN102208035A (zh) | 图像处理系统及位置测量系统 | |
| US20120277990A1 (en) | Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile | |
| CN109387210B (zh) | 车辆导航方法及其装置 | |
| CN114450735B (zh) | 一种联合预测运动对象轨迹的系统和方法 | |
| CN114620072B (zh) | 车辆控制方法、装置、存储介质、电子设备及车辆 | |
| US11242070B2 (en) | Apparatus and method for determining an attention requirement level of a driver of a vehicle | |
| JP5522475B2 (ja) | ナビゲーション装置 | |
| CN112654892A (zh) | 用于创建车辆的环境的地图的方法 | |
| CN113183758A (zh) | 一种基于增强现实的辅助驾驶方法及系统 | |
| EP1775691A1 (en) | Lane boundary recognition apparatus for vehicle | |
| CN118470680B (zh) | 基于图像处理的智能驾驶方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |