CN118135510A - 车道线检测方法、电子设备及存储介质 - Google Patents
车道线检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118135510A CN118135510A CN202211529910.XA CN202211529910A CN118135510A CN 118135510 A CN118135510 A CN 118135510A CN 202211529910 A CN202211529910 A CN 202211529910A CN 118135510 A CN118135510 A CN 118135510A
- Authority
- CN
- China
- Prior art keywords
- region
- lane line
- line detection
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 110
- 230000009466 transformation Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000002372 labelling Methods 0.000 claims description 21
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 6
- 241000905137 Veronica schmidtiana Species 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理,提供一种车道线检测方法、电子设备及存储介质。所述方法包括:获取道路图像,对所述道路图像进行图像处理,得到拼接区域,将所述拼接区域输入至预先训练完成的车道线检测模型,得到车道线检测图像,将所述车道线检测图像进行图像变换,得到变换图像以及所述变换图像中的车道线检测结果,利用本申请能够提高车道线的检测准确性。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种车道线检测方法、电子设备及存储介质。
背景技术
在目前对车道线进行检测的方案中,由于逆光道路图像的亮度大,使得图像中的车道线模糊,导致无法从逆光道路图像中准确检测出车道线,进而影响驾车安全。
发明内容
鉴于以上内容,有必要提供一种车道线检测方法、电子设备及存储介质,能够提高车道线的检测准确性。
本申请提供一种车道线检测方法,所述车道线检测方法包括:获取道路图像,对所述道路图像进行图像处理,得到拼接区域,将所述拼接区域输入至预先训练完成的车道线检测模型,得到车道线检测图像,将所述车道线检测图像进行图像变换,得到变换图像以及所述变换图像中的车道线检测结果。
根据本申请可选实施例,所述对所述道路图像进行图像处理,得到拼接区域包括:对所述道路图像进行车道线检测,得到感兴趣区域,对所述感兴趣区域进行变换,得到车道线鸟瞰区域,对所述车道线鸟瞰区域进行灰度直方图均衡化处理,得到灰度区域,对所述灰度区域进行二值化处理,得到二值化区域,将所述车道线鸟瞰区域从初始颜色空间转换至目标颜色空间,得到目标区域,对所述目标区域的每个通道进行直方图均衡化处理,得到均衡化区域,基于所述车道线鸟瞰区域、所述灰度区域、所述均衡化区域以及所述二值化区域生成所述拼接区域。
根据本申请可选实施例,所述对所述感兴趣区域进行变换,得到车道线鸟瞰区域包括:从所述感兴趣区域中选取预设数量的目标像素点,并获取每个目标像素点在所述感兴趣区域中的初始坐标值,基于每个初始坐标值对应的预设坐标值以及多个所述初始坐标值计算变换矩阵,根据所述感兴趣区域中每个像素点的坐标值以及所述变换矩阵,计算所述感兴趣区域中每个像素点的目标坐标值,将所述感兴趣区域中每个像素点的像素值变换为对应的目标坐标值,得到所述车道线鸟瞰区域。
根据本申请可选实施例,所述基于每个初始坐标值对应的预设坐标值以及多个所述初始坐标值计算变换矩阵包括:根据预设值、每个初始坐标值中的初始横坐标值以及初始纵坐标值构建每个初始坐标值对应的齐次像素矩阵,基于多个预设参数构建与所述齐次像素矩阵对应的参数矩阵,将所述参数矩阵与每个齐次像素矩阵进行相乘运算,得到每个初始坐标值对应的相乘表达式,根据每个初始坐标值对应的相乘表达式及每个初始坐标值对应的预设坐标值构建多个等式,对所述多个等式进行求解,得到每个预设参数对应的参数值,并将所述参数矩阵中的每个预设参数替换为对应的参数值,得到所述变换矩阵。
根据本申请可选实施例,所述基于所述车道线鸟瞰区域、所述灰度区域、所述均衡化区域以及所述二值化区域生成所述拼接区域包括:将所述车道线鸟瞰区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第一像素值,并将所述车道线鸟瞰区域中每个像素点的像素值调整为对应的第一像素值,得到第一区域,将所述灰度区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第二像素值,并将所述灰度区域中每个像素点的像素值调整为对应的第二像素值,得到第二区域,将所述均衡化区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第三像素值,并将所述均衡化区域中每个像素点的像素值调整为对应的第三像素值,得到第三区域,将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域。
根据本申请可选实施例,在将所述拼接区域输入至预先训练完成的车道线检测模型之前,所述方法还包括:获取车道线检测网络、车道线训练图像以及所述车道线训练图像的标注结果,将所述车道线训练图像输入至所述车道线检测网络中进行特征提取,得到车道线特征图,对所述车道线特征图中每个像素点进行车道线预测,得到所述车道线特征图的预测结果,根据所述预测结果以及所述标注结果对所述车道线检测网络的参数进行调整,得到训练完成的车道线检测模型。
根据本申请可选实施例,所述根据所述预测结果以及所述标注结果对所述车道线检测网络的参数进行调整,得到训练完成的车道线检测模型包括:根据所述预测结果以及所述标注结果计算所述车道线检测网络的预测指标,基于所述预测指标对所述车道线检测网络进行参数调整,直至所述预测指标满足预设条件,得到所述训练完成的车道线检测模型。
根据本申请可选实施例,若所述预测指标为预测准确率,所述根据所述预测结果以及所述标注结果计算所述车道线检测网络的预测指标包括:计算所述车道线训练图像的训练数量,计算与对应的标注结果相同的预测结果的预测数量,并计算所述预测数量与所述训练数量的比值,得到所述预测准确率。
本申请提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述至少一个指令以实现所述的车道线检测方法。
本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现所述的车道线检测方法。
由上述技术方案可知,本申请对所述道路图像进行图像处理,得到拼接区域,所述图像处理包括透视变换、二值化处理以及图像融合,当所述道路图像为逆光图像时,由于透视变换改变了逆光道路图像中原本的投影光束线,能够降低图像的亮度,因此能够降低图像亮度对车道线识别的影响,由于二值化处理能够滤除图像噪声,图像融合能够融合更多的图像信息,因此,能够使得所述拼接区域中的车道线的轮廓更加清晰,通过预先训练完成的车道线检测模型对所述拼接区域中的车道线进行检测,由于所述车道线检测模型学习到了车道线的类别、颜色以及位置等特征,因此,能够准确地预测出所述拼接区域中的车道线类别、颜色以及车道线位置,并根据所述车道线位置拟合出变换图像中的车道线的预测曲线。
附图说明
图1是本申请的实施例提供的车道线检测方法的应用环境图。
图2是本申请的实施例提供的车道线检测方法的流程图。
图3是本申请实施例提供的车道线检测图像的示意图。
图4是本申请实施例提供的变换图像的示意图。
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本申请进行详细描述。
如图1所示,是本申请的实施例提供的车道线检测方法的应用环境图。所述车道线检测方法可应用于一个或者多个电子设备1中,所述电子设备1与拍摄设备2相通信,所述拍摄设备2可以是单目相机,也可以是具有拍摄功能的其它设备。
所述电子设备1是一种能够按照事先设定或存储的指令,自动进行参数值计算和/或信息处理的设备,其硬件包括,但不限于:微处理器、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、可编程门阵列(Field-ProgrammableGateArray,FPGA)、数字信号处理器(DigitalSignalProcessor,DSP)、嵌入式设备等。
所述电子设备1可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(PersonalDigitalAssistant,PDA)、游戏机、交互式模型电视(InternetProtocolTelevision,IPTV)、智能式穿戴式设备等。
所述电子设备1还可以包括模型设备和/或用户设备。其中,所述模型设备包括,但不限于单个模型服务器、多个模型服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或模型服务器构成的云。所述电子设备1还可以是车辆中的车载设备。
所述电子设备1所处的模型包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用模型(VirtualPrivateNetwork,VPN)等。
如图2所示,是本申请的实施例提供的车道线检测方法的流程图。根据不同的需求,所述流程图中各个步骤的顺序可以根据实际检测要求进行调整,某些步骤可以省略。所述方法的执行主体为电子设备,例如图1所示的电子设备1。
101,获取道路图像。
在本申请的至少一个实施例中,所述道路图像为三原色光(Red Green Blue,RGB)图像,所述道路图像中可以包含车辆,地面、车道线、行人、天空、树木等对象。
在本申请的至少一个实施例中,所述电子设备获取道路图像包括:
所述电子设备控制拍摄设备拍摄道路场景,得到所述道路图像。
其中,所述拍摄设备可以为单目相机或者车载摄像机等等,所述道路场景中可以包括车辆,地面、车道线、行人、天空、树木等对象。
在本实施例中,所述道路图像包括逆光道路图像,所述逆光道路图像为所述拍摄设备逆着光线对所述道路场景进行拍摄得到的图像。
102,对所述道路图像进行图像处理,得到拼接区域。
在本申请的至少一个实施例中,所述图像处理包括车道线检测、透视变换、直方图均衡化以及二值化处理等等。
在本申请的至少一个实施例中,所述车道线鸟瞰区域为所述道路图像中的车道线的俯视图。
在本申请的至少一个实施例中,所述电子设备对所述道路图像进行图像处理,得到拼接区域包括:
所述电子设备对所述道路图像进行车道线检测,得到感兴趣区域,进一步地,所述电子设备对所述感兴趣区域进行变换,得到车道线鸟瞰区域,更进一步地,所述电子设备对所述车道线鸟瞰区域进行灰度直方图均衡化处理,得到灰度区域,更进一步地,所述电子设备对所述灰度区域进行二值化处理,得到二值化区域,所述电子设备将所述车道线鸟瞰区域从初始颜色空间转换至目标颜色空间,得到目标区域,对所述目标区域的每个通道进行直方图均衡化处理,得到均衡化区域,进一步地,所述电子设备基于所述车道线鸟瞰区域、所述灰度区域、所述均衡化区域以及所述二值化区域生成所述拼接区域。
其中,所述感兴趣区域为包含车道线的区域。所述电子设备可以基于目标检测算法对所述道路图像进行车道线检测,其中,所述目标检测算法包括,但不限于:R-CNN、FastR-CNN、Faster R-CNN等。所述初始颜色空间可以为RGB颜色空间,所述目标颜色空间可以为HSV颜色空间。
在本实施例中,当所述道路图像为所述逆光道路图像时,由于所述逆光道路图像亮度很大,会导致所述逆光道路图像中的车道线模糊不清,通过透视变换能够改变所述逆光道路图像中原本的投影光束线,从而能够降低所述车道线鸟瞰区域的亮度,因此对所述逆光道路图像进行透视辨别能够降低图像亮度对车道线识别的影响,同时通过统一的变换矩阵对所述感兴趣区域中的所有像素点的坐标值进行变换,能够确保所述目标坐标值的变换一致性,通过目标检测算法能够初步确定出所述逆光道路图像中车道线的位置,并根据所述车道线的位置从所述逆光道路图像中能够初步选取包含车道线的感兴趣区域。
具体地,所述电子设备对所述感兴趣区域进行变换,得到车道线鸟瞰区域包括:
所述电子设备从所述感兴趣区域中选取预设数量的目标像素点,并获取每个目标像素点在所述感兴趣区域中初始坐标值,进一步地,所述电子设基于每个初始坐标值对应的预设坐标值以及多个所述初始坐标值计算变换矩阵,更进一步地,所述电子设备根据所述感兴趣区域中每个像素点的坐标值以及所述变换矩阵,计算所述感兴趣区域中的每个像素点的目标坐标值,更进一步地,所述电子设备将所述感兴趣区域的每个像素点的像素值变换为该像素点对应的目标坐标值,得到所述车道线鸟瞰区域。
其中,所述预设数量可以根据所述感兴趣区域的形状自行设置,本申请对此不作限制。例如,若所述感兴趣区域为四边形,所述预设数量可以为4个,所述预设数量的目标像素点可以为所述感兴趣区域中第一行第一列初始像素点、第一行最后一列的初始像素点、第一列最后一行的初始像素点以及最后一行最后一列的初始像素点。所述预设坐标值的数量与所述预设数量相同。所述预设坐标值可以自行设置,本申请对此不作限制。所述预设坐标值包括预设横坐标值以及预设纵坐标值,所述初始坐标值包括初始横坐标值以及初始纵坐标值,所述目标坐标值包括目标横坐标值以及目标纵坐标值。
在本实施例中,所述电子设备将所述感兴趣区域中每个像素点的坐标值与所述变换矩阵进行相乘运算,得到所述感兴趣区域中每个像素点的目标坐标值。
具体地,所述电子设备基于每个初始坐标值对应的预设坐标值以及多个所述初始坐标值计算变换矩阵包括:
所述电子设备根据预设值、每个初始坐标值中的初始横坐标值以及初始纵坐标值构建每个初始坐标值对应的齐次像素矩阵,进一步地,所述电子设备基于多个预设参数构建与所述齐次像素矩阵对应的参数矩阵,更进一步地,所述电子设备将所述参数矩阵与每个齐次像素矩阵进行相乘运算,得到每个初始坐标值对应的相乘表达式,更进一步地,所述电子设备根据每个初始坐标值对应的相乘表达式及每个初始坐标值对应的预设坐标值构建多个等式,更进一步地,所述电子设备对所述多个等式进行求解,得到每个预设参数对应的参数值,所述电子设备将所述参数矩阵中的每个预设参数替换为对应的参数值,得到所述变换矩阵。例如,多个预设参数可以包括a,b,c等,在计算得到每个预设参数对应的参数值之后,利用参数值替换对应的预设参数,例如,参数a对应的参数值为1,可在所述参数矩阵中,以1替换参数a。
在本实施例中,所述齐次像素矩阵与所述参数矩阵具有相同的维度。例如,若所述齐次像素矩阵的行数为3行,则所述参数矩阵的列数为3列。所述预设值为1。例如,若所述初始横坐标值为x,所述初始纵坐标值为y,则所述齐次像素矩阵为
在本实施例中,由于直方图均衡化能够增强所述车道线鸟瞰区域的图像对比度,因此能够使得所述灰度化图像中的车道线更加清晰,除此之外,由于所述灰度图像中车道线的颜色相对于其它颜色会更加明亮,因此,所述灰度图像中车道线所对应的像素点的像素值会大于其它像素点的像素值,因此,通过对所述灰度图像进行二值化处理,能够准确地区分出所述灰度图像中属于车道线的像素点。
具体地,所述电子设备基于所述车道线鸟瞰区域、所述灰度区域、所述均衡化区域以及所述二值化区域生成所述拼接区域包括:
所述电子设备将所述车道线鸟瞰区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第一像素值,并将所述车道线鸟瞰区域中每个像素点的像素值调整为对应的第一像素值,得到第一区域,并将所述灰度区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第二像素值,并将所述灰度区域中每个像素点的像素值调整为对应的第二像素值,得到第二区域,然后所述电子设备将所述均衡化区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第三像素值,并将所述均衡化区域中每个像素点的像素值调整为对应的第三像素值,得到第三区域,所述电子设备将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域。
在本实施例中,将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域,由于所述拼接区域融合了多个区域的车道线特征,因此能够使得所述拼接区域的车道线的特征更加明显。
具体地,所述电子设备将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域包括:
所述电子设备获取所述第一区域对应的第一矩阵,获取所述第二区域对应的第二矩阵,并获取所述第三区域对应的第三矩阵,进一步地,所述电子设备将所述第一矩阵、所述第二矩阵,以及所述第三矩阵进行拼接,得到所述拼接区域。
其中,所述拼接区域为三维的区域。
103,将所述拼接区域输入至预先训练完成的车道线检测模型,得到车道线检测图像。
在本申请的至少一个实施例中,所述车道线检测模型包括特征提取层,所述特征提取层包括卷积层、池化层以及批标准化层等等。
在本申请的至少一个实施例中,在将所述拼接区域输入至预先训练完成的车道线检测模型之前,所述方法还包括:
所述电子设备获取车道线检测网络、车道线训练图像以及所述车道线训练图像的标注结果,进一步地,所述电子设备将所述车道线训练图像输入至所述车道线检测网络中进行特征提取,得到车道线特征图,更进一步地,所述电子设备对所述车道线特征图中的每个像素点进行车道线预测,得到所述车道线特征图的预测结果,更进一步地,所述电子设备根据所述预测结果以及所述标注结果对所述车道线检测网络的参数进行调整,得到训练完成的车道线检测模型。
其中,所述电子设备使用所述特征提取层对所述车道线训练图像进行特征提取,得到所述车道线特征图。
在本实施例中,所述标注结果包括第一车道线位置、车道线类别以及车道线颜色,所述预测结果包括所述车道线训练图像中的车道线预测曲线,所述车道线预测曲线的目标位置、所述目标位置的第一预测概率、所述车道线预测曲线的目标类别、所述目标类别的第二预测概率、所述车道线预测曲线的目标颜色以及所述目标颜色的第三预测概率。
其中,所述车道线训练图像为多张,每张车道线训练图像中包含车道线,所述多张车道线训练图像中的标注结果包括每张车道线训练图像的第一车道线位置、多个车道线类别、多种车道线颜色。所述多个车道线类别包括,但不限于:双向两车道路面中心线、车行道分界线、车行道边缘线等等。所述多个车道线颜色包括,但不限于:黄色、白色等等。
在本实施例中,所述电子设备对每张车道线特征图中的每个像素点进行车道线预测,得到每张车道线特征图中每个像素点的多个初始坐标、多个初始类别、多个初始颜色、每个初始坐标对应的坐标概率、每个初始类别对应的类别概率、以及每个初始颜色对应的颜色概率,进一步地,所述电子设备将最大的坐标概率所对应的初始坐标确定为所述目标位置,将最大的类别概率所对应的初始类别确定为所述目标类别,并将最大的颜色概率所对应的初始颜色确定为所述目标颜色,更进一步地,所述电子设备将目标类别为所述车道线类别的像素点确定为车道线像素点,更进一步地,所述电子设备根据多个所述车道线像素点、每个车道线像素点的目标颜色以及每个车道线像素点的目标位置进行拟合,得到所述车道线预测曲线。
具体地,所述电子设备根据所述预测结果以及所述标注结果对所述车道线检测网络的参数进行调整,得到训练完成的车道线检测模型包括:
所述电子设备根据所述预测结果以及所述标注结果计算所述车道线检测网络的预测指标,进一步地,所述电子设备基于所述预测指标对所述车道线检测网络进行参数调整,直至所述预测指标满足预设条件,得到所述训练完成的车道线检测模型。
其中,所述预测指标包括预测准确率或者训练损失值,若所述预测指标为所述预测准确率,所述预设条件可以为:所述预测准确率大于或者等于预设阈值或者所述预测准确率不再增大,所述预设阈值可以自行设置,本申请对此不作限制;若所述预测指标为所述训练损失值,所述预设条件可以为:所述训练损失值下降至预设配置值或者所述训练配置值下降至最低,其中,所述预设配置值可以自行设置,本申请对此不作限制。
具体地,若所述预测指标为预测准确率,所述电子设备根据所述预测结果以及所述标注结果计算所述车道线检测网络的预测指标包括:
所述电子设备计算所述车道线训练图像的训练数量,进一步地,所述电子设备计算与对应的标注结果相同的预测结果的预测数量,更进一步地,所述电子设备计算所述预测数量与所述训练数量的比值,得到所述预测准确率。
在本申请的其它实施例中,所述车道线检测网络还可以为:SegNet、U-Net、FCN等网络。
具体地,若所述预测指标为训练损失值,所述电子设备根据所述预测结果以及所述标注结果计算所述车道线检测网络的预测指标包括:
所述电子设备计算所述多个初始坐标对应的第一损失值,计算所述多个初始类别对应的第二损失值,并计算所述多个初始颜色对应的第三损失值,进一步地,所述电子设备将所述第一损失值、所述第二损失值以及所述第三损失值进行加权求和运算,得到每张车道线训练图像对应的目标损失值,进一步地,所述电子设备将多张所述车道线训练图像对应的目标损失值进行求和运算,得到所述训练损失值。
在本实施例中,所述电子设备使用one-hot编码形式对每张车道线训练图像的多个初始类别进行编码,得到编码向量,其中,所述多个初始类别包括每张车道线特征图的车道线类别,所述编码向量中包括每个初始类别对应的元素值,进一步地,所述电子设备根据所述训练数量、所述初始类别的类别数量、所述编码向量以及所述多个初始类别对应的多个类别概率计算所述第二损失值。
所述第二损失值的计算公式为:
其中,J表示所述第二损失值,M表示所述训练数量,N表示所述类别数量,yij表示第i张车道线训练图像的编码向量中的第j个元素,pij表示所述第i张车道线训练图像的第j个类别对应的类别概率。
例如,若任一张车道线训练图像的车道线类别为车行道分界线,所述多个初始类别为双向两车道路面中心线、车行道边缘线以及车行道分界线,所述多个初始类别的类别数量为3个,使用one-hot编码得到的编码向量为若所述多个初始类别对应的多个类别概率为/>则所述任一张车道线训练图像的目标损失值为
在本实施例中,所述第一损失值以及所述第三损失值的生成过程与所述第二损失值的生成过程基本相同,故本申请在此不作赘述。所述车道线检测图像的生成过程与所述车道线检测模型的训练过程基本相同,故本申请在此不作赘述。如图3所示,是本申请实施例提供的车道线检测图像的示意图。
图3中的车道线为白色虚线。图3中白色虚线车道线相当于俯视视角的车道线。
在本实施例中,通过所述预测准确率或者所述训练损失值确定所述车道线检测网络是否收敛,当所述车道线检测网络收敛时,训练损失值最小或者预测准确率最高,得到所述车道线检测模型,因此,能够确保所述车道线检测模型的检测准确性。
104,将所述车道线检测图像进行图像变换,得到变换图像以及所述变换图像中的车道线检测结果。
在本申请的至少一个实施例中,所述图像变换包括逆透视变换,所述电子设备对所述车道线检测图像进行逆透视变换的过程与对所述感兴趣区域进行透视变换的过程基本相同,故本申请在此不做赘述。
在本申请的至少一个实施例中,所述车道线检测结果包括所述变换图像的检测结果以及所述变换图像中的车道线的预测曲线。其中,所述检测结果的生成过程与所述预测结果的生成过程基本相同,故本申请在此不作赘述。
通过上述实施例,将所述车道线检测图像进行图像变换,能够将所述变换图像中的车道线还原为用户视角,便于用户观看。
如图4所示,是本申请实施例提供的变换图像的示意图。图4是对图3进行透视变换后生成的图。图4中的白色虚线车道线相当于主视角的车道线。主视角相当于所述拍摄设备的拍摄视角。
由上述技术方案可知,本申请对所述道路图像进行图像处理,得到拼接区域,所述图像处理包括透视变换、二值化处理以及图像融合,当所述道路图像为逆光图像时,由于透视变换改变了逆光道路图像中原本的投影光束线,能够降低图像的亮度,因此能够降低图像亮度对车道线识别的影响,由于二值化处理能够滤除图像噪声,图像融合能够融合更多的图像信息,因此,能够使得所述拼接区域中的车道线的轮廓更加清晰,通过预先训练完成的车道线检测模型对所述拼接区域中的车道线进行检测,由于所述车道线检测模型学习到了车道线的类别、颜色以及位置等特征,因此,能够准确地预测出所述拼接区域中的车道线类别、颜色以及车道线位置,并根据所述车道线位置拟合出变换图像中的车道线的预测曲线。
如图5所示,是本申请实施例提供的电子设备的结构示意图。
在本申请的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如车道线检测程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、模型接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及获取所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
所述处理器13获取所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13获取所述应用程序以实现上述各个车道线检测方法实施例中的步骤,例如图2所示的步骤。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13获取,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备1中的获取过程。
所述存储器12可用于存储所述计算机程序和/或模块,所述处理器13通过运行或获取存储在所述存储器12内的计算机程序和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器12可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器获取时,可实现上述各个方法实施例的步骤。
其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可获取文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
结合图2,所述电子设备1中的所述存储器12存储多个指令以实现一种车道线检测方法,所述处理器13可获取所述多个指令从而实现:获取道路图像;对所述道路图像进行图像处理,得到拼接区域;将所述拼接区域输入至预先训练完成的车道线检测模型,得到车道线检测图像;将所述车道线检测图像进行图像变换,得到变换图像以及所述变换图像中的车道线检测结果。
具体地,所述处理器13对上述指令的具体实现方法可参考图2对应实施例中相关步骤的描述,在此不赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以处于一个地方,或者也可以分布到多个模型单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。本申请中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (10)
1.一种车道线检测方法,其特征在于,所述车道线检测方法包括:
获取道路图像;
对所述道路图像进行图像处理,得到拼接区域;
将所述拼接区域输入至预先训练完成的车道线检测模型,得到车道线检测图像;
将所述车道线检测图像进行图像变换,得到变换图像以及所述变换图像中的车道线检测结果。
2.如权利要求1所述的车道线检测方法,其特征在于,所述对所述道路图像进行图像处理,得到拼接区域包括:
对所述道路图像进行车道线检测,得到感兴趣区域;
对所述感兴趣区域进行变换,得到车道线鸟瞰区域;
对所述车道线鸟瞰区域进行灰度直方图均衡化处理,得到灰度区域;
对所述灰度区域进行二值化处理,得到二值化区域;
将所述车道线鸟瞰区域从初始颜色空间转换至目标颜色空间,得到目标区域,对所述目标区域的每个通道进行直方图均衡化处理,得到均衡化区域;
基于所述车道线鸟瞰区域、所述灰度区域、所述均衡化区域以及所述二值化区域生成所述拼接区域。
3.如权利要求2所述的车道线检测方法,其特征在于,所述对所述感兴趣区域进行变换,得到车道线鸟瞰区域包括:
从所述感兴趣区域中选取预设数量的目标像素点,并获取每个目标像素点在所述感兴趣区域中的初始坐标值;
基于每个初始坐标值对应的预设坐标值以及多个所述初始坐标值计算变换矩阵;
根据所述感兴趣区域中每个像素点的坐标值以及所述变换矩阵,计算所述感兴趣区域中每个像素点的目标坐标值;
将所述感兴趣区域中每个像素点的像素值变换为对应的目标坐标值,得到所述车道线鸟瞰区域。
4.如权利要求3所述的车道线检测方法,其特征在于,所述基于每个初始坐标值对应的预设坐标值以及多个所述初始坐标值计算变换矩阵包括:
根据预设值、每个初始坐标值中的初始横坐标值以及初始纵坐标值,构建每个初始坐标值对应的齐次像素矩阵;
基于多个预设参数构建与所述齐次像素矩阵对应的参数矩阵;
将所述参数矩阵与每个齐次像素矩阵进行相乘运算,得到每个初始坐标值对应的相乘表达式;
根据每个初始坐标值对应的相乘表达式及每个初始坐标值对应的预设坐标值构建多个等式;
对所述多个等式进行求解,得到每个预设参数对应的参数值,并将所述参数矩阵中的每个预设参数替换为对应的参数值,得到所述变换矩阵。
5.如权利要求2所述的车道线检测方法,其特征在于,所述基于所述车道线鸟瞰区域、所述灰度区域、所述均衡化区域以及所述二值化区域生成所述拼接区域包括:
将所述车道线鸟瞰区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第一像素值,并将所述车道线鸟瞰区域中每个像素点的像素值调整为对应的第一像素值,得到第一区域;
将所述灰度区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第二像素值,并将所述灰度区域中每个像素点的像素值调整为对应的第二像素值,得到第二区域;
将所述均衡化区域与所述二值化区域中对应的像素点的像素值进行相乘运算,得到第三像素值,并将所述均衡化区域中每个像素点的像素值调整为对应的第三像素值,得到第三区域;
将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域。
6.如权利要求1所述的车道线检测方法,其特征在于,在将所述拼接区域输入至预先训练完成的车道线检测模型之前,所述方法还包括:
获取车道线检测网络、车道线训练图像以及所述车道线训练图像的标注结果;
将所述车道线训练图像输入至所述车道线检测网络中进行特征提取,得到车道线特征图;
对所述车道线特征图中每个像素点进行车道线预测,得到所述车道线特征图的预测结果;
根据所述预测结果以及所述标注结果对所述车道线检测网络的参数进行调整,得到训练完成的车道线检测模型。
7.如权利要求6所述的车道线检测方法,其特征在于,所述根据所述预测结果以及所述标注结果对所述车道线检测网络的参数进行调整,得到训练完成的车道线检测模型包括:
根据所述预测结果以及所述标注结果计算所述车道线检测网络的预测指标;
基于所述预测指标对所述车道线检测网络进行参数调整,直至所述预测指标满足预设条件,得到所述训练完成的车道线检测模型。
8.如权利要求7所述的车道线检测方法,其特征在于,若所述预测指标为预测准确率,所述根据所述预测结果以及所述标注结果计算所述车道线检测网络的预测指标包括:
计算所述车道线训练图像的训练数量;
计算与对应的标注结果相同的预测结果的预测数量,并计算所述预测数量与所述训练数量的比值,得到所述预测准确率。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述至少一个指令以实现如权利要求1至8中任意一项所述的车道线检测方法。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至8中任意一项所述的车道线检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211529910.XA CN118135510A (zh) | 2022-11-30 | 2022-11-30 | 车道线检测方法、电子设备及存储介质 |
US18/522,549 US20240177499A1 (en) | 2022-11-30 | 2023-11-29 | Method for detecting lane lines and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211529910.XA CN118135510A (zh) | 2022-11-30 | 2022-11-30 | 车道线检测方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118135510A true CN118135510A (zh) | 2024-06-04 |
Family
ID=91192184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211529910.XA Pending CN118135510A (zh) | 2022-11-30 | 2022-11-30 | 车道线检测方法、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240177499A1 (zh) |
CN (1) | CN118135510A (zh) |
-
2022
- 2022-11-30 CN CN202211529910.XA patent/CN118135510A/zh active Pending
-
2023
- 2023-11-29 US US18/522,549 patent/US20240177499A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240177499A1 (en) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229519B (zh) | 图像分类的方法、装置及系统 | |
CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
CN112861727A (zh) | 一种基于混合深度可分离卷积的实时语义分割方法 | |
CN112733672A (zh) | 基于单目相机的三维目标检测方法、装置和计算机设备 | |
CN114782911B (zh) | 图像处理的方法、装置、设备、介质、芯片及车辆 | |
CN110909582B (zh) | 一种人脸识别的方法及设备 | |
CN112132753B (zh) | 多尺度结构引导图像的红外图像超分辨率方法及系统 | |
CN114187515A (zh) | 图像分割方法和图像分割装置 | |
CN115631108A (zh) | 一种基于rgbd的图像去雾方法及相关设备 | |
CN114418897B (zh) | 眼部光斑图像的修复方法、装置、终端设备及存储介质 | |
CN118135510A (zh) | 车道线检测方法、电子设备及存储介质 | |
Zhang et al. | A compensation textures dehazing method for water alike area | |
CN117173075A (zh) | 医学图像检测方法及相关设备 | |
CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
TWI832591B (zh) | 車道線檢測方法、電腦設備及儲存介質 | |
CN112446230A (zh) | 车道线图像的识别方法及装置 | |
TWI807904B (zh) | 深度識別模型訓練方法、圖像深度識別方法及相關設備 | |
CN118172376A (zh) | 道路分割方法、电子设备及存储介质 | |
TWI846177B (zh) | 道路分割方法、電腦設備及儲存介質 | |
CN117409389A (zh) | 深度识别模型训练方法、图像深度识别方法及相关设备 | |
US20240046601A1 (en) | Deep recognition model training method, electronic device and readable storage medium | |
CN117409059A (zh) | 图像深度识别方法、电子设备及存储介质 | |
TWI817594B (zh) | 圖像深度識別方法、電腦設備及儲存介質 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |