CN118172376A - 道路分割方法、电子设备及存储介质 - Google Patents
道路分割方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118172376A CN118172376A CN202211528558.8A CN202211528558A CN118172376A CN 118172376 A CN118172376 A CN 118172376A CN 202211528558 A CN202211528558 A CN 202211528558A CN 118172376 A CN118172376 A CN 118172376A
- Authority
- CN
- China
- Prior art keywords
- road
- region
- edge line
- equalization
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及图像处理,提供一种道路分割方法、电子设备及存储介质。所述方法包括:获取道路图像,对所述道路图像进行图像处理,得到多个感兴趣区域,基于所述多个感兴趣区域生成拼接区域,将所述拼接区域输入至预先训练完成的道路分割模型,得到道路分割图像以及所述道路分割图像中的分割结果。利用本申请能够提高对图像中的道路的分割准确性。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种道路分割方法、电子设备及存储介质。
背景技术
在目前基于图像对道路进行检测的方案中,由于在逆光环境下拍摄的道路图像的亮度大,使得图像中的道路模糊,导致无法从逆光的道路图像中准确检测出道路,进而影响驾车安全。
发明内容
鉴于以上内容,有必要提供一种道路分割方法、电子设备及存储介质,解决了无法从逆光的道路图像中准确检测出道路的技术问题,从而能够提高驾驶安全。
本申请提供一种道路分割方法,所述道路分割方法包括:获取道路图像,基于所述道路图像,得到多个感兴趣区域,基于所述多个感兴趣区域生成拼接区域,将所述拼接区域输入至预先训练完成的道路分割模型,得到道路分割图像以及所述道路分割图像中的分割结果。
根据本申请可选实施例,所述多个感兴趣区域包括预处理区域、第一均衡化区域、第二均衡化区域以及目标区域,所述基于所述道路图像,得到多个感兴趣区域包括:对所述道路图像进行预处理,得到所述预处理区域,并对所述预处理区域进行均衡化处理,得到所述第一均衡化区域以及所述第二均衡化区域,对所述第一均衡化区域进行检测,得到目标边缘线,根据所述目标边缘线以及所述第一均衡化区域生成所述目标区域。
根据本申请可选实施例,所述对所述第一均衡化区域进行检测,得到目标边缘线包括:对所述第一均衡化区域进行边缘检测,得到多条初始边缘线,基于每条初始边缘线上的每个像素点在所述第一均衡化区域中的像素位置,计算每个像素点的极坐标方程,基于多个所述极坐标方程从所述多条初始边缘线中选取所述目标边缘线。
根据本申请可选实施例,所述对所述第一均衡化区域进行边缘检测,得到多条初始边缘线包括:对所述第一均衡化区域进行滤波处理,得到滤波区域,计算所述滤波区域中每个像素点的梯度值,根据预设的上限阈值以及预设的下限阈值对多个所述梯度值对应的多个像素点进行筛选,得到边缘像素点,将多个相邻的边缘像素点构成的多条线确定为所述多条初始边缘线。
根据本申请可选实施例,所述目标边缘线包括第一目标边缘线以及第二目标边缘线,所述基于多个所述极坐标方程从所述多条初始边缘线中选取所述目标边缘线包括:绘制每个极坐标方程对应的曲线,基于多条所述曲线选取每条初始边缘线的极角,根据所述极角计算对应的初始边缘线的边缘线斜率,选取最大的边缘线斜率对应的初始边缘线作为所述第一目标边缘线,并选取最小的边缘线斜率对应的初始边缘线作为所述第二目标边缘线。
根据本申请可选实施例,所述根据所述目标边缘线以及所述第一均衡化区域生成所述目标区域包括:将所述第一目标边缘线以及所述第二目标边缘线在所述第一均衡化区域围成的区域确定为道路区域,基于所述道路区域对所述第一均衡化区域进行二值化处理,得到所述目标区域。
根据本申请可选实施例,所述基于所述多个感兴趣区域生成拼接区域包括:将所述第一均衡化区域与所述目标区域中相互对应的像素点的像素值进行相乘运算,得到第一像素值,并将所述第一均衡化区域中每个像素点的像素值调整为对应的第一像素值,得到第一区域,将所述第二均衡化区域与所述目标区域中相互对应的像素点的像素值进行相乘运算,得到第二像素值,并将所述第二均衡化区域中每个像素点的像素值调整为对应的第二像素值,得到第二区域,将所述预处理区域与所述目标区域中相互对应的像素点的像素值进行相乘运算,得到第三像素值,并将所述预处理区域中每个像素点的像素值调整为对应的第三像素值,得到第三区域,将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域。
根据本申请可选实施例,在将所述拼接区域输入至预先训练完成的道路分割模型之前,所述方法还包括:获取道路分割网络、道路训练图像以及所述道路训练图像的标注结果,将所述道路训练图像输入至所述道路分割网络中进行特征提取,得到道路特征图,对所述道路特征图中每个像素点进行道路预测,得到所述道路特征图的预测结果,根据所述预测结果以及所述标注结果对所述道路分割网络的参数进行调整,得到训练完成的道路分割模型。
本申请提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及处理器,执行所述至少一个指令以实现所述的道路分割方法。
本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现所述的道路分割方法。
由上述技术方案可知,本申请对所述道路图像进行图像处理,得到多个感兴趣区域,所述图像处理包括图像剪裁、二值化及均衡化、道路检测以及霍夫变换,由于图像裁剪能够删除所述道路图像中不包含道路的部分,因此,能够减少对道路检测干扰。当所述道路图像为逆光图像时,通过对所述逆光图像进行二值化及均衡化处理,能够降低所述逆光图像的亮度使得所述逆光图像中更加清晰。通过对所述逆光图像进行道路检测,能够检测到所述逆光图像中道路的多条可能的初始边缘线,通过霍夫变换对所述多条可能的边缘线进行筛选,得到目标边缘线,因此能够提高道路检测的准确性。此外,由于所述多个感兴趣区域中融合了更多道路信息,因此基于所述多个感兴趣区域生成拼接区域,能够使得所述拼接区域中的道路更加清晰。此外,通过预先训练完成的道路分割模型对所述拼接区域中的道路进行检测,由于所述道路分割模型学习到了道路的位置特征,因此,能够更为准确地预测出所述拼接区域中道路的位置。
附图说明
图1是本申请实施例提供的一种道路分割方法的应用场景图。
图2是本申请实施例提供的一种道路分割方法的流程图。
图3是本申请实施例提供的图像处理的流程图。
图4是本申请实施例提供的初始边缘线和目标边缘线的示意图。
图5是本申请实施例提供的道路分割模型的训练流程图。
图6是本申请实施例提供的道路分割图像的示意图。
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本申请进行详细描述。
如图1所示,是本申请实施例提供的一种道路分割方法的应用场景图。所述应用场景图可以由拍摄设备逆着光线对道路场景进行拍摄获得,由于逆着光线,因此所述应用场景图的图像亮度很大,导致图中的道路模糊不清。所述应用场景图中包括道路、车辆、树木以及天空等等。所述道路分割方法可应用于一个或者多个电子设备1中,例如图7所示的电子设备1。所述电子设备1与所述拍摄设备相通信,所述拍摄设备可以是单目相机,也可以是具有拍摄功能的其它设备。
所述电子设备1是一种能够按照事先设定或存储的指令,自动进行参数值计算和/或信息处理的设备,其硬件包括,但不限于:微处理器、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、可编程门阵列(Field-ProgrammableGateArray,FPGA)、数字信号处理器(DigitalSignalProcessor,DSP)、嵌入式设备等。
所述电子设备1可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(PersonalDigitalAssistant,PDA)、游戏机、交互式模型电视(InternetProtocolTelevision,IPTV)、智能式穿戴式设备等。
所述电子设备1还可以包括模型设备和/或用户设备。其中,所述模型设备包括,但不限于单个模型服务器、多个模型服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或模型服务器构成的云。所述电子设备1还可以是车辆中的车载设备。所述电子设备1所处的模型包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用模型(VirtualPrivateNetwork,VPN)等。
所述电子设备1还可以为车载设备,当所述电子设备1为车载设备时,所述拍摄设备可以为所述车载设备中的车载拍摄设备,例如:车载摄像头或者行车记录仪,所述车载设备与所述车载拍摄设备相通信。
如图2所示,图2是本申请实施例提供的一种道路分割方法的流程图。根据不同的需求,所述流程图中各个步骤的顺序可以根据实际检测要求进行调整,某些步骤可以省略。所述方法的执行主体为电子设备。
S11,获取道路图像。
在本申请的至少一个实施例中,所述道路图像为三原色光(Red Green Blue,RGB)图像,所述道路图像中可以包含车辆,道路、车道线、行人、天空、树木等对象。
在本申请的至少一个实施例中,所述电子设备获取道路图像包括:所述电子设备控制拍摄设备拍摄道路场景,得到所述道路图像。
其中,所述拍摄设备可以为单目相机或者车载摄像机等等,所述道路场景中可以包括车辆,道路、车道线、行人、天空、树木等对象。
在本实施例中,所述道路图像包括逆光道路图像,所述逆光道路图像为所述拍摄设备逆着光线对所述道路场景进行拍摄得到的图像。
S12,基于所述道路图像,得到多个感兴趣区域。
在本申请的至少一个实施例中,通过预设的一种或多种图像处理方式,获得多个感兴趣区域,其中,图像处理方式包括剪裁、道路检测、霍夫变换、直方图均衡化以及二值化处理等等。其中,所述直方图均衡化处理包括灰度直方图均衡化处理以及三通道直方图均衡化处理等等。
具体地,基于道路图像进行的图像处理,可参考如图3所示的实施例的图像处理流程图。
S121,对所述道路图像进行预处理,得到所述预处理区域。
在本实施例中,对所述道路图像进行初步检测,确定道路在所述道路图像中的位置。例如,所述道路图像中,道路主要位于所述道路图像的下半部分,所述道路部分的上半部分主要为远景及天空,此时,所述电子设备可选取所述道路图像的下半部分作为所述预处理区域。
例如,可通过目标检测算法对所述道路图像进行初步检测。其中,所述目标检测算法可以为R-CNN、Fast R-CNN、Faster R-CNN等等。
在本实施例中,由于图像裁剪能够删除所述道路图像中不包含道路的部分,因此,能够减少对道路检测干扰。
S122,对所述预处理区域进行均衡化处理,得到所述第一均衡化区域以及所述第二均衡化区域。
在本实施例中,所述电子设备对所述预处理区域进行灰度直方图均衡化处理,得到所述第一均衡化区域,然后所述电子设备对所述预处理区域的每个通道进行直方图均衡化处理,得到所述第二均衡化区域。
在本实施例中,当所述道路图像为逆光道路图像时,对剪裁后生成的预处理区域进行灰度直方图均衡化处理以及三通道直方图均衡化处理,能够降低所述第一均衡化区域以及所述第二均衡化区域的亮度,从而能够降低亮度对道路检测的影响。
S123,对所述第一均衡化区域进行检测,得到目标边缘线。
在本实施例中,所述电子设备对所述第一均衡化区域进行检测,得到目标边缘线包括:
所述电子设备对所述第一均衡化区域进行道路检测,得到多条初始边缘线,然后所述电子设备基于每条初始边缘线上的每个像素点在所述第一均衡化区域中的像素位置,计算每个像素点的极坐标方程,进一步地,所述电子设备基于多个所述极坐标方程从所述多条初始边缘线中选取所述目标边缘线。
其中,所述目标边缘线包括第一目标边缘线以及第二目标边缘线,所述像素位置包括横坐标值以及纵坐标值。所述极坐标方程的格式为ρ=xcosθ+ysinθ,ρ表示因变量极径,θ表示自变量极角度,x表示每个像素点的横坐标值,y表示每个像素点的纵坐标值。
具体地,所述电子设备对所述第一均衡化区域进行道路检测,得到多条初始边缘线包括:
所述电子设备对所述第一均衡化区域进行滤波处理,得到滤波区域;所述电子设备计算所述滤波区域中每个像素点的梯度值;所述电子设备根据预设的上限阈值以及预设的下限阈值对多个所述梯度值对应的多个像素点进行筛选,得到边缘像素点。然后,所述电子设备将多个相邻的边缘像素点构成的多条线确定为所述多条初始边缘线。
其中,所述电子设备可以通过索贝尔算子(Sobeloperator,Sobel)计算所述梯度值。所述上限阈值和所述下限阈值可以自行设置,本申请对此不作限制。例如,所述上限阈值可以为80,所述下限阈值可以为40。
在本实施例中,通过对所述第一均衡化区域进行道路检测,能够初步检测出所述第一均衡化区域中多个可能的道路的初始边缘线。
具体地,所述电子设备根据预设的卷积核尺寸从所述第一均衡化区域中选取对应的多个卷积像素点,并根据每个卷积像素点的像素位置生成对应的权重。所述电子设备对多个所述权重进行归一化,生成高斯滤波核,然后,所述电子设备使用所述高斯滤波核对所述第一均衡化区域进行卷积,得到所述滤波区域。
其中,每个权重的计算公式为:
其中,h(x,y)表示每个卷积像素点对应的权重,x表示每个卷积像素点的横坐标值,y表示每个卷积像素点的纵坐标值,σ为预设的标准差。所述卷积核尺寸以及所述标准差可以自行设置,本申请实施例对此不作限制。例如,所述卷积核尺寸可以为3*3,所述标准差可以为1。
在一实施例中,通过对所述第一均衡化区域进行滤波处理,能够滤除所述第一均衡区域中的噪声,使得所述滤波区域中的道路的边缘线更清晰。
具体地,所述电子设备根据预设的上限阈值以及预设的下限阈值对多个所述梯度值对应的多个像素点进行筛选,得到边缘像素点包括:
所述电子设备将大于或者等于所述上限阈值的梯度值对应的像素点确定为所述边缘像素点,并将处于所述上限阈值与所述下限阈值之间的梯度值对应的像素点确定为中间像素点。若所述中间像素点直接与任一所述边缘像素点相连,所述电子设备将所述中间像素点确定为所述边缘像素点,或者,若所述中间像素点不与任何边缘像素点相连,所述电子设备舍弃所述中间像素点。此外,所述电子设备将小于或者等于所述下限阈值的梯度值对应的像素点进行舍弃。
在本实施例中,由于边缘像素点的像素值与所述第一均衡区域中的其它像素点的像素值相差大、并且梯度值能够表征像素值的变化大小,因此,通过将大于所述上限阈值的梯度值对应的像素点作为所述边缘像素点,能够提高对边缘像素点进行确认的准确性。
具体地,所述电子设备基于多个所述极坐标方程从所述多条初始边缘线中选取所述目标边缘线包括:
所述电子设备绘制每个极坐标方程对应的曲线,并基于多条所述曲线选取每条初始边缘线的极角,所述电子设备根据所述极角计算对应的初始边缘线的边缘线斜率,并选取最大的边缘线斜率对应的初始边缘线作为所述第一目标边缘线,并选取最小的边缘线斜率对应的初始边缘线作为所述第二目标边缘线。
其中,由于每个极坐标方程中的因变量为极径,自变量为极角,因此,所述曲线上的每个点的坐标为极径和极角,所述电子设备选取所述多条曲线的交点对应的极角作为每条初始边缘线对应的极角。在本实施例中,所述边缘线斜率的符号存在正负号。因此,所述第一目标边缘线的边缘线斜率的符号为正号,所述第二目标边缘线的边缘线斜率的符号为负号。
在本实施例中,通过在所述多条初始边缘线中选取所述目标边缘线,能够初步确定出所述第一均衡化区域中的道路区域。
如图4所示,是本申请实施例提供的初始边缘线和初始边缘线的示意图。图4的(a)中有多条初始边缘线。每条初始边缘线的斜率各不相同。由于图4的(a)中最左边的那条初始边缘线的边缘线斜率最大,最右边的那条初始边缘线的边缘线斜率最小,因此,将图4的(a)中最左边的那条初始边缘线确定为第一目标边缘线,并将最右边的那条初始边缘线确定为第二目标边缘线,得到图4的(b)中的目标边缘线。
在本申请的其他实施例中,还可以使用其它边缘检测算法对所述第一均衡化区域进行道路检测。例如,Canny边缘检测算法。
S124,根据所述目标边缘线以及所述第一均衡化区域生成所述目标区域。
在本实施例中,所述电子设备根据所述目标边缘线以及所述第一均衡化区域生成所述目标区域包括:
所述电子设备将所述第一目标边缘线以及所述第二目标边缘线在所述第一均衡化区域围成的区域确定为道路区域,并基于所述道路区域对所述第一均衡化区域进行二值化处理,得到所述目标区域。
例如,所述电子设备可以将所述道路区域中所有像素点的像素值调整为1,并将所述第一均衡化区域中除了所述道路区域之外的像素点的像素值调整为0。
在本实施例中,在本实施例中,由于所述第一目标边缘线为最大的边缘线斜率对应的初始边缘线及所述第二目标边缘线为最小的边缘线斜率对应的初始边缘线,因此能够确保选取到所述第一均衡化区域中所有的道路区域,此外通过对所述第一均衡化区域进行二值化处理,区分了所述第一均衡化区域中的道路区域与非道路区域,使得所述目标区域中的道路区域更加清晰。
在本申请的至少一个实施例中,所述多个感兴趣区域包括预处理区域、第一均衡化区域、第二均衡化区域以及目标区域。其中,所述预处理区域是指对所述道路图像进行剪裁后生成的区域,所述第一均衡化区域是指对所述预处理区域进行灰度直方图均衡化处理后生成的区域,所述第二均衡化区域是指对所述预处理区域的每个通道进行直方图均衡化后生成的区域,所述目标区域是指对所述第一均衡化区域中的初始边缘线进行筛选后生成的区域。
S13,基于多个感兴趣区域生成拼接区域。
在本申请的至少一个实施例中,所述电子设备基于所述多个感兴趣区域生成拼接区域包括:
所述电子设备将所述第一均衡化区域与所述目标区域相互中对应的像素点的像素值进行相乘运算,得到第一像素值,并将所述第一均衡化区域中每个像素点的像素值调整为对应的第一像素值,得到第一区域;所述电子设备将所述第二均衡化区域与所述目标区域中相互对应的像素点的像素值进行相乘运算,得到第二像素值,并将所述第二均衡化区域中每个像素点的像素值调整为对应的第二像素值,得到第二区域;所述电子设备将所述预处理区域与所述目标区域中相互对应的像素点的像素值进行相乘运算,得到第三像素值,并将所述预处理区域中每个像素点的像素值调整为对应的第三像素值,得到第三区域;然后所述电子设备将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域。
在本实施例中,将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域,由于所述拼接区域融合了多个区域的道路特征,因此能够使得所述拼接区域的道路的特征更加明显。
具体地,所述电子设备将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域包括:
所述电子设备获取所述第一区域对应的第一矩阵,获取所述第二区域对应的第二矩阵,并获取所述第三区域对应的第三矩阵,然后所述电子设备将所述第一矩阵、所述第二矩阵,以及所述第三矩阵进行拼接,得到所述拼接区域。其中,所述拼接区域可以为三维区域。
S14,将所述拼接区域输入至预先训练完成的道路分割模型,得到道路分割图像以及所述道路分割图像中的分割结果。
在本申请的至少一个实施例中,所述道路分割模型包括特征提取层,所述特征提取层包括卷积层、池化层以及批标准化层等等。
其中,对道路分割模型进行的预先训练可以参考如图5所示的训练流程图。
S141,获取道路分割网络、道路训练图像以及所述道路训练图像的标注结果。
在本实施例中,所述道路分割网络包括,但不限于:SegNet、U-Net、FCN等网络。所述道路训练图像为多张,每张道路训练图像中包含道路,所述多张道路训练图像中的标注结果包括每张道路训练图像中道路所对应的多个标注像素点、所述多个标注像素点的标注位置、所述多个标注像素点的标注数量以及所述多个标注像素点所构成的标注区域等等。其中,所述标注像素点为每张道路训练图像中的道路所对应的像素点。
S142,将所述道路训练图像输入至所述道路分割网络中进行特征提取,得到道路特征图。
在本实施例中,所述电子设备使用所述特征提取层对所述道路训练图像进行特征提取,得到所述道路特征图。
S143,对所述道路特征图中每个像素点进行道路预测,得到所述道路特征图的预测结果。
在本实施例中,所述预测结果包括所述道路训练图像中道路所对应的多个道路像素点、所述多个道路像素点的道路位置、所述多个道路像素点的像素数量以及所述多个道路像素点所构成的像素区域等等。
在本实施例中,所述电子设备对每张道路特征图中的每个像素点进行类别预测,得到每张道路特征图中每个像素点的多个预设的初始类别以及每个初始类别对应的类别概率,其中,所述多个初始类别包括道路,所述电子设备将最大的类别概率所对应的初始类别确定为所述目标类别,所述电子设备将为所述道路类别的目标类别对应的多个像素点确定为所述多个道路像素点,然后所述电子设备计算所述多个道路像素点的像素数量、获取所述道路像素点的道路位置并确定所述多个道路像素点构成的像素区域。
其中,所述多个初始类别可以自行设置本申请对此不作限制。例如,所述初始类别包括道路、树木以及车辆等等。
S144,根据所述预测结果以及所述标注结果对所述道路分割网络的参数进行调整,得到训练完成的道路分割模型。
在本实施例中,所述电子设备根据所述预测结果以及所述标注结果对所述道路分割网络的参数进行调整,得到训练完成的道路分割模型包括:
所述电子设备根据所述预测结果以及所述标注结果计算所述道路分割网络的预测指标,并基于所述预测指标对所述道路分割网络进行参数调整,直至所述预测指标满足预设条件,得到所述训练完成的道路分割模型。
其中,所述预测指标可以为预测准确率,所述预设条件可以为:所述预测准确率大于或者等于预设阈值或者所述预测准确率不再增大,所述预设阈值可以自行设置,本申请对此不作限制。
具体地,若所述预测指标为预测准确率,所述电子设备根据所述预测结果以及所述标注结果计算所述道路分割网络的预测指标包括:
所述电子设备计算所述多张道路训练图像的训练数量,并计算与对应的标注结果相同的预测结果的预测数量,进一步地,所述电子设备计算所述预测数量与所述训练数量的比值,得到所述预测准确率。
所述道路分割图像的生成过程与所述道路分割模型的训练过程基本相同,故本实施例中不再重复描述。如图6所示,是本申请实施例提供的道路分割图像的示意图。图6中颜色较浅部分为所述道路分割图像中的道路区域。
在本实施例中,通过所述预测准确率确定所述道路分割网络是否收敛,当所述道路分割网络收敛时,预测准确率最高,得到所述道路分割模型,因此,能够确保所述道路分割模型的检测准确性。
在本申请的至少一个实施例中,所述道路分割图像的生成过程与所述道路分割模型的训练过程基本相同,所述分割结果的生成过程与所述预测结果的生成过程基本相同,故本申请在此不作赘述。由于所述道路图像也需要经过剪裁,因此,在得到所述道路分割图像之后,还需要重新调整所述道路分割图像的尺寸,使得所述道路分割图像的尺寸大小与所述道路图像的尺寸大小相同。
由上述技术方案可知,本申请对所述道路图像进行图像处理,得到多个感兴趣区域,所述图像处理包括图像剪裁、二值化及均衡化、道路检测以及霍夫变换,由于图像裁剪能够删除所述道路图像中不包含道路的部分,因此,能够减少对道路检测干扰。当所述道路图像为逆光图像时,通过对所述逆光图像进行二值化及均衡化处理,能够降低所述逆光图像的亮度使得所述逆光图像中更加清晰。通过对所述逆光图像进行道路检测,能够检测到所述逆光图像中道路的多条可能的初始边缘线,通过霍夫变换对所述多条可能的边缘线进行筛选,得到目标边缘线,因此能够提高道路检测的准确性。此外,由于所述多个感兴趣区域中融合了更多道路信息,因此基于所述多个感兴趣区域生成拼接区域,能够使得所述拼接区域中的道路更加清晰。此外,通过预先训练完成的道路分割模型对所述拼接区域中的道路进行检测,由于所述道路分割模型学习到了道路的位置特征,因此,能够更为准确地预测出所述拼接区域中道路的位置。
如图7所示,是本申请实施例提供的电子设备的结构示意图。
在本申请的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如道路分割程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、模型接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及获取所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
所述处理器13获取所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13获取所述应用程序以实现上述各个道路分割方法实施例中的步骤,例如图2、图3和图5所示的步骤。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13获取,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备1中的获取过程。
所述存储器12可用于存储所述计算机程序和/或模块,所述处理器13通过运行或获取存储在所述存储器12内的计算机程序和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器12可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器获取时,可实现上述各个方法实施例的步骤。
其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可获取文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
结合图2,所述电子设备1中的所述存储器12存储多个指令以实现一种道路分割方法,所述处理器13可获取所述多个指令从而实现:获取道路图像;对所述道路图像进行图像处理,得到多个感兴趣区域;基于所述多个感兴趣区域生成拼接区域;将所述拼接区域输入至预先训练完成的道路分割模型,得到道路分割图像以及所述道路分割图像中的分割结果。
具体地,所述处理器13对上述指令的具体实现方法可参考图2对应实施例中相关步骤的描述,在此不赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以处于一个地方,或者也可以分布到多个模型单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。本申请中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (10)
1.一种道路分割方法,其特征在于,所述道路分割方法包括:
获取道路图像;
基于所述道路图像,得到多个感兴趣区域;
基于所述多个感兴趣区域生成拼接区域;
将所述拼接区域输入至预先训练完成的道路分割模型,得到道路分割图像以及所述道路分割图像中的分割结果。
2.如权利要求1所述的道路分割方法,其特征在于,所述多个感兴趣区域包括预处理区域、第一均衡化区域、第二均衡化区域以及目标区域,所述基于所述道路图像,得到多个感兴趣区域包括:
对所述道路图像进行预处理,得到所述预处理区域,并对所述预处理区域进行均衡化处理,得到所述第一均衡化区域以及所述第二均衡化区域;
对所述第一均衡化区域进行检测,得到目标边缘线;
根据所述目标边缘线以及所述第一均衡化区域生成所述目标区域。
3.如权利要求2所述的道路分割方法,其特征在于,所述对所述第一均衡化区域进行检测,得到目标边缘线包括:
对所述第一均衡化区域进行边缘检测,得到多条初始边缘线;
基于每条初始边缘线上的每个像素点在所述第一均衡化区域中的像素位置,计算每个像素点的极坐标方程;
基于多个所述极坐标方程从所述多条初始边缘线中选取所述目标边缘线。
4.如权利要求3所述的道路分割方法,其特征在于,所述对所述第一均衡化区域进行边缘检测,得到多条初始边缘线包括:
对所述第一均衡化区域进行滤波处理,得到滤波区域;
计算所述滤波区域中每个像素点的梯度值;
根据预设的上限阈值以及预设的下限阈值对多个所述梯度值对应的多个像素点进行筛选,得到边缘像素点;
将多个相邻的边缘像素点构成的多条线确定为所述多条初始边缘线。
5.如权利要求3所述的道路分割方法,其特征在于,所述目标边缘线包括第一目标边缘线以及第二目标边缘线,所述基于多个所述极坐标方程从所述多条初始边缘线中选取所述目标边缘线包括:
绘制每个极坐标方程对应的曲线,基于多条所述曲线选取每条初始边缘线的极角;
根据所述极角计算对应的初始边缘线的边缘线斜率;
选取最大的边缘线斜率对应的初始边缘线作为所述第一目标边缘线,并选取最小的边缘线斜率对应的初始边缘线作为所述第二目标边缘线。
6.如权利要求5所述的道路分割方法,其特征在于,所述根据所述目标边缘线以及所述第一均衡化区域生成所述目标区域包括:
将所述第一目标边缘线以及所述第二目标边缘线在所述第一均衡化区域围成的区域确定为道路区域;
基于所述道路区域对所述第一均衡化区域进行二值化处理,得到所述目标区域。
7.如权利要求2所述的道路分割方法,其特征在于,所述基于所述多个感兴趣区域生成拼接区域包括:
将所述第一均衡化区域与所述目标区域中相互对应的像素点的像素值进行相乘运算,得到第一像素值,并将所述第一均衡化区域中每个像素点的像素值调整为对应的第一像素值,得到第一区域;
将所述第二均衡化区域与所述目标区域中相互对应的像素点的像素值进行相乘运算,得到第二像素值,并将所述第二均衡化区域中每个像素点的像素值调整为对应的第二像素值,得到第二区域;
将所述预处理区域与所述目标区域中相互对应的像素点的像素值进行相乘运算,得到第三像素值,并将所述预处理区域中每个像素点的像素值调整为对应的第三像素值,得到第三区域;
将所述第一区域、所述第二区域及所述第三区域进行拼接,得到所述拼接区域。
8.如权利要求1所述的道路分割方法,其特征在于,在将所述拼接区域输入至预先训练完成的道路分割模型之前,所述方法还包括:
获取道路分割网络、道路训练图像以及所述道路训练图像的标注结果;
将所述道路训练图像输入至所述道路分割网络中进行特征提取,得到道路特征图;
对所述道路特征图中每个像素点进行道路预测,得到所述道路特征图的预测结果;
根据所述预测结果以及所述标注结果对所述道路分割网络的参数进行调整,得到训练完成的道路分割模型。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述至少一个指令以实现如权利要求1至8中任意一项所述的道路分割方法。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至8中任意一项所述的道路分割方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211528558.8A CN118172376A (zh) | 2022-11-30 | 2022-11-30 | 道路分割方法、电子设备及存储介质 |
US18/122,618 US20240177316A1 (en) | 2022-11-30 | 2023-03-16 | Method for segmenting roads in images, electronic device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211528558.8A CN118172376A (zh) | 2022-11-30 | 2022-11-30 | 道路分割方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118172376A true CN118172376A (zh) | 2024-06-11 |
Family
ID=91191944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211528558.8A Pending CN118172376A (zh) | 2022-11-30 | 2022-11-30 | 道路分割方法、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240177316A1 (zh) |
CN (1) | CN118172376A (zh) |
-
2022
- 2022-11-30 CN CN202211528558.8A patent/CN118172376A/zh active Pending
-
2023
- 2023-03-16 US US18/122,618 patent/US20240177316A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240177316A1 (en) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
CN110705583B (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
CN107274445B (zh) | 一种图像深度估计方法和系统 | |
CN112132156A (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
CN109840883B (zh) | 一种训练物体识别神经网络的方法、装置及计算设备 | |
CN110458029B (zh) | 一种雾天环境中的车辆检测方法及装置 | |
CN111178200B (zh) | 一种仪表盘指示灯的识别方法及计算设备 | |
CN112529917A (zh) | 一种三维目标分割方法、装置、设备和存储介质 | |
CN110555344B (zh) | 车道线识别方法、装置、电子设备、存储介质 | |
CN118172376A (zh) | 道路分割方法、电子设备及存储介质 | |
TWI846177B (zh) | 道路分割方法、電腦設備及儲存介質 | |
CN115631108A (zh) | 一种基于rgbd的图像去雾方法及相关设备 | |
CN115346209A (zh) | 机动车三维目标检测方法、装置及计算机可读存储介质 | |
CN114118412A (zh) | 证件识别模型训练及证件识别的方法、系统、设备及介质 | |
US20240177499A1 (en) | Method for detecting lane lines and electronic device | |
RU2174710C1 (ru) | Способ автоматического улучшения полутонового изображения | |
CN112446230A (zh) | 车道线图像的识别方法及装置 | |
TWI832591B (zh) | 車道線檢測方法、電腦設備及儲存介質 | |
TWI807904B (zh) | 深度識別模型訓練方法、圖像深度識別方法及相關設備 | |
TWI838018B (zh) | 車輛控制方法、電腦設備及儲存介質 | |
CN116071625B (zh) | 深度学习模型的训练方法、目标检测方法及装置 | |
CN114943865B (zh) | 基于人工智能的目标检测样本优化方法及相关设备 | |
CN117541947A (zh) | 一种输电线路关键部件的识别方法及装置 | |
CN116563184A (zh) | ReID模型的训练方法、背景融合方法、系统及控制装置 | |
CN117409059A (zh) | 图像深度识别方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |