CN113781374B - 一种低光照场景下车道线检测增强方法、装置及终端设备 - Google Patents

一种低光照场景下车道线检测增强方法、装置及终端设备 Download PDF

Info

Publication number
CN113781374B
CN113781374B CN202111008183.8A CN202111008183A CN113781374B CN 113781374 B CN113781374 B CN 113781374B CN 202111008183 A CN202111008183 A CN 202111008183A CN 113781374 B CN113781374 B CN 113781374B
Authority
CN
China
Prior art keywords
image
lane line
lane
network
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111008183.8A
Other languages
English (en)
Other versions
CN113781374A (zh
Inventor
张荣辉
苟万婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202111008183.8A priority Critical patent/CN113781374B/zh
Publication of CN113781374A publication Critical patent/CN113781374A/zh
Application granted granted Critical
Publication of CN113781374B publication Critical patent/CN113781374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种低光照场景下车道线检测增强方法、装置及终端设备，该方法对原始图像和经过增强后的图像沿着通道数的维度进行拼接获得六通道图像，并将六通道图像输入车道检测网络中。该方法帮助车道检测线提取更多有效的车道特征，提高了低光照场景下的数据识别精度，且没有产生额外的数据标注工作量及网络推理开销。

Description

一种低光照场景下车道线检测增强方法、装置及终端设备
技术领域
本发明涉及智能汽车的机器视觉与深度学习领域，尤其涉及一种低光照场景下车道线检测增强方法、装置及终端设备。
背景技术
在车辆自动驾驶环境感知研究领域中，由于车道线的检测可以为驾驶系统提供全面的车辆驾驶环境信息，并可以帮助系统作出准确的行车轨迹，因此一项基于计算机视觉的车道线检测是一项重要的研究技术。深度学习技术(Deep Learning，简称DL)是机器学习领域中一个新的研究方向，包括了卷积神经网络模型、深度信任网络模型等。计算机视觉在其帮助下取得了很大的进步，有助于更好地提升车道线检测技术。但基于深度学习的车道线检测算法受限于复杂的环境条件，在低光、车道线丢失以及道路拥挤等各种特殊环境的影响下，将会降低车道线检测技术的准确性。
一般而言，基于视觉的车道线检测算法被分为两种：一种是通过人工设计的滤波算子对图像进行特征提取并进行拟合，其依赖于高度专业化、手工制作的特征和启发式的组合来识别车道线。将提取出的特征与霍夫变换和卡尔曼滤波相结合，即可实现车道检测；另一种是基于深度学习的方法，利用深度卷积神经网络可以通过训练大量场景图片来理解场景，从而实现端到端的处理。具有泛化能力好、鲁棒性高、能适应复杂多变的道路情况。
但是现有技术存在以下缺陷：第一种局限于良好的天气环境，在复杂的驾驶场景中难以实现对车道线的检测。第二种需要大量标注好的道路图片，前期训练成本高，并且对硬件设备的要求也很高。当处于低光照条件下时，车道标志会很模糊，难以进行车道线的检测。
发明内容
本发明提供一种低光照场景下车道线检测增强方法、装置及终端设备，在不增加额外工作量以及网络推理开销的情况下，不仅提高了低光条件下的检测精度，也不会因光线增强而丢失车道特征，适用于多种车道检测网络。
为了解决上述技术问题，本发明提供了一种低光照场景下车道线检测增强方法，包括：
通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像；
将所述车道线图像与所述第一图像进行拼接，获得六通道图像；
将所述六通道图像输入到训练好的车道线模型进行检测，获得预测的车道线位置并显示在所述车道线图像上；其中，将车道线样本图像输入LaneNet网络中训练得到所述车道线模型。
进一步的，在所述对设备采集的车道线图像进行图像增强处理之前，还包括：
使用双线性插值法，对设备采集的车道线图像进行尺寸转换；
进一步的，所述通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像，具体为：
通过Zero-DCE图像增强网络，学习出一组所述车道线图像最佳光增强曲线的参数；
将所述光增强曲线的参数应用于所述车道线图像的RGB通道的所有像素，以获得所述第一图像。
进一步的，所述将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像，具体为：
所述车道线图像和所述第一图像，通道数同为RGB三通道；
将所述车道线图像和所述第一图像通过concatenate沿着通道数的维度拼接在一起，获得六通道图像；
进一步的，将所述六通道图像输入到训练好的车道线模型中进行检测，获得含有车道线预测位置的第二图像，具体为：
所述训练模型通过输入的所述六通道图像计算拟合出车道线位置，并将此在所述车道线图像中突出显示出来，得出第二图像和检测精度。
进一步的，所述将车道线样本图像输入LaneNet网络中训练得到所述车道线模型，具体为：
所述车道线样本图像需要进行所述尺寸转换处理、所述图像增强处理与所述拼接处理获得车道线样本六通道图像；
将所述车道线样本六通道图像输入到LaneNet网络中，设置网络模型的初始学习率、学习衰减方式、训练次数；
优化网络参数，降低所述网络中损失函数的值并趋于稳定，获得车道线模型；
相应的，本发明还提供了一种低光照场景下车道线检测增强装置，包括：
图像增强处理模块、拼接模块和预测显示模块；
其中，所述图像增强处理模块通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像；
所述拼接模块用于将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像；
所述预测显示模块用于将所述六通道图像输入到训练好的车道线模型中进行检测，获得含有车道线预测位置的第二图像；其中，将车道线样本图像输入LaneNet网络中训练得到所述车道线模型。
进一步的，所述拼接模块用于将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像，具体为：
所述拼接模块中的所述车道线图像和所述第一图像，通道数同为RGB三通道；以及将所述车道线图像和所述第一图像通过concatenate沿着通道数的维度拼接在一起，获得六通道图像。
相应的，本发明还提供了一种计算机终端设备，包括：一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明所述的低光照场景下车道线检测增强方法。
相应的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明所述的低光照场景下车道线检测增强方法。
由上可见，本发明的实施例具有如下有益效果：
本发明提高了一种低光照场景下车道线检测增强方法、装置及终端设备，该方法通过车道线图像增强网络对设备采集的车道线图像先进行图像增强处理，得到第一图像；然后将车道线图像与第一图像进行拼接处理，得到六通道图像；最后将六通道图像输入到训练好的车道线模型中进行检测，获得含有车道线预测位置的第二图像；而车道线模型是由LaneNet网络对输入的车道线样本图像进行训练所得到的。相比于现有技术使用车道线检测线进行车道线的检测，本发明技术方案利用原始图像与增强后的图像进行通道拼接的方式，有助于车道检测线提取更多有效的车道特征，提高车道线识别精度。
进一步的，将设备采集的车道线图像进行图像增强处理之前，使用了双线性插值法，将车道线图像的尺寸由1640×590下采样到800×288，提高了方法的实时性，并尽可能保留了图像中的特征，不丢失有效信息。
进一步的，将车道线图像与第一图像进行拼接处理时，需要将通道数同为RGB三通道的车道线图像和第一图像进行concatenate操作沿通道数的维度拼接在一起，丰富了原图像背景语义信息，保留处理之后图像中的有效信息。
附图说明
图1是本发明一实施例提供的一种低光照场景下车道线检测增强方法的流程示意图；
图2是本发明一实施例提供的一种低光照场景下车道线检测增强装置的结构示意图。
图3是本发明另一实施例提供的一种低光照场景下车道线检测增强方法的流程示意图。
图4是本发明提供的终端设备的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种低光照场景下车道线检测增强方法的流程示意图，包括：
步骤101：通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像。
在本实施例中，步骤101具体为：对图像进行预处理，对于需要检测的车道线图像，使用双线性插值法将图像下改变图像尺寸；使用图像增强网络Zero-DCE，为预处理后的图像估计一组最佳拟合的光增强曲线，并以此映射其RGB通道的所有像素，将弱光图像增强为一组对应高阶曲线的像素曲线参数映，得到第一图像。
其中，双线性插值法可将图像的尺寸从1640×590下采样到800×288的大小，得到一个弱光图像。将弱光图像输入到图像增强网络Zero-DCE中，学习出该图像对应的一组最佳拟合的光增强曲线的参数，并应用到弱光图像的RGB通道的所有像素，获得第一图像。
其中，Zero-DCE图像增强网络，具体为：由七个对称连接的卷积层组成的简单卷积神经网络，每层由32个大小为3×3、步长为1的卷积核组成，前六层后跟ReLU激活函数，最后一层后跟Tanh激活函数。
步骤102：将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像。
在本实施例中，弱光图像与第一图像都是大小为800×288、通道数为RGB三通道，通过concatenate操作按通道数的维度进行图像拼接在一起，获得大小为800×288、通道数为六通道的六通道图像。
步骤103：将所述六通道图像输入到训练好的车道线模型中进行检测，获得含有车道线预测位置的第二图像，在本实施例中，具体为：将六通道图像输入到模型中进行检测，将会得到由事先训练好的车道线模型计算拟合的车道线位置，并突出显示在图像上，获得第二图像和检测精度。
进一步的，将车道线样本图像输入LaneNet网络中训练得到所述车道线模型。在本实施例中，具体为：设置网络模型的初始学习率、学习衰减方式、训练次数，将以经过尺寸转换处理、图像增强处理以及拼接处理的车道线样本六通道图像输入该模型中，网络多次遍历输入的图像，优化网络参数，直到模型中损失函数的值降到最低并保持稳定，则代表模型训练完成。
其中，LaneNet网络，具体为：语义分割分支以及实例分割分支；语义分割分支使用标准交叉熵损失函数训练分割网络，输出二进制分割图区分像素是否属于车道；实例分割分支由分割部分和聚类部分组成，该分支通过使用聚类损失函数，将分割分支识别的车道像素输出为通道像素的聚类，将同一车道的像素聚集在一起。在获得车道实例后，使用最小二乘法拟合一条曲线获得车道的参数化表达。
其中，损失函数公式，具体为：
式中，Lvar表示方差损失，Ldist表示距离损失；C表示车道线的条数；Nc表示聚类C中的像素数量；μc为聚类C中广东向量平均值；Xi为第i个像素的嵌入向量；δv和δd为超参数，当向量与其聚类中心大于δv或聚类中心间的距离小于δd时计算损失；[x]+表示max(0，x)；下标A、B表示两个不同的车道线；方差损失Lvar让同一车道线的像素之间嵌入向量更近，形成一个聚类中心；距离损失Ldist让不同车道线像素的向量之间距离变大。
其中，使用最小二乘法拟合一条曲线获得车道的参数化表达，具体为：通过车道实例像素，像素点P的坐标为(x，y)，利用最小二乘法拟合获得车道线曲线的参数化表达f(y)。
f(y)＝αy2+βy+γ
式中，α，β，γ是拟合的车道线曲线参数。
最小二乘法：
w＝(yTY)-1YTX#
W＝[α,β,γ]T,x＝[x1,x2,…,xN]T
参见图2，图2是本发明一实施例提供的一种低光照场景下车道线检测增强装置的结构示意图，包括：图像增强模块201、拼接模块202、预测显示模块203。
图像增强模块201通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像；
拼接模块202用于将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像；
预测显示模块203用于将所述六通道图像输入到训练好的车道线模型中进行检测，获得含有车道线预测位置的第二图像；其中，将车道线样本图像输入到LaneNet网络中训练得到所述车道线模型。
拼接模块202中的车道线图像和第一图像，通道数同为RGB三通道；以及将车道线图像和第一图像通过concatenate操作拼接在一起，获得六通道图像。
参见图3，图3是本发明另一实施例提供的一种低光照场景下车道线检测增强方法的流程示意图。
图3所示的流程比图1更为具体，其首先将尺寸大小为1640×590、通道数为三通道的图像通过双线性插值法进行预处理，得到尺寸大小为800×288、通道数为三通道的预处理图像。将与处理图像通过Zero－DCE进行图像增强，获得尺寸大小为800×288、通道数为三通道的增强图像。将预处理图像与增强图像使用Concatenate进行图像拼接，获得尺寸大小为800×288、通道数为六通道的六通道图像。将六通道图像输入至已训练好的车道线检测网络中进行检测，最后得出检测图像以及检测精度。
参见图4，图4是本发明提供的终端设备的一个实施例的结构示意图。
该实施例的一种终端设备包括：处理器401、存储器402以及存储在所述存储器402中并可在所述处理器401上运行的计算机程序。所述处理器401执行所述计算机程序时实现上述各个低光照场景下车道线检测增强方法在实施例中的步骤，例如图1所示的车道线检测增强方法的所有步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如：图2所示的车道线检测增强装置的所有模块。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任一实施例所述的低光照场景下车道线检测增强方法。
本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器401是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器402可用于存储所述计算机程序和/或模块，所述处理器401通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器402内的数据，实现所述终端设备的各种功能。所述存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上可见，本发明提供了一种低光照场景下车道线检测增强方法、装置及终端设备，该方法通过对于所采集的车道线图像进行增强，并将原始图像与增强后的图像进行通道拼接，然后将获得的六通道图像输入到车道检测网络中，有益于车道线检测器提取到更多有效的车道特征，使得车道线检测器在低光采集的条件下表现得更好。这种方法不仅提高了车道线检测器对夜间场景数据的识别精度，也有着不额外增加数据标注工作量及网络推理开销的好处。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种低光照场景下车道线检测增强方法，其特征在于，包括：
通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像；其中，所述通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像，具体为：通过Zero-DCE图像增强网络，学习出一组所述车道线图像最佳光增强曲线的参数；将所述光增强曲线的参数应用于所述车道线图像的RGB通道的所有像素，以获得所述第一图像；
将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像；
将所述六通道图像输入到训练好的车道线模型中进行检测，获得含有车道线预测位置的第二图像；其中，将车道线样本图像输入LaneNet网络中训练得到所述车道线模型；所述将车道线样本图像输入LaneNet网络中训练得到所述车道线模型，具体为：所述车道线样本图像需要进行尺寸转换处理、所述图像增强处理与所述拼接处理获得车道线样本六通道图像；将所述车道线样本六通道图像输入到LaneNet网络中，设置网络模型的初始学习率、学习衰减方式、训练次数；优化网络参数，降低所述网络中损失函数的值并趋于稳定，获得车道线模型；
其中，LaneNet网络，具体为：语义分割分支以及实例分割分支；语义分割分支使用标准交叉熵损失函数训练分割网络，输出二进制分割图区分像素是否属于车道；实例分割分支由分割部分和聚类部分组成，该分支通过使用聚类损失函数，将分割分支识别的车道像素输出为通道像素的聚类，将同一车道的像素聚集在一起；在获得车道实例后，使用最小二乘法拟合一条曲线获得车道的参数化表达；
其中，损失函数公式，具体为：
式中，Lvar表示方差损失，Ldist表示距离损失；C表示车道线的条数；Nc表示聚类C中的像素数量；μc为聚类C中的向量平均值；Xi为第i个像素的嵌入向量；δv和δd为超参数，当向量与其聚类中心大于δv或聚类中心间的距离小于δd时计算损失；[x]+表示max(0，x)；下标A、B表示两个不同的车道线；方差损失Lvar让同一车道线的像素之间嵌入向量更近，形成一个聚类中心；距离损失Ldist让不同车道线像素的向量之间距离变大。
2.根据权利要求1所述的低光照场景下车道线检测增强方法，其特征在于，在所述对设备采集的车道线图像进行图像增强处理之前，还包括：
使用双线性插值法，对所述车道线图像进行尺寸转换。
3.根据权利要求1所述的低光照场景下车道线检测增强方法，其特征在于，所述将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像，具体为：
所述车道线图像和所述第一图像，通道数同为RGB三通道；
将所述车道线图像和所述第一图像通过concatenate沿着通道数的维度拼接在一起，获得六通道图像。
4.根据权利要求1所述的低光照场景下车道线检测增强方法，其特征在于，将所述六通道图像输入到训练好的车道线模型中进行检测，获得含有车道线预测位置的第二图像，具体为：
所述车道线模型通过输入的所述六通道图像计算拟合出所述车道线位置，并将此在所述车道线图像中突出显示出来，得出第二图像和检测精度。
5.一种低光照场景下车道线检测增强装置，其特征在于，包括：图像增强处理模块、拼接模块和预测显示模块；
其中，所述图像增强处理模块通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像；所述通过车道线图像增强网络对设备采集的车道线图像进行图像增强处理，得到第一图像，具体为：通过Zero-DCE图像增强网络，学习出一组所述车道线图像最佳光增强曲线的参数；将所述光增强曲线的参数应用于所述车道线图像的RGB通道的所有像素，以获得所述第一图像
所述拼接模块用于将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像；
所述预测显示模块用于将所述六通道图像输入到训练好的车道线模型中进行检测，获得含有车道线预测位置的第二图像；其中，将车道线样本图像输入LaneNet网络中训练得到所述车道线模型；所述将车道线样本图像输入LaneNet网络中训练得到所述车道线模型，具体为：所述车道线样本图像需要进行尺寸转换处理、所述图像增强处理与所述拼接处理获得车道线样本六通道图像；将所述车道线样本六通道图像输入到LaneNet网络中，设置网络模型的初始学习率、学习衰减方式、训练次数；优化网络参数，降低所述网络中损失函数的值并趋于稳定，获得车道线模型；
其中，LaneNet网络，具体为：语义分割分支以及实例分割分支；语义分割分支使用标准交叉熵损失函数训练分割网络，输出二进制分割图区分像素是否属于车道；实例分割分支由分割部分和聚类部分组成，该分支通过使用聚类损失函数，将分割分支识别的车道像素输出为通道像素的聚类，将同一车道的像素聚集在一起；在获得车道实例后，使用最小二乘法拟合一条曲线获得车道的参数化表达；
其中，损失函数公式，具体为：
式中，Lvar表示方差损失，Ldist表示距离损失；C表示车道线的条数；Nc表示聚类C中的像素数量；μc为聚类C中的向量平均值；Xi为第i个像素的嵌入向量；δv和δd为超参数，当向量与其聚类中心大于δv或聚类中心间的距离小于δd时计算损失；[x]+表示max(0，x)；下标A、B表示两个不同的车道线；方差损失Lvar让同一车道线的像素之间嵌入向量更近，形成一个聚类中心；距离损失Ldist让不同车道线像素的向量之间距离变大。
6.根据权利要求5所述的低光照场景下车道线检测增强装置，其特征在于，所述拼接模块用于将所述车道线图像与所述第一图像进行拼接处理，获得六通道图像，具体为：
所述拼接模块中的所述车道线图像和所述第一图像，通道数同为RGB三通道；以及将所述车道线图像和所述第一图像通过concatenate沿着通道数的维度拼接在一起，获得六通道图像。
7.一种计算机终端设备，其特征在于，包括：一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4任一项所述的低光照场景下车道线检测增强方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的低光照场景下车道线检测增强方法。
CN202111008183.8A 2021-08-30 2021-08-30 一种低光照场景下车道线检测增强方法、装置及终端设备 Active CN113781374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111008183.8A CN113781374B (zh) 2021-08-30 2021-08-30 一种低光照场景下车道线检测增强方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111008183.8A CN113781374B (zh) 2021-08-30 2021-08-30 一种低光照场景下车道线检测增强方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN113781374A CN113781374A (zh) 2021-12-10
CN113781374B true CN113781374B (zh) 2023-09-01

Family

ID=78840117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111008183.8A Active CN113781374B (zh) 2021-08-30 2021-08-30 一种低光照场景下车道线检测增强方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN113781374B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985254A (zh) * 2014-05-29 2014-08-13 四川川大智胜软件股份有限公司 一种用于大场景交通监视的多视点视频融合及交通参数采集方法
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN108312793A (zh) * 2018-03-28 2018-07-24 多伦科技股份有限公司 公交车单体、分体式公交车系统及其工作方法
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112766056A (zh) * 2020-12-30 2021-05-07 厦门大学 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN112861619A (zh) * 2020-12-31 2021-05-28 浙江大华技术股份有限公司 模型的训练方法、车道线检测方法、设备及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985254A (zh) * 2014-05-29 2014-08-13 四川川大智胜软件股份有限公司 一种用于大场景交通监视的多视点视频融合及交通参数采集方法
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN108312793A (zh) * 2018-03-28 2018-07-24 多伦科技股份有限公司 公交车单体、分体式公交车系统及其工作方法
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112766056A (zh) * 2020-12-30 2021-05-07 厦门大学 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN112861619A (zh) * 2020-12-31 2021-05-28 浙江大华技术股份有限公司 模型的训练方法、车道线检测方法、设备及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度图像增强的夜间车道线检测技术;宋扬;李竹;;计算机应用(第S2期);第1-3页 *

Also Published As

Publication number Publication date
CN113781374A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN111310775B (zh) 数据训练方法、装置、终端设备及计算机可读存储介质
WO2022126377A1 (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN113761976A (zh) 基于全局引导选择性上下文网络的场景语义解析方法
CN112528807B (zh) 行驶轨迹的预测方法、装置、电子设备及存储介质
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN109858349B (zh) 一种基于改进yolo模型的交通标志识别方法及其装置
CN112508989B (zh) 一种图像处理方法、装置、服务器以及介质
CN111191582A (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111199567B (zh) 车道线绘制方法、装置及终端设备
CN114495060B (zh) 一种道路交通标线识别方法及装置
CN109241893B (zh) 基于人工智能技术的道路选择方法、装置及可读存储介质
CN114359048A (zh) 图像的数据增强方法、装置、终端设备及存储介质
CN110288608B (zh) 作物行中心线提取方法和装置
CN113781374B (zh) 一种低光照场景下车道线检测增强方法、装置及终端设备
CN111222522A (zh) 神经网络训练、路面检测、智能驾驶控制方法和装置
CN112580629A (zh) 一种基于深度学习的车牌字符识别方法以及相关装置
CN111881914A (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN112669346B (zh) 一种路面突发状况确定方法及装置
CN114926631A (zh) 目标框生成方法、装置、非易失性存储介质及计算机设备
CN114882372A (zh) 一种目标检测的方法及设备
CN114359572A (zh) 多任务检测模型的训练方法、装置及终端设备
CN112989924A (zh) 目标检测方法、目标检测装置及终端设备
CN114882449B (zh) 一种基于Car-Det网络模型的车辆检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant