CN116839619A - 在低亮度环境下的车辆导航显示方法、装置、设备及介质 - Google Patents

在低亮度环境下的车辆导航显示方法、装置、设备及介质 Download PDF

Info

Publication number
CN116839619A
CN116839619A CN202310704191.9A CN202310704191A CN116839619A CN 116839619 A CN116839619 A CN 116839619A CN 202310704191 A CN202310704191 A CN 202310704191A CN 116839619 A CN116839619 A CN 116839619A
Authority
CN
China
Prior art keywords
image
vehicle
determining
interest
front image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310704191.9A
Other languages
English (en)
Inventor
陈艳君
吴华伟
吴钊
崔军华
耿向阳
刘贵
李蒗
胡晓曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Arts and Science
Dongfeng Electric Drive Systems Co Ltd
Original Assignee
Hubei University of Arts and Science
Dongfeng Electric Drive Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Arts and Science, Dongfeng Electric Drive Systems Co Ltd filed Critical Hubei University of Arts and Science
Priority to CN202310704191.9A priority Critical patent/CN116839619A/zh
Publication of CN116839619A publication Critical patent/CN116839619A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3661—Guidance output on an external device, e.g. car radio
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

本发明属于车辆导航显示技术领域，公开了一种在低亮度环境下的车辆导航显示方法、装置、设备及介质。该方法包括：确定从初始位置到目标位置的导航路径；获取车辆的定位信息以及所述车辆的前方图像；根据所述前方图像确定感兴趣图像；对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记；基于所述导航路径以及所述定位信息，确定指引标记；根据所述车道线标记将所述指引标记投射至所述车辆的前挡风玻璃上进行展示。通过上述方式，能够精准地将指引标记投射到车辆的前挡风玻璃上。

Description

在低亮度环境下的车辆导航显示方法、装置、设备及介质
技术领域
本发明涉及车辆导航显示技术领域，尤其涉及一种在低亮度环境下的车辆导航显示方法、装置、设备及介质。
背景技术
传统的车载导航显示器为中控屏显示，驾驶员在驾驶途中低头查看导航信息将会分散注意力，无法确保驾驶过程的安全性。且传统的车载导航功能实现方法单一，无法满足用户在复杂多变的行驶环境中对导航准确性的需求。为了解决驾驶员低头查看导航信息而分散注意力这一问题，将AR技术和HUD技术进行结合实现AR-HUD导航，即将导航路径提示信息投射到车辆的前挡风玻璃上进行展示。但是当汽车的行驶环境光照条件较弱时，车道线检测的准确率下降，这会对提示箭头的投射准确度造成影响。
发明内容
本发明的主要目的在于提供一种在低亮度环境下的车辆导航显示方法、装置、设备及介质，旨在解决现有技术中因汽车的行驶环境光照条件较弱导致车道线检测的准确率下降而导致提示箭头的投射精度低的技术问题。
为实现上述目的，本发明提供了一种在低亮度环境下的车辆导航显示方法，所述方法包括以下步骤：
确定从初始位置到目标位置的导航路径；
获取车辆的定位信息以及所述车辆的前方图像；
根据所述前方图像确定感兴趣图像；
对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记；
基于所述导航路径以及所述定位信息，确定指引标记；
根据所述车道线标记将所述指引标记投射至所述车辆的前挡风玻璃上进行展示。
可选地，所述基于所述前方图像确定感兴趣图像，包括：
对所述前方图像进行预处理，得到目标前方图像，其中，所述预处理包括图像去噪和图像增强；
基于颜色空间转换以及卷积神经网络，确定所述目标前方图像中的感兴趣区域，得到感兴趣图像。
可选地，所述基于颜色空间转换以及卷积神经网络，确定所述目标前方图像中的感兴趣区域，得到感兴趣图像，包括：
将所述目标前方图像从RGB颜色空间转换为HSV颜色空间，得到第一目标前方图像；
保留所述第一目标前方图像中的白色像素和黄色像素，得到第二目标前方图像，其中，所述第二目标前方图像为二值化图像；
将所述第二前方图像输入至训练好的MobileNet模型中，得到特征图，其中，所述训练好的MobileNet模型为卷积神经网络；
采用滑动窗口的方式对所述特征图进行分区，得到多个分区区域，并确定各分区区域的车道线概率；
将车道线概率最高的分区区域作为感兴趣区域，得到感兴趣图像。
可选地，所述对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记，包括：
确定所述感兴趣图像中的边缘像素；
将所述边缘像素转换为霍夫空间中的曲线；
在所述霍夫空间中找到共线的曲线；
筛选出所述曲线上的拟合点，并根据所述拟合点来拟合出直线方程；
根据所述直线方程确定所述前方图像中的车道线标记。
可选地，所述确定所述感兴趣图像中的边缘像素，包括：
对所述感兴趣图像进行平滑处理，得到初始感兴趣图像；
确定所述初始感兴趣图像的梯度幅值和方向；
确定所述初始感兴趣图像中各像素点与在其梯度方向上的两个相邻像素的比较结果；
根据所述比较结果保留梯度值最大的像素，并将其他像素的梯度值设为0，得到所述初始感兴趣图像的梯度图；
将所述梯度图中梯度值大于高阈值的像素作为强边缘像素，以及将所述梯度图中梯度值小于低阈值的像素作为非边缘像素，其中，所述高阈值为低阈值的两倍；
将梯度图中不为强边缘像素且不为非边缘像素的像素作为弱边缘像素；
判断所述弱边缘像素的周围八邻域内是否存在强边缘像素；
若存在，则将该弱边缘像素作为边缘像素，并将所述强边缘像素作为边缘像素。
可选地，所述获取车辆的定位信息，包括：
获取所述车辆的当前GPS定位坐标，以及获取所述车辆的车身数据，其中，所述车身数据包括偏航角、左轮脉冲数、右轮脉冲数、左右后轮转速差以及左右后轮距离；
根据所述左轮脉冲数确定左轮行驶距离，以及根据所述右轮脉冲数确定右轮行驶距离；
根据所述左轮行驶距离以及所述右轮行驶距离，确定所述车辆在一个更新历元时间内的车辆位移距离，并根据所述车辆位移距离确定所述车辆在一个更新历元时间内的车速；
基于所述左右后轮转速差以及左右后轮距离，确定变化偏航角；
根据所述偏航角以及所述变化偏航角，确定当前偏航角；
根据所述当前偏航角以及先前航位推算坐标，确定当前航位推算坐标；
将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到所述定位信息。
可选地，所述将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到所述定位信息，包括：
获取所述车辆的先前状态量以及先前状态协方差矩阵；
将所述先前状态量以及先前状态协方差矩阵输入至卡尔曼滤波器中，确定当前状态量以及当前状态协方差矩阵；
基于所述当前状态量以及所述当前状态协方差矩阵，将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到定位信息。
此外，为实现上述目的，本发明还提出一种在低亮度环境下的车辆导航显示装置，所述在低亮度环境下的车辆导航显示装置包括：
确定模块，用于确定从初始位置到目标位置的导航路径；
获取模块，用于获取车辆的定位信息以及所述车辆的前方图像；
所述确定模块，还用于根据所述前方图像确定感兴趣图像；
提取模块，用于对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记；
所述确定模块，还用于基于所述导航路径以及所述定位信息，确定指引标记；
投射模块，用于根据所述车道线标记将所述指引标记投射至所述车辆的前挡风玻璃上进行展示。
此外，为实现上述目的，本发明还提出一种在低亮度环境下的车辆导航显示设备，所述在低亮度环境下的车辆导航显示设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的在低亮度环境下的车辆导航显示程序，所述在低亮度环境下的车辆导航显示程序配置为实现如上文所述的在低亮度环境下的车辆导航显示方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有在低亮度环境下的车辆导航显示程序，所述在低亮度环境下的车辆导航显示程序被处理器执行时实现如上文所述的在低亮度环境下的车辆导航显示方法的步骤。
本发明提出的在低亮度环境下的车辆导航显示方法、装置、设备及介质，通过确定从初始位置到目标位置的导航路径；获取车辆的定位信息以及所述车辆的前方图像；根据所述前方图像确定感兴趣图像；对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记；基于所述导航路径以及所述定位信息，确定指引标记；将所述车道线标记以及所述指引标记投射至所述车辆的前挡风玻璃上进行展示。通过上述方式，能够在低亮度环境下准确识别出车道线，再根据车辆的导航路径和定位信息来来确定指引标记，然后再根据识别出的车道线来确定指引标记在车辆前挡风玻璃上的投射位置，最后再根据投射位置将指引标记投射到车辆的前挡风玻璃上，进而实现了在低亮度环境下快速准确地将指引标记投射到车辆的前挡风玻璃上。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的在低亮度环境下的车辆导航显示设备的结构示意图；
图2为本发明在低亮度环境下的车辆导航显示方法第一实施例的流程示意图；
图3为本发明在低亮度环境下的车辆导航显示方法第一实施例中车道线检测流程示意图；
图4为本发明在低亮度环境下的车辆导航显示方法第一实施例中指引标记投射示意图；
图5为本发明在低亮度环境下的车辆导航显示方法第二实施例的流程示意图；
图6为本发明在低亮度环境下的车辆导航显示方法第二实施例中GPS/DR定位流程示意图；
图7为本发明在低亮度环境下的车辆导航显示方法第二实施例中GPS和DR数据耦合图；
图8为本发明在低亮度环境下的车辆导航显示装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的在低亮度环境下的车辆导航显示设备结构示意图。
如图1所示，该在低亮度环境下的车辆导航显示设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-VolatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对在低亮度环境下的车辆导航显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及在低亮度环境下的车辆导航显示程序。
在图1所示的在低亮度环境下的车辆导航显示设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明在低亮度环境下的车辆导航显示设备中的处理器1001、存储器1005可以设置在在低亮度环境下的车辆导航显示设备中，所述在低亮度环境下的车辆导航显示设备通过处理器1001调用存储器1005中存储的在低亮度环境下的车辆导航显示程序，并执行本发明实施例提供的在低亮度环境下的车辆导航显示方法。
基于上述硬件结构，提出本发明在低亮度环境下的车辆导航显示方法实施例。
参照图2，图2为本发明一种在低亮度环境下的车辆导航显示方法第一实施例的流程示意图。
本实施例中，所述在低亮度环境下的车辆导航显示方法包括以下步骤：
步骤S10：确定从初始位置到目标位置的导航路径。
需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，或者是一种能够实现上述功能的电子设备或在低亮度环境下的车辆导航显示设备。以下以所述在低亮度环境下的车辆导航显示设备为例，对本实施例及下述各实施例进行说明。
需要说明的是，目标位置指的是由用户输入的目的地信息，初始位置可以是用户在输入目的地信息时车辆所处的位置，导航路径指的是用户从初始位置到目标位置的规划路径，车辆导航显示可以是AR-HUD导航显示。
步骤S20：获取车辆的定位信息以及所述车辆的前方图像。
在具体实现中，车辆的定位信息可以通过全球定位系统(GPS)来获取，前方图像可以通过车载摄像头来采集。
步骤S30：根据所述前方图像确定感兴趣图像。
在一实施例中，所述基于所述前方图像确定感兴趣图像，包括：
对所述前方图像进行预处理，得到目标前方图像，其中，所述预处理包括图像去噪和图像增强；
基于颜色空间转换以及卷积神经网络，确定所述目标前方图像中的感兴趣区域，得到感兴趣图像。
需要说明的是，由于在低亮度环境下所采集的图像会存在较多噪点，所以需要对前方图像进行图像去噪处理，具体地，可通过高斯滤波器来实现对前方图像进行图像去噪处理。
需要说明的是，由于低亮度环境下所采集的图像的亮度和对比度均比较低，需要对图像进行图像增强处理，使得图像更加清晰、亮度更加均衡、对比度更加突出，以提高图像质量和识别度。具体地，可采用机器学习中的迁移学习来实现对前方图像进行图像增强处理。
需要说明的是，迁移学习选用CNN模型的前端部分，数据集选取Road Marking，采取体积较小且性能高的MobileNet模型对数据集训练，MobileNet模型其体积小适用于移动终端。
在具体实现中，采用机器学习中的迁移学习来实现对前方图像进行图像增强处理的实现步骤如下：
(1)收集并准备图像数据集，图像数据集包含低光照下的原始图像和增强后的图像。
(2)网络架构设计，将基础模块训练好的MobileNet模型进行微调，修改MobileNet模型最后阶段的FC层，减少模型的参数规模，以适应图像增强任务。
(3)对(2)中修改后的模型进行参数调整，例如初始学习率和最大迭代次数等参数值。
(4)进行修改后的模型进行训练，并使用验证集和测试集对训练好的模型进行验证和测试，得到训练好的模型。
(6)将训练好的模型部署到图像预处理中(即将图像输入至训练好的模型中，输出经过图像增强后的图像)，从而实现图像增强任务。
在具体实现中，可使用经过图像增强迁移学习改进的MobileNet模型来实现图像增强，经过图像增强迁移学习改进的MobileNet模型指的是修改了FC层的MobileNet模型。
需要说明的是，感兴趣区域指的是前方图像中可能会出现车道线的位置区域。
在本实施例中，通过对前方图像进行预处理能够有效提高对图像处理以及分析的准确性和可靠性，还能够通过对前方图像进行颜色空间转换以及卷积神经网络来确定感兴趣区域，从而有效提高车道线检测的精准度。
在一实施例中，所述基于颜色空间转换以及卷积神经网络，确定所述目标前方图像中的感兴趣区域，得到感兴趣图像，包括：
将所述目标前方图像从RGB颜色空间转换为HSV颜色空间，得到第一目标前方图像；
保留所述第一目标前方图像中的白色像素和黄色像素，得到第二目标前方图像，其中，所述第二目标前方图像为二值化图像；
将所述第二前方图像输入至训练好的MobileNet模型中，得到特征图，其中，所述训练好的MobileNet模型为卷积神经网络；
采用滑动窗口的方式对所述特征图进行分区，得到多个分区区域，并确定各分区区域的车道线概率；
将车道线概率最高的分区区域作为感兴趣区域，得到感兴趣图像。
在具体实现中，将所述目标前方图像从RGB颜色空间转换为HSV颜色空间的转换公式如下：
R′＝R/255
G′＝G/255
B′＝B/255
Mmax＝max(R′,G′,B′)
Mmin＝min(R′,G′,B′)
MΔ＝Mmax-Mmin
式中，R、G、B分别为RGB颜色空间中的红、绿、蓝的原色光谱分量。
在具体实现中，HSV颜色空间中H，Hue计算公式如下：
在具体实现中，HSV颜色空间中S，Saturation计算公式如下：
在具体实现中，HSV颜色空间中V，Value计算公式如下：
V＝Mmax
需要说明的是，车道线的颜色通常是白色或者黄色，可以再HSV颜色空间中使用颜色过滤器来保留图像中的白色像素和黄色像素，具体地，可在HSV颜色空间中的设定两个颜色阈值(即白色阈值和黄色阈值)来保留图像中的白色像素和黄色像素。
在具体实现中，白色阈值为：
lower_white＝[0,0,221]
upper_white＝[180,43,255]
在具体实现中，黄色阈值为：
lower_yellow＝[26,43,46]
upper_yellow＝[34,255,255]
在本实施例中，卷积神经网络具有高效地特征提取和分类能力，基于颜色空间的方法不会受到光照、噪声等干扰因素的影响，结合两种方法能够实现感兴趣区域的高效获取，同时保证较高的准确性和精度。
步骤S40：对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记。
在具体实现中，在获取到当前时刻下的车道线标记之后，还可以对检测到的车道线进行跟踪，每一帧图像都需要重新检测车道线，保证实时更新车道线的变化和偏移，还可以预测下一帧图像中的车道线标记，从而确保车道线跟踪的稳定性。
在一实施例中，所述对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记，包括：
确定所述感兴趣图像中的边缘像素；
将所述边缘像素转换为霍夫空间中的曲线；
在所述霍夫空间中找到共线的曲线；
筛选出所述曲线上的拟合点，并根据所述拟合点来拟合出直线方程；
根据所述直线方程确定所述前方图像中的车道线标记。
在具体实现中，可采用Canny算子来对感兴趣图像进行边缘检测，从而确定感兴趣图像中的边缘像素，Canny算子是一种基于梯度的边缘检测算法，它可以提高边缘检测的准确性和鲁棒性，具体地，在Python中，可通过实验OpenCV库中的cv2.Canny()函数实现。
在具体实现中，可通过对感兴趣图像中的边缘像素进行Hough变换，得到霍夫空间中的直线参数(r,θ)：
r＝xcosθ+ysinθ
式中，(x,y)表示边缘像素在感兴趣图像中的坐标，θ为直线在极坐标系下的角度，r为直线到坐标原点的距离。
将(r,θ)转换为直线方程，例如使用笛卡尔坐标系下的斜截式方程y＝kx+b。
在具体实现中，可通过限制直线斜率和截距的范围来筛选直线，并将筛选后的直线采用最小二乘法拟合出直线方程。
在一实施例中，所述确定所述感兴趣图像中的边缘像素，包括：
对所述感兴趣图像进行平滑处理，得到初始感兴趣图像；
确定所述初始感兴趣图像的梯度幅值和方向；
确定所述初始感兴趣图像中各像素点与在其梯度方向上的两个相邻像素的比较结果；
根据所述比较结果保留梯度值最大的像素，并将其他像素的梯度值设为0，得到所述初始感兴趣图像的梯度图；
将所述梯度图中梯度值大于高阈值的像素作为强边缘像素，以及将所述梯度图中梯度值小于低阈值的像素作为非边缘像素，其中，所述高阈值为低阈值的两倍；
将梯度图中不为强边缘像素且不为非边缘像素的像素作为弱边缘像素；
判断所述弱边缘像素的周围八邻域内是否存在强边缘像素；
若存在，则将该弱边缘像素作为边缘像素，并将所述强边缘像素作为边缘像素。
在具体实现中，可采用高斯滤波器来对感兴趣图像实现平滑处理，能够实现噪声抑制，还能减少噪声对后续计算的影响，其中，高斯滤波器的计算公式如下：
式中，G(x,y)表示高斯核，σ表示高斯核函数的标准差，I(x,y)表示感兴趣图像，k为卷积核的大小。
(2)用Sobel算子计算图像的梯度幅值和方向：
水平方向梯度：
垂直方向梯度：
梯度幅值和方向：
在具体实现中，通过在梯度方向上进行非极大值抑制来保留部分像素点，具体为：确定初始感兴趣图像中各像素点与在其梯度方向上的两个相邻像素点的比较结果，保留比较结果中梯度值最大的像素点，并将比较结果中其他点的梯度值设为0。
需要说明的是，高阈值大于低阈值，优选地，高阈值为低阈值的两倍。
在具体实现中，通过预先设定高阈值和低阈值来对梯度图中的像素点进行分类，梯度值大于高阈值的像素可被认为是强边缘像素，梯度值大于高阈值的像素可被认为是强边缘像素，梯度值小于低阈值的像素可被认为是非边缘像素，介于高阈值和低阈值之间的像素可被认为是弱边缘像素，对于每个弱边缘像素，当任一弱边缘像素的周围八邻域内存在强边缘像素时，可将该弱边缘像素作为边缘像素，强边缘像素也作为边缘像素。
在具体实现中，如图3所示，车道线检测车道线检测的检测流程具体包括图像预处理、感兴趣区域获取、车道线检测以及车道线跟踪四部分。
步骤S50：基于所述导航路径以及所述定位信息，确定指引标记。
需要说明的是，指引标记表示用于引导车辆从当前位置沿着导航路径前进，可根据定位信息来确定车辆的当前位置。
步骤S60：根据所述车道线标记将所述指引标记投射至所述车辆的前挡风玻璃上进行展示。
在具体实现中，如图4所示，确定指引标记为右转标记之后，可将右转标记投射到车辆的前挡风玻璃上进行展示。
需要说明的是，车道线标记是为了确定指引标记在车辆前挡风玻璃上的投射位置，投射位置还跟驾驶员视线和HUD的固定位置等因素有关。
在具体实现中，还可通过车辆的各种传感器获取车辆的状态信息，车辆的状态信息可以是车辆的油量、车辆的温度以及压力等，这些信息均可投射至车辆的前挡风玻璃上，便于驾驶员查看信息。
在具体实现中，为了适应不同的光照条件，需要控制HUD的亮度、对比度以及色温等参数，从而确保投射内容在不同环境中都能清晰可见。
本实施例通过确定从初始位置到目标位置的导航路径；获取车辆的定位信息以及所述车辆的前方图像；根据所述前方图像确定感兴趣图像；对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记；基于所述导航路径以及所述定位信息，确定指引标记；将所述车道线标记以及所述指引标记投射至所述车辆的前挡风玻璃上进行展示。通过上述方式，能够在低亮度环境下准确识别出车道线，再根据车辆的导航路径和定位信息来来确定指引标记，然后再根据识别出的车道线来确定指引标记在车辆前挡风玻璃上的投射位置，最后再根据投射位置将指引标记投射到车辆的前挡风玻璃上，进而实现了在低亮度环境下快速准确地将指引标记投射到车辆的前挡风玻璃上。
参考图5，图5为本发明一种在低亮度环境下的车辆导航显示方法第二实施例的流程示意图。
基于上述第一实施例，本实施例在低亮度环境下的车辆导航显示方法所述获取车辆的定位信息，包括：
步骤S201：获取所述车辆的当前GPS定位坐标，以及获取所述车辆的车身数据，其中，所述车身数据包括偏航角、左轮脉冲数、右轮脉冲数、左右后轮转速差以及左右后轮距离。
需要说明的是，左轮脉冲数指的是在一个更新历元内车辆左轮里程计所输出的脉冲数，右轮脉冲数指的是在一个更新历元内车辆左轮里程计所输出的脉冲数。
在具体实现中，利用车辆的轮速传感器测得左右后轮转速差。
步骤S202：根据所述左轮脉冲数确定左轮行驶距离，以及根据所述右轮脉冲数确定右轮行驶距离。
在具体实现中，左轮行驶距离以及右轮行驶距离的计算公式如下：
Ls＝Ptl×d
Rs＝Ptr×d
式中，Ptl表示左轮脉冲数，Ptr表示右轮脉冲数，d表示脉冲系数，Ls表示左轮行驶距离，Rs表示右轮行驶距离。
步骤S203：根据所述左轮行驶距离以及所述右轮行驶距离，确定所述车辆在一个更新历元时间内的车辆位移距离，并根据所述车辆位移距离确定所述车辆在一个更新历元时间内的车速。
在具体实现中，车辆位移距离的计算公式如下：
S＝1/2(Ls+Rs)
式中，S表示一个更新历元时间内的车辆位移距离，Ls表示一个更新历元时间内的左轮行驶距离，Rs表示一个更新历元时间内的右轮行驶距离。
在具体实现中，车速的计算公式如下：
v＝S/t
式中，S表示一个更新历元时间内的车辆位移距离，t表示一个更新历元，v表示一个更新历元时间的车速。
步骤S204：基于所述左右后轮转速差以及左右后轮距离，确定变化偏航角。
需要说明的是，变化偏航角的计算公式如下：
w＝(Rs-Ls)/N
式中，N表示车辆的左右后轮距离，w表示一个更新历元时间内偏航角的变化。
步骤S205：根据所述偏航角以及所述变化偏航角，确定当前偏航角。
在具体实现中，前偏航角的计算公式如下：
θt＝θt-1+w
式中，w表示一个更新历元时间内偏航角的变化，θt表示当前偏航角。
步骤S206：根据所述当前偏航角以及先前航位推算坐标，确定当前航位推算坐标。
需要说明的是，先前航位推算坐标指的是当前航位推算坐标的上一个更新历元时间的航位推算坐标。
可以理解的是，当用户处于初始位置时，车辆的当前航位推算坐标为(0,0)，可以不断地根据当前航位推算坐标来确定下一航位推算坐标，即可通过先前航位推算坐标来确定当前航位推算坐标。
在具体实现中，当前航位坐标的计算公式如下：
式中，(xb，yb)表示先前航位推算坐标，(x′b，y′b)表示当前航位推算坐标，t表示一个更新历元，v表示一个更新历元时间的车速，θ表示当前偏航角。
步骤S207：将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到所述定位信息。
在具体实现中，可利用卡尔曼滤波将当前GPS定位坐标与当前航位推算坐标进行融合。
在具体实现中，如图6所示，可通过将GPS定位坐标与DR航位推算坐标融合来确定定位信息。
在一实施例中，所述将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到所述定位信息，包括：
获取所述车辆的先前状态量以及先前状态协方差矩阵；
将所述先前状态量以及先前状态协方差矩阵输入至卡尔曼滤波器中，确定当前状态量以及当前状态协方差矩阵；
基于所述当前状态量以及所述当前状态协方差矩阵，将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到定位信息。
需要说明的是，状态量包括车辆位置、速度和加速度等。
在具体实现中，先获取车辆的初始状态量和初始状态协方差矩阵，并将初始状态量和初始状态协方差矩阵输入到卡尔曼滤波器中，再根据上一时刻的状态量和协方差矩阵，预测当前状态量和当前状态协方差矩阵，再根据当前时刻的观测量，使用观测模型对预测值进行修正，得到更新后的状态量和协方差矩阵。后续不断重复预测和更新的步骤，可得到融合后的状态估计值，最后定位结果输出。
在具体实现中，如图7所示，可通过卡尔曼滤波来将GPS定位坐标与DR航位推算坐标融合来确定定位信息。
本实施例通过获取所述车辆的当前GPS定位坐标，以及获取所述车辆的车身数据，其中，所述车身数据包括偏航角、左轮脉冲数、右轮脉冲数、左右后轮转速差以及左右后轮距离；根据所述左轮脉冲数确定左轮行驶距离，以及根据所述右轮脉冲数确定右轮行驶距离；根据所述左轮行驶距离以及所述右轮行驶距离，确定所述车辆在一个更新历元时间内的车辆位移距离，并根据所述车辆位移距离确定所述车辆在一个更新历元时间内的车速；基于所述左右后轮转速差以及左右后轮距离，确定变化偏航角；根据所述偏航角以及所述变化偏航角，确定当前偏航角；根据所述当前偏航角以及先前航位推算坐标，确定当前航位推算坐标；将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到所述定位信息。通过上述方式，采用GPS/DR融合实现车辆定位，当GPS信号变弱受阻时，还可通过DR定位来实现车辆运动状态的监测和位置推算，进而实现在隧道工况下的车辆定位。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有在低亮度环境下的车辆导航显示程序，所述在低亮度环境下的车辆导航显示程序被处理器执行时实现如上文所述的在低亮度环境下的车辆导航显示方法的步骤。
参照图8，图8为本发明在低亮度环境下的车辆导航显示装置第一实施例的结构框图。
如图8所示，本发明实施例提出的在低亮度环境下的车辆导航显示装置包括：
确定模块10，用于确定从初始位置到目标位置的导航路径。
获取模块20，用于获取车辆的定位信息以及所述车辆的前方图像。
所述确定模块10，还用于根据所述前方图像确定感兴趣图像。
提取模块30，用于对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记。
所述确定模块10，还用于基于所述导航路径以及所述定位信息，确定指引标记。
投射模块40，用于根据所述车道线标记将所述指引标记投射至所述车辆的前挡风玻璃上进行展示。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施例通过确定从初始位置到目标位置的导航路径；获取车辆的定位信息以及所述车辆的前方图像；根据所述前方图像确定感兴趣图像；对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记；基于所述导航路径以及所述定位信息，确定指引标记；将所述车道线标记以及所述指引标记投射至所述车辆的前挡风玻璃上进行展示。通过上述方式，能够在低亮度环境下准确识别出车道线，再根据车辆的导航路径和定位信息来来确定指引标记，然后再根据识别出的车道线来确定指引标记在车辆前挡风玻璃上的投射位置，最后再根据投射位置将指引标记投射到车辆的前挡风玻璃上，进而实现了在低亮度环境下快速准确地将指引标记投射到车辆的前挡风玻璃上。
在一实施例中，所述确定模块10，还用于：
对所述前方图像进行预处理，得到目标前方图像，其中，所述预处理包括图像去噪和图像增强；
基于颜色空间转换以及卷积神经网络，确定所述目标前方图像中的感兴趣区域，得到感兴趣图像。
在一实施例中，所述确定模块10，还用于：
将所述目标前方图像从RGB颜色空间转换为HSV颜色空间，得到第一目标前方图像；
保留所述第一目标前方图像中的白色像素和黄色像素，得到第二目标前方图像，其中，所述第二目标前方图像为二值化图像；
将所述第二前方图像输入至训练好的MobileNet模型中，得到特征图，其中，所述训练好的MobileNet模型为卷积神经网络；
采用滑动窗口的方式对所述特征图进行分区，得到多个分区区域，并确定各分区区域的车道线概率；
将车道线概率最高的分区区域作为感兴趣区域，得到感兴趣图像。
在一实施例中，所述提取模块30，还用于：
确定所述感兴趣图像中的边缘像素；
将所述边缘像素转换为霍夫空间中的曲线；
在所述霍夫空间中找到共线的曲线；
筛选出所述曲线上的拟合点，并根据所述拟合点来拟合出直线方程；
根据所述直线方程确定所述前方图像中的车道线标记。
在一实施例中，所述提取模块30，还用于：
对所述感兴趣图像进行平滑处理，得到初始感兴趣图像；
确定所述初始感兴趣图像的梯度幅值和方向；
确定所述初始感兴趣图像中各像素点与在其梯度方向上的两个相邻像素的比较结果；
根据所述比较结果保留梯度值最大的像素，并将其他像素的梯度值设为0，得到所述初始感兴趣图像的梯度图；
将所述梯度图中梯度值大于高阈值的像素作为强边缘像素，以及将所述梯度图中梯度值小于低阈值的像素作为非边缘像素，其中，所述高阈值为低阈值的两倍；
将梯度图中不为强边缘像素且不为非边缘像素的像素作为弱边缘像素；
判断所述弱边缘像素的周围八邻域内是否存在强边缘像素；
若存在，则将该弱边缘像素作为边缘像素，并将所述强边缘像素作为边缘像素。
在一实施例中，所述获取模块20，还用于：
获取所述车辆的当前GPS定位坐标，以及获取所述车辆的车身数据，其中，所述车身数据包括偏航角、左轮脉冲数、右轮脉冲数、左右后轮转速差以及左右后轮距离；
根据所述左轮脉冲数确定左轮行驶距离，以及根据所述右轮脉冲数确定右轮行驶距离；
根据所述左轮行驶距离以及所述右轮行驶距离，确定所述车辆在一个更新历元时间内的车辆位移距离，并根据所述车辆位移距离确定所述车辆在一个更新历元时间内的车速；
基于所述左右后轮转速差以及左右后轮距离，确定变化偏航角；
根据所述偏航角以及所述变化偏航角，确定当前偏航角；
根据所述当前偏航角以及先前航位推算坐标，确定当前航位推算坐标；
将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到所述定位信息。
在一实施例中，所述获取模块20，还用于：
获取所述车辆的先前状态量以及先前状态协方差矩阵；
将所述先前状态量以及先前状态协方差矩阵输入至卡尔曼滤波器中，确定当前状态量以及当前状态协方差矩阵；
基于所述当前状态量以及所述当前状态协方差矩阵，将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到定位信息。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的在低亮度环境下的车辆导航显示方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种在低亮度环境下的车辆导航显示方法，其特征在于，所述在低亮度环境下的车辆导航显示方法包括：
确定从初始位置到目标位置的导航路径；
获取车辆的定位信息以及所述车辆的前方图像；
根据所述前方图像确定感兴趣图像；
对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记；
基于所述导航路径以及所述定位信息，确定指引标记；
根据所述车道线标记将所述指引标记投射至所述车辆的前挡风玻璃上进行展示。
2.如权利要求1所述的方法，其特征在于，所述基于所述前方图像确定感兴趣图像，包括：
对所述前方图像进行预处理，得到目标前方图像，其中，所述预处理包括图像去噪和图像增强；
基于颜色空间转换以及卷积神经网络，确定所述目标前方图像中的感兴趣区域，得到感兴趣图像。
3.如权利要求2所述的方法，其特征在于，所述基于颜色空间转换以及卷积神经网络，确定所述目标前方图像中的感兴趣区域，得到感兴趣图像，包括：
将所述目标前方图像从RGB颜色空间转换为HSV颜色空间，得到第一目标前方图像；
保留所述第一目标前方图像中的白色像素和黄色像素，得到第二目标前方图像，其中，所述第二目标前方图像为二值化图像；
将所述第二前方图像输入至训练好的MobileNet模型中，得到特征图，其中，所述训练好的MobileNet模型为卷积神经网络；
采用滑动窗口的方式对所述特征图进行分区，得到多个分区区域，并确定各分区区域的车道线概率；
将车道线概率最高的分区区域作为感兴趣区域，得到感兴趣图像。
4.如权利要求1所述的方法，其特征在于，所述对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记，包括：
确定所述感兴趣图像中的边缘像素；
将所述边缘像素转换为霍夫空间中的曲线；
在所述霍夫空间中找到共线的曲线；
筛选出所述曲线上的拟合点，并根据所述拟合点来拟合出直线方程；
根据所述直线方程确定所述前方图像中的车道线标记。
5.如权利要求1所述的方法，其特征在于，所述确定所述感兴趣图像中的边缘像素，包括：
对所述感兴趣图像进行平滑处理，得到初始感兴趣图像；
确定所述初始感兴趣图像的梯度幅值和方向；
确定所述初始感兴趣图像中各像素点与在其梯度方向上的两个相邻像素的比较结果；
根据所述比较结果保留梯度值最大的像素，并将其他像素的梯度值设为0，得到所述初始感兴趣图像的梯度图；
将所述梯度图中梯度值大于高阈值的像素作为强边缘像素，以及将所述梯度图中梯度值小于低阈值的像素作为非边缘像素，其中，所述高阈值为低阈值的两倍；
将梯度图中不为强边缘像素且不为非边缘像素的像素作为弱边缘像素；
判断所述弱边缘像素的周围八邻域内是否存在强边缘像素；
若存在，则将该弱边缘像素作为边缘像素，并将所述强边缘像素作为边缘像素。
6.如权利要求1所述的方法，其特征在于，所述获取车辆的定位信息，包括：
获取所述车辆的当前GPS定位坐标，以及获取所述车辆的车身数据，其中，所述车身数据包括偏航角、左轮脉冲数、右轮脉冲数、左右后轮转速差以及左右后轮距离；
根据所述左轮脉冲数确定左轮行驶距离，以及根据所述右轮脉冲数确定右轮行驶距离；
根据所述左轮行驶距离以及所述右轮行驶距离，确定所述车辆在一个更新历元时间内的车辆位移距离，并根据所述车辆位移距离确定所述车辆在一个更新历元时间内的车速；
基于所述左右后轮转速差以及左右后轮距离，确定变化偏航角；
根据所述偏航角以及所述变化偏航角，确定当前偏航角；
根据所述当前偏航角以及先前航位推算坐标，确定当前航位推算坐标；
将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到所述定位信息。
7.如权利要求6所述的方法，其特征在于，所述将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到所述定位信息，包括：
获取所述车辆的先前状态量以及先前状态协方差矩阵；
将所述先前状态量以及先前状态协方差矩阵输入至卡尔曼滤波器中，确定当前状态量以及当前状态协方差矩阵；
基于所述当前状态量以及所述当前状态协方差矩阵，将所述当前GPS定位坐标与所述当前航位推算坐标进行融合，得到定位信息。
8.一种在低亮度环境下的车辆导航显示装置，其特征在于，所述在低亮度环境下的车辆导航显示装置包括：
确定模块，用于确定从初始位置到目标位置的导航路径；
获取模块，用于获取车辆的定位信息以及所述车辆的前方图像；
所述确定模块，还用于根据所述前方图像确定感兴趣图像；
提取模块，用于对所述感兴趣图像进行车道线提取，得到所述前方图像中的车道线标记；
所述确定模块，还用于基于所述导航路径以及所述定位信息，确定指引标记；
投射模块，用于根据所述车道线标记将所述指引标记投射至所述车辆的前挡风玻璃上进行展示。
9.一种在低亮度环境下的车辆导航显示设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的在低亮度环境下的车辆导航显示程序，所述在低亮度环境下的车辆导航显示程序配置为实现如权利要求1至7中任一项所述的在低亮度环境下的车辆导航显示方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有在低亮度环境下的车辆导航显示程序，所述在低亮度环境下的车辆导航显示程序被处理器执行时实现如权利要求1至7任一项所述的在低亮度环境下的车辆导航显示方法的步骤。
CN202310704191.9A 2023-06-13 2023-06-13 在低亮度环境下的车辆导航显示方法、装置、设备及介质 Pending CN116839619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310704191.9A CN116839619A (zh) 2023-06-13 2023-06-13 在低亮度环境下的车辆导航显示方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310704191.9A CN116839619A (zh) 2023-06-13 2023-06-13 在低亮度环境下的车辆导航显示方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116839619A true CN116839619A (zh) 2023-10-03

Family

ID=88169737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310704191.9A Pending CN116839619A (zh) 2023-06-13 2023-06-13 在低亮度环境下的车辆导航显示方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116839619A (zh)

Similar Documents

Publication Publication Date Title
TWI722355B (zh) 用於基於障礙物檢測校正高清晰度地圖的系統和方法
US10896626B2 (en) Method, computer readable storage medium and electronic equipment for analyzing driving behavior
US9671243B2 (en) Vision augmented navigation
CN110155053A (zh) 提供用于驾驶车辆的信息的方法和设备
EP3428840A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
EP2372611A2 (en) Scene matching reference data generation system and position measurement system
CN110738081B (zh) 异常路况检测方法及装置
US11055554B2 (en) Dynamic image region selection for visual inference
US11776277B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
WO2008009966A2 (en) Determining the location of a vehicle on a map
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN111414826A (zh) 一种地标箭头的识别方法、设备及存储介质
CN107844761A (zh) 交通标志的检测方法及装置
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN112444251B (zh) 车辆行车位置确定方法、装置、存储介质及计算机设备
CN116311136A (zh) 用于辅助驾驶的车道线参数计算方法
US20230082656A1 (en) Method and apparatus for vehicle positioning
CN116839619A (zh) 在低亮度环境下的车辆导航显示方法、装置、设备及介质
CN111611942B (zh) 一种透视自适应车道骨架提取建库的方法
CN117152210B (zh) 基于动态观测视场角的图像动态追踪方法及相关装置
CN112654997B (zh) 一种车道线检测方法和装置
EP4235576A1 (en) Aircraft steering angle determination
CN118172739A (zh) 车道线判别方法及相关设备
CN117727011A (zh) 基于图像融合的目标识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination