CN110210303B - 一种北斗视觉融合精准车道辨识与定位方法及其实现装置 - Google Patents

一种北斗视觉融合精准车道辨识与定位方法及其实现装置 Download PDF

Info

Publication number
CN110210303B
CN110210303B CN201910352711.8A CN201910352711A CN110210303B CN 110210303 B CN110210303 B CN 110210303B CN 201910352711 A CN201910352711 A CN 201910352711A CN 110210303 B CN110210303 B CN 110210303B
Authority
CN
China
Prior art keywords
lane
vehicle
lanes
beidou
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910352711.8A
Other languages
English (en)
Other versions
CN110210303A (zh
Inventor
邢建平
许才溢
王胜利
宁亚飞
于明卫
刘海锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910352711.8A priority Critical patent/CN110210303B/zh
Publication of CN110210303A publication Critical patent/CN110210303A/zh
Application granted granted Critical
Publication of CN110210303B publication Critical patent/CN110210303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种北斗视觉融合精准车道辨识与定位方法及其实现装置，包括：(1)车道检测，检测、识别车道线并分割车道；识别当前、左侧、右侧车道类型，同时确定车辆当前车道；(2)地图匹配，得到定位信息；确定车辆所在道路，提取道路车道数、车道类型、车道宽、公交车道开放时间等信息；测量车速，获取BTD；(3)定位修正，修正北斗定位结果；(4)监控预警，判断车辆是否已经占道行驶，若是则抓拍识别上传。本发明车道辨识方法能精准辨识出普通车道、公交车专用车道、应急车道、潮汐车道，同时用不同颜色掩膜区分，给驾驶员提供参考，给辅助驾驶、导航系统提供更精准定位。

Description

一种北斗视觉融合精准车道辨识与定位方法及其实现装置
技术领域
本发明属于智能交通技术领域，具体地涉及一种北斗视觉融合车道辨识与精准定位方法及其实现装置。
背景技术
随着现代交通系统的不断发展，公交车专用车道、应急车道、潮汐车道等特殊机动车道越来越常见。这些特殊车道提高了城市车辆通行效率，有效解决了交通拥堵问题，同时为救护车等特种车辆赢得宝贵的时间。
但是，目前仍然存在着私家车占用公交车道、非法占用应急车道、不遵守潮汐车道通行规则的情况，其主要原因如下：第一、证据采集主要以固定点抓拍为主，覆盖面窄，驾驶员容易存在侥幸心理；第二、城市道路交通情况复杂，不同城市对特殊车道管理方法不同(如公交车专用道分时通行)，车载辅助警告系统缺失，驾驶员难以注意是否占用特殊车道。
针对上述原因一，目前解决方案采用车载抓拍方式,中国专利文献CN104240515A公开了一种基于图像处理的公交专用道占道抓拍方法，步骤1，在公交车的车头和车尾各设一个摄像头，对摄像头采集到的视频图像进行预处理：步骤2，对视频图像中的公交车道进行车道检测，确定左右两个车道在图像中出现的可能区域；步骤3，检测处于两车道之间可能的车辆；步骤4，通过计算，来估计此可能车辆的宽度；步骤5，对符合占道车宽度的车进行处理，来最终确认此车确为占道车；步骤6，对占道车进行车牌的粗定位。该方法将摄像头安装于公交车车头与车尾，识别公交车专用道，抓拍非法占用公交车专用道车辆。
针对上述原因二，目前解决方案为在现有辅助驾驶系统中增加警告方法，中国专利文献CN108230714A公开了一种公交专用车道警告方法，该方法包括如下步骤：识别公交专用车道；判断车辆是否正在越过公交专用车道线，或者是否已经驶入公交专用车道；如果所述车辆正在越过公交专用车道线或者已经驶入公交专用车道，则向所述车辆的驾驶员发出提示警告信息。该方法识别公交车专用车道，判断车辆是否正越过公交车专用车道线，是否需要发出警告。
目前的解决方案只能解决其中一个问题，且解决方案存在仅适用于单一特殊车道的不足，其根本原因是无法解决精准车道辨识与定位的问题。
发明内容
针对现有技术的不足，本发明提供了一种北斗视觉融合精准车道辨识与定位方法及其实现装置，车道辨识与定位结果可用于车辆非法驶入公交车道、应急车道、潮汐车道时进行预警，同时对占道行驶车辆抓拍识别上传。
术语解释：
1、VGG16卷积神经网络，是Karen Simonyan 2016年提出的用于图像识别的一种16层卷积神经网络。见图2。
2、距离度量法，具体为计算像素的信息熵(Information Entropy)，将信息熵相同的像素分为同一类，信息熵计算公式为：
Figure BDA0002044445400000021
其中X为n个待分离像素，pi为第i个像素的像素值。
3、Meanshift算法，即均值漂移算法，计算所有像素均值后所有像素减去该均值，计算公式如式(Ⅰ)：
Figure BDA0002044445400000022
式(Ⅰ)中，L表示聚类损失函数，C表示聚类后车道数量，Nc为此车道中每个像素，μc为所有像素均值，pi为第i个像素的像素值,δ为预设像素阈值。
4、车道与车道线对照表，车道与车道线对照表指附图表1中车道线、车道位置与车道类别对应关系表格。
5、电子地图道路网，是指用于描述道路基本拓扑关系和几何要素的电子地图，本发明采用ArcGIS电子地图道路网。
本发明的技术方案为：
一种北斗视觉融合精准车道辨识与定位方法，包括步骤如下：
(1)车道检测，包括：
步骤A1：图像采集设备拍摄前方道路图片并存储；
步骤A2：根据道路图片提取道路特征，检测、识别车道线并分割车道；
步骤A3：将分割后的车道送入分类网络，精准识别当前、左侧、右侧车道类型，并使用不同颜色掩膜加以区分，同时确定车辆当前车道；
(2)地图匹配，包括：
步骤B1：北斗接收机接受卫星数据，并将卫星数据解码得到定位信息，定位信息包括经纬度与时间；
步骤B2：将定位信息与地图道路网信息匹配，确定车辆所在道路，提取道路车道数、车道类型、车道宽、公交车道开放时间、当前潮汐车道导向；
步骤B3：北斗接收机利用导出多普勒频移法测量车速，获取BTD(北斗时)；
(3)定位修正，包括：
步骤C1：使用透视变换将步骤A1采集的前方道路图片投影为鸟瞰图；
步骤C2：使用三项式最小二乘法拟合遮挡、间断车道线，计算车辆横向位置；
步骤C3：利用所在车道与车辆横向位置，修正北斗定位结果；
(4)监控预警，包括：
步骤D1：根据定位结果、时间、车速、车辆姿态信息判断车辆是否已经占道行驶，或将占道行驶；
步骤D2：监控前方公交车道、应急车道、潮汐车道，识别行驶车辆类别及状态，判断是否占道行驶，若是则抓拍识别上传。
根据本发明优选的，步骤A2，包括：
a、将道路图片进行均值化预处理后送入VGG16卷积神经网络，是指：将道路图片中每个像素减去所有像素均值，并送入VGG16卷积神经网络，得到特征图；
b、步骤a得到的特征图分别用于车道检测与车道分割；
特征图用于车道检测的过程包括：将特征图中的所有特征分为背景类与车道线类，输出背景与车道线二值化结果，例如，0为背景，1为车道线；
特征图用于车道分割的过程包括：使用距离度量法分离每个车道像素，将属于不同车道的像素分离开，将属于相同车道的像素聚类，实现车道分割。
进一步优选的，步骤b中，将属于相同车道的像素采用Meanshift算法聚类，计算公式如式(Ⅰ)所示：
Figure BDA0002044445400000031
式(Ⅰ)中，L表示聚类损失函数，C表示聚类后车道数量，Nc为此车道中每个像素，μc为所有像素均值，pi为第i个像素的像素值,δ为预设像素阈值，取值范围5-20；
进一步优选的，δ＝12.5。
当聚类损失函数L取最小值时，此时C即为分割后车道数，每个像素与车道建立对应关系，如式(Ⅱ)所示：：
YC＝p(xi,yi)   (Ⅱ)
式(Ⅱ)中，(xi,yi)为第i个像素坐标，YC表示为此像素所属车道类。
根据本发明优选的，步骤A3，包括：
c、将车道线送入分类网络，识别车道线类别，车道线类别包括：实线车道线或虚线车道线、白色车道线或黄色车道线、单线车道线或双线车道线或可变导向车道线；分类网络为残差神经网络ResNet；
d、根据车道与车道线对照表，判断车道类型，车道类型包括普通车道、应急车道、公交车专用车道、潮汐车道，并用不同颜色作为掩膜加以区分，同时确定车辆所在车道。
进一步优选地，步骤d，确定车辆所在车道，是指：车辆像素近似点为车道图上与车辆属于同一车道，且离车辆最近像素点，其坐标(x0,y0)＝(SW/2，SH)，SW为图像宽，SH为图像高，车辆所在车道即为车辆像素近似点所属车道类别，代入式(Ⅱ)确定车辆所在车道：YC＝p(SW/2，SH)。
进一步优选的，步骤d，用不同颜色作为掩膜加以区分，是指：
查询车道分类结果及地图数据库，确定公交车专用道开放时间、潮汐车道导向信息，以此判断是否满足通行条件，结合通行条件与具体车道类型，给车道人为加入红、绿颜色掩膜区分，具体掩膜对应关系如表1所示：
表1
Figure BDA0002044445400000041
Figure BDA0002044445400000051
根据本发明优选的，步骤B1，是指：
捕获北斗卫星信号，跟踪北斗卫星信号，调解导航电文，测量伪距、载波相位，计算经纬度。
根据本发明优选的，步骤B2，包括：
e、输入北斗接收机当前得到的定位信息，与电子地图道路网数据库初始匹配，初始匹配是指使用隐马尔科夫模型HMM法，根据定位信息，寻找多条可能相匹配的初始路段；
f、进入跟踪匹配，跟踪匹配是指将当前时刻定位点(由定位信息确定)匹配到与上一时刻定位点相匹配的同一路段上；当到达复杂地段如道路交叉口时，返回步骤e；
g、将当前跟踪匹配路段输入电子地图道路网数据库，直接获取当前路段同向道路车道数、车道类型、车道宽、公交车道开放时间、当前潮汐车道导向信息。
根据本发明优选的，所述步骤B3，北斗接收机利用导出多普勒频移法测量车速，是指：
北斗接收机测量接收到卫星频率fR,标准北斗卫星信号频率fS，多普勒频移Δf＝fR-fS；
通过导出多普勒频移公式测量车速(dD/dt)，如式(Ⅲ)所示：
Δf＝-(1/c)(dD/dt)fS   (Ⅲ)
式(Ⅲ)中，c为真空光速，D为地面距离，t为时间。
根据本发明优选的，所述步骤B3，获取BTD(北斗时)，是指：
北斗接收机利用单向测量法对接收信号进行解码后，直接得到单点卫星标准时间BTD。
根据本发明优选的，步骤C1中所使用透视变换公式如式(Ⅳ)所示：
[x y 1]＝[u v w]*T   (Ⅳ)
式(Ⅳ)中：(u,v,w)表示原始道路图片像素坐标，(x,y)为变换后的像素坐标，T为六自由度变换矩阵，
Figure BDA0002044445400000052
a、b、c、d、e、f为未知量。变换矩阵T只与摄像头自身参数与安装位置有关，且具体值可用张正友标定法测得。
根据本发明优选的，步骤C2，包括：
h、筛选步骤A2检测出有效车道线段：若车道线左、右端像素满足|xn_R-xn_L-W|≤δw，则该车道线段有效，xn_R、xn_L为第n条车道线段最左、右端横坐标，W为车道线宽，δw为宽度误差阈值，车道线中心坐标为((xn_R+xn_L)/2,yn)；否则，返回步骤A1；
i、采用三项式最小二乘法拟合车道线中心点坐标，包括：
①按照相邻选取原则，选取5组相邻待拟合车道线中心点坐标(xC1,yC1)、(xC2,yC2)、(xC3,yC3)、(xC4,yC4)、(xC5,yC5)为待拟合数据；
②拟合后曲线方程为：
Figure BDA0002044445400000061
a0，a1，a2，a3为待求参数；xi、yi分别为第i个待拟合数据车道线中心点横、纵坐标；
③将待拟合数据代入下列方程，求出待求参数：
Figure BDA0002044445400000062
n＝5，为数据数量，(xi,yi)为待拟合数据；
j、计算车辆横向位置，车辆横向位置是指车辆中线与车道边界线夹角θ、车辆中心离左侧边界横向距离xdl，包括：
车辆位于第n车道，左侧车道线横坐标即第n条车道线横坐标xn,右侧车道线横坐标即第n+1条车道线横坐标xn+1，车辆中心离左侧边界横向距离xdl＝x0-xn，；x0为车辆像素近似点横坐标；，
计算车辆中线与车道边界线夹角θ，计算公式如式(Ⅱ)所示：
cosθ＝h0/|xn+1-xn|   (Ⅱ)
式(Ⅱ)中，h0＝H/λ，H为实际车道宽，λ为实际距离与图像距离比例系数。
根据本发明优选的，步骤C3，包括：
北斗接收机单点定位精度为1.5米，我国车道宽度为3.75米，接收机定位结果会产生1车道误差,无法确定车辆实际所处车道。
根据步骤C2确定车辆距离左车道线实际距离Xdl＝xdl*λ，λ为实际距离与图像距离比例系数，xdl为步骤C2确定车辆中心离左侧边界横向距离，图像距离，单位为像素，Xdl为车辆距离左车道线实际距离，单位为米，其距离误差主要源于车道线段中心点拟合误差，其误差为0.1米。
北斗接收机定位图像车辆坐标为(x0,y0)，其误差半径为R0，视觉定位车辆距离左车道线Xdl，误差半径为R1；北斗接收机定位实际车辆坐标为(X0,Y0)；
定位修正后图像车辆坐标为(x1,y1)，x1＝xn+Xdl，y1＝y0；xn为图像第n条车道线横坐标，图像修正后误差半径为R1；
定位修正后实际车辆坐标为(X1,Y1)，X1＝xn*λ+Xdl，Y1＝y0*λ。
根据本发明优选的，步骤D1，包括：
读取当前、左、右车道掩膜颜色为M0、M1、M2，若M0、M1、M2全为绿色，则车辆正常行驶；若当前车道掩膜M0为红色，蜂鸣器报警提醒车主；若左侧车道掩膜M1为红色，则读取车辆横向距离X，当横向距离X小于左阈值D1时预警；若右侧车道掩膜M2为红色，当横向X距离大于右阈值D2时报警，左阈值D1的取值范围为0.3m＜D1＜0.5m；右阈值D2的取值范围为3.2m＜D1＜3.4m。
根据本发明优选的，步骤D2，包括：
当左侧车道或右侧车道为公交车道、潮汐车道且其掩膜为红色时，拍摄车辆照片，识别车牌号，将车辆照片、车牌号上传至交警平台；当右侧车道为应急车道且有车辆行驶时，通过相对位移测算其车速，若车速正常(即非故障)，拍照上传信息至交警平台，信息包括：车辆照片、车牌号、北斗定位修正结果、时间。
上述北斗视觉融合精准车道辨识与定位方法的实现装置，包括图像采集模块、北斗接收机模块、车道检测模块、地图匹配模块、定位修正模块、监控预警模块；
所述图像采集模块用于拍摄前方道路图片并存储；所述车道检测模块用于所述车道检测；所述北斗接收机模块用于接受卫星数据，并将卫星数据解码得到定位信息；定位信息包括经纬度、时间；
所述地图匹配模块用于所述地图匹配；所述定位修正模块用于所述定位修正；所述监控预警模块用于所述监控预警。
根据本发明优选的，所述图像采集模块包括图像采集设备、视频存储器SDRAM、可编程逻辑处理器FPGA；图像采集设备拍摄图像后存入所述视频存储器SDRAM，所述可编程逻辑处理器FPGA周期性取出图像进行预处理后送入所述车道检测模块。
进一步优选的，图像采集设备为摄像头或行车记录仪。
根据本发明优选的，所述北斗接收机模块包括射频前端处理器RFIC、基带数字信号处理器ASIC、定位导航处理器FPGA；所述射频前端处理器RFIC通过天线接收所有可见北斗卫星信号，经过放大、混频下变、AD转换后输出离散数字中频信号给所述基带数字信号处理器ASIC；所述基带数字信号处理器ASIC将数字中频信号处理后得到载波和伪码信号，进而调制解调出测量值与导航电文，并发送给所述定位导航处理器FPGA，所述定位导航处理器FPGA对导航电文进行处理后得到定位结果，与所述地图匹配模块对比数据后送入所述视频存储器SDRAM存储。
根据本发明优选的，所述车道检测模块包括图像处理器GPU与微处理器ARM；所述图像处理器GPU将预处理后图像送入分割识别网络，提取图像特征图，得到识别后车道线与分割后车道，所述图像处理器GPU将识别处理后图片输入所述微处理器ARM，所述微处理器ARM提取车道级定位结果送入定位修正模块。
根据本发明优选的，所述地图匹配模块包括离线地图存储器SDRAM、所述可编程逻辑处理器FPGA、数据存储器SDRAM；
所述离线地图存储器SDRAM存储有电子地图道路网数据库，电子地图道路网数据库与接收机定位值进行几何匹配后，得到实际位置，结果存入数据存储器SDRAM。
根据本发明优选的，定位修正模块包括显示屏与所述微处理器ARM；所述微处理器ARM接收所述图像处理器GPU输出信息，对信息进行处理得到车道级定位结果，并从数据存储器SDRAM中提取北斗定位结果进行修正，修正后结果显示在显示屏上。
根据本发明优选的，所述监控预警模块包括4G路由器、蜂鸣器、所述微处理器ARM；当车辆非法驶入公交车道、应急车道、潮汐车道时，所述微处理器ARM启动所述蜂鸣器发出警报，当监测到有车辆非法占道行驶时，所述微处理器ARM控制摄像机拍照，所述图像处理器GPU识别车牌照后将采集证据通过所述4G路由器上传。
本发明的有益效果为：
1、本发明中的车道辨识方法能精准辨识出普通车道、公交车专用车道、应急车道、潮汐车道，同时用不同颜色掩膜区分，给驾驶员提供参考。
2、本发明将摄像机视觉信息与北斗定位信息融合，使横向定位精度从1.5米提高到0.1米，给辅助驾驶、导航系统提供更精准定位。
3、本发明能同时做到公交车道、应急车道、潮汐车道的占道预警与违法抓拍，从预防与处罚两方面解决占道问题，保证公交车道、应急车道、潮汐车道的畅通。
附图说明
图1为本发明北斗视觉融合精准车道辨识与定位方法的流程示意图；
图2为本发明北斗视觉融合精准车道辨识与定位方法的实现装置结构图；
图3为本发明中车道检测网络结构示意图；
图4为本发明实例中输入图片示意图；
图5为本发明实例中车道线检测输出图片示意图；
图6为本发明实例中车道分类掩膜后输出图片示意图；
图7为本发明实例中透视变换后输出图片示意图；
图8为本发明实例中车辆横向位置计算示意图；
图9为本发明实例中定位修正计算示意图；
图10为本发明占道预警判断流程示意图；
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种北斗视觉融合精准车道辨识与定位方法，如图1所示，包括步骤如下：
(1)车道检测，包括：
步骤A1：图像采集设备拍摄前方道路图片并存储；如图4所示，横坐标为图片宽，纵坐标为图片高；图像采集设备选用行车记录仪或120°广角摄像头，设备安装于前挡风玻璃中线、后视镜正前方位置，摄像头光轴与地面成20°夹角。车辆行驶在具有车道标志线的道路上，行驶过程中图像采集设备持续拍摄前方图像并存储在视频存储器SD卡中。
步骤A2：根据道路图片提取道路特征，检测、识别车道线并分割车道；使用可编程逻辑处理器FPGA读取视频存储器SD卡中视频，选取最近一帧图像以800*600分辨率RGB格式读出，进行图像均值化处理后传送至DSP图像处理器。此实施例中FPGA选用Altera公司Cyclone系列FPGA，GPU选用英伟达公司GTX1060。
步骤A3：将分割后的车道送入分类网络，精准识别当前、左侧、右侧车道类型，并使用不同颜色掩膜加以区分，同时确定车辆当前车道；
(2)地图匹配，包括：
步骤B1：北斗接收机接受卫星数据，并将卫星数据解码得到定位信息，定位信息包括经纬度与时间；
步骤B2：将定位信息与地图道路网信息匹配，确定车辆所在道路，提取道路车道数、车道类型、车道宽、公交车道开放时间、当前潮汐车道导向；
步骤B3：北斗接收机利用导出多普勒频移法测量车速，获取BTD(北斗时)；
(3)定位修正，包括：
步骤C1：使用透视变换将步骤A1采集的前方道路图片投影为鸟瞰图；
步骤C2：使用三项式最小二乘法拟合遮挡、间断车道线，计算车辆横向位置；
步骤C3：利用所在车道与车辆横向位置，修正北斗定位结果；
(4)监控预警，包括：
步骤D1：根据定位结果、时间、车速、车辆姿态信息判断车辆是否已经占道行驶，或将占道行驶；
步骤D2：监控前方公交车道、应急车道、潮汐车道，识别行驶车辆类别及状态，判断是否占道行驶，若是则抓拍识别上传。
实施例2
根据实施例1所述的一种北斗视觉融合精准车道辨识与定位方法，其区别在于：
步骤A2，包括：
如图3所示，车道检测网络包括VGG16特征提取层、车道线检测层、Meanshift车道分割层、ResNet车道分类层；VGG16特征提取层用于道路图特征提取，ResNet车道分类层用于车道线分类，Meanshift车道分割层完成车道聚类，车道线检测层将车道线与背景分离分为0、1。
a、将道路图片进行均值化预处理后送入VGG16卷积神经网络(VGG16特征提取层)，是指：将道路图片中每个像素减去所有像素均值，并送入VGG16卷积神经网络，得到特征图；VGG16卷积神经网络包括13个卷积层、5个最大池化层、3个全连接层。特征提取部分将输入图像转化为14*14*256特征图。
b、步骤a得到的特征图分别用于车道检测与车道分割；
特征图送入车道线检测层进行车道检测，包括：将特征图中的所有特征分为背景类与车道线类，输出背景与车道线二值化结果，例如，0为背景，1为车道线；车道线检测输出图片如图5所示。车道线检测层包括5个卷积层、3个最大池化层、1个SoftMax层。使用Sigmoid函数将车道线与背景分离开。
特征图送入车道分割层进行车道分割，包括：使用距离度量法分离每个车道像素，将属于不同车道的像素分离开，将属于相同车道的像素聚类，实现车道分割。车道分割层包括4个卷积层、2个BN(Batch Normalization)层、3个反卷积层、1个SoftMax层。将不同车道进行像素级实例分割，得到车道数量与像素与车道对应关系。
步骤b中，将属于相同车道的像素采用Meanshift算法聚类，计算公式如式(Ⅰ)所示：
Figure BDA0002044445400000101
式(Ⅰ)中，L表示聚类损失函数，C表示聚类后车道数量，Nc为此车道中每个像素，μc为所有像素均值，pi为第i个像素的像素值,δ＝12.5。
当聚类损失函数L取最小值时，此时C即为分割后车道数，每个像素与车道建立对应关系，如式(Ⅱ)所示：：
YC＝p(xi,yi)   (Ⅱ)
式(Ⅱ)中，(xi,yi)为第i个像素坐标，YC表示为此像素所属车道类。
步骤A3，包括：
c、将车道线送入分类网络(车道分类层)，车道分类层包括2个全连接层、1个dropout层，1个SoftMax层，识别车道线类别，车道线类别包括：实线车道线或虚线车道线、白色车道线或黄色车道线、单线车道线或双线车道线或可变导向车道线；分类网络为残差神经网络ResNet；由何凯明2015年提出，见图2。
d、根据车道与车道线对照表，判断车道类型，车道类型包括普通车道、应急车道、公交车专用车道、潮汐车道，并用不同颜色作为掩膜加以区分，同时确定车辆所在车道。车道分类掩膜后输出图片如图6所示。
步骤d，确定车辆所在车道，是指：车辆像素近似点为车道图上与车辆属于同一车道，且离车辆最近像素点，其坐标(x0,y0)＝(SW/2，SH)，SW为图像宽，SH为图像高，车辆所在车道即为车辆像素近似点所属车道类别，代入式(Ⅱ)确定车辆所在车道：YC＝p(SW/2，SH)。
步骤d，用不同颜色作为掩膜加以区分，是指：
查询车道分类结果及地图数据库，确定公交车专用道开放时间、潮汐车道导向信息，以此判断是否满足通行条件，结合通行条件与具体车道类型，给车道人为加入红、绿颜色掩膜区分，具体掩膜对应关系如表1所示：
表1
Figure BDA0002044445400000111
Figure BDA0002044445400000121
实施例3
根据实施例1或2所述的一种北斗视觉融合精准车道辨识与定位方法，其区别在于：
步骤B1，是指：
捕获北斗卫星信号，跟踪北斗卫星信号，调解导航电文，测量伪距、载波相位，计算经纬度。
步骤B2，包括：
e、输入北斗接收机当前得到的定位信息，与电子地图道路网数据库初始匹配，初始匹配是指使用隐马尔科夫模型HMM法，根据定位信息，寻找多条可能相匹配的初始路段；
f、进入跟踪匹配，跟踪匹配是指将当前时刻定位点(由定位信息确定)匹配到与上一时刻定位点相匹配的同一路段上；当到达复杂地段如道路交叉口时，返回步骤e；
g、将当前跟踪匹配路段输入电子地图道路网数据库，直接获取当前路段同向道路车道数、车道类型、车道宽、公交车道开放时间、当前潮汐车道导向信息。
步骤B3，北斗接收机利用导出多普勒频移法测量车速，是指：
北斗接收机测量接收到卫星频率fR,标准北斗卫星信号频率fS，多普勒频移Δf＝fR-fS；
通过导出多普勒频移公式测量车速(dD/dt)，如式(Ⅲ)所示：
Δf＝-(1/c)(dD/dt)fS   (Ⅲ)
式(Ⅲ)中，c为真空光速，D为地面距离，t为时间。
所述步骤B3，获取BTD(北斗时)，是指：
北斗接收机利用单向测量法对接收信号进行解码后，直接得到单点卫星标准时间BTD。
实施例4
根据实施例1所述的一种北斗视觉融合精准车道辨识与定位方法，其区别在于：
步骤C1中所使用透视变换公式如式(Ⅳ)所示：
[x y 1]＝[u v w]*T   (Ⅳ)
式(Ⅳ)中：(u,v,w)表示原始道路图片像素坐标，(x,y)为变换后的像素坐标，T为六自由度变换矩阵，
Figure BDA0002044445400000131
a、b、c、d、e、f为未知量。变换矩阵T只与摄像头自身参数与安装位置有关，且具体值可用张正友标定法测得。透视变换后输出图片如图7所示。
a、b、c、d、e、f参数只与相机自身参数与安装位置有关，本实施例中变换矩阵为：
Figure BDA0002044445400000132
步骤C2，包括：
h、筛选步骤A2检测出有效车道线段：若车道线左、右端像素满足|xn_R-xn_L-W|≤δw，则该车道线段有效，xn_R、xn_L为第n条车道线段最左、右端横坐标，W为车道线宽，δw为宽度误差阈值，车道线中心坐标为((xn_R+xn_L)/2,yn)；否则，返回步骤A1；
i、采用三项式最小二乘法拟合车道线中心点坐标，包括：
①按照相邻选取原则，选取5组相邻待拟合车道线中心点坐标(xC1,yC1)、(xC2,yC2)、(xC3,yC3)、(xC4,yC4)、(xC5,yC5)为待拟合数据；
②拟合后曲线方程为：
Figure BDA0002044445400000133
a0，a1，a2，a3为待求参数；xi、yi分别为第i个待拟合数据车道线中心点横、纵坐标；
③将待拟合数据代入下列方程，求出待求参数：
Figure BDA0002044445400000134
n＝5，为数据数量，(xi,yi)为待拟合数据；
j、计算车辆横向位置，车辆横向位置是指车辆中线与车道边界线夹角θ、车辆中心离左侧边界横向距离xdl，包括：
车辆位于第n车道，左侧车道线横坐标即第n条车道线横坐标xn,右侧车道线横坐标即第n+1条车道线横坐标xn+1，车辆中心离左侧边界横向距离xdl＝x0-xn，；x0为车辆像素近似点横坐标；本实施例中车辆位于第一车道，车辆中心近似横坐标x0＝236，xn＝48，xdl＝188。
计算车辆中线与车道边界线夹角θ，计算公式如式(Ⅱ)所示：
cosθ＝h0/|xn+1-xn|   (Ⅱ)
式(Ⅱ)中，h0＝H/λ，H为实际车道宽，λ为实际距离与图像距离比例系数。本实施例中θ＝13.5°。
车辆横向位置计算示意图如图8所示。
步骤C3，包括：
北斗接收机单点定位精度为1.5米，我国车道宽度为3.75米，接收机定位结果会产生1车道误差,无法确定车辆实际所处车道。
根据步骤C2确定车辆距离左车道线实际距离Xdl＝xdl*λ，λ为实际距离与图像距离比例系数，xdl为步骤C2确定车辆中心离左侧边界横向距离，图像距离，单位为像素，Xdl为车辆距离左车道线实际距离，单位为米，其距离误差主要源于车道线段中心点拟合误差，其误差为0.1米。
北斗接收机定位图像车辆坐标为(x0,y0)，其误差半径为R0，视觉定位车辆距离左车道线Xdl，误差半径为R1；北斗接收机定位实际车辆坐标为(X0,Y0)；
定位修正后图像车辆坐标为(x1,y1)，x1＝xn+Xdl，y1＝y0；xn为图像第n条车道线横坐标，图像修正后误差半径为R1；
定位修正后实际车辆坐标为(X1,Y1)，X1＝xn*λ+Xdl，Y1＝y0*λ。定位修正计算示意图如图9所示。
本实施例中北斗接收机定位车辆坐标(x0,y0)为(1.2，,5.3)，误差半径R0为1.5米。当前车道为第1车道，车辆距离左车道线实际距离Xdl＝xdl*λ，λ＝0.0125，Xdl＝2.4米即定位修正后车辆坐标(x1,y1)为(2.4，5.3)，其横向误差半径R1为0.1米，同时车身中轴线偏移角θ＝13.5°。
实施例5
根据实施例1所述的一种北斗视觉融合精准车道辨识与定位方法，其区别在于：
步骤D1，如图10所示，包括：
读取当前、左、右车道掩膜颜色为M0、M1、M2，若M0、M1、M2全为绿色，则车辆正常行驶；若当前车道掩膜M0为红色，蜂鸣器报警提醒车主；若左侧车道掩膜M1为红色，则读取车辆横向距离X，当横向距离X小于左阈值D1时预警；若右侧车道掩膜M2为红色，当横向X距离大于右阈值D2时报警，左阈值D1的取值范围为0.3m＜D1＜0.5m；右阈值D2的取值范围为3.2m＜D1＜3.4m。
步骤D2，包括：
当左侧车道或右侧车道为公交车道、潮汐车道且其掩膜为红色时，拍摄车辆照片，识别车牌号，将车辆照片、车牌号上传至交警平台；当右侧车道为应急车道且有车辆行驶时，通过相对位移测算其车速，若车速正常(即非故障)，拍照上传信息至交警平台，信息包括：车辆照片、车牌号、北斗定位修正结果、时间。
实施例6
实施例1-5任一所述北斗视觉融合精准车道辨识与定位方法的实现装置，如图2所示，包括图像采集模块、北斗接收机模块、车道检测模块、地图匹配模块、定位修正模块、监控预警模块；
图像采集模块用于拍摄前方道路图片并存储；车道检测模块用于车道检测；北斗接收机模块用于接受卫星数据，并将卫星数据解码得到定位信息；定位信息包括经纬度、时间；
地图匹配模块用于地图匹配；定位修正模块用于定位修正；监控预警模块用于监控预警。
图像采集模块包括图像采集设备、视频存储器SDRAM、可编程逻辑处理器FPGA；图像采集设备拍摄图像后存入视频存储器SDRAM，可编程逻辑处理器FPGA周期性取出图像进行预处理后送入车道检测模块。
图像采集设备为摄像头或行车记录仪。
北斗接收机模块包括射频前端处理器RFIC、基带数字信号处理器ASIC、定位导航处理器FPGA；射频前端处理器RFIC通过天线接收所有可见北斗卫星信号，经过放大、混频下变、AD转换后输出离散数字中频信号给基带数字信号处理器ASIC；基带数字信号处理器ASIC将数字中频信号处理后得到载波和伪码信号，进而调制解调出测量值与导航电文，并发送给定位导航处理器FPGA，定位导航处理器FPGA对导航电文进行处理后得到定位结果，与地图匹配模块对比数据后送入视频存储器SDRAM存储。
车道检测模块包括图像处理器GPU与微处理器ARM；图像处理器GPU将预处理后图像送入分割识别网络，提取图像特征图，得到识别后车道线与分割后车道，图像处理器GPU将识别处理后图片输入微处理器ARM，微处理器ARM提取车道级定位结果送入定位修正模块。
地图匹配模块包括离线地图存储器SDRAM、可编程逻辑处理器FPGA、数据存储器SDRAM；
离线地图存储器SDRAM存储有电子地图道路网数据库，电子地图道路网数据库与接收机定位值进行几何匹配后，得到实际位置，结果存入数据存储器SDRAM。
定位修正模块包括显示屏与微处理器ARM；微处理器ARM接收图像处理器GPU输出信息，对信息进行处理得到车道级定位结果，并从数据存储器SDRAM中提取北斗定位结果进行修正，修正后结果显示在显示屏上。
监控预警模块包括4G路由器、蜂鸣器、微处理器ARM；当车辆非法驶入公交车道、应急车道、潮汐车道时，微处理器ARM启动蜂鸣器发出警报，当监测到有车辆非法占道行驶时，微处理器ARM控制摄像机拍照，图像处理器GPU识别车牌照后将采集证据通过4G路由器上传。

Claims (19)

1.一种北斗视觉融合精准车道辨识与定位方法，其特征在于，包括步骤如下：
(1)车道检测，包括：
步骤A1：图像采集设备拍摄前方道路图片并存储；
步骤A2：根据道路图片提取道路特征，检测、识别车道线并分割车道；
步骤A3：将分割后的车道送入分类网络，精准识别当前、左侧和右侧车道类型，并使用不同颜色掩膜加以区分，同时确定车辆当前车道；
(2)地图匹配，包括：
步骤B1：北斗接收机接受卫星数据，并将卫星数据解码得到定位信息，定位信息包括经纬度与时间；
步骤B2：将定位信息与地图道路网信息匹配，确定车辆所在道路，提取道路车道数、车道类型、车道宽、公交车道开放时间和当前潮汐车道导向；
步骤B3：北斗接收机利用导出多普勒频移法测量车速，获取BTD；
获取BTD，是指：北斗接收机利用单向测量法对接收信号进行解码后，直接得到单点卫星标准时间BTD；
(3)定位修正，包括：
步骤C1：使用透视变换将步骤A1采集的前方道路图片投影为鸟瞰图；
步骤C2：使用三项式最小二乘法拟合遮挡和间断车道线，计算车辆横向位置；步骤C2，包括：
h、筛选步骤A2检测出有效车道线段：若车道线左、右端像素满足|xn_R-xn_L-W|≤δw，则该车道线段有效，xn_R、xn_L为第n条车道线段最左、右端横坐标，W为车道线宽，δw为宽度误差阈值，车道线中心坐标为((xn_R+xn_L)/2,yn)；否则，返回步骤A1；
i、采用三项式最小二乘法拟合车道线中心点坐标，包括：
①按照相邻选取原则，选取5组相邻待拟合车道线中心点坐标(xC1,yC1)、(xC2,yC2)、(xC3,yC3)、(xC4,yC4)、(xC5,yC5)为待拟合数据；
②拟合后曲线方程为：
Figure FDA0004125937660000011
a0，a1，a2，a3为待求参数；xi、yi分别为第i个待拟合数据车道线中心点横、纵坐标；
③将待拟合数据代入下列方程，求出待求参数：
Figure FDA0004125937660000021
n＝5，为数据数量，(xi,yi)为待拟合数据；
j、计算车辆横向位置，车辆横向位置是指车辆中线与车道边界线夹角θ、车辆中心离左侧边界横向距离xdl，包括：
车辆位于第n车道，左侧车道线横坐标即第n条车道线横坐标xn,右侧车道线横坐标即第n+1条车道线横坐标xn+1，车辆中心离左侧边界横向距离xdl＝x0-xn，；x0为车辆像素近似点横坐标；
计算车辆中线与车道边界线夹角θ，计算公式如式(Ⅱ)所示：
cosθ＝h0/|xn+1-xn|    (Ⅱ)
式(Ⅱ)中，h0＝H/λ，H为实际车道宽，λ为实际距离与图像距离比例系数；
步骤C3：利用所在车道与车辆横向位置，修正北斗定位结果；步骤C3，包括：
根据步骤C2确定车辆距离左车道线实际距离Xdl＝xdl*λ，λ为实际距离与图像距离比例系数，xdl为步骤C2中的确定车辆中心离左侧边界横向距离，即图像距离，单位为像素，Xdl为车辆距离左车道线实际距离，单位为米；
北斗接收机定位图像车辆坐标为(x0,y0)，其误差半径为R0，视觉定位车辆距离左车道线的实际距离Xdl，误差半径为R1；北斗接收机定位实际车辆坐标为(X0,Y0)；
定位修正后图像车辆坐标为(x1,y1)，x1＝xn+Xdl，y1＝y0；xn为图像第n条车道线横坐标，图像修正后误差半径为R1；
定位修正后实际车辆坐标为(X1,Y1)，X1＝xn*λ+Xdl，Y1＝y0*λ；
(4)监控预警，包括：
步骤D1：根据定位结果、时间、车速和车辆姿态信息判断车辆是否已经占道行驶，或将占道行驶；
步骤D2：监控前方公交车道、应急车道和潮汐车道，识别行驶车辆类别及状态，判断是否占道行驶，若是则抓拍识别上传。
2.根据权利要求1所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，步骤A2，包括：
a、将道路图片进行均值化预处理后送入VGG16卷积神经网络，是指：将道路图片中每个像素减去所有像素均值，并送入VGG16卷积神经网络，得到特征图；
b、步骤a得到的特征图分别用于车道检测与车道分割；
特征图用于车道检测的过程包括：将特征图中的所有特征分为背景类与车道线类，输出背景与车道线二值化结果；
特征图用于车道分割的过程包括：使用距离度量法分离每个车道像素，将属于不同车道的像素分离开，将属于相同车道的像素聚类，实现车道分割。
3.根据权利要求2所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，步骤b中，将属于相同车道的像素采用Meanshift算法聚类，计算公式如式(Ⅰ)所示：
Figure FDA0004125937660000031
式(Ⅰ)中，L表示聚类损失函数，C表示聚类后车道数量，Nc为此车道中每个像素，μc为所有像素均值，pi为第i个像素的像素值,δ为预设像素阈值，取值范围5-20。
4.根据权利要求3所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，δ＝12.5；
当聚类损失函数L取最小值时，此时C即为分割后车道数，每个像素与车道建立对应关系，如式(Ⅱ)所示：：
YC＝p(xi,yi)    (Ⅱ)
式(Ⅱ)中，(xi,yi)为第i个像素坐标，YC表示为此像素所属车道类。
5.根据权利要求1所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，步骤A3，包括：
c、将车道线送入分类网络，识别车道线类别，车道线类别包括：实线车道线或虚线车道线、白色车道线或黄色车道线、单线车道线或双线车道线或可变导向车道线；分类网络为残差神经网络ResNet；
d、根据车道与车道线对照表，判断车道类型，车道类型包括普通车道、应急车道、公交车专用车道和潮汐车道，并用不同颜色作为掩膜加以区分，同时确定车辆所在车道。
6.根据权利要求5所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，步骤d，确定车辆所在车道，是指：车辆像素近似点为车道图上与车辆属于同一车道，且离车辆最近像素点，其坐标(x0,y0)＝(SW/2，SH)，SW为图像宽，SH为图像高，车辆所在车道即为车辆像素近似点所属车道类别，代入式(Ⅱ)确定车辆所在车道：YC＝p(SW/2，SH)。
7.根据权利要求5所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，步骤d，用不同颜色作为掩膜加以区分，是指：
查询车道分类结果及地图数据库，确定公交车专用道开放时间和潮汐车道导向信息，以此判断是否满足通行条件，结合通行条件与具体车道类型，给车道人为加入红和绿颜色掩膜区分，具体掩膜对应关系如表1所示：
表1
Figure FDA0004125937660000041
。
8.根据权利要求1所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，
步骤B1，是指：
捕获北斗卫星信号，跟踪北斗卫星信号，调解导航电文，测量伪距和载波相位，计算经纬度；
步骤B2，包括：
e、输入北斗接收机当前得到的定位信息，与电子地图道路网数据库初始匹配，初始匹配是指使用隐马尔科夫模型HMM法，根据定位信息，寻找多条可能相匹配的初始路段；
f、进入跟踪匹配，跟踪匹配是指将当前时刻定位点匹配到与上一时刻定位点相匹配的同一路段上；当到达复杂地段时，返回步骤e；
g、将当前跟踪匹配路段输入电子地图道路网数据库，直接获取当前路段同向道路车道数、车道类型、车道宽、公交车道开放时间和当前潮汐车道导向信息；
步骤B3，北斗接收机利用导出多普勒频移法测量车速，是指：
北斗接收机测量接收到卫星频率fR,标准北斗卫星信号频率fS，多普勒频移Δf＝fR-fS；
通过导出多普勒频移公式测量车速(dD/dt)，如式(Ⅲ)所示：
Δf＝-(1/c)(dD/dt)fS    (Ⅲ)
式(Ⅲ)中，c为真空光速，D为地面距离，t为时间。
9.根据权利要求1所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，步骤C1中所使用透视变换公式如式(IV)所示：
[x y 1]＝[u v w]*T    (IV)
式(IV)中：(u,v,w)表示原始道路图片像素坐标，(x,y)为变换后的像素坐标，T为六自由度变换矩阵，
Figure FDA0004125937660000051
a、b、c、d、e、f为未知量。
10.根据权利要求1所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，步骤D1，包括：
读取当前、左、右车道掩膜颜色为M0、M1、M2，若M0、M1、M2全为绿色，则车辆正常行驶；若当前车道掩膜M0为红色，蜂鸣器报警提醒车主；若左侧车道掩膜M1为红色，则读取车辆横向距离X，当横向距离X小于左阈值D1时预警；若右侧车道掩膜M2为红色，当横向X距离大于右阈值D2时报警，左阈值D1的取值范围为0.3m＜D1＜0.5m；右阈值D2的取值范围为3.2m＜D2＜3.4m。
11.根据权利要求1所述的一种北斗视觉融合精准车道辨识与定位方法，其特征在于，步骤D2，包括：
当左侧车道或右侧车道为公交车道、潮汐车道且其掩膜为红色时，拍摄车辆照片，识别车牌号，将车辆照片和车牌号上传至交警平台；当右侧车道为应急车道且有车辆行驶时，通过相对位移测算其车速，若车速正常，拍照上传信息至交警平台，信息包括：车辆照片、车牌号、北斗定位修正结果和时间。
12.权利要求1-11任一所述北斗视觉融合精准车道辨识与定位方法的实现装置，其特征在于，包括图像采集模块、北斗接收机模块、车道检测模块、地图匹配模块、定位修正模块和监控预警模块；
所述图像采集模块用于拍摄前方道路图片并存储；所述车道检测模块用于所述车道检测；所述北斗接收机模块用于接受卫星数据，并将卫星数据解码得到定位信息；定位信息包括经纬度和时间；
所述地图匹配模块用于所述地图匹配；所述定位修正模块用于所述定位修正；所述监控预警模块用于所述监控预警。
13.根据权利要求12所述的北斗视觉融合精准车道辨识与定位方法的实现装置，其特征在于，所述图像采集模块包括图像采集设备、视频存储器SDRAM和可编程逻辑处理器FPGA；图像采集设备拍摄图像后存入所述视频存储器SDRAM，所述可编程逻辑处理器FPGA周期性取出图像进行预处理后送入所述车道检测模块。
14.根据权利要求12所述的北斗视觉融合精准车道辨识与定位方法的实现装置，其特征在于，图像采集设备为摄像头或行车记录仪。
15.根据权利要求12所述的北斗视觉融合精准车道辨识与定位方法的实现装置，其特征在于，所述北斗接收机模块包括射频前端处理器RFIC、基带数字信号处理器ASIC和定位导航处理器FPGA；所述射频前端处理器RFIC通过天线接收所有可见北斗卫星信号，经过放大、混频下变和AD转换后输出离散数字中频信号给所述基带数字信号处理器ASIC；所述基带数字信号处理器ASIC将数字中频信号处理后得到载波和伪码信号，进而调制解调出测量值与导航电文，并发送给所述定位导航处理器FPGA，所述定位导航处理器FPGA对导航电文进行处理后得到定位结果，与所述地图匹配模块对比数据后送入视频存储器SDRAM存储。
16.根据权利要求12所述的北斗视觉融合精准车道辨识与定位方法的实现装置，其特征在于，所述车道检测模块包括图像处理器GPU与微处理器ARM；所述图像处理器GPU将预处理后图像送入分割识别网络，提取图像特征图，得到识别后车道线与分割后车道，所述图像处理器GPU将识别处理后图片输入所述微处理器ARM，所述微处理器ARM提取车道级定位结果送入定位修正模块。
17.根据权利要求12所述的北斗视觉融合精准车道辨识与定位方法的实现装置，其特征在于，所述地图匹配模块包括离线地图存储器SDRAM、可编程逻辑处理器FPGA和数据存储器SDRAM；
所述离线地图存储器SDRAM存储有电子地图道路网数据库，电子地图道路网数据库与接收机定位值进行几何匹配后，得到实际位置，结果存入数据存储器SDRAM。
18.根据权利要求12所述的北斗视觉融合精准车道辨识与定位方法的实现装置，其特征在于，定位修正模块包括显示屏与微处理器ARM；所述微处理器ARM接收图像处理器GPU输出信息，对信息进行处理得到车道级定位结果，并从数据存储器SDRAM中提取北斗定位结果进行修正，修正后结果显示在显示屏上。
19.根据权利要求12所述的北斗视觉融合精准车道辨识与定位方法的实现装置，其特征在于，所述监控预警模块包括4G路由器、蜂鸣器和微处理器ARM；当车辆非法驶入公交车道、应急车道和潮汐车道时，所述微处理器ARM启动所述蜂鸣器发出警报，当监测到有车辆非法占道行驶时，所述微处理器ARM控制摄像机拍照，图像处理器GPU识别车牌照后将采集证据通过所述4G路由器上传。
CN201910352711.8A 2019-04-29 2019-04-29 一种北斗视觉融合精准车道辨识与定位方法及其实现装置 Active CN110210303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910352711.8A CN110210303B (zh) 2019-04-29 2019-04-29 一种北斗视觉融合精准车道辨识与定位方法及其实现装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910352711.8A CN110210303B (zh) 2019-04-29 2019-04-29 一种北斗视觉融合精准车道辨识与定位方法及其实现装置

Publications (2)

Publication Number Publication Date
CN110210303A CN110210303A (zh) 2019-09-06
CN110210303B true CN110210303B (zh) 2023-04-25

Family

ID=67786684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910352711.8A Active CN110210303B (zh) 2019-04-29 2019-04-29 一种北斗视觉融合精准车道辨识与定位方法及其实现装置

Country Status (1)

Country Link
CN (1) CN110210303B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675635B (zh) * 2019-10-09 2021-08-03 北京百度网讯科技有限公司 相机外参的获取方法、装置、电子设备及存储介质
CN111161543A (zh) * 2019-11-14 2020-05-15 南京行者易智能交通科技有限公司 一种基于图像识别的公交前车违章行为自动抓拍方法及系统
CN112926365A (zh) * 2019-12-06 2021-06-08 广州汽车集团股份有限公司 一种车道线检测方法及其系统
CN111854766B (zh) * 2020-01-13 2022-05-27 北京嘀嘀无限科技发展有限公司 一种道路信息确定方法、装置、电子设备及存储介质
CN111207769A (zh) * 2020-01-15 2020-05-29 北京小马慧行科技有限公司 车道级别的导航方法、装置、存储介质和处理器
CN113157827B (zh) * 2020-01-22 2023-10-10 阿里巴巴集团控股有限公司 车道类型的生成方法、装置、数据处理设备及存储介质
CN111324616B (zh) * 2020-02-07 2023-08-25 北京百度网讯科技有限公司 车道线变化信息的检测方法、装置及设备
CN111402609A (zh) * 2020-03-17 2020-07-10 北京百度网讯科技有限公司 专用车道行驶提醒方法、装置、设备及存储介质
CN111507203B (zh) * 2020-03-27 2023-09-26 北京百度网讯科技有限公司 可变车道检测模型的构建方法、电子设备及存储介质
CN111553296B (zh) * 2020-04-30 2021-08-03 中山大学 一种基于fpga实现的二值神经网络立体视觉匹配方法
CN111612851B (zh) * 2020-05-20 2023-04-07 阿波罗智联(北京)科技有限公司 用于标定相机的方法、装置、设备以及存储介质
CN111860219B (zh) * 2020-06-30 2024-01-05 杭州科度科技有限公司 一种高速占道判断方法、装置及电子设备
CN112017433B (zh) * 2020-08-17 2021-12-07 长安大学 对电子地图拥堵程度显示结果进行修正的系统及方法
CN111966857B (zh) * 2020-08-19 2023-09-29 南京英德利汽车有限公司 一种检测改装车辆的方法及检测系统
CN111966108A (zh) * 2020-09-02 2020-11-20 成都信息工程大学 基于导航系统的极端天气无人驾驶控制系统
CN112380956B (zh) * 2020-11-10 2024-02-27 苏州艾氪英诺机器人科技有限公司 一种车道判断方法
CN112613344B (zh) * 2020-12-01 2024-04-16 浙江华锐捷技术有限公司 车辆占道检测方法、装置、计算机设备和可读存储介质
CN112634618B (zh) * 2020-12-21 2022-03-11 广州小鹏自动驾驶科技有限公司 一种应急车道检测方法、装置及设备
CN112833891B (zh) * 2020-12-31 2023-06-27 武汉光庭信息技术股份有限公司 基于卫片识别的道路数据与车道级地图数据的融合方法
CN112735187A (zh) * 2021-01-29 2021-04-30 重庆长安汽车股份有限公司 一种自动识别应急车道的系统和方法
CN114999197A (zh) * 2021-03-02 2022-09-02 深圳联友科技有限公司 一种车辆预警方法
CN113065594B (zh) * 2021-04-01 2023-05-05 中科星图空间技术有限公司 一种基于北斗数据与遥感影像融合的路网提取方法及装置
CN113255506B (zh) * 2021-05-20 2022-10-18 浙江合众新能源汽车有限公司 动态车道线控制方法、系统、设备和计算机可读介质
CN113378654B (zh) * 2021-05-23 2022-08-16 南京理工大学 基于定位和视觉技术融合的车道级定位方法及系统
CN113591554A (zh) * 2021-06-18 2021-11-02 浙江大华技术股份有限公司 压线检测方法以及违章检测方法
CN113420673B (zh) * 2021-06-24 2022-08-02 苏州科达科技股份有限公司 垃圾分类方法、装置、设备及存储介质
CN113609906A (zh) * 2021-06-30 2021-11-05 南京信息工程大学 一种面向文献的表格信息抽取方法
CN113642533B (zh) * 2021-10-13 2022-08-09 宁波均联智行科技股份有限公司 车道级定位方法及电子设备
TWI781829B (zh) * 2021-11-22 2022-10-21 財團法人車輛研究測試中心 融合式車輛定位方法與系統
CN114141039A (zh) * 2021-11-26 2022-03-04 东南大学 基于Android手机高精度定位的车辆安全驾驶预警系统及方法
CN114252082B (zh) * 2022-03-01 2022-05-17 苏州挚途科技有限公司 车辆定位方法、装置和电子设备
CN115171428B (zh) * 2022-06-24 2023-06-30 重庆长安汽车股份有限公司 一种基于视觉感知的车辆切入预警方法
CN115366899B (zh) * 2022-10-25 2023-01-03 南京项尚车联网技术有限公司 一种基于北斗的远程车载路径识别系统
CN116086469B (zh) * 2023-01-16 2023-10-24 禾多科技（北京）有限公司 一种车道定位方法及装置
CN116645826B (zh) * 2023-05-25 2024-04-19 合肥工业大学 一种基于三次多项式的弯道跟驰路径规划方法
CN116564133A (zh) * 2023-07-05 2023-08-08 蘑菇车联信息科技有限公司 潮汐车道的车辆预警方法、装置及电子设备
CN117636270B (zh) * 2024-01-23 2024-04-09 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011580A (ja) * 1996-06-27 1998-01-16 Nissan Motor Co Ltd 車両用車線認識装置
JPH10300494A (ja) * 1997-04-28 1998-11-13 Fujitsu Ten Ltd 車輌位置検出装置および方法ならびに経路案内装置および方法
CN104240515A (zh) * 2014-09-15 2014-12-24 郑州天迈科技股份有限公司 基于图像处理的公交专用道占道抓拍方法
CN106354135A (zh) * 2016-09-19 2017-01-25 武汉依迅电子信息技术有限公司 基于北斗高精度定位的车道保持系统及方法
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378640B2 (en) * 2011-06-17 2016-06-28 Leddartech Inc. System and method for traffic side detection and characterization
US20170089717A1 (en) * 2015-09-29 2017-03-30 Garmin Switzerland Gmbh Use of road lane data to improve traffic probe accuracy
CA2999814A1 (en) * 2015-09-30 2017-04-06 Nissan Motor Co., Ltd. Travel control method and travel control apparatus
CN105806350A (zh) * 2015-11-03 2016-07-27 北京邮电大学 一种基于伪距、线性矢量的定位方法和装置
CN105740837B (zh) * 2016-02-03 2019-04-30 安徽清新互联信息科技有限公司 一种基于无人机的违法占用应急车道检测方法
CN107144867A (zh) * 2017-05-12 2017-09-08 山东大学 北斗精准时空公交车联网通信监视终端及其工作方法
CN108168544B (zh) * 2017-12-02 2022-01-07 山东大学 北斗增强惯导高效融合车道级定位工作方法及系统装置
CN108622105B (zh) * 2018-04-16 2019-12-31 吉林大学 基于多元回归分析的车辆弯道安全车速预测及预警系统
CN109188478A (zh) * 2018-08-23 2019-01-11 北京讯腾智慧科技股份有限公司 一种利用地图辅助的城市环境卫星定位导航方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011580A (ja) * 1996-06-27 1998-01-16 Nissan Motor Co Ltd 車両用車線認識装置
JPH10300494A (ja) * 1997-04-28 1998-11-13 Fujitsu Ten Ltd 車輌位置検出装置および方法ならびに経路案内装置および方法
CN104240515A (zh) * 2014-09-15 2014-12-24 郑州天迈科技股份有限公司 基于图像处理的公交专用道占道抓拍方法
CN106354135A (zh) * 2016-09-19 2017-01-25 武汉依迅电子信息技术有限公司 基于北斗高精度定位的车道保持系统及方法
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yanlei Gu etc..Towards lane-level traffic monitoring in urban environment using precise probe vehicle data derived from three-dimensional map aided differential GNSS.IATSS Research.2018,全文. *
李龙杰.基于四线激光雷达的道路信息提取技术研究.中国优秀硕士学位论文全文数据库.2017,全文. *

Also Published As

Publication number Publication date
CN110210303A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110210303B (zh) 一种北斗视觉融合精准车道辨识与定位方法及其实现装置
CN111060904B (zh) 一种基于毫米波与视觉融合感知的盲区监测方法
CN110949395B (zh) 一种基于多传感器融合的弯道acc目标车辆识别方法
US8995723B2 (en) Detecting and recognizing traffic signs
CN111787481B (zh) 一种基于5g的路车协调高精度感知方法
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
JP4871909B2 (ja) 物体認識装置、および物体認識方法
CN110517521A (zh) 一种基于路车融合感知的车道偏离预警方法
JP2917661B2 (ja) 交通流計測処理方法及び装置
CN109299674B (zh) 一种基于车灯的隧道违章变道检测方法
US10699567B2 (en) Method of controlling a traffic surveillance system
CN112700470A (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN112364707B (zh) 一种智能车对复杂路况进行超视距感知的系统及方法
CN108764108A (zh) 一种基于贝叶斯统计决策的前车检测方法
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
CN114715168A (zh) 一种道路标线缺失环境下的车辆偏航预警方法和系统
CN113147733A (zh) 雨雾沙尘天气汽车智能限速系统及方法
CN115257784A (zh) 基于4d毫米波雷达的车路协同系统
CN110310488B (zh) 一种大型货车违章消息生成方法及系统
JP2018055597A (ja) 車種判別装置および車種判別方法
CN116486359A (zh) 一种面向全天候的智能车环境感知网络自适应选择方法
CN113962301B (zh) 一种多源输入信号融合的路面质量检测方法及系统
WO2021161614A1 (ja) 画像送信システム
CN113884090A (zh) 智能平台车环境感知系统及其数据融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant