CN109670455A - 计算机视觉车道线检测系统及其检测方法 - Google Patents
计算机视觉车道线检测系统及其检测方法 Download PDFInfo
- Publication number
- CN109670455A CN109670455A CN201811569460.0A CN201811569460A CN109670455A CN 109670455 A CN109670455 A CN 109670455A CN 201811569460 A CN201811569460 A CN 201811569460A CN 109670455 A CN109670455 A CN 109670455A
- Authority
- CN
- China
- Prior art keywords
- lane line
- lane
- exceeded
- computer vision
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims description 30
- 239000000203 mixture Substances 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000013525 hypothesis research Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Abstract
本发明公开了一种计算机视觉车道线检测系统，包括：所述车道线提取模块，提取图像中车道线边缘特征，生成车道线超标，通过预设参数利用超标提取车道线标记块；所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；所述车道线拟合模块，对车道线提取模块提取的车道线标记块进行拟合生成拟合车道线；所述车道线滤除模块，滤除非车道线对拟合车道线的干扰；所述滤波模块，根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。本发明还公开了一种计算机视觉车道线检测方法。本发明既能适用于结构化道路(例如高速路)又能适用于非结构化道路(城市街道)，能通过代码化应用于自动驾驶车辆上，车道检测准确、检测速度快。
Description
技术领域
本发明涉及汽车领域，特别是涉及一种用于自动驾驶技术基于计算机视觉的车道线检测系统。本发明还涉及一种用于自动驾驶技术基于计算机视觉的车道线检测方法。
背景技术
智能车辆是智能交通系统的一个重要组成部分，其环境感知系统主要由视觉传感器、激光雷达、惯性元件等一系列高精度的传感器组成，通过送些传感器来采集路况环境信息，进而为智能车辆的控制决策系统提供依据，控制车辆的油口、制动、转向等执行机构，实现车辆的自动驾驶。车道线作为路面最主要的指示信息之一，它可以有效地引导车辆在约束的道路区域内行驶，准确地检测出路面的车道线是实现智能车自动驾驶的基础。
计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。计算机视觉是一门关于如何运用照相机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机)和大脑(算法)，让计算机能够感知环境。我们中国人的成语"眼见为实"和西方人常说的"One pictureis worth ten thousand words"表达了视觉对人类的重要性。计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。
车道检测算法主要基于其检测范围和驾驶情况以两种方式开发。检测范围可能略有不同，算法可检测行车道或多车道。在单车道检测中，检测目标仅限于车辆周围的两个行车道标记。这反映了狭窄的车道检测概念，仅适用于LDWS或LKAS。在多车道检测中，算法不仅检测车辆行驶的行驶车道，还检测行驶车道附近的车道。驾驶情况方面，算法最初设计用于公路驾驶，但是后来愈来愈逐渐针对更复杂和更具挑战性的环境(例如城市环境)而开发。在高速公路情况下，由于并行性的假设，算法可以简化，这意味着车道标记是平行的并且具有相同的车道宽度。但是，在城市环境中，算法变得更加复杂，因为必须考虑城市街道产生的各种因素，例如频繁分裂和合并车道标记，高曲率，十字路口标志和路缘石等。
发明内容
本发明要解决的技术问题是提供一种基于计算机视觉能适用于结构化道路(例如高速路)和非结构化道路(城市街道)的计算机视觉车道线检测系统。
本发明还提供了一种基于计算机视觉能适用于结构化道路(例如高速路)和非结构化道路(城市街道)的计算机视觉车道线检测方法。
为解决上述技术问题，本发明提供一种计算机视觉车道线检测系统，包括：车道线提取模块、车道线拟合模块、车道线滤除模块和滤波模块；
所述车道线提取模块，提取图像中车道线边缘特征，生成车道线超标，通过预设参数利用超标提取车道线标记块；车道线边缘特征就是描述车道线区域边缘的特征点、特征线段等。所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；
所述车道线拟合模块，对车道线提取模块提取的车道线标记块进行拟合生成拟合车道线；
所述车道线滤除模块，滤除非车道线对拟合车道线的干扰；
所述滤波模块，根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。
进一步改进所述的计算机视觉车道线检测系统，所述车道线提取模块通过图像相邻像素之间的强梯度值提取车道线边缘特征。
进一步改进所述的计算机视觉车道线检测系统，所述车道线提取模块提取车道线边缘特征采用以下方式；
利用两个滤波器fl和fr通过在输入图像I(x，y)中逐行扫描检测凸显左右边缘，获得滤波后的图像Il(x；y)和Ir(x；y)，进行图像函数公式阈值化，函数根据输入强度给出可变阈值；
随着输入强度变低，该函数给出较低的阈值。此功能用于确保无论光照情况如何变化，都可以自适应地提取车道边缘特征要素。通过上述两个阈值化图像，在每个图像中找到局部最大值来提取车道线边缘特征Xi＝(xi，yi)，其是表示特征的位置的矢量。
进一步改进所述的计算机视觉车道线检测系统，所述车道线边缘特征满足两个局部最大值的间隔在最小估计车道特征宽度wm和最大估计车道特征宽度wM之间。
进一步改进所述的计算机视觉车道线检测系统，超像素的概念通常应用于图像分割问题。通过将具有相似属性的一组相邻像素形成为超像素,可以更有效地解决分割问题。超像素通过仅需要处理少量超像素而不是数十万像素来有效地降低问题的复杂性。类似假设属于相同车道标记的车道特征可以聚类成一个小组，从而形成超标。要成为超标，车道要素应满足以下条件：要素应相互连接，要素应具有相同的方向。即，所述车道线提取模块根据车道线边缘特征是否相互连接和是否具有相同的方向性生成超标。
进一步改进所述的计算机视觉车道线检测系统，对产生的超标进行二次筛选后再形成车道线标记块。
进一步改进所述的计算机视觉车道线检测系统，所述二次筛选是对HSV三通道分割进行阈值滤波。H通道的数值是归一化后的数值；S通道为饱和度,取值范围就是0-1；V通道为色彩的明亮程度,取值范围就是0-1。
车道线的常见颜色有黄色与白色两种，可通过这一特征对超标进行筛选。颜色空间在车道线组合片段的筛选中，通过HSV空间中，色相H、饱和度S的不同进行阈值处理，可以将常见的黄色、白色车道线进行初步提取，从而筛选出符合颜色特征的超标。
进一步改进所述的计算机视觉车道线检测系统，所述预设参数包括车道线标记块的颜色、大小和位置。
进一步改进所述的计算机视觉车道线检测系统，所述车道线提取模块根据颜色对超标进行筛选，将符合颜色超标的车道线标记块提取形成车道线。
进一步改进所述的计算机视觉车道线检测系统，通过HSV空间中，色相H、饱和度S的不同进行阈值对超标进行颜色筛选。
进一步改进所述的计算机视觉车道线检测系统，所述车道线拟合模块通过条件随机场(CRF)对车道线标记块进行拟合生成拟合车道线。
所述条件随机场(CRF)拟合采用以下方式；
构造CRF图G＝(V，E)，其中每个顶点指示两个超标的可能关联，并连接顶点的边表示它们之间的相关性的存在。通过两个测量函数distgeo和distdir确定顶点，用于计算两个超标的几何距离和方向性；
其中hi是超标记si的头部，tj是超标记sj的尾部，而表示由hi和tj构成的线的倾斜角度，如果distgeo和distdir都处于设置为包含来自实际数据集的所有正样本的阈值之下，则称这两个超标是可关联的并且变为顶点vk＝(si→sj)；CRF图中的边在通过图中任何跳跃共享顶点中至少一个相同超标的所有顶点之间进行，使得顶点的子集形成集团；
在CRF图中，图的能量被描述为一元项和成对项的组合。顶点的一元项表示其自身的概率，而成对项表示由边连接的顶点之间的关系的概率；
P(L|S)表示标签集的整体概率，而是图的能量，由一元电位U(lk|sk)和集团电位组成，对应于一般CRF模型中的成对电位,C是图G中集团集合cl(G)中的集团。
基于获得图的能量，标签集L*通过最小化图的能量来确定；
问题的复杂性在于O(n4)的搜索空间很大。但是它并没有严重影响运行时性能，因为通过与超标的低级别关联显著降低了计算成本。平均而言，在一帧中可以发现并检查少于10个可能的关联案例。通过能量最小化，产生超标之间的最终关联结果形成拟合车道线。
本发明可以处理城市情况以及高速公路情况，通过检测道路上的多个车道标记，并覆盖出现在城市街道上的各种类型的车道，例如：交叉，分裂和合并通道。本发明不需要对几何建模或并行性进行任何假设，以防止算法因参数变化而导致失败，或导致错误检测非平行通道情况。利用称为条件随机场(CRF)的图形模型之一来在各种城市道路情况下稳健地检测多个车道。条件随机场(CRF)广泛应用于物体识别和图像分割问题。CRF由节点组和边组成。每个节点上都有一个标签，表示节点的状态。边缘是两个相互依赖的连接节点。与简单关联算法不同，简单关联算法仅基于其观察来确定对象的状态，CRF不仅通过考虑其观察而且还考虑其他连接对象的状态和观察来确定对象的状态。因此，CRF适应不断变化的环境，并且考虑到多种因素是可靠的。CRF的这种能力使它们适用于多通道检测问题，其中CRF可以在所有可能的情况下找到最佳关联情况。由于在关联多个目标方面的有效性，CRF算法可以克服传统车道检测算法的缺点。
进一步改进所述的计算机视觉车道线检测系统，所述车道线滤除模块滤除非车道线对拟合车道线干扰采用以下方式；
现实场景中的一组平行直线在视觉成像设备的投影平面上会相交于无穷远处的一点，该投影点即被称为消失点。道路消失点是路况场景在图像平面形成的重要特征，它蕴含了道路的拐角及路面的延伸方向等重要信息，在基于视觉的车道线检测中有着重要的应用价值。以之前的道路图像处理为基础，首先提取图像中的候选线段，然后通过候选线段的交点进行投票从而确定道路消失点的位置信息，判别所有的检出直线特征是否通过消失点区域，并以此作为车道线检测中的约束条件来规避非车道线的干扰。道路消失点是路况场景在图像平面形成的重要特征，它蕴含了道路的拐角及路面的延伸方向等重要信息，在基于视觉的车道线检测中有着重要的应用价值。提取图像中候选拟合车道线，通过拟合车道线的交点投票确定道路消失点的位置信息，判别所有的检出直线特征是否通过消失点区域，并以此作为滤除条件滤除非车道线的干扰。
进一步改进所述的计算机视觉车道线检测系统，所述滤波模块利用卡尔曼(kalman)滤波前后帧关联的滤波方法对拟合车道线进行滤波，滤除非车道线形成车道线方程。
所述卡尔曼(kalman)滤波前后帧关联的滤波方法包括：
当某帧车道线特征检测计算有巧合或者指定特征性有突变时，会将某些具备线性特征的直线度特征区域判定为车道线，这种情况往往呈现为某一帧或者某几帧的车道线检测结果的突变。为了解决过滤这种状况，提升车道线检测结果准确性和稳定性，提出了基于卡尔曼(kalman)滤波的前后帧关联的滤波方法。对于智能车辆获取的图像数据，在图像第一帧检测结束后，对卡尔曼滤波器的参数(A,P,Q,R,X,H等)进行初始化。其中，A为状态转移矩阵、P为先验估计协方差、Q为激励协方差、R为测量协方差、X为状态变量、H为观测矩阵。后帧车道线参数方程系数与前帧车道线参数方程系数对比，若满足设定阈值，则认为两条车道线参数方程为同一车道线，用后帧的车道线参数方程系数作为观测量对状态量进行更新；若不满足设定阈值，则保持预设数量的帧等待新帧关联，如仍未被关联则进入参数方程删除步骤；对于保持预设数量帧仍不满足匹配要求的车道线参数方程，追溯该帧之前三帧的车道线参数方程，如果与前面三帧均可获得可靠匹配，则进入车道线参数方程增加步骤。
进一步改进所述的计算机视觉车道线检测系统，所述预设数量为1-10帧，优选为1帧、2帧、3帧、4帧、5帧、6帧、7帧、8帧、9帧或10帧。
本发明提供一种计算机视觉车道线检测方法，包括以下步骤：
1)提取图像中车道线边缘特征；
2)生成车道线超标，所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；
3)通过预设参数利用超标提取车道线标记块；
4)所车道线标记块进行拟合生成拟合车道线；
5)滤除非车道线对拟合车道线的干扰；
6)根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。
进一步改进所述的计算机视觉车道线检测方法，执行步骤1)时，通过图像相邻像素之间的强梯度值提取车道线边缘特征。
进一步改进所述的计算机视觉车道线检测方法，提取车道线边缘特征采用以下方式；
利用两个滤波器fl和fr通过在输入图像I(x，y)中逐行扫描检测凸显左右边缘，获得滤波后的图像Il(x；y)和Ir(x；y)，进行图像函数公式阈值化，函数根据输入强度给出可变阈值；
通过上述两个阈值化图像，在每个图像中找到局部最大值来提取车道线边缘特征Xi＝(xi，yi)，其是表示特征的位置的矢量。
进一步改进所述的计算机视觉车道线检测方法，所述车道线边缘特征满足两个局部最大值的间隔在最小估计车道特征宽度wm和最大估计车道特征宽度wM之间。
进一步改进所述的计算机视觉车道线检测方法，执行步骤2)时，根据车道线边缘特征是否相互连接和是否具有相同的方向性生成超标。
进一步改进所述的计算机视觉车道线检测方法，对产生的超标进行二次筛选后再形成车道线标记块。
进一步改进所述的计算机视觉车道线检测方法，所述二次筛选是对HSV三通道分割进行阈值滤波。H通道的数值是归一化后的数值；S通道为饱和度,取值范围就是0-1；V通道为色彩的明亮程度,取值范围就是0-1；
进一步改进所述的计算机视觉车道线检测方法，执行步骤3)时，所述预设参数包括车道线标记块的颜色、大小和位置。
进一步改进所述的计算机视觉车道线检测方法，根据颜色对超标进行筛选，将符合颜色超标的车道线标记块提取形成车道线。
进一步改进所述的计算机视觉车道线检测方法，通过HSV空间中，色相H、饱和度S的不同进行阈值对超标进行颜色筛选。
进一步改进所述的计算机视觉车道线检测方法，执行步骤4)时，通过条件随机场(CRF)概率模型对车道线标记块进行拟合生成拟合车道线。
所述条件随机场(CRF)概率模型拟合采用以下方式；
构造CRF图G＝(V，E)，其中每个顶点指示两个超标的可能关联，并连接顶点的边表示它们之间的相关性的存在。通过两个测量函数distgeo和distdir确定顶点，用于计算两个超标的几何距离和方向性；
其中hi是超标记si的头部，tj是超标记sj的尾部，而表示由hi和tj构成的线的倾斜角度，如果distgeo和distdir都处于设置为包含来自实际数据集的所有正样本的阈值之下，则称这两个超标是可关联的并且变为顶点vk＝(si→sj)；CRF图中的边在通过图中任何跳跃共享顶点中至少一个相同超标的所有顶点之间进行，使得顶点的子集形成集团；
在CRF图中，图的能量被描述为一元项和成对项的组合。顶点的一元项表示其自身的概率，而成对项表示由边连接的顶点之间的关系的概率；
P(L|S)表示标签集的整体概率，而是图的能量，由一元电位U(lk|sk)和集团电位组成，C是图G中集团集合cl(G)中的集团；
基于获得图的能量，标签集L*通过最小化图的能量来确定；
通过能量最小化，产生超标之间的最终关联结果形成拟合车道线。
进一步改进所述的计算机视觉车道线检测方法，执行步骤5)时，滤除非车道线对拟合车道线干扰采用以下方式；
提取图像中候选拟合车道线，通过拟合车道线的交点投票确定道路消失点的位置信息，判别所有的检出直线特征是否通过消失点区域，并以此作为滤除条件滤除非车道线的干扰。
进一步改进所述的计算机视觉车道线检测方法，执行步骤6)时，利用卡尔曼(kalman)滤波前后帧关联的滤波方法对拟合车道线进行滤波，滤除非车道线形成车道线方程。
所述卡尔曼(kalman)滤波前后帧关联的滤波方法包括：
在图像第一帧检测结束后，对卡尔曼滤波器的参数(A,P,Q,R,X,H等)进行初始化，后帧车道线参数方程系数与前帧车道线参数方程系数对比，若满足设定阈值，则认为两条车道线参数方程为同一车道线，用后帧的车道线参数方程系数作为观测量对状态量进行更新；若不满足设定阈值，则保持预设数量的帧等待新帧关联，如仍未被关联则进入参数方程删除步骤；对于保持预设数量帧仍不满足匹配要求的车道线参数方程，追溯该帧之前三帧的车道线参数方程，如果与前面三帧均可获得可靠匹配，则进入车道线参数方程增加步骤。
进一步改进所述的计算机视觉车道线检测方法，所述预设数量为1-10帧，优选为1帧、2帧、3帧、4帧、5帧、6帧、7帧、8帧、9帧或10帧。
传统方法中，大多数算法基于若干假设，用恒定参数模拟摄像机和道路几何之间的关系，以有效地检测车道。这些方法在检测位于假设区域中的多个车道方面是有效的，但是系统是不稳定的，因为道路平面可以通过驾驶车辆的振动，倾斜和横向移动而影响到假设的几何关系。还有些研究假设所有车道在路面上彼此平行，使得相邻车道易于检测并且还消除误检。在高速公路上，这种假设在多个车道的大多数情况下都是有效的。然而，在通常出现非平行车道的城市情况下，具有并行性假设的车道检测算法可能导致非平行车道的误检测。
本发明依据智能化时代背景，结合智能驾驶平台环境感知模块对于结构化道路信息的需求，能适用于复杂工况下的城市及高速公路的车道线检测。本发明在没有并行性的情况下成功检测多车道标记，采用条件随机场(CRF)这个解决多个关联任务的强大模型。然后针对拟合出的各个线性特征，利用动态投票的方式获取消失点，对非道路线性特征进行滤除。再然后基于道路图像帧与帧之间的距离关联特征，采用卡尔曼滤波实现连续帧之间的特征稳定性关联。本发明具有极强的实际应用价值，本发明能通过代码化应用于自动驾驶车辆上，车道检测准确、检测速度快。
附图说明
下面结合附图与具体实施方式对本发明作进一步详细的说明：
图1是本发明流程示意图。
具体实施方式
本发明提供一种计算机视觉车道线检测系统一实施例，包括：车道线提取模块、车道线拟合模块、车道线滤除模块和滤波模块；
所述车道线提取模块，通过图像相邻像素之间的强梯度值提取车道线边缘特征，生成车道线超标，根据车道线边缘特征是否相互连接和是否具有相同的方向性生成超标,对产生的超标进行二次筛选，再通过预设参数利用超标提取车道线标记块；所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；
所述二次筛选是对HSV(色调、饱和度、明亮度)三通道分割进行阈值滤波，所述预设参数包括车道线标记块的颜色、大小和位置。
其中，所述车道线边缘特征满足两个局部最大值的间隔在最小估计车道特征宽度wm和最大估计车道特征宽度wM之间,提取车道线边缘特征采用以下方式；
利用两个滤波器fl和fr通过在输入图像I(x，y)中逐行扫描检测凸显左右边缘，获得滤波后的图像Il(x；y)和Ir(x；y)，进行图像函数公式阈值化，函数根据输入强度给出可变阈值；
通过上述两个阈值化图像，在每个图像中找到局部最大值来提取车道线边缘特征Xi＝(xi，yi)，其是表示特征的位置的矢量。
所述车道线拟合模块，对车道线提取模块提取的车道线标记块，滤除非车道线对拟合车道线干扰后进行拟合生成拟合车道线；车道线拟合模块通过条件随机场(CRF)对车道线标记块进行拟合生成拟合车道线，所述条件随机场(CRF)拟合采用以下方式；
构造CRF图G＝(V，E)，其中每个顶点指示两个超标的可能关联，并连接顶点的边表示它们之间的相关性的存在。通过两个测量函数distgeo和distdir确定顶点，用于计算两个超标的几何距离和方向性；
其中hi是超标记si的头部，tj是超标记sj的尾部，而表示由hi和tj构成的线的倾斜角度，如果distgeo和distdir都处于设置为包含来自实际数据集的所有正样本的阈值之下，则称这两个超标是可关联的并且变为顶点vk＝(si→sj)；CRF图中的边在通过图中任何跳跃共享顶点中至少一个相同超标的所有顶点之间进行，使得顶点的子集形成集团；
顶点的一元项表示其自身的概率，而成对项表示由边连接的顶点之间的关系的概率；
P(L|S)表示标签集的整体概率，而是图的能量，由一元电位U(lk|sk)和集团电位组成，C是图G中集团集合cl(G)中的集团；
基于获得图的能量，标签集L*通过最小化图的能量来确定；
通过能量最小化，产生超标之间的最终关联结果形成拟合车道线。
所述车道线滤除模块，滤除非车道线对拟合车道线的干扰；所述车道线滤除模块滤除非车道线对拟合车道线干扰采用以下方式；
提取图像中候选拟合车道线，通过拟合车道线的交点投票确定道路消失点的位置信息，判别所有的检出直线特征是否通过消失点区域，并以此作为滤除条件滤除非车道线的干扰。
所述滤波模块，根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。所述滤波模块利用卡尔曼(kalman)滤波前后帧关联的滤波方法对拟合车道线进行滤波，滤除非车道线形成车道线方程，所述卡尔曼(kalman)滤波前后帧关联的滤波方法包括：
在图像第一帧检测结束后，对卡尔曼滤波器的参数进行初始化，后帧车道线参数方程系数与前帧车道线参数方程系数对比，若满足设定阈值，则认为两条车道线参数方程为同一车道线，用后帧的车道线参数方程系数作为观测量对状态量进行更新；若不满足设定阈值，则保持预设数量的帧等待新帧关联，如仍未被关联则进入参数方程删除步骤；对于保持预设数量帧仍不满足匹配要求的车道线参数方程，追溯该帧之前三帧的车道线参数方程，如果与前面三帧均可获得可靠匹配，则进入车道线参数方程增加步骤。所述预设数量为1-10帧，优选为1帧、2帧、3帧、4帧、5帧、6帧、7帧、8帧、9帧或10帧。
进一步改进所述车道线提取模块根据颜色对超标进行筛选，将符合颜色超标的车道线标记块提取形成车道线，通过HSV空间中，色相H、饱和度S的不同进行阈值对超标进行颜色筛选，比如白色或黄色。
如图1所示.本发明提供一种计算机视觉车道线检测方法一实施例，包括以下步骤：
1)提取图像中车道线边缘特征，通过图像相邻像素之间的强梯度值提取车道线边缘特征，所述车道线边缘特征满足两个局部最大值的间隔在最小估计车道特征宽度wm和最大估计车道特征宽度wM之间，提取车道线边缘特征采用以下方式；
利用两个滤波器fl和fr通过在输入图像I(x，y)中逐行扫描检测凸显左右边缘，获得滤波后的图像Il(x；y)和Ir(x；y)，进行图像函数公式阈值化，函数根据输入强度给出可变阈值；
通过上述两个阈值化图像，在每个图像中找到局部最大值来提取车道线边缘特征xi＝(xi，yi)，其是表示特征的位置的矢量。
2)根据车道线边缘特征是否相互连接和是否具有相同的方向性生成超标，对产生的超标进行二次筛选后再形成车道线标记块，所述二次筛选是对HSV三通道分割进行阈值滤波。所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；
3)通过预设参数利用超标提取车道线标记块；所述预设参数包括车道线标记块的颜色、大小和位置。
4)所车道线标记块进行拟合生成拟合车道线；通过条件随机场(CRF)对车道线标记块进行拟合生成拟合车道线,所述条件随机场(CRF)拟合采用以下方式；
构造CRF图G＝(V，E)，其中每个顶点指示两个超标的可能关联，并连接顶点的边表示它们之间的相关性的存在。通过两个测量函数distgeo和distdir确定顶点，用于计算两个超标的几何距离和方向性；
其中hi是超标记si的头部，tj是超标记sj的尾部，而表示由hi和tj构成的线的倾斜角度，如果distgeo和distdir都处于设置为包含来自实际数据集的所有正样本的阈值之下，则称这两个超标是可关联的并且变为顶点vk＝(si→sj)；CRF图中的边在通过图中任何跳跃共享顶点中至少一个相同超标的所有顶点之间进行，使得顶点的子集形成集团；
顶点的一元项表示其自身的概率，而成对项表示由边连接的顶点之间的关系的概率；
P(L|S)表示标签集的整体概率，而是图的能量，由一元电位U(lk|sk)和集团电位组成，C是图G中集团集合cl(G)中的集团；
基于获得图的能量，标签集L*通过最小化图的能量来确定；
通过能量最小化，产生超标之间的最终关联结果形成拟合车道线。
5)滤除非车道线对拟合车道线的干扰；滤除非车道线对拟合车道线干扰采用以下方式；
提取图像中候选拟合车道线，通过拟合车道线的交点投票确定道路消失点的位置信息，判别所有的检出直线特征是否通过消失点区域，并以此作为滤除条件滤除非车道线的干扰。
6)根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。利用卡尔曼(kalman)滤波前后帧关联的滤波方法对拟合车道线进行滤波，滤除非车道线形成车道线方程，所述卡尔曼(kalman)滤波前后帧关联的滤波方法包括：
在图像第一帧检测结束后，对卡尔曼滤波器的参数进行初始化，后帧车道线参数方程系数与前帧车道线参数方程系数对比，若满足设定阈值，则认为两条车道线参数方程为同一车道线，用后帧的车道线参数方程系数作为观测量对状态量进行更新；若不满足设定阈值，则保持预设数量的帧等待新帧关联，如仍未被关联则进入参数方程删除步骤；对于保持预设数量帧仍不满足匹配要求的车道线参数方程，追溯该帧之前三帧的车道线参数方程，如果与前面三帧均可获得可靠匹配，则进入车道线参数方程增加步骤。所述预设数量为1-10帧，优选为1帧、2帧、3帧、4帧、5帧、6帧、7帧、8帧、9帧或10帧。
进一步改进所述的计算机视觉车道线检测方法，根据颜色对超标进行筛选，将符合颜色超标的车道线标记块提取形成车道线。通过HSV空间中，色相H、饱和度S的不同进行阈值对超标进行颜色筛选。
以上通过具体实施方式和实施例对本发明进行了详细的说明，但这些并非构成对本发明的限制。在不脱离本发明原理的情况下，本领域的技术人员还可做出许多变形和改进，这些也应视为本发明的保护范围。
Claims (32)
1.一种计算机视觉车道线检测系统，其特征在于，包括：车道线提取模块、车道线拟合模块、车道线滤除模块和滤波模块；
所述车道线提取模块，提取图像中车道线边缘特征，生成车道线超标，通过预设参数利用超标提取车道线标记块；所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；
所述车道线拟合模块，对车道线提取模块提取的车道线标记块进行拟合生成拟合车道线；
所述车道线滤除模块，滤除非车道线对拟合车道线的干扰；
所述滤波模块，根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。
2.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述车道线提取模块通过图像相邻像素之间的强梯度值提取车道线边缘特征。
3.如权利要求2所述的计算机视觉车道线检测系统，其特征在于：所述车道线提取模块提取车道线边缘特征采用以下方式；
利用两个滤波器fl和fr通过在输入图像I(x，y)中逐行扫描检测凸显左右边缘，获得滤波后的图像Il(x；y)和Ir(x；y)，进行图像函数公式阈值化，函数根据输入强度给出可变阈值；
通过上述两个阈值化图像，在每个图像中找到局部最大值来提取车道线边缘特征Xi＝(xi，yi)，其是表示特征的位置的矢量。
4.如权利要求3所述的计算机视觉车道线检测系统，其特征在于：所述车道线边缘特征满足两个局部最大值的间隔在最小估计车道特征宽度wm和最大估计车道特征宽度wM之间。
5.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述车道线提取模块根据车道线边缘特征是否相互连接和是否具有相同的方向性生成超标。
6.如权利要求5所述的计算机视觉车道线检测系统，其特征在于：对产生的超标进行二次筛选后再形成车道线标记块。
7.如权利要求6所述的计算机视觉车道线检测系统，其特征在于：所述二次筛选是对HSV三通道分割进行阈值滤波。
8.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述预设参数包括车道线标记块的颜色、大小和位置。
9.如权利要求8所述的计算机视觉车道线检测系统，其特征在于：所述车道线提取模块根据颜色对超标进行筛选，将符合颜色超标的车道线标记块提取形成车道线。
10.如权利要求9所述的计算机视觉车道线检测系统，其特征在于：通过HSV空间中，色相H、饱和度S的不同进行阈值对超标进行颜色筛选。
11.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述车道线拟合模块通过条件随机场(CRF)对车道线标记块进行拟合生成拟合车道线。
12.如权利要求11所述的计算机视觉车道线检测系统，其特征在于：所述条件随机场(CRF)拟合采用以下方式；
构造CRF图G＝(V，E)，其中每个顶点指示两个超标的可能关联，并连接顶点的边表示它们之间的相关性的存在。通过两个测量函数distgeo和distdir确定顶点，用于计算两个超标的几何距离和方向性；
其中hi是超标记si的头部，tj是超标记sj的尾部，而表示由hi和tj构成的线的倾斜角度，如果distgeo和distdir都处于设置为包含来自实际数据集的所有正样本的阈值之下，则称这两个超标是可关联的并且变为顶点vk＝(si→sj)；CRF图中的边在通过图中任何跳跃共享顶点中至少一个相同超标的所有顶点之间进行，使得顶点的子集形成集团；
顶点的一元项表示其自身的概率，而成对项表示由边连接的顶点之间的关系的概率；
P(L|S)表示标签集的整体概率，而是图的能量，由一元电位U(lk|sk)和集团电位组成，C是图G中集团集合cl(G)中的集团；
基于获得图的能量，标签集L*通过最小化图的能量来确定；
通过能量最小化，产生超标之间的最终关联结果形成拟合车道线。
13.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述车道线滤除模块滤除非车道线对拟合车道线干扰采用以下方式；
提取图像中候选拟合车道线，通过拟合车道线的交点投票确定道路消失点的位置信息，判别所有的检出直线特征是否通过消失点区域，并以此作为滤除条件滤除非车道线的干扰。
14.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述滤波模块利用卡尔曼(kalman)滤波前后帧关联的滤波方法对拟合车道线进行滤波，滤除非车道线形成车道线方程。
15.如权利要求14所述的计算机视觉车道线检测系统，其特征在于：所述卡尔曼(kalman)滤波前后帧关联的滤波方法包括：
在图像第一帧检测结束后，对卡尔曼滤波器的参数进行初始化，后帧车道线参数方程系数与前帧车道线参数方程系数对比，若满足设定阈值，则认为两条车道线参数方程为同一车道线，用后帧的车道线参数方程系数作为观测量对状态量进行更新；若不满足设定阈值，则保持预设数量的帧等待新帧关联，如仍未被关联则进入参数方程删除步骤；对于保持预设数量帧仍不满足匹配要求的车道线参数方程，追溯该帧之前三帧的车道线参数方程，如果与前面三帧均可获得可靠匹配，则进入车道线参数方程增加步骤。
16.如权利要求15所述的计算机视觉车道线检测系统，其特征在于：所述预设数量为1-10帧。
17.一种计算机视觉车道线检测方法，其特征在于，包括以下步骤：
1)提取图像中车道线边缘特征；
2)生成车道线超标，所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；
3)通过预设参数利用超标提取车道线标记块；
4)所车道线标记块进行拟合生成拟合车道线；
5)滤除非车道线对拟合车道线的干扰；
6)根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。
18.如权利要求17所述的计算机视觉车道线检测方法，其特征在于：执行步骤1)时，通过图像相邻像素之间的强梯度值提取车道线边缘特征。
19.如权利要求18所述的计算机视觉车道线检测方法，其特征在于：提取车道线边缘特征采用以下方式；
利用两个滤波器fl和fr通过在输入图像I(x，y)中逐行扫描检测凸显左右边缘，获得滤波后的图像Il(x；y)和Ir(x；y)，进行图像函数公式阈值化，函数根据输入强度给出可变阈值；
通过上述两个阈值化图像，在每个图像中找到局部最大值来提取车道线边缘特征Xi＝(xi，yi)，其是表示特征的位置的矢量。
20.如权利要求19所述的计算机视觉车道线检测方法，其特征在于：所述车道线边缘特征满足两个局部最大值的间隔在最小估计车道特征宽度wm和最大估计车道特征宽度wM之间。
21.如权利要求17所述的计算机视觉车道线检测方法，其特征在于：执行步骤2)时，根据车道线边缘特征是否相互连接和是否具有相同的方向性生成超标。
22.如权利要求21所述的计算机视觉车道线检测方法，其特征在于：对产生的超标进行二次筛选后再形成车道线标记块。
23.如权利要求22所述的计算机视觉车道线检测方法，其特征在于：所述二次筛选是对HSV三通道分割进行阈值滤波。
24.如权利要求17所述的计算机视觉车道线检测方法，其特征在于：执行步骤3)时，所述预设参数包括车道线标记块的颜色、大小和位置。
25.如权利要求24所述的计算机视觉车道线检测方法，其特征在于：根据颜色对超标进行筛选，将符合颜色超标的车道线标记块提取形成车道线。
26.如权利要求25所述的计算机视觉车道线检测方法，其特征在于：通过HSV空间中，色相H、饱和度S的不同进行阈值对超标进行颜色筛选。
27.如权利要求17所述的计算机视觉车道线检测方法，其特征在于：执行步骤4)时，通过条件随机场(CRF)对车道线标记块进行拟合生成拟合车道线。
28.如权利要求27所述的计算机视觉车道线检测方法，其特征在于：所述条件随机场(CRF)拟合采用以下方式；
构造CRF图G＝(V，E)，其中每个顶点指示两个超标的可能关联，并连接顶点的边表示它们之间的相关性的存在。通过两个测量函数distgeo和distdir确定顶点，用于计算两个超标的几何距离和方向性；
其中hi是超标记si的头部，tj是超标记sj的尾部，而表示由hi和tj构成的线的倾斜角度，如果distgeo和distdir都处于设置为包含来自实际数据集的所有正样本的阈值之下，则称这两个超标是可关联的并且变为顶点vk＝(si→sj)；CRF图中的边在通过图中任何跳跃共享顶点中至少一个相同超标的所有顶点之间进行，使得顶点的子集形成集团；
顶点的一元项表示其自身的概率，而成对项表示由边连接的顶点之间的关系的概率；
P(L|S)表示标签集的整体概率，而是图的能量，由一元电位U(lk|sk)和集团电位组成，C是图G中集团集合cl(G)中的集团；
基于获得图的能量，标签集L*通过最小化图的能量来确定；
通过能量最小化，产生超标之间的最终关联结果形成拟合车道线。
29.如权利要求17所述的计算机视觉车道线检测方法，其特征在于：执行步骤5) 时，滤除非车道线对拟合车道线干扰采用以下方式；
提取图像中候选拟合车道线，通过拟合车道线的交点投票确定道路消失点的位置信息，判别所有的检出直线特征是否通过消失点区域，并以此作为滤除条件滤除非车道线的干扰。
30.如权利要求17所述的计算机视觉车道线检测方法，其特征在于：执行步骤6)时，利用卡尔曼(kalman)滤波前后帧关联的滤波方法对拟合车道线进行滤波，滤除非车道线形成车道线方程。
31.如权利要求30所述的计算机视觉车道线检测方法，其特征在于：所述卡尔曼(kalman)滤波前后帧关联的滤波方法包括：
在图像第一帧检测结束后，对卡尔曼滤波器的参数进行初始化，后帧车道线参数方程系数与前帧车道线参数方程系数对比，若满足设定阈值，则认为两条车道线参数方程为同一车道线，用后帧的车道线参数方程系数作为观测量对状态量进行更新；若不满足设定阈值，则保持预设数量的帧等待新帧关联，如仍未被关联则进入参数方程删除步骤；对于保持预设数量帧仍不满足匹配要求的车道线参数方程，追溯该帧之前三帧的车道线参数方程，如果与前面三帧均可获得可靠匹配，则进入车道线参数方程增加步骤。
32.如权利要求31所述的计算机视觉车道线检测方法，其特征在于：所述预设数量为1-10帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811569460.0A CN109670455A (zh) | 2018-12-21 | 2018-12-21 | 计算机视觉车道线检测系统及其检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811569460.0A CN109670455A (zh) | 2018-12-21 | 2018-12-21 | 计算机视觉车道线检测系统及其检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109670455A true CN109670455A (zh) | 2019-04-23 |
Family
ID=66145678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811569460.0A Pending CN109670455A (zh) | 2018-12-21 | 2018-12-21 | 计算机视觉车道线检测系统及其检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109670455A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414425A (zh) * | 2019-07-26 | 2019-11-05 | 清华大学 | 一种基于灭点检测的宽度自适应车道线检测方法及系统 |
| CN113255404A (zh) * | 2020-02-11 | 2021-08-13 | 北京百度网讯科技有限公司 | 车道线识别方法、装置、电子设备和计算机可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010099789A1 (de) * | 2009-03-04 | 2010-09-10 | Continental Teves Ag & Co. Ohg | Verfahren zur automatischen erkennung eines fahrmanövers eines kraftfahrzeugs und ein dieses verfahren umfassendes fahrerassistenzsystem |
| CN105893949A (zh) * | 2016-03-29 | 2016-08-24 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
| CN106295607A (zh) * | 2016-08-19 | 2017-01-04 | 北京奇虎科技有限公司 | 道路识别方法及装置 |
| CN106529505A (zh) * | 2016-12-05 | 2017-03-22 | 惠州华阳通用电子有限公司 | 一种基于图像视觉的车道线检测方法 |
| CN106709465A (zh) * | 2016-12-29 | 2017-05-24 | 武汉大学 | 基于条件随机场的极化sar图像道路提取方法 |
| CN106778551A (zh) * | 2016-11-30 | 2017-05-31 | 南京理工大学 | 一种高速路段及城市道路车道线识别方法 |
| CN106842231A (zh) * | 2016-11-08 | 2017-06-13 | 长安大学 | 一种道路边界检测及跟踪方法 |
| CN108664969A (zh) * | 2018-04-28 | 2018-10-16 | 西安电子科技大学 | 基于条件随机场的路标识别方法 |
| CN108960183A (zh) * | 2018-07-19 | 2018-12-07 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别系统及方法 |
| CN109034047A (zh) * | 2018-07-20 | 2018-12-18 | 京东方科技集团股份有限公司 | 一种车道线检测方法及装置 |
-
2018
- 2018-12-21 CN CN201811569460.0A patent/CN109670455A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010099789A1 (de) * | 2009-03-04 | 2010-09-10 | Continental Teves Ag & Co. Ohg | Verfahren zur automatischen erkennung eines fahrmanövers eines kraftfahrzeugs und ein dieses verfahren umfassendes fahrerassistenzsystem |
| CN105893949A (zh) * | 2016-03-29 | 2016-08-24 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
| CN106295607A (zh) * | 2016-08-19 | 2017-01-04 | 北京奇虎科技有限公司 | 道路识别方法及装置 |
| CN106842231A (zh) * | 2016-11-08 | 2017-06-13 | 长安大学 | 一种道路边界检测及跟踪方法 |
| CN106778551A (zh) * | 2016-11-30 | 2017-05-31 | 南京理工大学 | 一种高速路段及城市道路车道线识别方法 |
| CN106529505A (zh) * | 2016-12-05 | 2017-03-22 | 惠州华阳通用电子有限公司 | 一种基于图像视觉的车道线检测方法 |
| CN106709465A (zh) * | 2016-12-29 | 2017-05-24 | 武汉大学 | 基于条件随机场的极化sar图像道路提取方法 |
| CN108664969A (zh) * | 2018-04-28 | 2018-10-16 | 西安电子科技大学 | 基于条件随机场的路标识别方法 |
| CN108960183A (zh) * | 2018-07-19 | 2018-12-07 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别系统及方法 |
| CN109034047A (zh) * | 2018-07-20 | 2018-12-18 | 京东方科技集团股份有限公司 | 一种车道线检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| LIANG-CHIEH CHEN 等: "SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414425A (zh) * | 2019-07-26 | 2019-11-05 | 清华大学 | 一种基于灭点检测的宽度自适应车道线检测方法及系统 |
| CN113255404A (zh) * | 2020-02-11 | 2021-08-13 | 北京百度网讯科技有限公司 | 车道线识别方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Pointlanenet: Efficient end-to-end cnns for accurate real-time lane detection | |
| JP6347815B2 (ja) | 車線境界を検出する方法、装置、およびデバイス | |
| US8750567B2 (en) | Road structure detection and tracking | |
| CN105261020B (zh) | 一种快速车道线检测方法 | |
| Malbog | MASK R-CNN for pedestrian crosswalk detection and instance segmentation | |
| Huang et al. | On-board vision system for lane recognition and front-vehicle detection to enhance driver's awareness | |
| Tümen et al. | Intersections and crosswalk detection using deep learning and image processing techniques | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN111259796A (zh) | 一种基于图像几何特征的车道线检测方法 | |
| Tumen et al. | Recognition of road type and quality for advanced driver assistance systems with deep learning | |
| CN104915642A (zh) | 前方车辆测距方法及装置 | |
| KR102194890B1 (ko) | 신경망을 이용한 차량 번호판 인식 기술이 적용된 무인 단속 및 도로 방범 방법 및 시스템 | |
| Jo | LED Dot matrix text recognition method in natural scene | |
| Zhang et al. | Gc-net: Gridding and clustering for traffic object detection with roadside lidar | |
| CN109670455A (zh) | 计算机视觉车道线检测系统及其检测方法 | |
| CN111950498A (zh) | 一种基于端到端实例分割的车道线检测方法及装置 | |
| JP2006018688A (ja) | 道路環境認識方法及び道路環境認識装置 | |
| Xuan et al. | Robust lane-mark extraction for autonomous driving under complex real conditions | |
| CN114530042A (zh) | 一种基于物联网技术的城市交通大脑监控系统 | |
| KR102157990B1 (ko) | 신경망을 이용한 차량 번호판 인식 방법 및 시스템 | |
| CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 | |
| CN110458234A (zh) | 一种基于深度学习的以图搜车方法 | |
| Ren et al. | LaneDraw: Cascaded lane and its bifurcation detection with nested fusion | |
| CN115273005A (zh) | 一种基于改进yolo算法的视觉导航车环境感知方法 | |
| KR102161948B1 (ko) | 신경망을 이용한 차량 번호판 인식 기술이 적용된 주차 유도 시스템 및 이의 주차 차량 위치 정보 제공 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200604 Address after: 200031 No. 390, Wukang Road, Xuhui District, Shanghai Applicant after: Shanghai Automotive Industry Corporation (Group) Applicant after: DIAS AUTOMOTIVE ELECTRONIC SYSTEM Co.,Ltd. Address before: 201206 Shanghai city Pudong New Area Jinji Road 33 Lane 4 Building 4 floor Applicant before: DIAS AUTOMOTIVE ELECTRONIC SYSTEM Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190423 |
|
| WD01 | Invention patent application deemed withdrawn after publication |