CN1230690C - 采用车载摄像机对道路信息的抽样方法 - Google Patents
采用车载摄像机对道路信息的抽样方法 Download PDFInfo
- Publication number
- CN1230690C CN1230690C CNB011454016A CN01145401A CN1230690C CN 1230690 C CN1230690 C CN 1230690C CN B011454016 A CNB011454016 A CN B011454016A CN 01145401 A CN01145401 A CN 01145401A CN 1230690 C CN1230690 C CN 1230690C
- Authority
- CN
- China
- Prior art keywords
- length
- marker
- vehicle
- gradient
- vertical section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种采用车载摄像机对道路信息的抽样方法。道路信息抽样方法包括有影像输入阶段和坡度判断阶段。影像输入阶段是在装有摄像机的车辆中,由控制部去检索从摄像机输入的影像,从而去感知道路标识物和车辆;坡度判断阶段是由控制部将根据感知的标识物长度与标准长度之间的差异,去计算纵向断面的坡度。于是从摄像机的影像,可判断出道路的水平曲率和纵向断面坡度,进而能以很高的精度去判断道路的状况。而且只需装一套摄像系统,就能适用于道路信息的抽样和车辆间距的探测。
Description
技术领域
本发明涉及有关采用车载摄像机对道路信息进行抽样的方法以及对车辆间距进行探测的方法。更详细地说,它是涉及有关对安装在车辆上的由单一摄像机拍摄的影像,进行上坡和下坡的补充修订,借以去检测车线和去探测先行车辆的一种装有摄像机的车辆对道路信息进行抽样及对车辆间距进行探测的方法。
背景技术
通常,无人汽车设有认知行驶环境和自动行驶功能的一种系统。在这种系统中,有模拟车线的车线检测系统和探测先行车辆来避免追尾的车辆探测系统等。
车线检测系统的道路模拟技术方法是,去检测在道路上按特定体系配置好的标识物,并根据其分布状态来认识道路形状的一种方法。
利用车线检测系统的标识物,是由一个在低亮度的道路上,按一定间隔配置的亮度高的白色车线,或者代替车线而配置的能反射特定波长的光波或电磁波的物体来构成。因此可以利用摄像机等来拍摄自身车辆前方的影像,借以去检测该影像中的车线,进而去判断道路的形状。
这时,应按一定的要求来配置标识物才可。在通常的道路上,车线的幅宽、长度以及间隔是一定的。所以,系统内的逻辑判断装置,去分析标识物之间的配置关系,就能去判断道路的曲率或车速。
另外,如像车辆探测系统,用来探测自身车辆以外的标识物技术是比较复杂的。举例来说,若想探测先行车辆,那么就得要考虑标识物的加速度变化或各个标识物的区别等之外,还得要考虑信号的干涉问题。
车辆探测系统的主要功能是检测车辆间距。根据该检测结果,可以去预测先行车辆和自身车辆之间发生追尾的危险性。为检测车辆间距,在车辆探测系统中,还可以利用立体摄像机、激光雷达或毫米波雷达等。
如上所述,车线检测系统和车辆探测系统的探测对象,各自具有不同的特性。所以,车线检测和车辆探测要分隔开来,分别各自形成不同的系统。举例来说,可以在一个车辆上,安装利用摄像机的车线检测系统和利用毫米波雷达的车辆探测系统来实现无人驾驶汽车。
然而,立体摄像机存在着摄像机的附加费用高以及摄像机安装困难的问题。而激光雷达,由于其直线性强,存在着使其探测范围窄小的问题;另外激光雷达,由于湿气致使的散射,存在着稳定性低的问题。而毫米波雷达在道路上探测一定界线内的车辆时,虽然具有很高的精度,但存在着装备太贵的问题。
如上所述,过去未曾有过能做到同时完成车线检测和车辆探测任务的,一种成本低而装备简单的技术。
发明内容
本发明的目的在于提供一种采用车载摄像机对道路信息的抽样方法。该方法是通过对安装在车辆上的由单一摄像机拍摄的影像,进行上坡和下坡的补充修订来检测车线和探测先行车辆的。
为了达到上述的目的,本发明,即装有摄像机的车辆对道路信息的抽样方法,设有影像输入阶段和坡度判断阶段。其中,在影像输入阶段,由装有摄像机的车辆控制部去检索从摄像机输入的影像,从而去感知道路标识物和车辆;坡度判断阶段是由控制部,将根据感知的标识物长度与标准长度之间的差异,去计算纵向断面的坡度。
为了达到上述的目的,本发明,即装有摄像机的车辆对车辆间距的探测方法,设有计算车辆间距阶段、计算纵向纵向断面坡度和水平曲率阶段以及补充修订阶段。在计算车辆间距阶段中,装有摄像机的车辆由控制部去检索从摄像机输入的影像,感知道路标识物和车辆,再根据感知的标识物长度去计算出摄像机和车辆之间的距离,即探测距离。在计算纵向断面坡度和水平曲率阶段,控制部如果被感知标识物的延线中,相邻两条延线没有一定的倾斜度,那么利用上述两条延线之间的相关系数计算出纵向断面坡度和水平曲率。在补充修订阶段,控制部从设定的检索表中,去检索对应于纵向断面坡度和水平曲率的补充修订值,然后计入被检索的补充修订值去补充修订车辆探测距离。
通过本发明展开的道路信息抽样方法,包括有影像输入阶段和坡度判断阶段。其中,影像输入阶段是在装有摄像机的车辆中,由控制部去检索从摄像机输入的影像,从而去感知道路标识物和车辆;坡度判断阶段是由控制部,将根据感知的标识物长度与标准长度之间的差异,去计算纵向断面的坡度。
在影像输入阶段,只用单一的摄像机,而控制部将从单一摄像机输入的影像中,检索按标准规格制作的标识物和车辆。
在坡度判断阶段,标识物长度指的是相对于一个以特定间隔连续配置的特种标识物而言,任意标识物与有关种类的邻接标识物之间的相隔距离。
坡度判断阶段是由下凹纵向断面坡度计算阶段、上凸纵向断面坡度计算阶段以及平地判定阶段组成。在下凹纵向断面坡度计算阶段,如果在一个特定地点被感知的标识物长度,跟在该地点的基准长度相比变小时,控制部将把该地点判定为下凹坡面,再根据设定的第1断面倾斜判定函数去计算下凹纵向断面坡度。在上凸纵向断面坡度计算阶段,如果在一个特定地点被感知的标识物长度,跟在该地点的基准长度相比变大时,控制部将把该地点判定为上凸坡面,再根据设定的第2断面倾斜判定函数去计算上凸纵向断面坡度。在平地判定阶段,如果在一个特定地点被感知的标识物长度,跟在该地点的基准长度相同时,控制部将把该地点判定为平面。
最好是把感知标识物长度的地点设定为先行车辆被检索的地点;标识物的长度指的是在影像中从摄像机的路面上的投影点起到先行车辆被检索地点范围内的标识物长度;基准长度指的是在平地上的各个标识物被投影在影像内的长度。
在坡度判断阶段,第1断面倾斜判定函数和第2断面倾斜判定函数,将把道路设计速度、纵向断面曲率半径以及被感知标识物长度作为因素,去算出该纵向断面倾斜处的实际弧长。
另外,在影像输入阶段,如果从拍摄的影像中被检索的标识物线型被判定为曲线,那么控制部将根据标识物的长度、道路设计速度及设计回转半径,计算出标识物的实际长度。
本发明,即装有摄像机的车辆对道路信息进行抽样的方法,由于能从摄像机的影像来判定道路的水平曲率或纵向断面坡度,从而具有一种能去提高自动行驶系统的行驶安全的效果。
与此同时,本发明,即装有摄像机的车辆对车辆间距的探测方法,由于能去感知先行车辆,而且能以很高的精度计算出到达该车辆的距离,所以能提高根据车辆间距进行判断的可靠性。尤其对防追尾系统来说,它是主要依据车辆间距来对险情进行判断的,所以利用本发明就会提高它的可靠性和安全性。
另外,本发明的道路信息抽样方法和车辆间距探测方法可以利用在装有单一摄像机的系统上。也就是说,可以通过单一摄像机拍摄的影像来对道路信息进行抽样的同时,根据同一个影像来探测车辆间距。
下面将参照附图对本发明的实例进行具体说明。
附图说明
图1是本发明的一个利用摄像机的防追尾系统的安装图。
图2是本发明的一个高速公路标准规格的例示图;该规格利用于装有摄像机的车辆对道路信息进行抽样的方法。
图3是本发明的一个实例,是装有摄像机的车辆进行抽样的一个程序图。
图4是在本发明,即装有摄像机的车辆进行抽样的方法中,应用下凹纵向断面坡度判定函数的一个实例。
图5是在本发明,即装有摄像机的车辆进行抽样的方法中,适用上凸纵向断面坡度判定函数的一个实例。
图6是在本发明,即装有摄像机的车辆进行抽样的方法中,适用平面曲率半径判定函数的一个实例。
图7是本发明,即装有摄像机的车辆,对车辆间距进行探测的一个实例程序图。
图8是将本发明,即装有摄像机的车辆对车辆间距进行探测的方法,应用于探测纵向断面坡度上的一个例示图。
图9是在图7的探测方法中,对纵向断面坡度和水平曲率进行补充修订的一个例示图。
本发明的道路信息抽样方法适用于设置单一摄像机的防追尾系统等的装备。以下把它简称为系统。
在图1中,把系统安装到车辆时,以穿过摄像机镜头中心的垂轴(Z)为基准,去决定几个参量(或因素)。这时的参量将表示摄像机与路面之间的位置关系。有关的参量有:摄像机的高度(H),从摄像机到车头前端的距离(D)以及摄像机的倾角(Y)等。
对一般的轿车而言,上述的三个参量分别为1.15m,1.9m,及1.72°。
另外,如在图2所示,高速公路都按标准规格,用道路标识物来设置车线。即,两旁最外侧的路边分别为2.0~3.0m,单一的中心隔离带为2.0~3.0m,车线长度为10m,车线长度方向的间隔为10m,车线幅宽为0.2m,以及车线沿幅宽方向的相隔距离为3.0~3.5m等。利用这种标准规格,去构成本实例的检索表。除此之外,对于具备一定规格的普通道路,在反映该规格及设定检索表之后,可以适用本发明。
所以如在图3中所示,把安装在车辆上的摄像机,在平面上拍摄的各个车线作为基准,去设定在影像中投影出来的车线基准长度。这时,在影像中投影的车线长度,将随着摄像机与车线之间的距离变大,会按一定的比例变小(S310)。
在S310中设定的基准长度是平地上的长度,因此需要设定一个考虑道路纵向断面倾斜和水平曲率的补充修订值。即,设定一个随道路形状而投影到影像上的车线长度与基准长度之间的对应关系,并把它制成一个检索表格存储到存储媒体中,以便让控制部能去检索它(S320)。
在S320阶段,若能形成检索表,那么就能去运用系统。因此摄像机就能去拍摄道路上标识物,把影像传送给控制部。若使用CCD(电荷耦合器件),那么可连续输入影像;由于传送数字化信号,因而可去缩短微处理机的处理时间(S330)。
在S330阶段,如果输入影像,那么控制部将从影像中感知道路标识物。这时利用道路和车线之间的明暗等差别,可以去感知车线。认识车线的技术将不受本发明的限制(S340)。
在S340阶段,如果感知了车线,那么控制部将去确认车线的投影长度与对应于该车线的基准长度之间的差异,并计算出纵向断面坡度。纵向断面坡度是只当示出的投影长度和基准长度不同时,才去计算的;它被存储到在S310阶段和S320阶段中形成的检索表中(S350)。
在上述的道路信息抽样方法中,根据道路纵向断面倾斜进行计算的具体应用实例说明如下。
下凹纵向断面曲线被投影时,犹如位于比实际位置更远处的样子。因此不能把道路假定为简单的平面。这时纵向断面曲率半径跟可视距离相比相对要大,因此可以去假定从摄像机到标识物具有均一的曲率半径。
即,如在图4所示,从高度h把下凹纵向断面曲线的长度l的园弧,投影到平面上,那么投影像的长度就得L。这时纵向断面曲线的半径设为R,园弧l的张角设为Φ,那么分别成立下面的数学式1和2。
[数学式1]
[数学式2]
那么,摄像机的高度为1.2m时,为了在下凹纵向断面倾斜的情形下对道路长度进行抽样,可以设定如下表1所示的检索表。
[表1]
设计速度 | 纵向断面曲率半径 | 园弧长度(m) | ||||
100 | 80 | 60 | 40 | 20 | ||
120 | 7000 | 247.0 | 129.2 | 76.4 | 44.2 | 20.5 |
110 | 6000 | 327.2 | 144.0 | 80.0 | 45.0 | 20.6 |
100 | 5000 | 599.9 | 171.4 | 85.7 | 46.2 | 20.7 |
90 | 4000 | 240.0 | 96.0 | 48.0 | 20.9 | |
80 | 3000 | 719.6 | 120.0 | 51.4 | 21.2 | |
70 | 2000 | 150.0 | 54.5 | 21.4 |
举例来说,如果行驶中的道路设计速度为120公里/小时,那么纵向断面曲率半径(R)就为7000m;当弧长(l)为100m时影像的投影长度(L)从表1查得为247.0m。于是在设有这种检索表的系统中,控制部事先接收设计速度,去检测投影长度(L),进而计算出弧线的实际长度(l)。
如图5所示,上凸纵向断面曲线可以同下凹纵向断面曲线类似的体系去设定检索表。因此,弧长(l),曲率半径(R)及张角(Φ)之间将成立同数学式1相同的关系;而对在影像上的投影长度(L)将成立如下数学式3。
[数学式3]
于是,可以去设定如下表2所示的对上凸纵向断面曲线的检索表。这时,摄像机的高度(h)跟下凹纵向断面曲线的情形完全相同。
[表2]
设计速度 | 纵向断面曲率半径 | 园弧长度(m) | ||||
100 | 80 | 60 | 40 | 20 | ||
120 | 20000 | 82.8 | 70.6 | 55.8 | 38.2 | 19.8 |
110 | 16000 | 79.3 | 68.6 | 54.9 | 38.4 | 19.8 |
100 | 10000 | 70.6 | 63.2 | 52.2 | 37.5 | 19.7 |
90 | 7500 | 64.3 | 59.0 | 50.0 | 36.7 | 19.6 |
80 | 5000 | 54.5 | 52.2 | 46.2 | 35.3 | 19.4 |
70 | 3000 | 41.9 | 42.3 | 40.0 | 32.7 | 18.9 |
表2的构成体系跟表1完全相同。
这时,上凸纵向断面曲线,由于它在比位于实际道路标识物的距离要近的地方生成投影像,因此在这里也一样,简单平面的假定是不能成立的。纵向断面曲率半径由于比可视距离大,因此假定从摄像机到标识物具有均一曲率半径的假定可以成立。而且还能去检索表,并在允许的精度范围内,可以去判定路面的上凸纵向断面的倾斜状况。在上面对道路信息抽样方法做了说明。进一步改善这种道路信息抽样方法,还可用来计算道路的水平曲率。在平面道路上可以把曲线假设为直线,然后可以去比较弧长与影像投影长度。对此说明如下。
如在图6所示,平面曲线由4个参数决定。该参数有水平曲率半径(R),弧长(l),张角(θ)及弦长(r)等。各个参数之间下面的数学式4及数学式5都成立。在平面曲线中可以不考虑摄像机的设置位置。
[数学式4]
[数学式5]
于是,在标准道路上,可以构成如表3所示的用来表示弧长(l)和弦长(r)之间关系的检索表。在表3中,随设计速度的水平曲率半径是弯曲路面的最大偏倾斜以8%作为基准设定的,但是它可以改变。
[表3]
设计速度 | 纵向断面曲率半径 | 园弧长度(m) | ||||
100 | 80 | 60 | 40 | 20 | ||
120 | 630 | 100.1 | 90.1 | 80.1 | 70.1 | 60.0 |
110 | 530 | 100.3 | 90.2 | 80.1 | 70.1 | 60.1 |
100 | 420 | 100.5 | 90.4 | 80.3 | 70.2 | 60.1 |
90 | 340 | 100.9 | 90.6 | 80.4 | 70.3 | 60.2 |
80 | 250 | 101.6 | 91.1 | 80.8 | 70.5 | 60.3 |
70 | 180 | 103.0 | 92.1 | 81.5 | 71.0 | 60.6 |
60 | 130 | 105.9 | 94.2 | 82.9 | 71.9 | 61.2 |
那么,控制部感知投影在摄像机影像中的标识物长度,再从其中查出平面曲线上的弦长,然后去检索表3的检索表,从而可计算出弦的实际长度(l),
根据本发明即:道路信息的抽样方法是根据在路面上设置的按一定规格设计的车线等道路标识物,被投影在影像中的形态来算出纵向断面的倾斜或水平曲率,然后将其计入,并决定出该标识物的实际长度。
在上面对本发明的道路信息抽样方法做了说明。在下面将对本发明的车辆间距探测方法进行说明。
本发明公布的车辆探测方法是在装有摄像机车辆中,由控制部检索从摄像机输入的影像,去感知道路标识物和车辆,再根据感知标识物的长度去计算出摄像机与车辆之间的距离,在这里把它称为车辆探测距离。因此,被感知标识物的延续线中,两个相邻的延续线,如果没有一定的倾斜度,那么利用上述两条延续线之间的相关系数去算出纵向断面的坡度和水平曲率。控制部从设定的检索表中检索出对应于上述纵向断面坡度和水平曲率的补充修订值之后,将把该补充修订值加以计入,去补充修订探测车辆距离。
更具体地说,两条延续线之间的相关系数,当两条延续线沿左右的某一个方向同时都弯曲时,它将去补充修订水平曲率;当两条延续线分别以不同方向弯曲时,它将去补充修订纵向断面的坡度。
下面参照附图就这种本发明的车辆间距探测方法进行说明。
图7是本发明,即装有摄像机车辆的车辆间距探测方法的一个实例程序图;图8是应用本发明,即装有摄像机车辆的车辆间距探测方法,应用于纵向断面坡度上的一个例示图。图9是在图7的探测方法中,纵向断面坡度和水平曲率得到补充修订的一个例示图。
根据图7,先去探测路面上的先行车辆,决定出车辆探测距离(或车辆间距),然后对其进行适当的补充修订。最好是设置一个与道路信息抽样方法相关的逻辑装置,通过从单一的摄像机输出的影像一同去进行道路信息的抽样和车辆间距的探测。然后,去设定一个检索表,以便让控制部根据投影在影像上的道路标识物的长度,去计算出车辆探测距离。这里,检索表将表示随纵向断面坡度和水平曲率来被确定的车辆探测距离补充修订值。检索表虽然可以包括在控制部的逻辑装置内,但是考虑到微处理机的运行效率,最好将其存储到存储器等的存储媒体中(S710)。
在S710阶段形成的检索表跟在道路信息抽样方法中形成的表1、表2以及表3等的数据体系相同。也就是说,本实例的检索表和道路信息抽样方法的检索表之间没有什么差别;其差别只在于调用的例行程序及其应用方式。
一旦形成有检索表而且去起动系统,那么控制部就将接收摄像机的影像信号(S720)。
接着,控制部将去感知输入影像中的车辆。这里,检索出影像的技术方法不是本发明的主要内容,因此应用一个适当的技术来确定影像中的车辆位置即可(S730)。
在S730阶段中,如果感知了影像中的车辆,那么控制部将以道路标识物长度作为基准来计算出直到该车辆的距离。道路标识物的长度,最好应用道路信息抽样方法来计算。这时,以车线作为道路标识物。所以能以车线长度为基准计算出自身车辆与先行车辆的之间的距离,并把它作为车辆探测距离(S740)。
在S740阶段中算出的车辆探测距离,是未考虑跟道路条件相关的纵向断面坡度和水平曲率等的状态的,如果把该数据直接用于防追尾系统等地方,来进行能否追尾的判断,那么由于超出一定水准的误差而有可能作出错误的判断。
因此,将根据影像中的道路标识物形态,去判断要否对车辆探测距离进行补充修订的问题。影像中道路标识物的形态,随道路的线形将显示出各种形态。这时,道路的线形将以自身车辆周围,由两条车线形成的纵向延线作为基准进行判定。
在图8示出了不同纵向断面坡度的车线线形。为方便起见,在此忽略了水平曲率成份的影响。图8(a)是下凹纵向断面坡度的情形,随着视准距离的增大,两条车线的靠拢变得无限远,消失点变得无限远或不存在。图8(b)是没有纵向断面倾斜的平面道路的情形,两条车线具有一定的靠拢角度,而且有明显的消失点。图8(c)是上凸纵向断面坡度的情形,两条车线的靠拢逐步以0°角接近,消失点可能比地平线近或看不到。
在实际的路面上,将同时出现纵向断面坡度和水平曲率,因此为了简化判断逻辑,最好是不必用实际的两条车线而是在近似线形的基础上,去设定一种相关系数。
在图9中示出了几种可能的道路近似线形类型。
图9(a)类型是两条车线没有消失点,而左侧车线偏向左侧,右侧车线偏向右侧;控制部将把这种类型判定为下凹纵向断面倾斜直线区段。图9(b)类型是两条车线的倾斜一定,将被判定为水平直线区段。图9(c)类型是在地平线上很难看到消失点,而左侧车线偏向右侧,右侧车线偏向左侧;它将被判定为上凸纵向断面倾斜直线区段。这时,直线区段将根据两条车线在以影像纵轴为基准,左右是否对称来判定。
同时,如果不是直线区段,那么就得要去判定弯曲的方向。在图9(d)的场合,没有消失点,左侧车线和右侧车线偏向右侧,而且对纵轴不对称,于是把它判定为水平右弯区段。以这种体系,把图9(e)的场合,将判定为水平左弯区段。利用上述的相关关系,将用判断逻辑来确定车线道路标识物延线的相关系数,从而就可根据延线之间的相关系数来决定纵向断面坡度和水平曲率。
接着,在S740阶段,算出车辆探测距离之后,要去判断两条车线的靠拢倾角是否一定。如果直到地平线靠拢倾角一定,而且认为消失点非常明显,那么控制部将照样确定在S740阶段算出的车辆探测距离,然后去进行下一步如判断追尾与否等的作业(S750)。
在S750阶段,如果靠拢倾角判断为不是一定的场合,控制部将根据两条车线之间的相关系数,算出纵向断面坡度和水平曲率(S760)。
把在S760阶段算出的纵向断面坡度和水平曲率,从S710阶段设定的检索表中检索出来,并决定适当的补充修订值。这一补充修订值将计入S740阶段算出的车辆探测距离。举例来说,在下凹纵向倾斜区段,将进行减小的补充修订;而在上凸纵向倾斜区段,将进行增大的补充修订;以此使车辆探测距离近似于实际值(S770)。
在S770阶段,根据纵向断面坡度和水平曲率补充修订的车辆探测距离,由于更能正确地表达实际值,因此根据经补充修订的车辆探测距离来进行的追尾与否等的判断,将更具有可靠性。
在上面对本发明的实例进行了说明。但是本发明可以有多种变化和变更,以及可以使用类同物件。本发明通过对上述的实例进行适当的改进之后,做成多种形态来应用,这是很明显的。而且不能根据上述记载的内容来限定本发明的权利要求。
Claims (6)
1、一种采用车载摄像机对道路信息的抽样方法,其特征是:设有影像输入阶段,在该阶段由装有摄像机的车辆控制部检索来自摄像机的输入影像,去感知道路标识物和车辆;设有坡度判断阶段,在该阶段由控制部将根据感知的标识物长度与标准长度之间的差异,去计算纵向断面的坡度;
坡度判断阶段是由下凹纵向断面坡度计算阶段、上凸纵向断面坡度计算阶段及平地判定阶段组成;
在下凹纵向断面坡度计算阶段,如果在一个特定地点被感知的标识物长度,跟在该地点的基准长度相比变小时,控制部将把该地点判定为下凹坡面,再根据设定的第1断面倾斜判定函数去计算下凹纵向断面坡度;
在上凸纵向断面坡度计算阶段,如果在一个特定地点被感知的标识物长度,跟在该地点的基准长度相比变大时,控制部将把该地点判定为上凸坡面,再根据设定的第2断面倾斜判定函数去计算上凸纵向断面坡度;
在平地判定阶段,如果在一个特定地点被感知的标识物长度,跟在该地点的基准长度相同时,控制部将把该地点判定为平面。
2、根据权利要求1中所述道路信息的抽样方法,其特征是:只用单一的摄像机,而控制部将从该单一摄像机输入的影像中,检索按标准规格制作的标识物和车辆。
3、根据权利要求1中所述道路信息的抽样方法,其特征是:在坡度判断阶段,标识物长度指的是相对于一个以特定间隔连续配置的特种标识物而言,任意标识物与有关种类的邻接标识物之间的相隔距离。
4、根据权利要求1中所述道路信息的抽样方法,其特征是:将把感知标识物长度的地点设定为先行车辆被检索的地点;标识物的长度指的是在影像中从摄像机的路面上的投影点起到先行车辆被检索地点范围内的标识物长度;基准长度指的是在平地上的各个标识物将被投影在影像内的长度。
5、根据权利要求1或4中所述道路信息的抽样方法,其特征是:在坡度判断阶段,第1断面倾斜判定函数和第2断面倾斜判定函数,将把道路设计速度、纵向断面曲率半径以及被感知标识物长度作为因素,去算出该纵向断面倾斜处的实际弧长。
6、根据权利要求1中所述道路信息的抽样方法,其特征是:从拍摄的影像中被检索的标识物线型被判定为是个曲线,控制部将根据标识物的长度、道路设计速度及设计回转半径,计算出标识物的实际长度。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20010028901 | 2001-05-25 | ||
KR10-2001-0028901A KR100435650B1 (ko) | 2001-05-25 | 2001-05-25 | 카메라가 장착된 차량의 도로정보 추출 및 차간거리 탐지방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1388028A CN1388028A (zh) | 2003-01-01 |
CN1230690C true CN1230690C (zh) | 2005-12-07 |
Family
ID=19709936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB011454016A Expired - Fee Related CN1230690C (zh) | 2001-05-25 | 2001-12-31 | 采用车载摄像机对道路信息的抽样方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6842189B2 (zh) |
JP (1) | JP3711405B2 (zh) |
KR (1) | KR100435650B1 (zh) |
CN (1) | CN1230690C (zh) |
DE (1) | DE10164346B4 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103448609A (zh) * | 2012-05-31 | 2013-12-18 | 天翔系统整合股份有限公司 | 行车警示系统 |
Families Citing this family (109)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
WO2001064481A2 (en) | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
US7004593B2 (en) * | 2002-06-06 | 2006-02-28 | Donnelly Corporation | Interior rearview mirror system with compass |
US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
WO2002062623A2 (en) | 2001-01-23 | 2002-08-15 | Donnelly Corporation | Improved vehicular lighting system for a mirror assembly |
US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
EP1504276B1 (en) | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
EP1543358A2 (en) | 2002-09-20 | 2005-06-22 | Donnelly Corporation | Mirror reflective element assembly |
DE10310698A1 (de) * | 2003-03-12 | 2004-09-23 | Valeo Schalter Und Sensoren Gmbh | Optisches Erfassungssystem für Kraftfahrzeuge |
US7289037B2 (en) | 2003-05-19 | 2007-10-30 | Donnelly Corporation | Mirror assembly for vehicle |
US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
US7482916B2 (en) | 2004-03-15 | 2009-01-27 | Anita Au | Automatic signaling systems for vehicles |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
JP4507886B2 (ja) * | 2005-01-14 | 2010-07-21 | 株式会社デンソー | 車両用走行制御装置 |
ATE517368T1 (de) | 2005-05-16 | 2011-08-15 | Donnelly Corp | Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil |
US7372550B2 (en) * | 2005-10-05 | 2008-05-13 | Hewlett-Packard Development Company, L.P. | Measuring distance using perspective |
US7477777B2 (en) * | 2005-10-28 | 2009-01-13 | Aepx Animation, Inc. | Automatic compositing of 3D objects in a still frame or series of frames |
EP1949666B1 (en) | 2005-11-01 | 2013-07-17 | Magna Mirrors of America, Inc. | Interior rearview mirror with display |
CN101025667B (zh) * | 2006-02-18 | 2010-12-29 | 鸿富锦精密工业(深圳)有限公司 | 带字符输入指轮的手持装置 |
WO2007103573A2 (en) | 2006-03-09 | 2007-09-13 | Gentex Corporation | Vehicle rearview assembly including a high intensity display |
WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
DE102007002813A1 (de) * | 2007-01-18 | 2008-07-24 | Robert Bosch Gmbh | Verfahren zum Abschätzen einer Entfernung eines Fahrzeugs zu einem Objekt und Fahrerassistenzsystem |
JP4937030B2 (ja) * | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
FR2927857B1 (fr) * | 2008-02-27 | 2010-05-21 | Valeo Vision | Procede d'ajustement d'un faisceau lumineux pour vehicule |
US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
KR100929569B1 (ko) | 2008-08-28 | 2009-12-03 | 전자부품연구원 | 장애물 정보 제공 시스템 |
US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
DE102010011093A1 (de) * | 2010-03-11 | 2011-09-15 | Daimler Ag | Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung |
JP5350297B2 (ja) | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
CN101915852B (zh) * | 2010-08-06 | 2012-05-23 | 北京交大资产经营有限公司 | 基于立体视觉的速度测量方法 |
JP2012212282A (ja) | 2011-03-31 | 2012-11-01 | Honda Elesys Co Ltd | 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム |
US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
US9319637B2 (en) | 2012-03-27 | 2016-04-19 | Magna Electronics Inc. | Vehicle vision system with lens pollution detection |
US8879139B2 (en) | 2012-04-24 | 2014-11-04 | Gentex Corporation | Display mirror assembly |
WO2014033922A1 (ja) * | 2012-08-31 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9707896B2 (en) | 2012-10-15 | 2017-07-18 | Magna Electronics Inc. | Vehicle camera lens dirt protection via air flow |
US9445057B2 (en) | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
JP5752729B2 (ja) * | 2013-02-28 | 2015-07-22 | 富士フイルム株式会社 | 車間距離算出装置およびその動作制御方法 |
KR101881346B1 (ko) | 2013-03-15 | 2018-07-24 | 젠텍스 코포레이션 | 디스플레이 미러 어셈블리 |
US9863928B1 (en) | 2013-03-20 | 2018-01-09 | United Parcel Service Of America, Inc. | Road condition detection system |
CN105555612B (zh) | 2013-09-24 | 2018-06-01 | 金泰克斯公司 | 显示镜组件 |
DE102013220303A1 (de) * | 2013-10-08 | 2015-04-09 | Ford Global Technologies, Llc | Verfahren zum Ermitteln einer relativen Fahrbahnsteigung |
KR101568683B1 (ko) | 2013-11-13 | 2015-11-12 | 주식회사 하나비전테크 | 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치 |
US9511715B2 (en) | 2014-01-31 | 2016-12-06 | Gentex Corporation | Backlighting assembly for display for reducing cross-hatching |
CN104925043B (zh) * | 2014-03-17 | 2017-12-08 | 中山市云创知识产权服务有限公司 | 汽车及其使用的行车动力自动分配系统 |
CN106061794B (zh) | 2014-03-21 | 2019-06-07 | 金泰克斯公司 | 三态显示镜组件 |
EP3126195B1 (en) | 2014-04-01 | 2019-06-05 | Gentex Corporation | Automatic display mirror assembly |
WO2016044746A1 (en) | 2014-09-19 | 2016-03-24 | Gentex Corporation | Rearview assembly |
CN107000642B (zh) | 2014-11-07 | 2020-03-27 | 金泰克斯公司 | 全显示镜致动器 |
KR101977685B1 (ko) | 2014-11-13 | 2019-05-13 | 젠텍스 코포레이션 | 디스플레이를 갖춘 후방 미러 시스템 |
KR101997815B1 (ko) | 2014-12-03 | 2019-07-08 | 젠텍스 코포레이션 | 디스플레이 미러 어셈블리 |
USD746744S1 (en) | 2014-12-05 | 2016-01-05 | Gentex Corporation | Rearview device |
US9744907B2 (en) | 2014-12-29 | 2017-08-29 | Gentex Corporation | Vehicle vision system having adjustable displayed field of view |
US9720278B2 (en) | 2015-01-22 | 2017-08-01 | Gentex Corporation | Low cost optical film stack |
WO2016172096A1 (en) | 2015-04-20 | 2016-10-27 | Gentex Corporation | Rearview assembly with applique |
US10112540B2 (en) | 2015-05-18 | 2018-10-30 | Gentex Corporation | Full display rearview device |
JP7060958B2 (ja) | 2015-06-22 | 2022-04-27 | ジェンテックス コーポレイション | 振幅変調光のフリッカ補正のためのビデオストリーム画像処理システムおよび方法 |
USD798207S1 (en) | 2015-10-30 | 2017-09-26 | Gentex Corporation | Rearview mirror assembly |
EP3368374B1 (en) | 2015-10-30 | 2023-12-27 | Gentex Corporation | Toggle paddle |
CN108349436B (zh) | 2015-10-30 | 2019-12-20 | 金泰克斯公司 | 后视装置 |
USD797627S1 (en) | 2015-10-30 | 2017-09-19 | Gentex Corporation | Rearview mirror device |
USD800618S1 (en) | 2015-11-02 | 2017-10-24 | Gentex Corporation | Toggle paddle for a rear view device |
USD845851S1 (en) | 2016-03-31 | 2019-04-16 | Gentex Corporation | Rearview device |
GB2576450B (en) * | 2016-04-05 | 2020-11-18 | Jaguar Land Rover Ltd | Improvements in vehicle speed control |
GB2549108B (en) | 2016-04-05 | 2020-01-01 | Jaguar Land Rover Ltd | Improvements in vehicle speed control |
USD817238S1 (en) | 2016-04-29 | 2018-05-08 | Gentex Corporation | Rearview device |
US20170351263A1 (en) * | 2016-06-02 | 2017-12-07 | Delphi Technologies, Inc. | Roadway-Infrastructure-Maintenance System Using Automated Vehicles |
US10025138B2 (en) | 2016-06-06 | 2018-07-17 | Gentex Corporation | Illuminating display with light gathering structure |
US11092446B2 (en) | 2016-06-14 | 2021-08-17 | Motional Ad Llc | Route planning for an autonomous vehicle |
US10309792B2 (en) | 2016-06-14 | 2019-06-04 | nuTonomy Inc. | Route planning for an autonomous vehicle |
US10126136B2 (en) | 2016-06-14 | 2018-11-13 | nuTonomy Inc. | Route planning for an autonomous vehicle |
JP6293213B2 (ja) * | 2016-08-01 | 2018-03-14 | 三菱電機株式会社 | 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム |
JP6881917B2 (ja) | 2016-08-30 | 2021-06-02 | キヤノン株式会社 | 距離計測装置、撮像制御装置 |
US10857994B2 (en) | 2016-10-20 | 2020-12-08 | Motional Ad Llc | Identifying a stopping place for an autonomous vehicle |
US10331129B2 (en) | 2016-10-20 | 2019-06-25 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10473470B2 (en) | 2016-10-20 | 2019-11-12 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10681513B2 (en) | 2016-10-20 | 2020-06-09 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
USD809984S1 (en) | 2016-12-07 | 2018-02-13 | Gentex Corporation | Rearview assembly |
USD854473S1 (en) | 2016-12-16 | 2019-07-23 | Gentex Corporation | Rearview assembly |
US20180191966A1 (en) | 2016-12-30 | 2018-07-05 | Gentex Corporation | Full display mirror with on-demand spotter view |
WO2018170353A1 (en) | 2017-03-17 | 2018-09-20 | Gentex Corporation | Dual display reverse camera system |
JP7167431B2 (ja) * | 2017-11-21 | 2022-11-09 | 株式会社デンソー | 勾配変化検出装置、方法及びプログラム、並びに、車両 |
KR102037593B1 (ko) * | 2018-02-06 | 2019-10-28 | 한국산업기술대학교산학협력단 | 차량간 거리 추정 장치 및 방법 |
CN109976348A (zh) * | 2019-04-11 | 2019-07-05 | 深圳市大富科技股份有限公司 | 一种车辆及其运动控制方法、设备、存储介质 |
CN110473417A (zh) * | 2019-06-03 | 2019-11-19 | 浙江吉利控股集团有限公司 | 一种高架桥限速值提示方法、装置及存储介质 |
CN110992710B (zh) * | 2019-12-13 | 2021-03-16 | 潍柴动力股份有限公司 | 弯道测速预警方法、装置、控制设备及可读存储介质 |
CN117859029A (zh) | 2021-08-20 | 2024-04-09 | 金泰克斯公司 | 灯光组合件和具有灯光组合件的照明系统 |
CN113743526A (zh) * | 2021-09-14 | 2021-12-03 | 合众新能源汽车有限公司 | Ar-hud的车道线融合方法和系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553130B1 (en) * | 1993-08-11 | 2003-04-22 | Jerome H. Lemelson | Motor vehicle warning and control system and method |
JP3064759B2 (ja) * | 1993-09-28 | 2000-07-12 | 株式会社日立製作所 | 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置 |
DE19680415C2 (de) * | 1995-04-26 | 2003-02-06 | Hitachi Ltd | Bildbearbeitungsvorrichtung für Fahrzeuge |
JP4084857B2 (ja) * | 1996-08-30 | 2008-04-30 | 本田技研工業株式会社 | 自動車の前方監視システムにおけるイメージセンサの縦横比設定方法 |
JPH10198724A (ja) * | 1997-01-07 | 1998-07-31 | Honda Motor Co Ltd | 道路画像表示装置 |
JPH1186182A (ja) * | 1997-09-01 | 1999-03-30 | Honda Motor Co Ltd | 自動運転制御システム |
JP3596314B2 (ja) * | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
DE19911648A1 (de) * | 1999-03-16 | 2000-09-21 | Volkswagen Ag | Verfahren zur Anzeige von Objekten |
JP3427817B2 (ja) * | 2000-03-31 | 2003-07-22 | 株式会社デンソー | 車両用障害物認識方法及び装置、記録媒体 |
JP3681620B2 (ja) * | 2000-07-26 | 2005-08-10 | 株式会社デンソー | 車両用障害物認識装置 |
-
2001
- 2001-05-25 KR KR10-2001-0028901A patent/KR100435650B1/ko active IP Right Grant
- 2001-12-28 JP JP2001398881A patent/JP3711405B2/ja not_active Expired - Fee Related
- 2001-12-28 US US10/028,692 patent/US6842189B2/en not_active Expired - Lifetime
- 2001-12-28 DE DE10164346A patent/DE10164346B4/de not_active Expired - Lifetime
- 2001-12-31 CN CNB011454016A patent/CN1230690C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103448609A (zh) * | 2012-05-31 | 2013-12-18 | 天翔系统整合股份有限公司 | 行车警示系统 |
Also Published As
Publication number | Publication date |
---|---|
JP3711405B2 (ja) | 2005-11-02 |
JP2002366936A (ja) | 2002-12-20 |
KR20020090404A (ko) | 2002-12-05 |
DE10164346A1 (de) | 2003-01-30 |
KR100435650B1 (ko) | 2004-06-30 |
CN1388028A (zh) | 2003-01-01 |
US20030043269A1 (en) | 2003-03-06 |
US6842189B2 (en) | 2005-01-11 |
DE10164346B4 (de) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1230690C (zh) | 采用车载摄像机对道路信息的抽样方法 | |
CN107851125B (zh) | 通过车辆和服务器数据库进行两步对象数据处理以生成、更新和传送精确道路特性数据库的系统和方法 | |
CN109844762B (zh) | 车载用图像处理装置 | |
JP5505723B2 (ja) | 画像処理システム及び位置測位システム | |
EP2984451B1 (en) | Navigation system and method of determining a vehicle position | |
CN103080978B (zh) | 对象识别装置 | |
JP5808369B2 (ja) | 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム | |
JP4577655B2 (ja) | 地物認識装置 | |
US8332134B2 (en) | Three-dimensional LIDAR-based clear path detection | |
EP2372304B1 (en) | Vehicle position recognition system | |
US20090122136A1 (en) | Object detection device | |
US11861784B2 (en) | Determination of an optimal spatiotemporal sensor configuration for navigation of a vehicle using simulation of virtual sensors | |
WO2008130219A1 (en) | Method of and apparatus for producing road information | |
EP2372611A2 (en) | Scene matching reference data generation system and position measurement system | |
US20050169501A1 (en) | Method and apparatus for determining driving lane of vehicle, and computer product | |
CN102208012A (zh) | 风景匹配参考数据生成系统及位置测量系统 | |
CN107527017B (zh) | 停车位检测方法及系统、存储介质及电子设备 | |
CN1448886A (zh) | 用于测量车辆队列长度的装置和方法 | |
CN113496617B (zh) | 检测空置停车位的系统和方法 | |
KR102030168B1 (ko) | 지면 데이터 필터링 방법 및 그 장치 | |
CN116092029A (zh) | 车载测距方法、系统、装置、电子装置和存储介质 | |
CN109389643B (zh) | 车位主方向判断方法、系统以及存储介质 | |
WO2021215199A1 (ja) | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム | |
Prabhakar et al. | Detection and counting of powered two wheelers by laser scanner in real time on urban expressway | |
JP2024102523A (ja) | 外界認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |