CN114347991A - 一种车辆的自动换道方法、装置、存储介质及车辆 - Google Patents
一种车辆的自动换道方法、装置、存储介质及车辆 Download PDFInfo
- Publication number
- CN114347991A CN114347991A CN202210120294.6A CN202210120294A CN114347991A CN 114347991 A CN114347991 A CN 114347991A CN 202210120294 A CN202210120294 A CN 202210120294A CN 114347991 A CN114347991 A CN 114347991A
- Authority
- CN
- China
- Prior art keywords
- lane
- lane line
- line information
- vehicle
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000008859 change Effects 0.000 claims abstract description 58
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims description 35
- 230000008447 perception Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims 1
- 239000002609 medium Substances 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种车辆的自动换道方法、装置、存储设备及车辆。该方法包括:基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息;确定第一车道线信息的第一可信度;确定第二车道线信息的第二可信度;根据第一可信度和第二可信度,确定融合车道线;根据第一车道线信息、第二车道线信息以及融合车道线,制定车辆的换道轨迹,以控制车辆根据换道轨迹进行换道。采用上述技术方案,可以针对突发路况及时做出反应,提高自动换道的安全性,针对将要行驶的区间进行预判,提高自动换道的成功率;还可以得到较准确的融合车道线,并基于融合车道线制定车辆的换道轨迹,可以使得车辆实现更加安全、更加准确的自动换道。
Description
技术领域
本发明实施例涉及辅助驾驶技术领域,尤其涉及一种车辆的自动换道方法、装置、存储设备及车辆。
背景技术
车道线信息是汽车实现自动驾驶最重要的环境感知信息之一。利用车道线信息自动驾驶汽车才能够保持安全行驶在当前的车道内,并且准确的识别车道线信息才可以实现汽车能够安全的自动换道。同时,准确平滑的车道线能够使车辆的行驶更加安稳,提升体验感和安全性。
目前,汽车获取车道线信息的方式是通过智能摄像头,智能摄像头能够实时感知周围的环境,对于突发情况能及时做出反应,但是摄像头易受天气、光线等的影响,视野范围有限,无法感知远距离处的车道线信息。若仅依据摄像头感知的车道线信息进行自动驾驶(或辅助驾驶),则无法预判汽车换道区间较远距离处的车道线信息,从而致使换道失败。现有的汽车部分已实现利用高精地图导航,可以根据汽车的当前位置查询到所在车道及相邻车道,以便进行换道,但是基于高精地图感知的车道线信息具有延时性,无法及时更新车道线变化,遇到突发状况无法感知,在复杂及发生变化的路况下,汽车的自动驾驶(或辅助驾驶)具有很大的危险性。
发明内容
本发明实施例提供一种车辆的自动换道方法、装置、存储设备及车辆,以融合摄像头感知的车道线与基于高精地图感知的车道线,从而提高辅助驾驶的安全性。
第一方面,本发明实施例提供了一种车辆的自动换道方法,包括:
基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息;所述第一车道线信息包括由所述摄像头采集的当前车道、目标车道、以及与所述目标车道相邻的车道的车道线;所述第二车道线信息包括由所述高精地图确定的当前车道的、目标车道、以及与所述目标车道相邻的车道的车道线;
根据所述第一车道线信息,确定所述第一车道线信息的第一可信度;
根据所述第二车道线信息,确定所述第二车道线信息的第二可信度;
根据所述第一可信度和所述第二可信度,确定融合车道线;
根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道。
可选的,根据所述第一车道线信息,确定所述第一车道线信息的第一可信度,包括:
获取所述摄像头的感知范围;
将所述第一车道线信息中位于所述感知范围内的所述车道线的第一可信度确定为大于0,以及将所述第一车道线信息中超出所述感知范围的所述车道线的第一可信度确定为0。
可选的,根据所述第一可信度和所述第二可信度,确定融合车道线,包括:
若所述第一可信度大于所述第一阈值范围的上限值,则根据第一计算公式,确定所述融合车道线;所述第一计算公式为:YC=C0+C1x+C2x2+C3x3;其中,(x,YC)是在所述摄像头的有效感知范围内基于所述摄像头感知的第一车道线的坐标,x为采样点,C0、C1、C2和C3为第一感知系数;
若所述第一可信度小于所述第一阈值范围的下限值,则根据第二计算公式,确定所述融合车道线;所述第二计算公式为:YH=H0+H1x+H2x2+H3x3;其中,(x,YH)是同时在所述高精地图的有效感知范围和所述摄像头的无效感知范围内基于所述高精地图感知的第二车道线的坐标,x为采样点,H0、H1、H2和H3为第二感知系数。
可选的,根据所述第一可信度和所述第二可信度,确定融合车道线,还包括:
若所述第一可信度在第一阈值范围内,则根据第三计算公式,确定所述融合车道线;所述第三计算公式为:YCH=T0+T1x+T2x2+T3x3;其中,(x,YCH)是在所述高精地图的有效感知范围和所述摄像头的缓冲区域内的融合车道线的坐标,x为采样点,T0、T1、T2和T3为第一融合系数;
其中,T0=P×C0+Q×H0,T1=P×C1+Q×H1,T2=P×C2+Q×H2,T3=P×C3+Q×H3,P是所述第一可信度与所述第一可信度和所述第二可信度之和的比值,Q是所述第二可信度与所述第一可信度和所述第二可信度之和的比值。
可选的,基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息之前,包括:
在获取到换道指令时,基于所述高精地图确定所述车辆前方的路况信息;
判断所述车辆前方的路况信息,是否满足自动换道条件;
若是,则执行基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息的步骤。
可选的,获取换道指令之后,包括:
获取所述摄像头的感知范围,确定所述摄像头的最远感知距离;
判断所述摄像头的最远感知距离是否小于距离阈值;
若是,则控制所述车辆停止自动换道。
可选的,根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道,包括:
根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,使用五次规划曲线制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道。
第二方面,本发明实施例还提供了一种车辆的自动换道装置,该装置包括:
车道线信息获取模块,用于基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息;所述第一车道线信息包括由所述摄像头采集的当前车道、目标车道、以及与所述目标车道相邻的车道的车道线;所述第二车道线信息包括由所述高精地图确定的当前车道的、目标车道、以及与所述目标车道相邻的车道的车道线;
第一可信度确定模块,用于根据所述第一车道线信息,确定所述第一车道线信息的第一可信度;
第二可信度确定模块,用于根据所述第二车道线信息,确定所述第二车道线信息的第二可信度;
车道线融合模块,用于根据所述第一可信度和所述第二可信度,确定融合车道线;
换道轨迹制定模块,用于根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道。
第三方面,本发明实施例还提供了一种可读存储介质,其上存储有自动换道程序,该自动换道程序被处理器执行时实现如本发明实施例所述的自动换道方法。
第四方面,本发明实施例还提供了一种车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的自动换道程序,其特征在于,所述处理器执行所述自动换道程序时实现如本发明实施例所述的自动换道方法。
本发明实施例提供一种车辆的自动换道方法、装置、存储设备及车辆,通过获取第一车道线信息和第二车道线信息,可以同时获取车辆周围的实时车道线信息和距离车辆较远处的车道线信息,以根据车辆周围的实时车道线信息针对突发路况及时做出反应,提高自动换道的安全性,同时根据车辆距离车辆较远处的车道线信息,以针对将要行驶的区间进行预判,提高自动换道的成功率;通过第一车道线信息的第一可信度和第二车道线信息的第二可信度,确定第一车道线和第二车道线的融合方式,以对第一车道线和第二车道线进行融合后获得融合车道线,基于该融合车道线制定车辆的换道轨迹,可以使得车辆实现更加安全、更加准确的自动换道。
附图说明
图1为本发明实施例提供的一种车辆的自动换道方法的流程图;
图2为本发明实施例提供的又一种车辆的自动换道方法的流程图;
图3为本发明实施例提供的又一种车辆的自动换道方法的流程图;
图4为本发明实施例提供的又一种车辆的自动换道方法的流程图;
图5为本发明实施例提供的又一种车辆的自动换道方法的流程图;
图6是本发明实施例提供的一种车辆的自动换道装置的结构框图;
图7为本发明实施例提供的一种车辆的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本发明实施例提供一种车辆的自动换道方法,图1为本发明实施例提供的一种车辆的自动换道方法的流程图,本实施例可适用于可自动换道的车辆,该方法可以由自动换道装置来执行,该装置可由软件和/或硬件来实现,该方法包括:
S1001、基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息。
其中,第一车道线信息包括由摄像头采集的当前车道、目标车道、以及与目标车道相邻的车道的车道线,摄像头包括但不限于位于车前和/或车后的车载摄像头;第二车道线信息包括由所述高精地图确定的当前车道的、目标车道、以及与目标车道相邻的车道的车道线。
具体的,摄像头可以实时捕捉车辆周围较近距离范围内的图像信息,根据图像信息可以实时获取车辆周围较近距离范围内的车道线信息,例如可以包括车辆所在车道以及相邻车道的车道类型、车道数量以及车道两侧的车道线类型等信息;高精地图是通过带有特殊采集装置的采集车提前获取的,高精地图包括较高精度的地图信息,甚至可达到10cm的精度,结合高精度定位及导航系统,可以查询并展示车辆周围的车道线信息,以及全区域内的车道线信息。
S1002、根据第一车道线信息,确定第一车道线信息的第一可信度。
其中,第一可信度大于或等于0,且小于或等于1。第一可信度是指基于摄像头多次获取的第一车道线信息的一致性,也可认为是基于摄像头获取的第一车道线信息的准确度。示例性的,可通过每帧图像分析得到的车道线信息变化以及运动矢量和车道线边缘强度计算第一可信度。第一可信度受摄像头的感知距离影响,与摄像头之间的距离越近的车道线信息对应的第一可信度越高,与摄像头之间的距离越远的车道线信息对应的第一可信度越低。
示例性的,针对同一车道线,通过在摄像头捕获的图像中选取多个特征点,基于第一计算公式拟合得到拟合曲线,根据拟合曲线可以确定第一计算公式的第一感知系数,通过对摄像头捕获的不同图像得到的多次拟合结果,结合车辆的运动矢量获取第一计算公式的一致性,得到第一可信度。
S1003、根据第二车道线信息,确定第二车道线信息的第二可信度。
其中,第二可信度大于或等于0,且小于或等于1。第二可信度是指基于高精地图多次获取的第二车道线信息的一致性,也可认为是基于高精地图获取的第二车道线信息的准确度。示例性的,由于高精地图中的车道线信息是提前获取的,所以第二可信度相对稳定,但是确定车辆周围的车道线信息需要结合高精度定位及导航系统,高精度定位及导航系统易受信号的强弱影响,在车辆所处环境信号较弱时,第二可信度会相应的减小。为方便理解,本发明实施例以理想状态下,第二可信度稳定不变为例进行说明。
示例性的,针对同一车道线,结合高精度定位及导航系统在高精地图的地图图层中选取车辆前方的多个特征点,基于第二计算公式拟合得到拟合曲线,根据拟合曲线可以确定第二计算公式的第二感知系数,通过针对不同定位信息得到的多次拟合结果,结合车辆的运动矢量获取第二计算公式的一致性,得到第二可信度。
S1004、根据第一可信度和第二可信度,确定融合车道线。
其中,融合车道线是指结合第一车道线信息和第二车道线信息得到的准确度较高的感知车道线。示例性的,可以根据第一可信度和第二可信度的大小关系融合第一车道线信息中的车道线和第二车道线信息中的车道线,当第一可信度大于或等于第二可信度时,采用第一车道线信息中的车道线作为融合车道线;当第一可信度小于第二可信度时,采用第二车道线信息中的车道线作为融合车道线;或者,当第一可信度在一定的可信度范围内时,可将第一车道线信息和第二车道线信息按照一定比例融合在一起作为融合车道线。
S1005、根据第一车道线信息、第二车道线信息以及融合车道线,制定车辆的换道轨迹,以控制车辆根据换道轨迹进行换道。
具体的,结合第一车道线信息、第二车道线信息以及融合车道线可以较准确地感知车辆的当前车道、目标车道、以及与目标车道相邻的车道的车道线,以融合后的车道线为依据制定车辆的换道轨迹,并根据该换道轨迹控制车辆进行换道,实现车辆的自动换道。可选的,使用五次规划曲线制定车辆的换道轨迹,一般换道是需要进行速度的变化,通过五次规划曲线可以获得一个加速度连续的轨迹,位置和速度也有合适的初始和终止条件,还可以获得合适的初始加速度和终止加速度,相比较使用其他的螺旋轨迹曲线、余弦函数和正弦函数,使用五次规划曲线制定的换道轨迹效果更好。除此外,还可以根据摄像头捕捉的图像信息获取车辆周围的障碍物信息,结合相应的障碍物信息制定换道轨迹,以提高辅助驾驶的安全性。
示例性的,在接收到车辆控制系统或用户发出的换道指令后,首先获取车辆周围的第一车道线信息和第二车道线信息,根据第一车道线信息和第二车道线信息可以得到第一车道线信息的第一可信度和第二车道线信息的第二可信度,根据第一可信度和第二可信度融合第一车道线信息的车道线和第二车道线信息的车道线,可以得到的准确度较高的融合车道线。例如,用户发出向右换道的换道指令,基于摄像头和高精地图分别获取车辆所在车道的车道线、右侧第一个车道的车道线和右侧第二个车道的车道线的车道线信息,通过第一可信度和第二可信度得到车辆所在车道的车道线、右侧第一个车道的车道线和右侧第二个车道的车道线的融合车道线,并根据车道线信息、融合车道线制定车辆的换道轨迹,控制车辆沿换道轨迹进行换道,即可完成车辆的自动换道。可以理解的是,在距离车辆较近范围内的融合车道线以第一车道线信息的车道线为准,在距离车辆较远范围内的融合车道线以第二车道线信息的车道线为准。
本发明实施例,通过获取第一车道线信息和第二车道线信息,可以同时获取车辆周围的实时车道线信息和距离车辆较远处的车道线信息,已根据车辆周围的实时车道线信息针对突发路况及时做出反应,提高自动换道的安全性,同时根据距离车辆较远处的车道线信息,以针对将要行驶的区间进行预判,提高自动换道的成功率;通过第一车道线信息的第一可信度和第二车道线信息的第二可信度,确定第一车道线和第二车道线的融合方式,以对第一车道线和第二车道线进行融合后获得融合车道线,基于该融合车道线制定车辆的换道轨迹,可以使得车辆实现更加安全、更加准确的自动换道。
可选的,图2为本发明实施例提供的又一种车辆的自动换道方法的流程图,如图2所示,该方法包括:
S2001、基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息。
S2002、获取摄像头的感知范围。
S2003、将第一车道线信息中位于感知范围内的车道线的第一可信度确定为大于0,以及将第一车道线信息中超出所感知范围的车道线的第一可信度确定为0。
可以理解的是,在摄像头的感知范围之外,摄像头感知不到车道线或所感知的车道线的清晰度不够,使得基于摄像头获取的第一车道线信息的准确度较低,可认为此时的第一可信度为0;而在摄像头的感知范围内,摄像头可以感知到清晰的车道线,使得基于摄像头获取的第一车道线信息具有较高的准确度,可认为此时的第一可信度大于0,示例性的,处于摄像头感知范围内的车道线对应的第一可信度的大小可以依据所感知的车道线的清晰度进行确定。
S2004、根据第二车道线信息,确定第二车道线信息的第二可信度。
可以理解的是,高精度定位及导航系统仅是用来定位车辆的当前位置,以便于根据当前位置查询并展示车辆周围的车道线信息,提前获取的高精地图可以包括带有特殊采集装置的采集车所到达并采集的所有范围,因此,基于高精地图获取的第二车道线信息的清晰度是比较稳定的,其与车辆所处的位置和距离车辆的远近无关。示例性的,高精地图的感知范围可以覆盖整个城市甚至整个省份以及相近的省份,因此,当车辆在这些区域行驶时,第二车道线的可信度均大于0,且可以为定值。
S2005、根据第一可信度和第二可信度,确定融合车道线。
S2006、根据第一车道线信息、第二车道线信息以及融合车道线,制定车辆的换道轨迹,以控制车辆根据换道轨迹进行换道。
示例性的,在接收到车辆控制系统或用户发出的换道指令后,获取车辆周围的第一车道线信息和第二车道线信息,以及第一车道线信息的第一可信度和第二车道线信息的第二可信度,可以将第一可信度大于0的区域的融合车道线以第一车道线信息的车道线为准;在第一可信度为0区域,第一可信度为0且第二可信度大于0,第二车道线信息的准确度更高,因此,融合车道线以第二车道线信息的车道线为准,。然后根据第一车道线信息、第二车道线信息、以及融合车道线制定车辆的换道轨迹,控制车辆沿换道轨迹进行换道,即可完成车辆的自动换道。
可选的,图3为本发明实施例提供的又一种车辆的自动换道方法的流程图,如图3所示,该方法包括:
S3001、基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息。
S3002、获取摄像头的感知范围。
S3003、将第一车道线信息中位于感知范围内的车道线的第一可信度确定为大于0,以及将第一车道线信息中超出所感知范围的车道线的第一可信度确定为0。
S3004、根据第二车道线信息,确定第二车道线信息的第二可信度。
S3005、若第一可信度大于第一阈值范围的上限值,则根据第一计算公式,确定融合车道线;若第一可信度小于第一阈值范围的下限值,则根据第二计算公式,确定融合车道线;若第一可信度在第一阈值范围内,则根据第三计算公式,确定融合车道线。
其中,第一计算公式为:YC=C0+C1x+C2x2+C3x3,(x,YC)是在摄像头的有效感知范围内基于摄像头感知的第一车道线的坐标,x为采样点,T0、T1、T2和T3为第一感知系数;第二计算公式为:YH=H0+H1x+H2x2+H3x3,(x,YH)是同时在高精地图的有效感知范围和摄像头的无效感知范围内基于所述高精地图感知的第二车道线的坐标,x为采样点,H0、H1、H2和H3为第二感知系数;第三计算公式为:YCH=T0+T1x+T2x2+T3x3,(x,YCH)是在高精地图的有效感知范围和摄像头的缓冲区域内的融合车道线的坐标,x为采样点,T0、T1、T2和T3为第一融合系数;T0=P×C0+Q×H0,T1=P×C1+Q×H1,T2=P×C2+Q×H2,T3=P×C3+Q×H3,P是第一可信度与第一可信度和第二可信度之和的比值,Q是第二可信度与第一可信度和第二可信度之和的比值,其中,高精地图的有效感知范围是指第二可信度较为稳定的区域,摄像头的缓冲区域是指第一可信度在第一阈值范围内的区域,以一阈值范围为大于或等于0且小于或等于0.7为例,摄像头的缓冲区域是指第一可信度大于或等于0且小于或等于0.7的区域。
可以理解的是,当第一可信度大于第一阈值范围的上限值时,说明第一车道线信息的准确度较高,融合车道线以第一车道线信息中的车道线为准;当第一可信度小于第一阈值范围的下限值时,说明第一车道线信息的准确度较低,融合车道线以第二车道线信息中的车道线为准;当第一可信度处于第一阈值范围时,仅以第一车道线信息或第二车道线为准得到的融合车道线准确度较低,可通过融合第一车道线信息和第二车道线信息,以提高融合车道线的准确度。
S3006、根据第一车道线信息、第二车道线信息以及融合车道线,制定车辆的换道轨迹,以控制车辆根据换道轨迹进行换道。
示例性的,假设第一阈值范围为大于或等于0.1且小于或等于0.7,第一阈值范围的上限值为0.7,第一阈值范围的下限值为0.1。当第一可信度大于0.7时,说明基于摄像头感知的车道线的准确度较高,通过第一计算公式YC=C0+C1x+C2x2+C3x3确定融合车道线;当第一可信度小于0.1时,基于摄像头感知的车道线的准确度较低,但是基于高精地图感知的车道线的准确度(相对基于摄像头感知的车道线的准确度)较高时,通过第二计算公式YH=H0+H1x+H2x2+H3x3确定融合车道线;在第一可信度大于或等于0.1且小于或等于0.7时,通过按可信度比例融合第一计算公式与第二公式融合可以得到第三计算公式,根据第三计算公式确定融合车道线,同时参考了第一车道线信息和第二车道线信息,在第一可信度和第二可信度均不太高时提高融合车道线的准确度。第三计算公式和第一可信度和第二可信度有关,第三计算公式更靠近第一可信度和第二可信度中占比大的感知方式,例如在第一可信度为0.1,第二可信度为0.6时,YCH=(0.143C0+0.857H0)+(0.143C1+0.857H1)x+(0.143C2+0.857H2)x2+(0.143C3+0.857H3)x3;当第一可信度和第二可信度中占比一样时,第三计算公式选取第一计算公式和第二计算公式的中间值,例如在第一可信度为0.6,第二可信度为0.6时,YCH=(0.5C0+0.5H0)+(0.5C1+0.5H1)x+(0.5C2+0.5H2)x2+(0.5C3+0.5H3)x3。如此,可以在基于摄像头感知的车道线的准确度较高时,将第一车道线作为融合车道线;在基于摄像头感知的车道线的准确度较低且基于高精地图感知的车道线的准确度较高时,将第二车道线作为融合车道线,提高融合车道线的可信度;在第一可信度和第二可信度均不太高时,将第一车道线和第二车道线结合并在高精地图的有效感知范围和摄像头的缓冲区域内融合,连接第一车道线和第二车道线,并在连接区域平滑过渡,使得融合车道线较为连贯,还可以降噪进一步平滑融合车道线。
可选的,图4为本发明实施例提供的又一种车辆的自动换道方法的流程图,如图4所示,该方法包括:
S4001、在获取到换道指令时,基于高精地图确定车辆前方的路况信息。
其中,路况信息包括道路信息、车道信息、车道线信息,道路信息包括坡度、曲率、收费站、隧道、匝道出口、施工、物理防护等;车道信息包括车道数量、车道类型等;车道线信息包括车道线类型等。
S4002、判断车辆前方的路况信息,是否满足自动换道条件。若是,则执行S4003。
其中,自动换道条件是指车辆前方的路况可通行,例如换道所需距离为S,在道路信息方面,距离S内车辆的当前车道、目标车道以及与目标车道相邻的车道不存在超过坡度阈值的坡、不存在曲率超出曲率阈值的路、没有有收费站、不存在隧道、不存在匝道出口、不存在施工、与对向车道的物理防护不缺失,在车道信息方面,距离S内车辆的当前车道、目标车道以及与目标车道相邻的车道没有应急车道、没有专用车道、没有加减速车道、没有即将消失的车道、没有过窄的车道,在车道线信息方面,距离S内车辆的当前车道、目标车道以及与目标车道相邻的车道不存在实线、不存在车道线缺失、不存在纵向减速线等情况。
S4003、基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息。
S4004、根据第一车道线信息,确定第一车道线信息的第一可信度。
S4005、根据第二车道线信息,确定第二车道线信息的第二可信度。
S4006、根据第一可信度和第二可信度,确定融合车道线。
S4007、根据第一车道线信息、第二车道线信息以及融合车道线,制定车辆的换道轨迹,以控制车辆根据换道轨迹进行换道。
示例性的,在接收到车辆控制系统或用户发出的换道指令后,首先基于高精地图获取车辆前方的路况信息,根据车辆前方的路况信息做出是否自动换道的决策。若车辆前方的路况信息满足自动换道条件,则说明车辆前方的路况可通行,则继续执行自动换道方法中的步骤;若车辆前方的路况信息未满足自动换道条件,则说明车辆前方的路况不可通行,则停止执行自动换道方法中的步骤,等待车辆前方的路况可通行时再进行车辆的自动换道。如此,通过在制定换道轨迹并控制车辆根据换道轨迹进行换道之前根据车辆前方的路况信息做出是否自动换道的决策,可以提高换道的成功率;通过在获取车道线信息和可信度之前根据车辆前方的路况信息做出是否自动换道的决策,可以减少不必要的步骤,减少能耗。
可选的,若车辆前方的路况信息未满足自动换道条件,则控制车辆停止换道,或者,继续判断车辆前方的路况信息是否满足自动换道条件,直至车辆前方的路况信息满足自动换道条件,提高自动换道的安全性和成功率。
可选的,若车辆前方的路况信息未满足自动换道条件,在第一预设时间内继续判断车辆前方的路况信息是否满足自动换道条件,直至车辆前方的路况信息满足自动换道条件;若超出第一预设时间,则控制车辆停止自动换道,此次换道失败/不可行,等待下一次换道指令。
可选的,图5为本发明实施例提供的又一种车辆的自动换道方法的流程图,如图5所示,该方法包括:
S5001、获取换道指令。
S5002、获取摄像头的感知范围,确定摄像头的最远感知距离。
S5003、判断摄像头的最远感知距离是否小于距离阈值。若是,则执行SS5004;若否,则执行S5005。
其中,距离阈值是指采用摄像头感知时摄像头的感知距离下限。示例性的,若摄像头受天气和/或光线的影响,摄像头的感知范围减小至摄像头的最远感知距离小于距离阈值时,则说明摄像头的感知范围过小,不能及时感知车辆周围的情况,当遇到突发状况时可能无法及时做出反应,具有一定的危险性。
S5004、控制车辆停止自动换道。
S5005、基于高精地图确定车辆前方的路况信息。
S5006、判断车辆前方的路况信息,是否满足自动换道条件。若是,则执行S5007。
S5007、基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息。
S5008、根据第一车道线信息,确定第一车道线信息的第一可信度。
S5009、根据第二车道线信息,确定第二车道线信息的第二可信度。
S5010、根据第一可信度和第二可信度,确定融合车道线。
S5011、根据第一车道线信息、第二车道线信息以及融合车道线,制定车辆的换道轨迹,以控制车辆根据换道轨迹进行换道。
示例性的,以距离阈值为20m为例,当在接收到车辆控制系统或用户发出的换道指令后,首先判断摄像头的最远感知距离是否达到感知距离下限(或判断最远感知距离是否小于距离阈值),若摄像头的最远感知距离达到感知距离下限(或最远感知距离小于距离阈值),则说采用明摄像头感知具有一定的危险性,不再能及时感知车辆周围的情况,需要及时停止车辆自动换道,以避免出现突发状况时不能及时做出反应,通过在控制车辆进行自动换道之前检测摄像头的感知范围大小,可以提高车辆的辅助驾驶的安全性。
可以理解的是,停止车辆自动换道并不影响用户手动换道,当遇到极端恶劣天气或光线较弱时,车辆无法自动换道,但是用户可以手动换道,并不影响车辆的正常行驶。
基于同一发明构思,本发明实施例还提供一种车辆的自动换道装置,图7是本发明实施例提供的一种车辆的自动换道装置的结构框图,该装置可由软件和/或硬件实现,一般集成在车辆中。如图6所示,该装置可以包括:
车道线信息获取模块610,用于基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息;所述第一车道线信息包括由所述摄像头采集的当前车道、目标车道、以及与所述目标车道相邻的车道的车道线;所述第二车道线信息包括由所述高精地图确定的当前车道的、目标车道、以及与所述目标车道相邻的车道的车道线;
第一可信度确定模块620,用于根据所述第一车道线信息,确定所述第一车道线信息的第一可信度;
第二可信度确定模块630,用于根据所述第二车道线信息,确定所述第二车道线信息的第二可信度;
车道线融合模块640,用于根据所述第一可信度和所述第二可信度,确定融合车道线;
换道轨迹制定模块650,用于根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道。
本发明实施例提供一种车辆的自动换道装置,通过车道线信息获取模块可以同时获取车辆周围的实时车道线信息和距离车辆较远处的车道线信息,针对突发路况及时做出反应,提高自动换道的安全性,针对将要行驶的区间进行预判,提高自动换道的成功率;通过第一可信度确定模块和第二可信度确定模块确定第一车道线和第二车道线的融合方式,以对第一车道线和第二车道线进行融合后获得融合车道线,并通过换道轨迹制定模块给予该融合车道线制定车辆的换道轨迹,可以使得车辆实现更加安全、更加准确的自动换道。
当然,本发明实施例所提供的一种车辆的自动换道装置,其包括的模块不限于如上所述的车辆的自动换道装置的模块,还可以包括本发明任意实施例所提供的车辆的自动换道方法中的相关装置结构。
基于同一发明构思,本发明实施例还提供一种可读存储介质,其上存储有自动换道程序,该自动换道程序被处理器执行一种车辆的自动换道方法,该方法包括:
基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息;所述第一车道线信息包括由所述摄像头采集的当前车道、目标车道、以及与所述目标车道相邻的车道的车道线;所述第二车道线信息包括由所述高精地图确定的当前车道的、目标车道、以及与所述目标车道相邻的车道的车道线;
根据所述第一车道线信息,确定所述第一车道线信息的第一可信度;
根据所述第二车道线信息,确定所述第二车道线信息的第二可信度;
根据所述第一可信度和所述第二可信度,确定融合车道线;
根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本发明实施例所提供的可读存储介质,其存储的自动换道程序计算机可执行不限于如上所述的车辆的自动换道方法的操作,还可以执行本发明任意实施例所提供的车辆的自动换道方法中的相关操作。
基于同一发明构思,本发明实施例提供了一种车辆,该车辆中可集成本发明实施例提供的自动换道装置。图7为本发明实施例提供的一种车辆的结构示意图。如图7所示,该车辆700可以包括:壳体(图中未示出)、存储器701、处理器702(又称汽车总控制器,以下简称HCU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在壳体围成的空间内部;所述HCU802和存储器701设置在电路板上;电源电路,用于为车辆的各个电路或器件供电;存储器701,用于存储自动换道程序HCU802读取并执行存储器701中存储的自动换道程序。HCU702在执行自动换道程序时可以实现本发明任意实施例所提供的车辆的自动换道方法的步骤。
可选的,该车辆700还包括触控显示屏712,触控显示屏712用于将用户操作转换成电信号输入至所述HCU702中,并显示可视输出信号,例如车道线信息以及高精地图等信号。
应该理解的是,图示车辆700仅仅是一个范例,并且车辆700可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
本发明实施例提供的车辆,可以同时获取车辆周围的实时车道线信息和车辆距离车辆较远处的车道线信息,可以针对突发路况及时做出反应,提高自动换道的安全性,可以针对将要行驶的区间进行预判,提高自动换道的成功率;可以得到准确率较高的感知车道线,并据此制定车辆的换道轨迹,可以使得车辆实现更加安全、更加准确的自动换道。
上述实施例中提供的自动换道装置、可读存储介质及车辆可执行本发明任意实施例所提供的自动换道方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的自动换道方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种车辆的自动换道方法,其特征在于,包括:
基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息;所述第一车道线信息包括由所述摄像头采集的当前车道、目标车道、以及与所述目标车道相邻的车道的车道线;所述第二车道线信息包括由所述高精地图确定的当前车道的、目标车道、以及与所述目标车道相邻的车道的车道线;
根据所述第一车道线信息,确定所述第一车道线信息的第一可信度;
根据所述第二车道线信息,确定所述第二车道线信息的第二可信度;
根据所述第一可信度和所述第二可信度,确定融合车道线;
根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道。
2.根据权利要求1所述的自动换道方法,其特征在于,根据所述第一车道线信息,确定所述第一车道线信息的第一可信度,包括:
获取所述摄像头的感知范围;
将所述第一车道线信息中位于所述感知范围内的所述车道线的第一可信度确定为大于0,以及将所述第一车道线信息中超出所述感知范围的所述车道线的第一可信度确定为0。
3.根据权利要求2所述的自动换道方法,其特征在于,根据所述第一可信度和所述第二可信度,确定融合车道线,包括:
若所述第一可信度大于所述第一阈值范围的上限值,则根据第一计算公式,确定所述融合车道线;所述第一计算公式为:YC=C0+C1x+C2x2+C3x3;其中,(x,YC)是在所述摄像头的有效感知范围内基于所述摄像头感知的第一车道线的坐标,x为采样点,C0、C1、C2和C3为第一感知系数;
若所述第一可信度小于所述第一阈值范围的下限值,则根据第二计算公式,确定所述融合车道线;所述第二计算公式为:YH=H0+H1x+H2x2+H3x3;其中,(x,YH)是同时在所述高精地图的有效感知范围和所述摄像头的无效感知范围内基于所述高精地图感知的第二车道线的坐标,x为采样点,H0、H1、H2和H3为第二感知系数。
4.根据权利要求3所述的自动换道方法,其特征在于,根据所述第一可信度和所述第二可信度,确定融合车道线,还包括:
若所述第一可信度在第一阈值范围内,则根据第三计算公式,确定所述融合车道线;所述第三计算公式为:YCH=T0+T1x+T2x2+T3x3;其中,(x,YCH)是在所述高精地图的有效感知范围和所述摄像头的缓冲区域内的融合车道线的坐标,x为采样点,T0、T1、T2和T3为第一融合系数;
其中,T0=P×C0+Q×H0,T1=P×C1+Q×H1,T2=P×C2+Q×H2,T3=P×C3+Q×H3,P是所述第一可信度与所述第一可信度和所述第二可信度之和的比值,Q是所述第二可信度与所述第一可信度和所述第二可信度之和的比值。
5.根据权利要求1所述的自动换道方法,其特征在于,基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息之前,包括:
在获取到换道指令时,基于所述高精地图确定所述车辆前方的路况信息;
判断所述车辆前方的路况信息,是否满足自动换道条件;
若是,则执行基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息的步骤。
6.根据权利要求5所述的自动换道方法,其特征在于,获取换道指令之后,包括:
获取所述摄像头的感知范围,确定所述摄像头的最远感知距离;
判断所述摄像头的最远感知距离是否小于距离阈值;
若是,则控制所述车辆停止自动换道。
7.根据权利要求1所述的自动换道方法,其特征在于,根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道,包括:
根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,使用五次规划曲线制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道。
8.一种车辆的自动换道装置,其特征在于,包括:
车道线信息获取模块,用于基于摄像头获取第一车道线信息以及基于高精地图获取第二车道线信息;所述第一车道线信息包括由所述摄像头采集的当前车道、目标车道、以及与所述目标车道相邻的车道的车道线;所述第二车道线信息包括由所述高精地图确定的当前车道的、目标车道、以及与所述目标车道相邻的车道的车道线;
第一可信度确定模块,用于根据所述第一车道线信息,确定所述第一车道线信息的第一可信度;
第二可信度确定模块,用于根据所述第二车道线信息,确定所述第二车道线信息的第二可信度;
车道线融合模块,用于根据所述第一可信度和所述第二可信度,确定融合车道线;
换道轨迹制定模块,用于根据所述第一车道线信息、所述第二车道线信息以及所述融合车道线,制定所述车辆的换道轨迹,以控制所述车辆根据所述换道轨迹进行换道。
9.一种可读存储介质,其上存储有自动换道程序,其特征在于,该自动换道程序被处理器执行时实现如权利要求1至7中任一所述的自动换道方法。
10.一种车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的自动换道程序,其特征在于,所述处理器执行所述自动换道程序时实现如权利要求1至7中任一所述的自动换道方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210120294.6A CN114347991A (zh) | 2022-02-07 | 2022-02-07 | 一种车辆的自动换道方法、装置、存储介质及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210120294.6A CN114347991A (zh) | 2022-02-07 | 2022-02-07 | 一种车辆的自动换道方法、装置、存储介质及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114347991A true CN114347991A (zh) | 2022-04-15 |
Family
ID=81092864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210120294.6A Pending CN114347991A (zh) | 2022-02-07 | 2022-02-07 | 一种车辆的自动换道方法、装置、存储介质及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114347991A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926813A (zh) * | 2022-05-16 | 2022-08-19 | 北京主线科技有限公司 | 车道线融合方法、装置、设备及存储介质 |
CN115352455A (zh) * | 2022-10-19 | 2022-11-18 | 福思(杭州)智能科技有限公司 | 道路特征的预测方法和装置、存储介质及电子装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140129073A1 (en) * | 2012-11-06 | 2014-05-08 | Google Inc. | Methods and Systems to Aid Autonomous Vehicles Driving Through a Lane Merge |
US20160272203A1 (en) * | 2015-03-18 | 2016-09-22 | Toyota Jidosha Kabushiki Kaisha | Vehicle control device |
CN110969059A (zh) * | 2018-09-30 | 2020-04-07 | 长城汽车股份有限公司 | 车道线识别方法及系统 |
CN110969837A (zh) * | 2018-09-30 | 2020-04-07 | 长城汽车股份有限公司 | 自动驾驶车辆的道路信息融合系统及方法 |
CN112189225A (zh) * | 2018-06-26 | 2021-01-05 | Sk电信有限公司 | 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质 |
CN112172810A (zh) * | 2019-06-18 | 2021-01-05 | 广州汽车集团股份有限公司 | 车道保持装置、方法、系统及汽车 |
CN113009539A (zh) * | 2021-02-19 | 2021-06-22 | 恒大新能源汽车投资控股集团有限公司 | 一种车辆自动变道处理方法、车辆及设备 |
CN113104038A (zh) * | 2021-03-31 | 2021-07-13 | 江铃汽车股份有限公司 | 车辆换道控制方法、装置、电子设备及可读存储介质 |
CN113873426A (zh) * | 2020-06-30 | 2021-12-31 | 罗伯特·博世有限公司 | 用于决策车辆的地理围栏事件的系统、控制单元和方法 |
-
2022
- 2022-02-07 CN CN202210120294.6A patent/CN114347991A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140129073A1 (en) * | 2012-11-06 | 2014-05-08 | Google Inc. | Methods and Systems to Aid Autonomous Vehicles Driving Through a Lane Merge |
US20160272203A1 (en) * | 2015-03-18 | 2016-09-22 | Toyota Jidosha Kabushiki Kaisha | Vehicle control device |
CN112189225A (zh) * | 2018-06-26 | 2021-01-05 | Sk电信有限公司 | 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质 |
CN110969059A (zh) * | 2018-09-30 | 2020-04-07 | 长城汽车股份有限公司 | 车道线识别方法及系统 |
CN110969837A (zh) * | 2018-09-30 | 2020-04-07 | 长城汽车股份有限公司 | 自动驾驶车辆的道路信息融合系统及方法 |
CN112172810A (zh) * | 2019-06-18 | 2021-01-05 | 广州汽车集团股份有限公司 | 车道保持装置、方法、系统及汽车 |
CN113873426A (zh) * | 2020-06-30 | 2021-12-31 | 罗伯特·博世有限公司 | 用于决策车辆的地理围栏事件的系统、控制单元和方法 |
CN113009539A (zh) * | 2021-02-19 | 2021-06-22 | 恒大新能源汽车投资控股集团有限公司 | 一种车辆自动变道处理方法、车辆及设备 |
CN113104038A (zh) * | 2021-03-31 | 2021-07-13 | 江铃汽车股份有限公司 | 车辆换道控制方法、装置、电子设备及可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926813A (zh) * | 2022-05-16 | 2022-08-19 | 北京主线科技有限公司 | 车道线融合方法、装置、设备及存储介质 |
CN114926813B (zh) * | 2022-05-16 | 2023-11-21 | 北京主线科技有限公司 | 车道线融合方法、装置、设备及存储介质 |
CN115352455A (zh) * | 2022-10-19 | 2022-11-18 | 福思(杭州)智能科技有限公司 | 道路特征的预测方法和装置、存储介质及电子装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112965502B (zh) | 视觉跟踪确认方法、装置、设备及存储介质 | |
CN109606385B (zh) | 一种基于自动驾驶的车辆控制方法、装置、设备和介质 | |
CN114347991A (zh) | 一种车辆的自动换道方法、装置、存储介质及车辆 | |
US8660778B2 (en) | Running plan creating apparatus | |
US20100315214A1 (en) | Image processor, storage medium storing an image processing program and vehicle-mounted terminal | |
US20140118182A1 (en) | Lane recognition method and system | |
US11691619B2 (en) | Automatic parking system and automatic parking method | |
JP2022551084A (ja) | インテリジェント駐車方法及び装置 | |
EP3886075A1 (en) | Parking space detection method and device | |
US20140309834A1 (en) | Apparatus and method for parking assistance | |
CN106240565A (zh) | 碰撞减轻和躲避 | |
CN102735253A (zh) | 用于在挡风玻璃上显示道路引导信息的装置和方法 | |
CN103728727A (zh) | 自动调整可视范围的信息显示系统及其显示方法 | |
RU2744447C1 (ru) | Способ управления парковкой и аппаратура управления парковкой | |
CN112172793B (zh) | 泊车路径规划方法、装置、车辆及存储介质 | |
EP2985648A1 (en) | Techniques for automated blind spot viewing | |
CN113147745A (zh) | 一种基于自动驾驶的交互方法和装置 | |
RU2750243C2 (ru) | Способ и система для формирования траектории для беспилотного автомобиля (sdc) | |
CN112224199A (zh) | 遥控泊车控制方法、装置、车辆及存储介质 | |
CN113119956A (zh) | 一种基于自动驾驶的交互方法和装置 | |
CN111694362A (zh) | 行驶路径规划方法及装置、存储介质、电子设备 | |
CN113237490A (zh) | Ar导航方法、系统、电子设备和存储介质 | |
WO2019072461A1 (de) | Parkassistenzverfahren, steuergerät zur durchführung des parkassistenzverfahrens und fahrzeug mit dem steuergerät | |
KR20220150212A (ko) | 자동차의 운전 동작을 지원하기 위한 방법 및 보조 장치 그리고 자동차 | |
US11667293B2 (en) | Device and method for controlling travel of vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |