CN112257539A - 车辆与车道线的位置关系检测方法、系统和存储介质 - Google Patents
车辆与车道线的位置关系检测方法、系统和存储介质 Download PDFInfo
- Publication number
- CN112257539A CN112257539A CN202011107336.XA CN202011107336A CN112257539A CN 112257539 A CN112257539 A CN 112257539A CN 202011107336 A CN202011107336 A CN 202011107336A CN 112257539 A CN112257539 A CN 112257539A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- line
- lane line
- determining
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003825 pressing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 5
- 239000011159 matrix material Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003137 locomotive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Abstract
本发明公开了一种车辆与车道线的位置关系检测方法。涉及智能驾驶领域，其中，车辆与车道线的位置关系检测方法包括以下步骤：获取车辆模型，所述车辆模型由世界坐标系中的多个第一坐标表示；获取车道线图片，其中，所述车道线图像由设置于车辆上的摄像头拍摄；获取所述摄像头的标定参数；根据所述车道线图片和所述标定参数确定车道线映射到所述世界坐标系中的第一线段；根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系。该检测方法不需要利用定位系统就能判断车道线与车辆的位置关系，从而减少智能驾驶的建设成本。
Description
技术领域
本发明涉及智能驾驶领域，尤其涉及一种车辆与车道线的位置关系检测方法、系统和存储介质。
背景技术
在开车过程中，司机可以正常行驶的原因之一，是根据道路上的车道线与司机驾驶车辆的相对位置，来判断车辆行驶是否正常。例如在直道上，司机通过车前窗，看到车辆两侧的车道线在车前窗上的位置，从而判断车辆是否在车道正中央行驶；在倒车入库时可能还需通过左右侧视镜来观察车辆与车位线的角度，从而判断应该以什么样的角度才能完成入库。如果将有人驾驶改为无人驾驶，那么判断车辆与车道线的位置关系，就是判断车辆是否能正常行驶的关键。
判断车辆与车道线位置关系的常用方法是利用GPS或者北斗系统，在车辆上安装定位信息接收机，并安装陀螺仪、加速计和电子罗盘等矢量辅助定位设备。且需要预先测量某个场地的车道线的坐标等精确数据，并建立场地模型，才能使得车辆能够在某场地进行精确定位，从而判断车辆与车道线的位置关系。
但是采用定位系统为了保证定位精度需要大规模铺设基站，且场地车道线变化需要重新建立场地模型，从而增加了建设成本。
发明内容
鉴于此，为了解决上述技术问题的至少之一，本发明提出一种车辆与车道线的位置关系检测方法、系统和存储介质，不需要利用定位系统就能判断车道线与车辆的位置关系，从而减少智能驾驶的建设成本。
第一方面，本发明实施例提供了一种车辆与车道线的位置关系检测方法，包括以下步骤：
获取车辆模型，所述车辆模型由世界坐标系中的多个第一坐标表示；
获取车道线图片，其中，所述车道线图像由设置于车辆上的摄像头拍摄；
获取所述摄像头的标定参数；
根据所述车道线图片和所述标定参数确定车道线映射到所述世界坐标系中的第一线段；
根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系。
在一些实施例中，所述车辆模型通过以下步骤获得：
获取所述车辆的长宽信息；
将所述长宽信息映射到所述世界坐标系中得到所述车辆模型。
在一些实施例中，所述根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系，包括以下步骤：
确定各所述第一坐标投影到所述线第一段上的第二坐标；
确定各所述第一坐标与所述第一线段的位置关系，其中，所述第一坐标与所述第一线段的位置关系根据该第一坐标和该第一坐标对应的所述第二坐标确定；
当所有所述第一坐标位于所述第一线段一侧则确定车道线与车辆的位置关系为车辆未压线；
当部分所述第一坐标位于所述第一线段一侧则确定车道线与车辆的位置关系为车辆压线。
在一些实施例中，所述根据所述车道线图片和所述标定参数确定车道线映射到所述世界坐标系中的第一线段，包括以下步骤：
根据所述车道线图片和所述标定参数确定车道线在所述世界坐标系下的两个第三坐标；
根据所述两个第三坐标确定所述第一线段。
在一些实施例中，所述根据所述车道线图片和所述标定参数确定车道线在所述世界坐标系下的两个第三坐标，包括以下步骤：
根据所述车道线图片确定识别区域；
利用霍夫变换确定所述识别区域下的第二线段；
根据所述第二线段确定所述第二线段的两个端点的图像像素坐标；
根据所述标定参数将所述图像像素坐标映射到所述世界坐标系，得到车道线在所述世界坐标系下的两个第三坐标。
在一些实施例中，所述根据所述车道线图片确定识别区域，包括以下步骤：
将所述车道线图片灰度化得到灰度图；
将所述灰度图进行滤波处理得到降噪图；
将所述降噪图进行畸变矫正处理得到矫正图；
将所述矫正图进行边缘检测处理得到图片数据；
将所述图片数据代入识别模型得到识别区域。
在一些实施例中，在所述根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系的步骤之前，当识别到的所述第一线段的数量为多条，还包括以下步骤：
计算多条所述第一线段和第四坐标的第一距离，其中第四坐标为所述世界坐标系下任意一点；
确定多条第一线段的斜率；
当任意两条所述第一线段的斜率之差小于第一阈值且该两条所述第一线段的第一距离之差小于第二阈值，则将该两条所述第一线段合并为一条新的第一线段。
在一些实施例中，所述车辆模型的车头处位于所述世界坐标系的原点，所述车辆模型的车头朝向与所述世界坐标系的Y轴相同，所述车辆与车道线的位置关系检测方法还包括以下步骤：
确定所述第一线段的斜率；
确定所述第一线段的截距；
确定第五坐标与所述第一线段的第二距离，其中，所述第五坐标设置在所述车辆模型的车头处；
根据所述第一线段的斜率、所述第一线段的截距以及所述第二距离确定车辆与车道线的夹角。
第二方面，本发明实施例还提供了一种车辆与车道线的位置关系检测系统，包括：
若干个摄像头，所述摄像头设置在车身上，所述摄像头用于拍摄车道线图片；
处理部件，所述处理部件用于获取所述车道线图片、获取所述摄像头的标定参数以及获取车辆模型，其中，所述车辆模型由世界坐标系中的多个第一坐标表示，所述处理部件根据所述车道线图片和所述标定参数确定车道线映射到所述世界坐标系下的第一线段，所述处理部件根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系。
第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述第一方面所述的车辆与车道线的位置关系检测方法。
本发明上述的技术方案至少具有如下优点或有益效果之一：在世界坐标系中绘制多个第一坐标形成车辆模型，在需要进行车道线与车辆的位置判断时，获取该车辆模型，并获取设置在车辆车身上的摄像头的标定参数以及获取由摄像头拍摄的车道线图片，根据摄像头的标定参数和车道线图片确定车道线映射到世界坐标系中的第一线段，然后根据世界坐标系中的第一线段与多个第一坐标的位置关系确定车道线与车辆的位置关系。通过将现实中的车辆与拍摄到的车道线统一映射到世界坐标系中，根据世界坐标系的线段与车辆模型去判断车道线与车辆的位置关系，不需要借助定位系统就能实现车辆与车道线位置关系的判断，只需要由车辆本身的设备完成，减少智能驾驶的建设成本。
附图说明
图1是根据本发明实施例提供的车辆与车道线的位置关系检测方法流程图；
图2是根据本发明另一实施例提供的车辆与车道线的位置关系检测方法流程图；
图3是根据本发明另一实施例提供的车辆与车道线的位置关系检测方法流程图；
图4是根据本发明另一实施例提供的车辆与车道线的位置关系检测方法流程图；
图5是根据本发明另一实施例提供的车辆与车道线的位置关系检测方法流程图；
图6是根据本发明另一实施例提供的车辆与车道线的位置关系检测方法流程图；
图7是根据本发明另一实施例提供的车辆与车道线的位置关系检测方法流程图；
图8是根据本发明实施例提供的世界坐标系下车辆模型的示意图；
图9是根据本发明实施例提供的世界坐标系下车辆模型与第一线段位置关系示意图；
图10是根据本发明实施例提供的世界坐标系下拟合第一线段的示意图；
图11是根据本发明实施例提供的世界坐标系下车辆模型与第一线段位置关系示意图。
具体实施方式
本申请实施例所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
本发明实施例提供一种车辆与车道线的位置关系检测方法，能够不采用定位系统判断车辆与车道线的位置关系，从而减少智能驾驶的建设成本。参照图1，本发明实施例的方法包括但不限于步骤S110、步骤S120、步骤S130、步骤S140。
步骤S110，获取车辆模型，车辆模型由世界坐标系中的多个第一坐标表示。
在一些实施例中，车辆模型的获取方法是：
获取车辆的长宽信息，如图8所示，S1和S2为辅助线，辅助线S1用于标识车身宽度从车头逐渐变大至刚好最大处的位置，辅助线S2用于标识车身宽度从最大处刚好逐渐变小的位置，测量W1、W2和W3这三个车身的宽度信息。其中W1为车头宽度，W2为车身宽度，W3为车尾宽度。再测量H1、H2和H3这三个车身的长度信息。其中H1为车头到辅助线S1的距离；H2为辅助线S1与S2之间的距离，H3为辅助线S2到车尾的距离。将世界坐标原点O设置在车头中间处，世界坐标系的方向与车辆方向垂直。
将长宽信息映射到世界坐标系中得到所述车辆模型。根据长宽信息可以确定第一坐标A、第一坐标B、第一坐标C、第一坐标D、第一坐标E、第一坐标F、第一坐标G和第一坐标H的坐标值。由两点确定一条直线则可得出直线集，直线集包括直线L1、直线L2、直线L3、直线L4、直线L5、直线L6、直线L7和直线L8，这些直线就构成了代表车辆的车辆模型。需要说明的是，如果车辆模型要更好地还原车辆或是车辆车身形状更为复杂，也可用更多的直线制作车辆模型。
步骤S120，获取车道线图片，其中，所述车道线图像由设置于车辆上的摄像头拍摄。
在一些实施例中，摄像头可以为一个，设置在车辆的车头位置，拍摄区域为车辆行驶的前方区域；也可以设置在摄像头一侧，拍摄区域为摄像头的侧方区域。
在一些实施例中，摄像头也可以为多个，沿车辆四周布设，则车辆拍摄区域为车辆四周区域。例如，当摄像头的数量为四个，将摄像头分别布设在车身的前后左右位置，能够在以最少的摄像头拍摄到车身四周的路面情况，获取到四周的车道线图片。当然，若拍摄视野不足可增加摄像头与的数量。
步骤S130，获取摄像头的标定参数。
在一些实施例中，标定参数包括内参矩阵、旋转矩阵和位移矩阵。内参矩阵是计算图像像素坐标系与世界坐标系转换关系的一个重要参数。内参矩阵可以通过张正友标定法得到相机的内参矩阵与畸变矩阵，也可以通过说明书或者厂商直接获得相机的内参及畸变矩阵。其中，畸变矩阵是矫正畸变图像得到无畸变图像的重要参数。将摄像头拍摄出的图片的图像像素坐标系转换为与世界坐标系时，该世界坐标系需要变换到与车辆模型所在的世界坐标系重合，才能进行后续的运算，在该世界坐标系变换的过程中则能得到摄像头的旋转矩阵和位移矩阵。
在一些实施例中，可以使用五点法计算摄像头的旋转矩阵和位移矩阵，五点法即已知五个点的世界坐标及图像像素坐标，使用其中四个点作为位姿估计参数，剩下的一个点作为位姿估计是否准确的参考点。利用相机内参矩阵、畸变矩阵和其中四个点，即可推导出相应相机的旋转矩阵及位移矩阵。
在一些实施例中，参照图8，世界坐标系的原点O可选择在车头位置，世界坐标系X轴的方向与车身垂直。需要说明的是世界坐标系方向选择及原点O的位置选择只要方便计算即可。每一次摄像机相对于车辆的位置有所变化时，均需要重新确定摄像机的旋转矩阵和位移矩阵。
步骤S140，根据车道线图片和标定参数确定车道线映射到世界坐标系中的第一线段。
在一些实施例中，摄像头拍摄到图片之后发送到处理部件，处理部件识别出为车道线图片之后，对车道线图片进行处理，再结合摄像机的标定参数将车道线映射到世界坐标系下得到第一线段。在世界坐标系上则由多个第一坐标形成的直线集代表车辆模型，由第一线段代表车道线。
需要说明的是，由于车道线具有一定的宽度，因此识别车道线图片之后会有两条车道线边缘的线段，转化为世界坐标系中可以选择靠近车辆模型一侧的线段作为第一线段。
步骤S150，根据第一线段与多个第一坐标在世界坐标系中的位置关系确定车道线与车辆的位置关系。
在一些实施例中，世界坐标系中的第一线段对应有函数表达式，根据第一线段的函数表达式和第一坐标就能判断出世界坐标系中第一线段与车辆模型的位置关系，进而判断出车道与车辆的位置关系，从而判断车辆行驶是否符合规范，例如车辆有没有压线。
本发明的另一个实施例还提供了一种车辆与车道线的位置关系检测方法，参照图2，图2是图1中步骤S150的细化流程的一个实施例的示意图，该步骤S150包括但不限于步骤S210、步骤S220、步骤S230、步骤S240。
步骤S210，确定各第一坐标投影到第一线段上的第二坐标。
步骤S220，确定各第一坐标与第一线段的位置关系，其中，第一坐标与第一线段的位置关系根据该第一坐标和该第一坐标对应的第二坐标确定。
步骤S230，当所有第一坐标位于第一线段一侧则确定车道线与车辆的位置关系为车辆未压线。
步骤S240，当部分第一坐标位于第一线段一侧则确定车道线与车辆的位置关系为车辆压线。
在一些实施例中，参照图9，车道线映射在世界坐标系下用第一线段J1表示，第二坐标G’为第一坐标G在第一线段J1上的Y轴方向的投影，第二坐标G’的纵坐标可通过以下公式获得:
YG′＝kJ1XG+bJ1；
其中，YG′为第二坐标G’的纵坐标，kJ1第一线段J1的斜率，bJ1为第一线段J1的截距，XG为第一坐标G的横坐标。进一步地，可根据第二坐标G’的纵坐标YG′与第一坐标G的纵坐标YG的大小关系，从而判断第一坐标G相对于第二坐标G’的位置情况，进而判断第一坐标G相对于第一线段J1的位置情况。判断第一坐标G相对于第一线段J1的位置有以下情形：
当YG′>YG，第二坐标G’位于第一坐标G的上方，即第一坐标G位于第一线段J1的下方；
当YG′<YG，第二坐标G’位于第一坐标G的下方，即第一坐标G位于第一线段J1的上方；
当YG′＝YG，第二坐标G’与第一坐标G重合，即第一坐标G在第一线段J1上。
判断出每个第一坐标相对于第一线段的位置后，可判断出车道线与车辆的位置关系，有以下情况：
当所有第一坐标位于第一线段的一侧，此时第一线段不经过车辆模型，则车辆没有压线；
当部分第一坐标位于第一线段一侧，此时第一线段经过车辆模型，则车辆压线。
具体地，当部分第一坐标位于第一线段的一侧，还可以具体分为：当部分第一坐标位于第一线段的一侧，部分第一坐标位于第一线段另一侧，则判断车道线穿过车辆；当部分第一坐标位于第一线段的一侧，剩余第一坐标位于第一线段上，则判断车辆刚好位于车道线上。
需要说明的是，当第一线段斜率的绝对值超过斜率阈值，例如斜率阈值为1，则第一线段基本位于车辆模型的左侧或者右侧，则可判断第一坐标的横坐标与第一坐标投影在第一线段上的第二坐标的横坐标的关系，同样可以得出车道线与车辆的位置关系。
在一些实施例中，倒车入库会出现两车道线线相交形成的角，映射到世界坐标系上，如图9所示，第一线段J2与第一线段J3相交形成了角，判断车辆是否压角具体如下：根据第一线段J2与第一线段J3的函数表达式可以求得交点I的坐标，根据交点I和表示车辆模型的直线集判断交点I是否在车辆模型内部就能判断车辆是否压角。
本发明的另一个实施例还提供了一种车辆与车道线的位置关系检测方法，参照图3，图3是图1中步骤S140的细化流程的一个实施例的示意图，该步骤S140包括但不限于步骤S310、步骤S320。
步骤S310，根据车道线图片和标定参数确定车道线在世界坐标系下的两个第三坐标。
步骤S320，根据两个第三坐标确定所述第一线段。
在一些实施例中，利用标定参数能将车道线图片中的图像像素坐标系转换为世界坐标系，由于现实中的车道线是直线，摄像头拍摄到的车道线都会有一定的长度，将车道线的两个端点映射到世界坐标系中得到两个第三坐标，将这两个第三坐标连接起来就能得到表示车道线的第一线段。利用车道线为直线的特性，只需要确定两个在世界坐标系下的第三坐标就能将车道线映射在世界坐标系中，减少了计算量，从而提高运算速度。
本发明的另一个实施例还提供了一种车辆与车道线的位置关系检测方法，参照图4，图4是图3中步骤S310的细化流程的一个实施例的示意图，该步骤S310包括但不限于步S410、步骤S420、步骤S430、步骤S440。
步骤S410，根据车道线图片确定识别区域。
步骤S420，利用霍夫变换确定识别区域下的第二线段。
步骤S430，根据第二线段确定第二线段的两个端点的图像像素坐标。
步骤S440，根据标定参数将图像像素坐标映射到世界坐标系，得到车道线在世界坐标系下的两个第三坐标。
在一些实施例中，对获取到的车道线图片进行图像处理之后可以确定识别区域，利用以下公式计算识别区域左上角坐标：
Xu＝X0-W/2；
Yu＝Y0-H/2；
其中，X0为识别区域中心点横坐标，Y0为识别区域中心点纵坐标，W为识别区域的宽，H为识别区域的高，Xu为识别区域左上角端点横坐标，Yu为识别区域左上角端点纵坐标。
由于车道线为直线，利用霍夫变换可以找出识别区域中的直线，也就是第二线段。将第二线段在识别区域下的两个端点转换为图像像素坐标，转换过程可以采用以下方式：
Xl＝Xu+Xul；
Yl＝Yu+Yul；
其中，Xul为第二线段一个端点在识别区域横坐标，Yul为第二线段一个端点在识别区域纵坐标，Xl为第二线段一个端点的图像像素横坐标，Yl为第二线段一个端点的图像像素纵坐标。
得到图像像素坐标之后，根据转化公式将图像像素坐标转化为世界坐标，其中，转化公式为：
其中，
为内参矩阵，R为旋转矩阵，T为位移向量，Zc为比例因子，u、v为图像像素坐标，XW、Yw、Zw为世界坐标，由于车道线在地面上是一个二维空间，因此Zw＝0，由Zw＝0可以求出比例因子Zc。
在内参矩阵中，cmx与cmy的计算公式为：
其中，f为摄像头焦距，dx与dy为一个像素点在图像像素坐标系中所占感光板坐标系X轴与Y轴的实际长度。
本发明的另一个实施例还提供了一种车辆与车道线的位置关系检测方法，参照图5，图5是图4中步骤S410的细化流程的一个实施例的示意图，该步骤S410包括但不限于步骤S510、步骤S520、步骤S530、步骤S540、步骤S550。
步骤S510，将车道线图片灰度化得到灰度图。
在一些实施例中，车道线图片进行灰度化处理之后可以有更好的显示色彩梯度，利于后续的图像处理。
步骤S520，将灰度图进行滤波处理得到降噪图。
在一些实施例中，对图片进行滤波处理可以滤除图片大部分的高斯噪点，例如灰尘、雨点等，将高斯核设置成合适的大小可以适应不同的环境情况。
步骤S530，将降噪图进行畸变矫正处理得到矫正图。
在一些实施例中，现实中的车道线位置线，但摄像头拍摄出来的照片会有一定程度的变形，因此需要对图片进行畸变矫正。经过畸变矫正后的矫正图为没有畸变的图片，可以更为准确地提供图像像素坐标，矫正畸变需要摄像头内参矩阵及畸变矩阵。
步骤S540，将矫正图进行边缘检测处理得到图片数据。
在一些实施例中，对图片可以采用canny算子进行边缘检测，边缘检测图可以很好的反映物体的边缘情况。
步骤S550，将图片数据代入识别模型得到识别区域。
在一些实施例中，车道线图片经过一系列处理之后得到图片数据，然后将代入识别模型之后可以得到识别区域。
需要说明的是，识别模型还可以包括对识别道路的虚实线，识别模型可以先采集图片样本利用标注软件对图片样本进行标注之后形成训练文件，将训练文件输入深度神经网络训练即可得出识别模型，深度学习网络可选用Yolov3、SSD等目标检测深度学习框架，只要可以在图像上识别出实虚线，并输出识别类型和识别区域即可。当然识别模型也可以输出识别区域的长宽以及识别中心点坐标。
需要说明的是，当识别类型不同时，需要调整霍夫变换的参数，这是因为虚线与实线在图像空间上的分布不同导致的。实线在图像上为一大段连续的图像，而虚线则为一段一段小的图像，如果两者使用相同的参数进行识别，则可能会出现识别实线时识别出2条以上的直线，或者识别虚线时无法识别出直线的情况。
本发明的另一个实施例还提供了一种车辆与车道线的位置关系检测方法，参照图6，图6是图1中另一个实施例的示意图，当一条车道线映射到世界坐标系下的第一线段有多条时，则执行步骤S610、步骤S620、步骤S630，且执行在步骤S150之前。
步骤S610，计算多条第一线段和第四坐标的第一距离，其中，第四坐标为世界坐标系下任意一点。
步骤S620，确定多条第一线段的斜率。
步骤S630，当任意两条第一线段的斜率之差小于第一阈值且该两条所述第一线段的第一距离之差小于第二阈值，则将该两条第一线段合并为一条新的第一线段。
在一些实施例中，一张车道线图片中的同一条车道线可能映射出多条第一线段，参照图10，在同一识别区域100中，第一线段J4、第一线段J5与第一线段J6可能是一条直线，但由于图片分辨率过低、环境、参数设置等原因导致该直线被识别出多条，则需要将第一线段J4、第一线段J5和第一线段J6拟合为一条新的第一线段J7。首先需要判断这些第一线段是否原来为同一条第一线段，可以根据第一线段的斜率以及第四坐标与多条第一线段的第一距离判断，本实施例的第四坐标选为坐标原点O。当多条第一线段的斜率之差在第一阈值之内则可以确定这些第一线段的方向相同，进一步地，当第一距离之差在第二阈值之内则可以确定这些第一线段其实为一条线段，则对这些线段进行直线拟合。具体的拟合过程为求取这些确定为一条线段的第一线段的斜率平均值和第一距离平均值，根据斜率平均值和第一距离平均值可以拟合出一条新的第一线段表示车道线。
在一些实施例中，在同一识别区域下拟合第一线段后，不同的摄像头可能会拍摄到同一条车道线，那么需要将多摄像头拍摄的车道线图片映射到世界坐标系下的第一线段进行拟合，即对不同识别区域下表示同一条车道线的第一线段进行拟合。同样地，首先需要判断这些第一线段是否原来为同一条第一线段，可以根据第一线段的斜率以及第四坐标与多条第一线段的第一距离判断，本实施例的第四坐标选为坐标原点O。当多条第一线段的斜率之差在第一阈值之内则可以确定这些第一线段的方向相同，进一步地，当第一距离之差在第二阈值之内则可以确定这些第一线段其实为一条线段，则对这些线段进行直线拟合。具体的拟合过程为求取这些确定为一条线段的第一线段的斜率平均值和第一距离平均值，根据斜率平均值和第一距离平均值可以拟合出一条新的第一线段表示车道线。
本发明的另一个实施例还提供了一种车辆与车道线的位置关系检测方法，参照图7，图7是图1中另一个实施例的示意图，本实施例提供的车辆与车道线的位置关系检测方法包括但不限于步骤S710、步骤S720、步骤S730、步骤S740。
步骤S710，确定第一线段的斜率。
步骤S720，确定第一线段的截距。
步骤S730，确定第五坐标与第一线段的第二距离，其中，所述第五坐标设置在车辆模型的车头处。
步骤S740，根据第一线段的斜率、第一线段的截距以及第二距离确定车辆与车道线的夹角。
在一些实施例中，参照图11，根据两个第三坐标就可以确定第一线段J8的斜率和截距，第五坐标表示的是车头的坐标，车辆模型的车头设置在原点O，则第五坐标为原点O坐标，车辆模型的车头朝向与世界坐标系的Y轴相同，即车辆模型的车身垂直于世界坐标系的X轴。根据点到直线的距离公式求出第五坐标到第一线段J8的第二距离d。
其中，b1为第一线段J8的截距，k1为第一线段J8的斜率。
车辆模型与第一线段J8的偏转角α可根据以下公式求解：
计算出车辆与车道线的偏转角，能够根据该偏转角及时调整车辆方向以便正确驾驶。
需要说明的是，对车尾与第一线段的偏转角计算也可采用上述处理方式。
本发明实施例还提供了一种车辆与车道线的位置关系检测系统，包括：若干个摄像头和处理部件。摄像头设置在车身上，摄像头用于拍摄车道线图片。处理部件用于获取摄像头拍摄车道线图片、获取摄像头的标定参数以及获取车辆模型，其中，车辆模型由世界坐标系中的多个第一坐标表示，处理部件根据车道线图片和标定参数确定车道线映射到所述世界坐标系下的第一线段，处理部件根据第一线段与多个第一坐标在世界坐标系中的位置关系确定车道线与车辆的位置关系。
本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，执行以上描述的图1中的方法步骤S110至步骤S150、图2中的方法步骤S210至步骤S240、图3中的方法步骤S310至步骤S320、图4中的方法步骤S410至步骤S440、图5中的方法步骤S510至步骤S550、图6中的方法步骤至S610至步骤S630、图7中的方法步骤至S710、至步骤S740。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (10)
1.一种车辆与车道线的位置关系检测方法，其特征在于，包括以下步骤：
获取车辆模型，所述车辆模型由世界坐标系中的多个第一坐标表示；
获取车道线图片，其中，所述车道线图像由设置于车辆上的摄像头拍摄；
获取所述摄像头的标定参数；
根据所述车道线图片和所述标定参数确定车道线映射到所述世界坐标系中的第一线段；
根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系。
2.根据权利要求1所述的车辆与车道线的位置关系检测方法，其特征在于，所述车辆模型通过以下步骤获得：
获取所述车辆的长宽信息；
将所述长宽信息映射到所述世界坐标系中得到所述车辆模型。
3.根据权利要求1所述的车辆与车道线的位置关系检测方法，其特征在于，所述根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系，包括以下步骤：
确定各所述第一坐标投影到所述第一线段上的第二坐标；
确定各所述第一坐标与所述第一线段的位置关系，其中，所述第一坐标与所述第一线段的位置关系根据该第一坐标和该第一坐标对应的所述第二坐标确定；
当所有所述第一坐标位于所述第一线段一侧则确定车道线与车辆的位置关系为车辆未压线；
当部分所述第一坐标位于所述第一线段一侧则确定车道线与车辆的位置关系为车辆压线。
4.根据权利要求1所述的车辆与车道线的位置关系检测方法，其特征在于，所述根据所述车道线图片和所述标定参数确定车道线映射到所述世界坐标系中的第一线段，包括以下步骤：
根据所述车道线图片和所述标定参数确定车道线在所述世界坐标系下的两个第三坐标；
根据所述两个第三坐标确定所述第一线段。
5.根据权利要求4所述的车辆与车道线的位置关系检测方法，其特征在于，所述根据所述车道线图片和所述标定参数确定车道线在所述世界坐标系下的两个第三坐标，包括以下步骤：
根据所述车道线图片确定识别区域；
利用霍夫变换确定所述识别区域下的第二线段；
根据所述第二线段确定所述第二线段的两个端点的图像像素坐标；
根据所述标定参数将所述图像像素坐标映射到所述世界坐标系，得到车道线在所述世界坐标系下的两个第三坐标。
6.根据权利要求5所述的车辆与车道线的位置关系检测方法，其特征在于，所述根据所述车道线图片确定识别区域，包括以下步骤：
将所述车道线图片灰度化得到灰度图；
将所述灰度图进行滤波处理得到降噪图；
将所述降噪图进行畸变矫正处理得到矫正图；
将所述矫正图进行边缘检测处理得到图片数据；
将所述图片数据代入识别模型得到识别区域。
7.根据权利要求1所述的车辆与车道线的位置关系检测方法，其特征在于，在所述根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系的步骤之前，当识别到的所述第一线段的数量为多条，还包括以下步骤：
计算多条所述第一线段和第四坐标的第一距离，其中第四坐标为所述世界坐标系下任意一点；
确定多条第一线段的斜率；
当任意两条所述第一线段的斜率之差小于第一阈值且该两条所述第一线段的第一距离之差小于第二阈值，则将该两条所述第一线段合并为一条新的第一线段。
8.根据权利要求1所述的车辆与车道线的位置关系检测方法，其特征在于，所述车辆模型的车头处位于所述世界坐标系的原点，所述车辆模型的车头朝向与所述世界坐标系的Y轴相同，所述车辆与车道线的位置关系检测方法还包括以下步骤：
确定所述第一线段的斜率；
确定所述第一线段的截距；
确定第五坐标与所述第一线段的第二距离，其中，所述第五坐标设置在所述车辆模型的车头处；
根据所述第一线段的斜率、所述第一线段的截距以及所述第二距离确定车辆与车道线的夹角。
9.一种车辆与车道线的位置关系检测系统，其特征在于，包括：
若干个摄像头，所述摄像头设置在车身上，所述摄像头用于拍摄车道线图片；
处理部件，所述处理部件用于获取所述车道线图片、获取所述摄像头的标定参数以及获取车辆模型，其中，所述车辆模型由世界坐标系中的多个第一坐标表示，所述处理部件根据所述车道线图片和所述标定参数确定车道线映射到所述世界坐标系下的第一线段，所述处理部件根据所述第一线段与多个所述第一坐标在所述世界坐标系中的位置关系确定车道线与车辆的位置关系。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任意一项所述的车辆与车道线的位置关系检测方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011107336.XA CN112257539A (zh) | 2020-10-16 | 2020-10-16 | 车辆与车道线的位置关系检测方法、系统和存储介质 |
| LU502288A LU502288B1 (en) | 2020-10-16 | 2021-08-24 | Method and system for detecting position relation between vehicle and lane line, and storage medium |
| PCT/CN2021/114250 WO2022078074A1 (zh) | 2020-10-16 | 2021-08-24 | 车辆与车道线的位置关系检测方法、系统和存储介质 |
| US18/300,737 US20230252677A1 (en) | 2020-10-16 | 2023-04-14 | Method and system for detecting position relation between vehicle and lane line, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011107336.XA CN112257539A (zh) | 2020-10-16 | 2020-10-16 | 车辆与车道线的位置关系检测方法、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112257539A true CN112257539A (zh) | 2021-01-22 |
Family
ID=74244215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011107336.XA Pending CN112257539A (zh) | 2020-10-16 | 2020-10-16 | 车辆与车道线的位置关系检测方法、系统和存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230252677A1 (zh) |
| CN (1) | CN112257539A (zh) |
| LU (1) | LU502288B1 (zh) |
| WO (1) | WO2022078074A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205687A (zh) * | 2021-04-30 | 2021-08-03 | 广州大学 | 一种基于视频监控的酒驾车辆轨迹识别系统 |
| CN113256665A (zh) * | 2021-05-26 | 2021-08-13 | 长沙以人智能科技有限公司 | 一种基于图像处理的机动车与虚实线位置关系检测方法 |
| CN113378735A (zh) * | 2021-06-18 | 2021-09-10 | 北京东土科技股份有限公司 | 一种道路标识线识别方法、装置、电子设备及存储介质 |
| CN113674358A (zh) * | 2021-08-09 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种雷视设备的标定方法、装置、计算设备及存储介质 |
| CN114274948A (zh) * | 2021-12-15 | 2022-04-05 | 武汉光庭信息技术股份有限公司 | 一种基于360度全景的自动泊车方法及装置 |
| WO2022078074A1 (zh) * | 2020-10-16 | 2022-04-21 | 广州大学 | 车辆与车道线的位置关系检测方法、系统和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN104463935A (zh) * | 2014-11-11 | 2015-03-25 | 中国电子科技集团公司第二十九研究所 | 一种用于交通事故还原的车道重建方法和系统 |
| CN104859563A (zh) * | 2015-05-28 | 2015-08-26 | 北京汽车股份有限公司 | 车道偏离预警方法和系统 |
| CN106682646A (zh) * | 2017-01-16 | 2017-05-17 | 北京新能源汽车股份有限公司 | 一种车道线的识别方法及装置 |
| CN108332979A (zh) * | 2018-02-08 | 2018-07-27 | 青岛慧拓智能机器有限公司 | 一种车辆压线检测方法 |
| CN108776767A (zh) * | 2018-04-18 | 2018-11-09 | 福州大学 | 一种有效判别车辆压线及预先提示系统 |
| CN109624976A (zh) * | 2018-12-25 | 2019-04-16 | 广州小鹏汽车科技有限公司 | 一种车辆的车道保持控制方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052908A (zh) * | 2017-12-15 | 2018-05-18 | 郑州日产汽车有限公司 | 车道保持方法 |
| CN110956081B (zh) * | 2019-10-14 | 2023-05-23 | 广东星舆科技有限公司 | 车辆与交通标线位置关系的识别方法、装置及存储介质 |
| CN112257539A (zh) * | 2020-10-16 | 2021-01-22 | 广州大学 | 车辆与车道线的位置关系检测方法、系统和存储介质 |
-
2020
- 2020-10-16 CN CN202011107336.XA patent/CN112257539A/zh active Pending
-
2021
- 2021-08-24 WO PCT/CN2021/114250 patent/WO2022078074A1/zh active Application Filing
- 2021-08-24 LU LU502288A patent/LU502288B1/en active IP Right Grant
-
2023
- 2023-04-14 US US18/300,737 patent/US20230252677A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN104463935A (zh) * | 2014-11-11 | 2015-03-25 | 中国电子科技集团公司第二十九研究所 | 一种用于交通事故还原的车道重建方法和系统 |
| CN104859563A (zh) * | 2015-05-28 | 2015-08-26 | 北京汽车股份有限公司 | 车道偏离预警方法和系统 |
| CN106682646A (zh) * | 2017-01-16 | 2017-05-17 | 北京新能源汽车股份有限公司 | 一种车道线的识别方法及装置 |
| CN108332979A (zh) * | 2018-02-08 | 2018-07-27 | 青岛慧拓智能机器有限公司 | 一种车辆压线检测方法 |
| CN108776767A (zh) * | 2018-04-18 | 2018-11-09 | 福州大学 | 一种有效判别车辆压线及预先提示系统 |
| CN109624976A (zh) * | 2018-12-25 | 2019-04-16 | 广州小鹏汽车科技有限公司 | 一种车辆的车道保持控制方法及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022078074A1 (zh) * | 2020-10-16 | 2022-04-21 | 广州大学 | 车辆与车道线的位置关系检测方法、系统和存储介质 |
| CN113205687A (zh) * | 2021-04-30 | 2021-08-03 | 广州大学 | 一种基于视频监控的酒驾车辆轨迹识别系统 |
| CN113256665A (zh) * | 2021-05-26 | 2021-08-13 | 长沙以人智能科技有限公司 | 一种基于图像处理的机动车与虚实线位置关系检测方法 |
| CN113256665B (zh) * | 2021-05-26 | 2023-08-08 | 长沙以人智能科技有限公司 | 一种基于图像处理的机动车与虚实线位置关系检测方法 |
| CN113378735A (zh) * | 2021-06-18 | 2021-09-10 | 北京东土科技股份有限公司 | 一种道路标识线识别方法、装置、电子设备及存储介质 |
| CN113674358A (zh) * | 2021-08-09 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种雷视设备的标定方法、装置、计算设备及存储介质 |
| CN114274948A (zh) * | 2021-12-15 | 2022-04-05 | 武汉光庭信息技术股份有限公司 | 一种基于360度全景的自动泊车方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022078074A1 (zh) | 2022-04-21 |
| US20230252677A1 (en) | 2023-08-10 |
| LU502288B1 (en) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112257539A (zh) | 车辆与车道线的位置关系检测方法、系统和存储介质 | |
| CN106408611B (zh) | 静态目标的路过式校准 | |
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| CN106952308B (zh) | 运动物体的位置确定方法及系统 | |
| CN106651963B (zh) | 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 | |
| TW202020811A (zh) | 用於基於障礙物檢測校正高清晰度地圖的系統和方法 | |
| EP4016457A1 (en) | Positioning method and apparatus | |
| CN110969055B (zh) | 用于车辆定位的方法、装置、设备和计算机可读存储介质 | |
| CN108470142B (zh) | 基于逆透视投影和车道距离约束的车道定位方法 | |
| CN109753841B (zh) | 车道线识别方法和装置 | |
| CN113256739A (zh) | 车载bsd摄像头的自标定方法、设备和存储介质 | |
| CN109472737B (zh) | 一种车载六路摄像头的全景报警方法 | |
| WO2021204867A1 (en) | A system and method to track a coupled vehicle | |
| CN112215214A (zh) | 调整智能车载终端的摄像头偏移的方法及系统 | |
| CN112308899A (zh) | 一种挂车角度识别方法及装置 | |
| US11403770B2 (en) | Road surface area detection device | |
| CN110727269A (zh) | 车辆控制方法及相关产品 | |
| CN110555801A (zh) | 一种航迹推演的校正方法、终端和存储介质 | |
| US11477371B2 (en) | Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method | |
| CN115597550A (zh) | 一种基于消失点和目标接地点的坡道单目测距方法及装置 | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| CN113869440A (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
| CN110908366B (zh) | 自动驾驶方法及装置 | |
| CN113799769B (zh) | 车位识别精度的检测方法、装置及自动驾驶车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |