CN117751390A - 用于机动车的用于凸起对象的高度识别的方法 - Google Patents
用于机动车的用于凸起对象的高度识别的方法 Download PDFInfo
- Publication number
- CN117751390A CN117751390A CN202280050685.3A CN202280050685A CN117751390A CN 117751390 A CN117751390 A CN 117751390A CN 202280050685 A CN202280050685 A CN 202280050685A CN 117751390 A CN117751390 A CN 117751390A
- Authority
- CN
- China
- Prior art keywords
- object edge
- camera
- determining
- ground
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title abstract description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 102000003780 Clusterin Human genes 0.000 description 1
- 108090000197 Clusterin Proteins 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/028—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种用于机动车的用于凸起对象(14)的高度识别的方法，包括至少一个摄像机(10)，借助该摄像机(10)可光学地检测在该机动车相对于对象(14)的至少两个不同的横向位置中对象(14)的图像信息。该方法在此包括：在至少两个图像信息中求取所述对象(14)的对象边沿区段(18)的步骤，将所述对象(14)的对象边沿区段(18)从该摄像机(10)出发投影到针对该摄像机(10)校准的地面(22)上的步骤，将所述对象边沿区段(18)配属于不同的对象(14)并且求取共同的对象边沿线(34)的步骤，求取在所述至少两个位置中摄像机(10)与投影到所述地面(22)上的对象边沿线(34)之间的视线(38、38')的步骤，求取相同的对象(14)的位于相同的平面(Π)中的所述至少两个视线(38、38')的交点(P)的步骤，和确定该交点(P)在对应的所述对象(14)的所校准的地面(22)以上的高度(h)的步骤。
Description
技术领域
本发明涉及一种用于机动车的用于凸起对象的高度识别的方法。此外，本发明涉及一种用于执行这种方法的装置。
背景技术
许多车辆配备有视频摄像机，其光学地检测车辆环境。然而，由摄像机图像难以求取对象——例如路缘石、车轮挡(Radstoppern)、减速带(Bodenschwellen)也或者地面标记(Bodenmarkierungen)——的高度。然而对于自主的或受辅助的驾驶运行而言重要的是，将不同对象的高度及早地正确地分类，以便确保安全的驾驶运行。
US 9,725,040 B2公开一种车辆-对象识别系统，当车辆接近该对象时，借助该车辆-对象识别系统确定对象的高度。该车辆-对象识别系统包括视频摄像机、控制器和视频显示器。将通过该视频摄像机所检测的光学数据传输到控制器，该控制器根据这些数据对该对象的高度进行确定并在视频显示器上向驾驶员显示。
用于识别低的对象或地面标记的现有的算法常使用适合用于确定这样的对象的尺寸的3D点云。然而，为产生可靠的点云常要求相当复杂的解决方案。
因此，本发明所基于的任务是给出一种用于机动车的用于凸起对象的高度识别的方法，借助该方法可以实现高度的更简单的求取。
该任务通过一种具有权利要求1的特征的用于机动车的用于凸起对象的高度识别的方法来解决。附加地，本发明说明一种具有权利要求6的特征的用于执行这种方法的装置。优选实施方式从属权利要求得出。
发明内容
本发明说明一种用于机动车的用于凸起对象的高度识别的方法，包括至少一个摄像机，借助该摄像机可光学地检测在该机动车相对于对象的至少两个不同的横向位置中对象的图像信息。在此，该方法包括在至少两个图像信息中求取凸起对象的对象边沿区段的步骤。在此，将在现实中存在的完整的对象边沿的仅仅一部分理解为对象边沿区段。在此例如，对象边沿由于现实中存在的不规则性或识别问题通常不可完全地被检测，因此被分解成多个识别到的对象边沿区段。
凸起对象在此是相对于机动车在其上行驶的平面具有一定的高度的对象。在此例如，凸起对象可以是人行道(Bürgersteig)的路缘石、车轮挡或减速带。然而，所识别的对象是否为凸起对象在该方法的结束时才被求取到，从而也针对非凸起对象求取对象边沿区段。所述两个图像信息在此是如下图像：在所述图像中，车辆具有相对于对象的在横向方向上不同的位置。然而优选使用多于两个的图像信息，由此改善该方法的精度。为执行该方法，凸起对象具有小于摄像机的安装高度的最大高度。
该方法此外包括将对象的对象边沿区段从摄像机出发投影到针对该摄像机校准(kalibrierten)的地面(Boden)上的步骤。所校准的地面在此是摄像机的地(Grund)以上的已知高度。所校准的地面在此相当于机动车在其上行驶的平面。通过该投影，将真实中3维的周围环境映射到2维的摄像机图像上。由此简化对象的识别和高度的求取。
在随后的步骤中，将所述对象边沿区段配属于不同的对象，并且求取共同的对象边沿线。因此，在仅仅识别为对象边沿区段的对象边沿线之间识别相关关系，从而将对象边沿区段连接成完整的对象边沿线。因此能够将这样获得的对象边沿线配属于在图像中示出的不同的对象。
该方法附加地包括求取在至少两个位置中摄像机与所述投影到该地面上的对象边沿线之间的视线的步骤。所述视线在此是从摄像机出发延伸到对象边沿线的线。
在接下来的方法步骤中，求取相同的对象的位于相同的平面中的至少两个视线的交点，并且确定该交点在对应的对象的所校准的地面以上的高度。在此这样选择所述平面，使得对象边沿线垂直于所述平面。在这些平面中，对象边沿线由此仅仅点形地构造。由此，为确定凸起对象的高度，在一个位置中仅仅需要一个位于平面中的视线。这些视线的交点在此相当于对象边沿在所校准的地面上方的真实的位置。基于在2维视图中的这样获得的交点，能够以简单的方式求取在校准的地面以上的高度。基于该方法，仅仅必须解决三个2维问题，从而简化凸起对象的高度的求取。
在理想条件下，通过多个位置获得的多个视线全部相交于同一交点中。然而由于测量不准确性，可能得出求取的交点之间的偏差。在此，通过公式
来求取共同的交点P，在该交点处，视线ei的所有求取的交点的偏差d最小。由此仍可以实现求取共同的交点。
将对象边沿区段配属于不同的对象在此优选包括由在相同的方向上延伸的对象边沿区段形成群(Clustern)的方法步骤。将具有相同的预给定的属性的元素的集合理解为本发明的意义上的群。由此能够更简单地滤除不属于对象的元素，从而简化共同的对象边沿线的求取。
接下来的步骤在此包括，关于在相同的方向上延伸的对象边沿区段的群在垂直距离方面形成群，从而将其垂直距离高于界限值的对象边沿区段配属于单独的群。垂直距离在此是在一个对象边沿区段与相同的方向的其他对象边沿区段之间与延伸方向垂直的相应的距离。针对所有对象边沿区段并且针对所有群检验该距离。由此附加地与垂直距离相关地将群彼此区分。
在此，所述界限值优选选择成在对象边沿区段的垂直距离的常见的分散宽度(Streuungsbreite)之上。因此可以将虽然与第一对象平行地延伸然而与其以距离偏移的另外的对象彼此区分。由此附加地简化共同对象边沿线的求取。
在另一步骤中，形成如下群：在这些群中，相邻的对象边沿区段之间的平行距离超过界限值。该界限值在此相应于常见的平行距离来选择。平行距离在此是两个相邻的对象边沿区段之间的距离，其在这些对象边沿区段的延伸方向上延伸并且因此与这些对象边沿区段平行。由此简化并且改善共同的对象边沿的以及对象本身的求取。
在本发明的一种优选实施方案中，去除以下群：所述群具有小于界限值的数量的对象边沿区段。该界限值在此相应于应用情况来选择。界限值优选处于1-3个对象边沿区段之间。通过该步骤，滤除由于测量误差识别到的对象边沿区段或不重要的对象边沿，以便减少计算开销。在此，在每次创建群时执行该步骤。由此计算重要相关的对象边沿。
优选地，在确定所述对象的高度之后，确定相对于对象边沿的与地面平行的距离。该平行距离在此相当于摄像机与对象边沿之间的水平距离。这些距离的知识在此对于自主驾驶运行是重要的，从而由此改善自主的驾驶运行中的安全性。
在一种有利的扩展方案中，在求取对象边沿区段之前，通过摄像机模型来补偿由于棱镜的光学畸变。畸变特别是发生在棱镜的边沿处。这特别是涉及鱼眼棱镜。这种畸变通过摄像机模型来补偿，从而产生理想的2维图像。凸起对象的高度的求取由此显著被改善。
本发明所基于的任务附加地通过一种用于机动车的、用于凸起对象的高度识别的装置来解决。该装置在此包括至少一个摄像机和处理单元，借助该摄像机可检测图像信息，借助该处理单元可执行根据本发明的方法。借助这种装置基本上先前所描述的优点。摄像机在此优选是鱼眼摄像机，从而可检测大的环境。
先前描述的方法特别是例如可以是计算机实现的，并且因此体现在软件中。本发明还涉及一种计算机程序，该计算机程序包含机器可读的指令，当在一个或多个处理单元上执行所述指令时，所述指令促使所述一个或多个处理单元实施所描述的方法。
同样，本发明还涉及一种具有该计算机程序的机器可读的数据载体和/或下载产品。下载产品是可通过数据网络传递、即可由数据网络的用户下载的数字产品，其例如可以在网上商店中被出售用于立即下载。
此外，处理单元可以配备有该计算机程序，配备有该机器可读的数据载体或配备有该下载产品。
附图说明
本发明的实施例在示图中示出并在以下描述中详细进行阐述。示出：
图1：摄像机的具有标记的对象边沿区段的图像，
图2：将对象边沿区段投影到校准的地面上，并由在相同的方向上延伸的对象边沿区段形成群，
图3：在垂直距离方面形成群，
图4：在平行距离方面形成群，
图5：所获得的群的示图，
图6：求取在时间点t时摄像机与投影到地面上的对象边沿之间的视线，
图7：求取在t+1时间点时摄像机与投影到地面上的对象边沿之间的视线，并求取这些线的交点。
具体实施方式
在图1中示出机动车的摄像机10(参见图6)的图像。在该图像中可以看到不同的凸起对象14，如人行道边沿等。在该图像中示出的边沿借助该方法部分地被识别并且以对象边沿区段18在该图像中被标识。
在下一步骤中，如图2所示，将在该图像中识别的对象边沿区段18投影到针对摄像机10校准的地面22(参见图6)上。在此，所校准的地面22从摄像机10的已知的安装高度H(参见图6)出发来求取。附加地由在相同的方向上延伸的对象边沿区段18形成群26。在此，在所示的实施例中，由对象边沿区段18形成总共四个不同的群26，这些群通过不同的环绕边来标识。这些群26中的两个群包括仅仅一个唯一的对象边沿区段18，从而在下一步骤中去除这些群26。
在图3中示出怎样在垂直距离AS方面形成群26。为此可以将对象边沿区段18投影到垂直于群26的取向的线LS上。为形成群26，随后检查，两个相邻的投影线30之间的垂直距离AS是否超过界限值。如果是这种情况，则形成新的群26。在新形成的群26中，两个群26包括仅仅一个唯一的对象边沿区段18。由于该数量低于预给定的界限值，在下一步骤中去除这些群26。
图4示出怎样在平行距离AP方面形成群26。在该图中，示例性地在一个群26处确定平行距离AP。在此，对所有的对象边沿区段18在其与相邻的对象边沿区段18的平行距离AP方面进行研究。在所示的图中，示例性地仅仅研究两个相邻的对象边沿区段18之间的平行距离AP。在此研究：平行距离AP是否处于界限值之下。如果距离AP要处于界限值之上，则将相邻的对象边沿区段18配属于新的群26。在该步骤中，在下一步骤中还去除以下群26：所述群仅仅具有在界限值以下的数量的对象边沿区段18。在图4中，对于布置在旁边的对象边沿区段18是这种情况。
在图5中示出从先前的步骤中形成的群26。每个群26在此分别以框被包围。随后，由布置在群26中的对象边沿区段18形成在图6中示出的对象边沿线34。
图6示出在时间点t时摄像机10与投影到地面22上的对象边沿线34之间的视线38的求取。在此示出具有先前求取的对象边沿线34的图像42。基于摄像机10的焦距和对象边沿线34在图像42中的位置，在平面Π中求取摄像机10与投影到地面上的对象边沿线34之间的视线38。对象边沿线34在此与平面Π垂直，从而对象边沿线34表示为点。
图7示出在时间点t+1时摄像机10'与投影到地面上的对象边沿线34'之间的视线38'的求取。在该机动车的另一位置处同样执行图6中的步骤。由此获得在t时的视线38和在t+1时的视线38'。通过求取在t时的视线38与在t+1时的视线38'之间的交点P，求取到对象边沿46在侧视图中的实际位置。由此又能够求取到对象边沿46在校准的地面22以上的高度h。为此同样地确定摄像机10与对象边沿46之间的水平距离a。
借助根据相对于对象边沿线34的多个横向位置产生的、多个这样的视线38，能够提高交点P的求取的精度。在理想情况下，则所有的视线相交于交点P中。然而，由于测量不准确性可能得出求取的交点P之间的偏差。
在此，通过使用公式
来求取在平面Π中的共同的交点P。其中，在该公式中，ei说明视线38。变量d分别相当于视线38相对于点P的距离。
Claims (9)
1.一种用于机动车的用于凸起对象(14)的高度识别的方法，包括至少一个摄像机(10)，借助所述摄像机能够光学地检测在所述机动车相对于对象(14)的至少两个不同的横向位置中对象(14)的图像信息，其中，所述方法包括步骤：
-在所述至少两个图像信息中求取所述对象(14)的对象边沿区段(18)，
-将所述对象(14)的对象边沿区段(18)从所述摄像机(10)出发投影到针对所述摄像机(10)校准的地面(22)上，
-将所述对象边沿区段(18)配属于不同的对象(14)，并且求取共同的对象边沿线(34)，
-求取在所述至少两个位置中摄像机(10)与投影到所述地面(22)上的对象边沿线(34)之间的视线(38、38')，
-求取相同的所述对象(14)的位于相同的平面(Π)中的至少两个视线(38，38')的交点(P)，
-确定所述交点(P)在对应的所述对象(14)的所校准的地面(22)以上的高度(h)。
2.根据权利要求1所述的方法，其特征在于，将所述对象边沿区段(18)配属于不同的对象(14)包括方法步骤：
-由在相同的方向上延伸的对象边沿区段(18)形成群(26)，
-关于所述在相同的方向上延伸的对象边沿区段(18)的群(26)在垂直距离(AS)方面形成群(26)，从而将其垂直距离(AS)高于界限值的对象边沿区段(18)配属于单独的群(26)，和
-如果相邻的对象边沿区段(18)之间的平行距离(AP)超过界限值，则形成群(26)。
3.根据权利要求2所述的方法，其特征在于，去除以下群(26)：所述群具有小于界限值的数量的对象边沿区段(18)。
4.根据前述权利要求中任一项所述的方法，其特征在于，在确定所述对象(14)的高度(h)之后，确定相对于对象边沿(46)的、与所述地面(22)平行的距离(AP)。
5.根据前述权利要求中任一项所述的方法，其特征在于，在求取对象边沿区段(18)之前，通过摄像机模型来补偿由于棱镜的光学畸变。
6.一种用于机动车的用于凸起对象(14)的高度识别的装置，所述装置包括至少一个摄像机(10)和处理单元，借助所述摄像机能够检测图像信息，借助所述处理单元能够执行根据前述权利要求中任一项所述的方法步骤。
7.一种计算机程序，所述计算机程序包含机器可读的指令，当在一个或多个处理单元上执行所述指令时，所述指令促使所述一个或多个处理单元实施根据权利要求1至5中任一项所述的方法。
8.一种机器可读的数据载体和/或下载产品，所述机器可读的数据载体和/或下载产品具有根据权利要求7所述的计算机程序。
9.一种处理单元，所述处理单元具有根据权利要求7所述的计算机程序和/或根据权利要求8所述的机器可读的数据载体和/或下载产品。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021207834.6A DE102021207834A1 (de) | 2021-07-22 | 2021-07-22 | Verfahren für Kraftfahrzeuge zur Höhenerkennung von erhabenen Objekten |
| DE102021207834.6 | 2021-07-22 | ||
| PCT/EP2022/068851 WO2023001566A1 (de) | 2021-07-22 | 2022-07-07 | Verfahren für kraftfahrzeuge zur höhenerkennung von erhabenen objekten |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117751390A true CN117751390A (zh) | 2024-03-22 |
Family
ID=82742641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280050685.3A Pending CN117751390A (zh) | 2021-07-22 | 2022-07-07 | 用于机动车的用于凸起对象的高度识别的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240328775A1 (zh) |
| CN (1) | CN117751390A (zh) |
| DE (1) | DE102021207834A1 (zh) |
| WO (1) | WO2023001566A1 (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9725040B2 (en) | 2014-10-28 | 2017-08-08 | Nissan North America, Inc. | Vehicle object detection system |
| DE102016201304A1 (de) * | 2016-01-28 | 2017-08-03 | Robert Bosch Gmbh | Vorrichtung und Verfahren zum Erfassen eines Randsteins in einer Umgebung eines Fahrzeugs sowie System zur Randsteinkontrolle für ein Fahrzeug |
| WO2017145541A1 (ja) * | 2016-02-23 | 2017-08-31 | 株式会社日立製作所 | 移動体 |
-
2021
- 2021-07-22 DE DE102021207834.6A patent/DE102021207834A1/de active Pending
-
2022
- 2022-07-07 US US18/579,174 patent/US20240328775A1/en active Pending
- 2022-07-07 CN CN202280050685.3A patent/CN117751390A/zh active Pending
- 2022-07-07 WO PCT/EP2022/068851 patent/WO2023001566A1/de active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| DE102021207834A1 (de) | 2023-01-26 |
| WO2023001566A1 (de) | 2023-01-26 |
| US20240328775A1 (en) | 2024-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210264176A1 (en) | Hazard detection from a camera in a scene with moving shadows | |
| KR102083909B1 (ko) | 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법 | |
| US8428362B2 (en) | Scene matching reference data generation system and position measurement system | |
| US8452103B2 (en) | Scene matching reference data generation system and position measurement system | |
| CN103164851B (zh) | 道路分割物检测方法和装置 | |
| JP6131704B2 (ja) | 連続型道路分割体の検知方法及び連続型道路分割体の検知装置 | |
| CN109791598A (zh) | 用于识别地面标记的图像处理方法以及地面标记检测系统 | |
| EP2372304A2 (en) | Vehicle position recognition system | |
| EP2372605A2 (en) | Image processing system and position measurement system | |
| EP2757524A1 (en) | Depth sensing method and system for autonomous vehicles | |
| WO2013129361A1 (ja) | 立体物検出装置 | |
| CN104376297A (zh) | 道路上的线型指示标志的检测方法和装置 | |
| CN109886064B (zh) | 确定可驾驶空间的边界的方法 | |
| Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
| CN108399360B (zh) | 一种连续型障碍物检测方法、装置及终端 | |
| JP5746996B2 (ja) | 道路環境認識装置 | |
| CN113989765A (zh) | 一种轨道障碍物的检测方法、检测装置及可读存储介质 | |
| JP2010176592A (ja) | 車両用運転支援装置 | |
| CN117751390A (zh) | 用于机动车的用于凸起对象的高度识别的方法 | |
| CN116206126A (zh) | 驾驶员视角下道路固有几何特征的提取方法 | |
| JP6232883B2 (ja) | 自車位置認識装置 | |
| CN114821553A (zh) | 作业机械的贴边控制方法、装置、作业机械与电子设备 | |
| JP2021018605A (ja) | 画像処理装置 | |
| CN114724118B (zh) | 一种斑马线检测方法、装置、设备及存储介质 | |
| WO2021215199A1 (ja) | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |