CN113808419A - 用于确定环境的对象的方法、对象感测设备以及存储介质 - Google Patents

用于确定环境的对象的方法、对象感测设备以及存储介质 Download PDF

Info

Publication number
CN113808419A
CN113808419A CN202110670402.2A CN202110670402A CN113808419A CN 113808419 A CN113808419 A CN 113808419A CN 202110670402 A CN202110670402 A CN 202110670402A CN 113808419 A CN113808419 A CN 113808419A
Authority
CN
China
Prior art keywords
platform
sensor
coordinate system
determining
time reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110670402.2A
Other languages
English (en)
Inventor
H·扬森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113808419A publication Critical patent/CN113808419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于确定平台的环境的至少一个对象的方法，其具有以下步骤：分别提供来自第一平台的第一传感器的多个传感器数据和来自第二平台的第二传感器的多个传感器数据，该第一传感器和第二传感器感测相应的平台的相应环境；借助该第一传感器的多个传感器数据以第一坐标系确定该第一平台的环境的该至少一个对象的至少三个表征点；借助该第二传感器的多个传感器数据以第二坐标系确定该第二平台的环境的该至少一个对象的该至少三个表征点；借助该至少一个对象的该至少三个表征点来确定该第一坐标系与该第二坐标系之间的空间差异，用于确定该至少一个对象。本发明还涉及一种对象感测设备、一种计算机程序以及一种机器可读的存储介质。

Description

用于确定环境的对象的方法、对象感测设备以及存储介质
技术领域
本发明涉及一种用于确定平台的环境的至少一个对象的方法。本发明还涉及一种对象感测设备、一种计算机程序以及相应的机器可读的存储介质。
背景技术
对于控制至少部分自动化的系统，例如作为移动平台的示例的自动行驶的车辆或机器人，需要尽可能完整和正确地表示平台的环境，以便能够实施中心任务，例如机动策略规划
Figure BDA0003118974740000011
和机动策略执行、轨迹规划和轨迹控制。
这种至少部分自动化的系统的一个重要组成部分是它们感知关于其周围环境的复杂状况的能力，从而它们能够适配相应的任务。
在执行自动化或自动行驶机动策略时，对哪些交通参与者在哪里运动或停留的了解是重要的。交通参与者在此是对驾驶任务重要的对象，即从车辆经由基础设施和例如包括方木的危险对象直至行人。
为了实现这一点，这样的交通参与者或车辆配备有大量且不同类别的传感器。这导致，这种配备一方面非常昂贵并且还必须以非常费事的方式被同步化，因为所有传感器通常在不同时间点感测车辆环境。
然而，在一些情况下，这种系统不能完全感测所有状况。例如，当太阳低且在交通信号灯照耀区域中出现背光时，摄像机系统很难在任何情况下都能够准确地且100％正确读出交通信号灯装置。
如果自动行驶的车辆不能识别它们并因此不能匹配地做出反应，则对行车道上小对象或者不能驶过的障碍物的识别(例如道路上遗失的汽车电池)可能造成相当大的困难。
发明内容
在此，可以借助统一的、在时间和地点上一致的模型或者说表示来描述存在有对象的环境的状况。尤其是在结合基于基础设施、例如通过监视交通的摄像机实现的解决方案的情况下，需要在行驶基础设施方面至少在地点上更好地示出在环境表示内的所述状况。
除了车辆传感器之外，基于基础设施的传感器和通信装置还可以支持对车辆环境的感测。在此，例如通过在十字路口处或在并线车道处的基础设施摄像机可以例如通过对该行驶状况的不同观察角度更好地感测和保障行驶状况。
替代地，车辆可以将它们的状况感测与其他车辆彼此间交换和/或与基础设施交换。
在此，一个任务是，用于感测动态车辆环境的不同系统中的不同种类传感器的数据在时间上的异步性和在空间上的配属。既关于空间坐标也关于时间参数来描述运动的交通参与者。行驶状况对于所有参与交通事件的参与者而言在时间和空间上的一致表示可以用作所有规划的操作或行驶机动策略的基础。
在此，现有的同步方法通常基于一般性可用的同步源，例如GPS时间戳、移动无线电网络、无线电时钟信号。但是，这些同步源通常过于不精确，因为它们的精度在秒级范围内或在100毫秒级范围内。对于复杂且可靠的驾驶任务，力求在几毫秒(最大10毫秒)的范围内进行高精度同步，以便尤其是在空间参数方面达到必要的精度。
根据本发明的各个方面，给出一种用于确定平台的环境的至少一个对象的方法、一种用于提供控制信号的方法、一种对象感测设备、一种计算机程序和一种机器可读的存储介质，它们至少部分具有上述具有效果。本发明的有利构型由优选实施方式得到。
本发明基于以下认知：借助由传感器对对象、尤其是交通环境的对象的探测来确定坐标系在空间上的协调和/或不同平台的传感器在时间上的同步。
在本发明的整个描述中，以使该方法易于理解的方式示出方法步骤的顺序。然而，本领域技术人员会认识到，这些方法步骤中的许多方法步骤也可以以不同的顺序执行并得到相同或相应的结果。在这个意义上，方法步骤的顺序可以相应地改变。一些特征设有数词，以提高可读性或使配属更明确，但这并不意味着存在确定的特征。
根据本发明的一个方面，提出一种用于确定平台的环境的至少一个对象的方法，该方法具有以下步骤：在一个步骤中，分别提供来自第一平台的第一传感器的多个传感器数据和来自第二平台的第二传感器的多个传感器数据，这些传感器感测相应平台的相应环境。在另一步骤中，借助第一传感器的多个传感器数据以第一坐标系确定第一平台的环境的至少一个对象的至少三个表征点。在另一步骤中，借助第二传感器的多个传感器数据以第二坐标系确定第二平台的环境的所述至少一个对象的所述至少三个表征点。在另一步骤中，借助所述至少一个对象的所述至少三个表征点来确定第一坐标系与第二坐标系之间的空间差异，用于确定所述至少一个对象。
在此，表征点可以是对象上的二维参考点，所述二维参考点通过各个传感器的数据被感测到。在此，每个传感器从其相应视角观察这些表征点。在此，所述三个表征点用于通过相对彼此的旋转(3个参数)和平移(3个参数)来映射出(abbilden)传感器的坐标系。表征点的示例是对象上的拐角、相交线的位置、明确的纹理、文字、象形图、彩色边缘、纹理边缘等。
在此，平台可以理解为至少部分自动化的系统和/或车辆的驾驶员辅助系统，所述自动化的系统是移动的和/或静态的。一个示例可以是至少部分自动化的车辆或具有驾驶员辅助系统的车辆。也就是说，在该上下文中，至少部分自动化的系统包含关于至少部分自动化功能的平台，但是平台也包含包括驾驶员辅助系统在内的车辆和其他移动机器。平台的其他示例可以是具有多个传感器的驾驶员辅助系统、移动式多传感器机器人(例如机器人吸尘器或割草机)、多传感器监视系统、生产机器、个人助理或访问进入控制系统。这些系统中的每一个系统都可以是全自动化或部分自动化的系统。
在此，第一平台和第二平台的相应的周围环境可以至少部分地在空间上彼此重叠，并且至少一个对象可以布置在该周围环境的在空间上重叠的区域内。
在此，对至少一个对象的确定意味着对对象在坐标系中的空间坐标的描述，并且必要时对于动态对象而言，空间坐标可以分别配属有时间点。在此，针对每个平台可以在时间基准上配属相应的时间点，这些时间点取决于相应的平台。在此，时间基准由相应于基准时间间隔的顺序的时间网格并由原点时间确定。在此，第一坐标系和第二坐标系之间的空间差异可以涉及相应坐标系的空间原点、与空间基准间隔的相继排列相应的缩放比例(Skalierung)以及相应坐标系的取向。
借助来自第一传感器和第二传感器的关于至少一个对象的信息，可以更全面和更准确地识别平台环境中的状况，例如用于在复杂的行驶状况中执行行驶机动策略。通过来自不同平台的传感器的不同视角，可以提早识别到影响驾驶任务的重要对象。
为此，自动化行驶或自动行驶的车辆可以配备有感测传感器，即所谓的车载传感器，例如视频传感器、雷达传感器和/或激光雷达传感器。这些传感器通常分别具有有限的作用范围以及有限的观察力，并且在感测中可能具有受限的可靠性。
在此，对象的外观或者说形象和/或它们的位置和/或它们相对彼此的运动可以有利地用于确定第一坐标系与第二坐标系之间的空间差异。因为这些对象彼此间存在地点上的关系。对于基于不同传感器的不同坐标系之间的确定的空间差异在空间上的协调，可以充分利用的是，这些地点上的关系相对彼此一致或彼此间一致。
在此，至少一个对象的表征点可以由第一传感器和第二传感器来感测。借助大量这样的对应关系，可以在对情景的测量和表示中解决以下任务：
-求取传感器相对彼此的相对布置；
-传感器的坐标系彼此的转换；
-传感器系统的自动校准；
-传感器的轻松添加/移除；
-各个传感器误差的改进的补偿；
-对所有情况都有效的一般性总坐标系的创建；
-在该一般性有效的坐标系中对情景的表示；
-通过不同的视角对对象表示的细化。
因此，可以借助至少一个静态对象和/或动态对象的确定的表征点通过不同平台的不同传感器并因此从不同视角定位传感器彼此的位置并且在空间上匹配各个传感器的数据。
在完成匹配不同传感器的坐标系之后，可以确定一个用于对具有相应(交通)情景的环境进行建模和表示的总坐标系。
被观察的对象在公共坐标系中的定位可以借助不同传感器对该至少一个对象观察时所具有的视角来确定。
这也可以用于提高由各个传感器对环境的表示的鲁棒性：例如，如果传感器未识别到或未完全识别到一个对象，则可以将来自对环境的一般性表示的该了解转发给该传感器。借此得到以下优点：
-使各个传感器对环境的表示完整；
-提高对象测量的精度，因为离该对象更近的传感器可以更好地测量或者说表示该对象；
-通过多个传感器的联合来追踪运动对象。
传感器联合通常包含多模式传感器测量原理(multimodal)。因此，例如多个摄像机传感器、雷达传感器或激光雷达传感器可以监视一个十字路口。在车辆中可能仅安装有视频传感器或仅安装有雷达传感器。所有变型和组合都是可以设想的。
为了优化地表示一种状况，还可以有利地组合不同传感器测量原理的优点和缺点：视频传感器具有图像信息的高空间分辨率并且可以识别出良好的对象类别、含义和语义；对距对象的距离的测量通过间接测量方法来解决。在此，雷达传感器刚好具有互补的特性，这使得组合是有利的。
根据一方面提出，用于确定至少一个对象的方法还具有以下步骤：
在另一步骤中，借助第一平台的第三传感器的数据及其时间基准来确定至少一个同步事件。在另一步骤中，借助第二平台的第四传感器的数据及其时间基准来确定所述至少一个同步事件。在另一步骤中，确定第一平台的时间基准与第二平台的时间基准之间的差异，用于确定至少一个对象。
在此，同步事件可以包括周围环境中的时间事件，所述时间事件基于时间事件的时长定义了一个时间点。
在此，这种同步事件可以具有同步信号，例如足够短的信号。例如，这样的同步事件可以具有光学信号、声学信号或电子信号和/或两个对象之间的交互和/或两个对象在空间上的暂时重叠，并且在此不仅第一平台而且第二平台可以设置为用于辨识同步事件。
尤其地，这种同步事件可以由用于在时间上进行同步的同步单元生成，并且相应的同步事件可以周期性地被生成并且相应于例如视觉节拍发生器或代码发生器地被提供给其他交通参与者。
这种同步单元的一个示例可以是视觉节拍发生器或代码发生器，为了在时间上进行同步，光信号和/或电磁信号和/或例如相应于无线电信标的脉冲类似于灯塔的光脉冲地由该视觉节拍发生器或代码发生器明确地发出，并且由参与的传感器和/或天线来接收。
如果在交通状况中发生运动(通常是这种情况)，则所有空间表示也必须在时间上同步。只有这样才确保能够合并传感器信息。
在此，现有技术通常利用来自通信时间系统或全球时间系统的同步节拍发生器，例如GPS时间。在此，时间精度有时仅在秒级范围内，即对于执行驾驶任务而言太过于不精确。时间同步的目标在于1毫秒至几十毫秒的范围内。
借助这种方法，由对交通参与者彼此间的和/或与基础设施的行为或相互作用的观察，可以实现时间基准的时间同步。为此，可以使用传感器的数据，这些数据代表明确的同步事件和/或能由这些传感器的探测到的同步事件，其中，传感器尤其可以耦合到不同的平台上。这样的同步事件的示例是：
-如果两个或多个传感器都感测到一个对象，则当该对象在一个时间点改变其外观，例如汽车上的闪光指示器、打开或关闭的车门、行人停止运动、交通信号灯从红色变为绿色、光信号例如同步光由传感器感测到、或者变化的可变换交通标志等时在进行感测的这些传感器之间发生时间同步，
-如果两个或多个传感器都感测到一个对象，则当该对象在一个时间点相对于另一对象运动，例如汽车轮胎触碰到十字路口处的停车线、行人握手、一个对象掉在地上时在进行感测的这些传感器之间可以发生时间同步；
-车辆接近斑马线(人行横道)并且以其轮胎刚好触碰了斑马线的标记；
-一个人将左脚放在人行道上；
-两个人握手；
-一个物体落到道路上、地面上；
-车辆开始行驶，车轮开始转动；
-灯在该情景中打开或关闭(例如车辆上的灯，路灯等)；
-车辆和/或房屋中的门打开/关闭；
-在对象之间出现遮挡(在传感器的观察方向相同的情况下)；
-可变换交通标志的显示变化；
-交通信号灯的显示变化。
例如，如果两个或多个摄像机观察到这些事件，则所述摄像机可以在时间上彼此同步。感测到该事件的其他传感器也可以以这种方式来校准(abgleichen)。
在此，这些传感器中的各一个可以在完成时间同步发生之后用作“主(传感器)(英文：Master)”，并且感测相对于系统的时间基准的相对时间差，并相应地将它们转发给所有其他感测传感器。
在此，通过确定第一平台和第二平台的时间基准的差异，可以借助统一的时间轴来确定各个传感器的数据的时间同步。该统一的时间轴可以用于参与行驶环境感测的所有传感器。在此，借助该统一的时间轴可以描述参与环境的交通状况的所有对象，即，不仅是具有感测传感器的对象而且也针对那些没有传感器的对象，例如道路上的方木或飞越行车道的发生变形的袋子。因此，这些对象可以相对于共同的总坐标系来描述。
通过将通过确定第一平台的时间基准和第二平台的时间基准之间的差异进行的时间同步与通过确定坐标系之间的空间差异对这些坐标系在空间上的匹配进行组合，例如可以以递归的方式优化对至少一个对象的感测。
在这样的时间同步和坐标系在空间上的相应匹配，可以预先确定一个系统(主)作为协调该同步的主系统。也可以通过合适的方法在线确定该主系统。但是，也可以存在没有主(系统)的联合，在这些联合中所有参与者都具有相同的权限。
所述方法还适用于同步和协调一个平台、例如在车辆内的不同传感器的坐标系，例如用于将多个光学摄像机相互校准或在光学摄像机传感器与激光雷达传感器之间进行多模式校准。
各个坐标系的同步和协调能够可选地仅在车辆之间发生。这样的示例是在没有提供用于感测交通状况的基础设施的并线状况或超车状况。
在复杂的行驶状况下，例如在大的十字路口处或在对环境感测的安全性要求高的情况下、例如在按照L4级自动驶入高速公路时，坐标系与基础设施系统的传感器的附加同步和协调可以改善对环境的感测或者说表示的精度，并因此提高交通参与者的安全性。在此，对于相应于具有非常高自动化程度(L4级)的驾驶模式的自动化行驶而言，车辆必须以非常高的安全性来行驶，因为在这种情况下，驾驶员不再对执行或监视驾驶任务负责。
借助该方法，既可以确定不同传感器的数据的时间同步又可以确定不同传感器的不同坐标系的协调，以便能够将静态和/或动态的行驶状况与不同类别的交通参与者集成在一起，即包括车辆、行人和障碍物。可选地，传感器系统的数据也可以集成到相应的总坐标系中，这些数据由基础设施的感测系统生成，例如由行车道边缘处的感测摄像机生成。
根据一个方面提出，借助第二同步事件来确定第一平台和第二平台的时间基准的时间网格之间的差异。
根据另一方面提出，借助第一平台的时间基准和第二平台的时间基准以及两个时间基准之间的确定的差异来生成用于确定至少一个对象的总时间基准。
根据一个方面提出，借助第一坐标系和第二坐标系以及两个坐标系在空间上的确定的差异来生成用于确定至少一个对象的总坐标系。
根据一个方面提出，第一平台与第二平台相同。
有利地，与该方面相应地，一个平台的不同传感器可以在空间上协调并在时间上同步，以便借助一个平台上的两个不同的传感器系统来确定一个对象。
根据一个方面提出，第三传感器与第一传感器相同，并且第四传感器与第二传感器相同。
根据一个方面提出，所述第一平台和所述第二平台都借助各自的内部时钟沿用(fortführen)所确定的时间基准的原点和时间网格。
有利地，与该方面相应地，取决于内部时钟的漂移行为，两个平台的时间基准可以在更长的时间段内同步。如果传感器同步过一次，则它们可以取决于其内部时钟的漂移行为地在一定时间内继续同步运行。以这种方式，基础设施传感器和交通参与者都可以得到处理。
根据一个方面提出，借助对第一坐标系和/或第二坐标系的坐标值进行空间内插来确定所述第一坐标系与所述第二坐标系之间的空间差异，和/或借助对所述第一平台和/或所述第二平台的时间基准的值进行时间内插来确定所述第一平台的时间基准和所述第二平台的时间基准之间的差异。
这种时间和/或空间内插可以有利地适配于传感器的采样时间点，这些时间点是不一致的或由于其他物理现象而产生，例如对脉冲光源的混叠(Aliasing)、差拍(Schwebung)、消光
Figure BDA0003118974740000091
观察，所述现象例如由时间和/或空间采样产生。
根据一方面提出，以递归的方式重复上述方法之一，直到借助于总坐标系和总时间基准确定了至少一个对象。
提出了一种方法，在该方法中，基于根据上述方法之一确定的至少一个对象来提供用于操控至少部分自动化的车辆的控制信号，和/或基于所确定的至少一个对象提供用于警告车辆乘员的警告信号。
术语“基于”应关于“基于所确定的至少一个对象提供控制信号”的特征来广义地理解。因此应理解为，对象或对象的属性被考虑用于控制信号的任何确定或计算，其中，这不排除还有其他输入参量也被考虑用于控制信号的这种确定。
基于控制信号，至少部分自动化的车辆例如可以限制速度、不再提供一些自动化驾驶模式，例如车道变换或城市行驶，或者触发例如通过在行车道边缘处停止或紧急停车来实现的安全运行状态。
根据一个方面，提出一种对象感测设备，其设置为用于执行上述方法之一。借助这样的设备，相应的方法可以容易地集成到不同的系统中。
这种对象感测设备可以设置为用于与其他车辆或基础设施例如通过电磁信号或光信号进行无线通信。
根据另一方面，给出一种计算机程序，该计算机程序包括指令，当该计算机程序由计算机执行时，所述指令安排该计算机执行上述方法之一。这种计算机程序使得所述方法能够用于不同的系统。
给出一种机器可读的存储介质，在其上存储有上述计算机程序。上述计算机程序可借助这种机器可读的存储介质来运输。
附图说明
在图1至3中示出并且在下面更详细地解释本发明的实施例。在此示出：
图1示出了具有交通参与者传感器坐标系在时间上的同步和空间上的协调的交叉路口行驶状况；
图2示出了车辆彼此间的通信或车辆与基础设施的部件之间的通信的简图；和
图3示出坐标系在空间上的协调的示例。
具体实施方式
为了在交通状况中的多个交通参与者的安全运动，需要对相应环境中的状况在地点和时间上正确的表示。相应于用于确定平台的环境的至少一个对象的方法，可以存在来自不同平台的多个环境传感器、例如视频传感器、雷达感器、激光雷达感器或超声波传感器的多个表示并从而相应于不同的坐标系地存在多个表示并且这些表示可以彼此协调。
图1示意性地画出了例如在车辆31、33和32驶向交叉路口的行驶状况处的交通参与者的传感器数据在时间上的同步和空间上的协调。
如果车辆31接近交叉路口，则任意的障碍物42、例如托板可能位于其行驶路径中。该托板可以被车辆的车载传感器识别到，从而车辆31可以对其做出反应。然而，车载传感器可能过晚地识别到该障碍物。基于基础设施的传感器11、即所谓的“路边单元”(其监视十字路口的环境或任意其他交通基础设施的环境)由于空间上的接近性而可以提早识别到该托板。这样的路边单元11可以具有摄像机传感器和/或雷达传感器和/或激光雷达传感器和/或其他合适于感测行驶状况的传感器。
如果这样的托板限制了车辆31的行驶路径并且车辆31从基础设施单元11获得相应的信息，则必须将识别到的对象的类型、其大小和其位置告知车辆31用于评估该状况。对于几何评估而言，需要能够将没有运动的托板的地点在用于车辆31的路径规划的坐标系中正确输入。
对托板的感测可以通过其他车辆或通过基础设施的传感器来补充。为此，车辆必须彼此间通信或与基础设施通信。
车辆彼此之间的交互以及车辆与基础设施的交互借助车辆31来描述：车辆31必须正确识别出交通信号灯装置41的状态并对其做出反应。例如，可以通过车载视频摄像机或借助与基础设施的通信来进行识别。也应适当地执行与人行横道上的行人36的交互。在这种状况下，必要的环境感测既可以由车辆31本身也可以由示例性的基础设施传感器11、12和13来执行或补充。因此，托板42也许可以更好地被传感器11感测到，并且传感器13也许可以更好地感测到人36。这种交互地被感测的环境模型具有在地点上和时间上的更高精度和可靠性。基础设施还可以提早通知交通参与者关于托板的存在和位置和/或在交叉路口的环境模型中提供该信息。
如果车辆32接近十字路口，则该车辆必须正确识别交通信号灯装置并正确驶过该十字路口。如在车辆31的情况下所描述的那样，识别到交通信号灯为绿色。在此，也由示例性的传感器11、12和13感测车辆32驶过十字路口并感测所有其他交通参与者以及可能的障碍物。如果在此存在可能的危险源或错误行为(例如，车辆31可能错误地驶过红色交通信号灯41)，则基础设施可以相应地通知或警告所有参与的交通参与者。
在十字路口的上方(参考图1的纸面方向)的驶出口上，车辆34与35之间发生事故。该事故已被参与的车辆和/或基础设施传感器识别到并且包含在环境模型中。如果车辆33接近十字路口，则可以提早由基础设施将该事故通知该车辆并且该车辆可以相应地进行操作。
十字路口上的交通流也可以被指挥绕过该事故，并且在这种情况下例如车辆31和32可以避免行驶到上方的十字路口驶出口上。
基础设施的所有单元或所谓的路边单元(例如摄像机11、12和13)一方面在自己的环境模型中提供所识别的对象及其位置，和/或所识别的对象及其位置在交叉路口的一般性环境模型中被融合。可以通过通信单元50和/或直接在交通参与者之间和/或在混合的通信路径上提供与其他交通参与者的通信。
图2示意性地画出了用于车辆彼此间的通信或车辆与基础设施的部件(所谓的路边单元)的通信的系统。对于用于确定平台的环境的至少一个对象的方法，各个坐标系在空间上的协调的目标或各个时间基准在时间上的同步的目标是，借助所有交通参与者的所有传感器借助总坐标系来实现在地点方面的统一表示。
为了与其他交通参与者或基础设施装置的这种协调或同步，交通参与者可以具有通信单元。然后，这样的参与者可以在该系统中登陆并从而对于该系统而言是已知的。尤其在用于自动或自动化的驾驶任务的车辆中，可以满足该前提条件。
本车辆在此例如可以具有成像传感器311，例如视频摄像机和/或雷达传感器和/或激光雷达传感器和/或用于环境感测的其他传感器。这些传感器的数据被用于产生63车辆31的环境表示。
此外，车辆31可以具有通信装置312，该通信装置可以与其他车辆的通信装置322建立通信和/或在车辆与基础设施的通信装置82之间建立通信。基础设施在此可以具有一个或多个可选的环境表示80。
在此画出的通信装置322代表具有相应于车辆31的结构的一个或多个车辆。
在此，车辆31还可以具有其他车辆和/或基础设施装置的、用它们的传感器生成的环境表示62。该环境表示62可以通过接口312传输给车辆31。车辆63的环境表示和/或其他环境表示62可以借助融合部件65融合成经融合的环境表示64并且因此以来自本车辆31的和/或多个其他车辆的和/或基础设施的信息为基础。
车辆31可以借助用于环境表示的导出模块66从内部可用的环境表示中确定可导出的环境表示67，所述可导出的环境表示可以通过通信模块312发送给其他车辆和/或基础设施。
通信模块的协调协议和其他握手协议(Hand-Shake-Protokolle)以及对于所交换的数据而言必要的标准化不详细地描述。借助对这种用于通信的系统的各个参与者的环境表示，可以可选地针对相应的环境生成中央(主)环境表示70。这种中央环境表示70既可以由基础设施装置生成也可以由参与的交通参与者31中的至少一个交通参与者生成，并且可以将其分发给其他交通参与者。然后，中央环境表示70可以相应地由基础设施装置和/或交通参与者31存储。中央环境表示70向参与的交通参与者的必要传输可以通过可选的通信单元72来实现。
例如借助中央基础设施装置实现的这种与中央环境表示70的协调对于复杂的交通状况或环境状况、例如复杂的交叉路口而言可以是特别有利的。对于不太复杂的环境状况或交通状况、例如在高速公路上的并线状况下，参与的车辆也可以相互协调，即，在没有中央基础设施单元的情况下彼此协调。车辆彼此间的这种去中心化的协调导致更稳健的系统，在该系统中每个单独的车辆具有备用解决方案，该备用解决方案尤其可以在中央单元的中央环境表示70不存在时被使用。在这种情况下，相应配备的每个车辆生成单独的环境表示。
如果来自不同平台(例如不同交通参与者)的传感器的传感器数据不能关于统一的表示来协调，例如因为缺少通信单元，则可以使用各个平台的并行坐标系。这尤其适用于配备有部分自动化行驶功能但没有V2V或V2X通信装置的车辆。
此外，也存在没有任何传感装置和通信装置的交通参与者。“传统的”车辆或在道路上玩耍的孩子都可以是这样的参与者。除了交通参与者之外，还存在其他对象，所述对象通常不具有传感器也不具有通信装置，但对于驾驶任务而言必须被关注。一个示例是道路边缘处的护栏、交通标志、车道标记、人行横道标记、道路上的障碍物(例如方木)。然后，它们应该在相应平台的环境中被识别为对象。
图3示意性地画出了具有三个不同平台和分别配属的第一、第二和第三坐标系94、95、96的静态空间(交通)状况300，其中这些平台分别配属有一个传感器14、15、16，并且这些平台从不同视角对要确定的所述对象43和另一对象44进行映射。
在此，虚线表明向着对象43、44上的表征点的探测路径。可以由所有传感器在必要时从不同视角查看或感测这些对象中的一部分。传感器14、15、16在此可以配属于移动平台，例如交通参与者，或者也可以配属于静态平台，例如交通空间的基础设施。在此，对于用于确定对象的所述方法而言不限制传感器的数量。相应于该方法，对象43既可以借助各个坐标系94、95、96也可以借助总坐标系90来确定，该总坐标系借助第一坐标系94和第二坐标系95并且借助这两个坐标系之间的确定的空间差异来生成。总坐标系90在此可以通过第三坐标系96相应地扩展。

Claims (14)

1.一种用于确定平台(14,15,31)的环境的至少一个对象(42,43)的方法，所述方法具有以下步骤：
分别提供来自第一平台(14,31)的第一传感器的多个传感器数据和来自第二平台(15,33)的第二传感器的多个传感器数据，所述第一传感器和所述第二传感器感测相应的平台(14,15,31,33)的相应环境；
借助所述第一传感器的所述多个传感器数据以第一坐标系(94)确定所述第一平台(14,31)的环境的所述至少一个对象(42,43)的至少三个表征点；
借助所述第二传感器的所述多个传感器数据以第二坐标系(95)确定所述第二平台(15,33)的环境的所述至少一个对象(42,43)的所述至少三个表征点；
借助所述至少一个对象(42,43)的所述至少三个表征点来确定所述第一坐标系(94)与所述第二坐标系(95)之间的空间差异，用于确定所述至少一个对象(42,43)。
2.根据权利要求1所述的方法，所述方法具有另外的步骤：
借助所述第一平台(14,31)的第三传感器的数据及所述第一平台的时间基准来确定至少一个同步事件；
借助所述第二平台(15,33)的第四传感器的数据及所述第二平台的时间基准来确定所述至少一个同步事件；
确定所述第一平台(14,31)的时间基准与所述第二平台(15,33)的时间基准的差异，用于确定所述至少一个对象(42,43)。
3.根据权利要求2所述的方法，其中，借助第二同步事件确定所述第一平台(14,31)的时间基准的时间网格与所述第二平台(15,33)的时间基准的时间网格之间的差异。
4.根据权利要求2或3所述的方法，其中，借助所述第一平台(14,31)的时间基准和所述第二平台(15,33)的时间基准以及这两个时间基准之间的确定的差异来生成用于确定所述至少一个对象(42,43)的总时间基准。
5.根据上述权利要求之一所述的方法，其中，借助所述第一坐标系(94)和所述第二坐标系(95)以及这两个坐标系(94,95)在空间上的确定的差异来生成用于确定所述至少一个对象(42,43)的总坐标系(90)。
6.根据上述权利要求之一所述的方法，其中，所述第一平台(14,31)与所述第二平台(15,33)相同。
7.根据权利要求2至6之一所述的方法，其中，所述第三传感器与所述第一传感器相同，并且所述第四传感器与所述第二传感器相同。
8.根据权利要求2至7之一所述的方法，其中，所述第一平台(14,31)和所述第二平台(15,33)都借助各自的内部时钟沿用所确定的时间基准的原点和时间网格。
9.根据权利要求2至8之一所述的方法，其中，借助对所述第一坐标系(94)和/或所述第二坐标系(95)的坐标值进行空间内插来确定所述第一坐标系(94)与所述第二坐标系(95)之间的空间差异，和/或，借助对所述第一平台(14,31)和/或所述第二平台(15,33)的时间基准的值进行时间内插来确定所述第一平台(14,31)的时间基准和所述第二平台(15,33)的时间基准之间的差异。
10.根据权利要求5至9之一所述的方法，其中，以递归的方式重复所述方法，直到借助于所述总坐标系(90)和所述总时间基准确定了所述至少一个对象(42,43)。
11.根据上述权利要求之一所述的方法，其中，基于所确定的所述至少一个对象(42,43)来提供用于操控至少部分自动化的车辆的控制信号，和/或基于所确定的所述至少一个对象(42,43)提供用于警告车辆乘员的警告信号。
12.一种对象感测设备，其设置用于执行根据上述权利要求之一所述的方法。
13.一种计算机程序，其包括指令，当由计算机执行所述计算机程序时所述指令安排所述计算机执行根据权利要求1至11之一所述的方法。
14.一种机器可读的存储介质，在其上存储有根据权利要求13所述的计算机程序。
CN202110670402.2A 2020-06-17 2021-06-17 用于确定环境的对象的方法、对象感测设备以及存储介质 Pending CN113808419A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020207455.0 2020-06-17
DE102020207455.0A DE102020207455A1 (de) 2020-06-17 2020-06-17 Verfahren zur Bestimmung zumindest eines Objekts eines Umfelds einer Plattform

Publications (1)

Publication Number Publication Date
CN113808419A true CN113808419A (zh) 2021-12-17

Family

ID=78823023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110670402.2A Pending CN113808419A (zh) 2020-06-17 2021-06-17 用于确定环境的对象的方法、对象感测设备以及存储介质

Country Status (2)

Country Link
CN (1) CN113808419A (zh)
DE (1) DE102020207455A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021213323A1 (de) * 2021-11-26 2023-06-01 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur Synchronisierung mehrerer optischer Sensoren

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10128954A1 (de) 2001-06-15 2002-12-19 Ibeo Automobile Sensor Gmbh Korrekturverfahren für Daten mehrerer optoelektronischer Sensoren
US10757485B2 (en) 2017-08-25 2020-08-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication

Also Published As

Publication number Publication date
DE102020207455A1 (de) 2021-12-23

Similar Documents

Publication Publication Date Title
US11851085B2 (en) Navigation and mapping based on detected arrow orientation
JP7432285B2 (ja) レーンマッピング及びナビゲーション
US20220076036A1 (en) Redundant Camera Detection Paths
CN110928284B (zh) 辅助控制车辆的自动驾驶的方法、设备、介质和系统
US11248925B2 (en) Augmented road line detection and display system
CN110928286B (zh) 用于控制车辆的自动驾驶的方法、设备、介质和系统
KR102613839B1 (ko) 긴급 차량들의 검출
CN111508276B (zh) 基于高精地图的v2x逆向超车预警方法、系统和介质
CN110962744A (zh) 车辆盲区检测方法和车辆盲区检测系统
GB2510698A (en) Driver assistance system
Mei et al. Development of ‘Intelligent Pioneer’unmanned vehicle
CN115123232A (zh) 驾驶支援装置、驾驶支援方法以及存储介质
CN115698637A (zh) 执行关于自动驾驶车辆的演进参考路径的轨迹间重新线性化的方法和系统
US20240085209A1 (en) Display control device and display control method
Kim et al. Safety evaluation of autonomous vehicles for a comparative study of camera image distance information and dynamic characteristics measuring equipment
CN113808419A (zh) 用于确定环境的对象的方法、对象感测设备以及存储介质
Li et al. An overview of factors influencing the mass adoption of self-driving vehicles
Fuerstenberg et al. Advanced intersection safety-The EC project INTERSAFE
RU2763331C1 (ru) Способ отображения плана движения и устройство отображения плана движения
JP6587294B2 (ja) 車線判定装置
Li Ros-Based Sensor Fusion and Motion Planning for Autonomous Vehicles: Application to Automated Parkinig System
Rössler et al. Intersection safety—the EC project INTERSAFE
JP7507707B2 (ja) 制御装置、移動体、制御方法及びプログラム
CN116844025A (zh) 数据处理方法及相关设备
KR20230068350A (ko) 3차원 물체들을 위치 파악하기 위한 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination