CN117769511A - 用于概率滤波的对象检测的时间去相关的系统和方法 - Google Patents

用于概率滤波的对象检测的时间去相关的系统和方法 Download PDF

Info

Publication number
CN117769511A
CN117769511A CN202280046676.7A CN202280046676A CN117769511A CN 117769511 A CN117769511 A CN 117769511A CN 202280046676 A CN202280046676 A CN 202280046676A CN 117769511 A CN117769511 A CN 117769511A
Authority
CN
China
Prior art keywords
observations
filter
trajectory
sensor data
sets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280046676.7A
Other languages
English (en)
Inventor
K·L·韦弗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN117769511A publication Critical patent/CN117769511A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

用于跟踪对象的系统和方法。所述方法包括：由处理器接收针对所述对象随时间推移完成的系列观察结果；由所述处理器使用所述系列观察结果来选择多组观察结果；由所述处理器致使至少一个滤波器使用所述多组观察结果来生成所述对象的轨迹(其中所述至少一个滤波器在所述轨迹的生成期间使用与传感器数据的多个帧中的每个帧相关联的传感器数据仅一次)；以及由所述处理器致使基于所述对象的所述轨迹而控制自主机器人的操作。

Description

用于概率滤波的对象检测的时间去相关的系统和方法
背景技术
交叉引用和优先权要求
本专利申请要求于2021年7月1日提交的美国专利申请No.17/364,958的优先权，所述美国专利申请以引用的方式整体并入本文中。
技术领域
本公开总体上涉及对象检测系统。更特别地，本公开涉及实施用于概率滤波的对象检测的时间去相关的系统和方法。
基于深度学习的对象检测算法可对传感器数据的时间窗口而不是对传感器数据的单个帧进行操作。这些对象检测算法存在某些缺点。例如，从此类算法输出的对象检测随时间推移相关，这直接违反了对这些对象检测进行操作的有效估计量的基本假设。
发明内容
本公开涉及实施用于跟踪对象和/或控制自主机器人的系统和方法。所述方法包括由处理器执行以下操作：接收针对所述对象随时间推移完成的系列观察结果；使用所述系列观察结果来选择多组观察结果；致使至少一个滤波器使用所述多组观察结果来生成所述对象的轨迹(其中所述至少一个滤波器在所述轨迹的生成期间使用与传感器数据的多个帧中的每个帧相关联的传感器数据仅一次)；以及致使基于所述对象的所述轨迹而控制自主机器人(例如，自主交通工具)的操作。
在一些场景中，每个观察结果由包括激光雷达数据点的长方体限定和/或与传感器数据的单个帧相关联。可选择每个组以包括与包含在所有其他组中的观察结果不同的观察结果。滤波器可包括但不限于卡尔曼滤波器。
在这些场景或其他场景中，所述方法包括致使所述多组观察结果被第一滤波器和第二滤波器使用来生成所述对象的所述轨迹。第一滤波器和第二滤波器中的每个在轨迹的生成期间使用与传感器数据的帧中的每个帧相关联的传感器数据仅一次。所述轨迹可包括由所述第一滤波器和所述第二滤波器使用所述多组观察结果中的相应观察结果按顺序生成的对象状态序列。不同组的观察结果中的至少两个可包括至少一个共同观察结果。从所述系列观察结果中选择所述多组观察结果以确保所述滤波器在所述轨迹的生成期间使用与所述传感器数据的帧中的每个帧相关联的传感器数据仅一次。
所述实施系统包括：处理器；以及非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括编程指令，所述编程指令被配置成致使所述处理器实施上述方法。
附图说明
将参考以下附图来描述本解决方案，其中贯穿附图，相同的附图标记表示相同的项。
图1提供了激光雷达系统的图示。
图2提供了激光雷达装置的图示。
图3提供了跟踪器的图示。
图4至图5提供了对于理解图3中示出的跟踪器的操作有用的表。
图6提供了用于跟踪对象的说明性方法的流程图。
图7提供了实施关于图1至图6描述的激光雷达系统的系统的图示。
图8是用于交通工具的架构的图示。
图9是计算装置的图示。
图10提供了有益于理解如何根据本解决方案实现对交通工具的控制的框图。
具体实施方式
除非上下文另外明确指明，否则如在本文献中所使用的，单数形式“一个/种”和“所述”包括多个指示物。除非另外限定，否则本文中使用的所有技术和科学术语具有与本领域的普通技术人员通常理解的相同含义。如本文献中所使用的，术语“包括”意指“包括但不限于”。与本文献相关的额外术语的定义包括在本具体实施方式的末尾。
“电子装置”或“计算装置”指代包括处理器和存储器的装置。每个装置可具有其自身的处理器和/或存储器，或者处理器和/或存储器可与其他装置共享，如在虚拟机或容器布置中。存储器将包含或接收编程指令，所述编程指令在由处理器执行时致使电子装置根据编程指令执行一个或多个操作。
术语“存储器”、“存储器装置”、“数据存储库”、“数据存储设施”等各自指代其上存储计算机可读数据、编程指令或两者的非暂时性装置。除非另有具体说明，否则术语“存储器”、“存储器装置”、“数据存储库”、“数据存储设施”等意在包括单个装置实施例、其中多个存储器装置一起或共同地存储一组数据或指令的实施例以及此类装置内的各个扇区。
术语“处理器”和“处理装置”指代被配置成执行编程指令的电子装置的硬件部件。除非另有具体说明，否则单数术语“处理器”或“处理装置”意在包括单个处理装置实施例和其中多个处理装置一起或共同执行过程的实施例两者。
术语“交通工具”指代能够运载一个或多个人类乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“交通工具”包括但不限于汽车、卡车、货车、火车、自主交通工具、飞行器、空中无人机等。“自主交通工具”是具有处理器、编程指令和传动系部件的交通工具，所述传动系部件可由处理器控制而无需人类操作员。自主交通工具可能是完全自主的，因为它对于大多数或所有驾驶状况和功能不需要人类操作员，或者它可能是半自主的，因为在某些状况下或对于某些操作可能需要人类操作员，或者人类操作员可超驰交通工具的自主系统并且可控制交通工具，或者可能是配备有高级驾驶员辅助系统的人类操作交通工具。
在本文献中，当使用诸如“第一”和“第二”等术语来修饰名词时，除非特别说明，否则此种使用仅意在将一个项与另一个项区分开来，并且不意在要求先后次序。另外，诸如“竖直”和“水平”或“前”和“后”等相对位置的术语当使用时意在是相对于彼此的并且不必是绝对的，并且仅指代装置的与这些术语相关联的一个可能位置，取决于装置的取向。
基于深度学习的常规对象检测算法可对传感器数据的时间窗口而不是对传感器数据的单个帧进行操作。这些对象检测算法存在某些缺点。例如，从此类算法输出的对象检测随时间推移相关，这直接违反了对这些对象检测进行操作的有效估计量的基本假设。本解决方案解决了常规对象检测算法的这个缺点。
本解决方案涉及实施用于跟踪对象和/或控制自主机器人的系统和方法。所述方法通常涉及由处理器或电路执行以下操作：接收针对所述对象随时间推移完成的一系列观察结果；使用所述一系列观察结果来选择多组观察结果；致使至少一个滤波器使用所述多组观察结果来生成所述对象的轨迹(其中所述至少一个滤波器在所述轨迹的生成期间使用与传感器数据的多个帧中的每个帧相关联的传感器数据仅一次)；和/或致使基于所述对象的所述轨迹而控制自主机器人(例如，自主交通工具)的操作。
本解决方案可用于各种应用中。此类应用可包括但不限于雷达系统应用、激光雷达系统应用、相机系统应用、机器人应用、自主交通工具应用和/或半自主交通工具应用。下面将关于激光雷达系统应用和自主交通工具来描述本解决方案。本解决方案在这方面不受限制。
说明性激光雷达系统
本解决方案涉及一种用于检测对象的存在、方向、距离和速度的激光雷达系统，所述对象可包括移动的行动者、静止的对象或两者。对象可包括交通工具、轮船、飞行器、行人、动物、树木和/或建筑物。图1中提供了说明性激光雷达系统100的图示。如图1中所示，激光雷达系统100包括激光雷达装置102。下面将关于图2讨论用于激光雷达装置的说明性架构。激光雷达系统100还包括对象检测器106、数据处理器110和跟踪器114。对象检测器106、数据处理器110和/或跟踪器114可包括但不限于计算装置，诸如图9中示出的计算装置。
在操作期间，激光雷达装置102执行操作以生成传感器数据(例如，点云数据)的帧f1、f2、…、fn。用于生成传感器数据的帧的技术是众所周知的。帧被传递到对象检测器106。对象检测器106处理传感器数据帧以(i)识别接近激光雷达装置的对象，以及(ii)生成随时间推移完成的有关每个检测的对象的观察结果的时间序列或一系列观察结果c1、c2、…、cn。所述观察结果可包括但不限于包括激光雷达点云中的数据点的长方体。用于基于激光雷达数据集的对象检测的技术是众所周知的。用于生成长方体和长方体的时间序列的技术是众所周知的。每个长方体指定给定对象的位置、大小、取向和/或速度。例如，长方体可由以下限定：形心的x轴坐标、形心的y轴坐标、形心的z轴坐标、侧倾值、俯仰值、横摆值、针对线性速度的x轴坐标、针对线性速度的y轴坐标和针对线性速度的z轴坐标。
有关每个检测的对象的观察结果的时间序列c1、c2、…、cn被传递到数据处理器110。数据处理器110执行操作以确定先前是否已经检测到检测的对象。该确定可基于存储在数据存储库中的信息来进行，所述信息指示先前的观察结果与先前检测到的对象(例如，行人、交通工具、动物等)相关联。如果数据存储库中不存在此种信息，则确定先前未检测到检测的对象。如果先前已经检测到对象，则观察结果的时间序列与先前检测到的对象相关联。一旦进行了该对象关联，就将观察结果的时间序列传递到跟踪器114。
跟踪器114使用观察结果的时间序列来确定给定的检测对象的轨迹T。下面将关于图3至图5详细讨论确定该轨迹的方式。轨迹T提供给定对象的空间描述。轨迹(或空间描述)包括有关给定对象的状态的时间序列x1、x2、…、xt。每个状态可由形心位置(例如，x坐标、y坐标、z坐标)、侧倾值、俯仰值、横摆值和/或速度(即，速度加行进方向)限定。
现在参看图2，提供了说明性激光雷达装置200的图示。图1的激光雷达装置102与激光雷达装置200相同或类似。因此，以下对激光雷达装置200的讨论足以用于理解激光雷达装置102。
如图2中所示，激光雷达系统200包括壳体206，所述壳体可围绕中心轴线(诸如，轮毂或轴216)旋转360°。壳体可包括由透光的材料制成的发射器/接收器孔212。虽然在图2中示出了单个孔，但是本解决方案在这方面不受限制。在其他场景中，可提供用于发射和/或接收光的多个孔。无论哪种方式，当壳体206围绕内部部件旋转时，激光雷达系统200都可通过孔212中的一个或多个发射光并且接收朝向孔211中的一个或多个反射回的光。在替代场景中，壳体206的外壳可能是固定圆顶，其至少部分地由透光的材料制成，在壳体206内部具有可旋转部件。
在旋转壳体或固定圆顶内部是光发射器系统204，所述光发射器系统被配置和定位成经由一个或多个激光发射器芯片或其他发光装置生成并发射光脉冲通过孔212或通过壳体206的透明圆顶。光发射器系统204可包括任何数量的个别发射器(例如，8个发射器、64个发射器或128个发射器)。发射器可发射强度基本上相同或变化强度的光。由光发射器系统204发射的各个光束将具有在整个阵列上不相同的明确限定的偏振状态。作为示例，一些波束可具有竖直偏振，而其他波束可具有水平偏振。激光雷达系统也将包括光检测器208，包含被定位和被配置成接收反射回所述系统中的光的光电检测器或光电检测器阵列。光发射器系统204和光检测器208将与旋转的壳体一起旋转，或者它们将在壳体206的固定圆顶内旋转。一个或多个光学元件结构210可定位在光发射器系统204和/或光检测器208的前方，以用作聚焦和引导穿过光学元件结构210的光的一个或多个透镜或波片。
一个或多个光学元件结构210可定位在镜子212的前方，以聚焦和引导穿过光学元件结构210的光。如下所示，系统包括光学元件结构210，所述光学元件结构定位在所述镜子212的前方并且连接到系统的旋转元件，以使得所述光学元件结构210与镜子212一起旋转。替代地或另外地，光学元件结构210可包括多个此类结构(例如，透镜和/或波片)。任选地，多个光学元件结构210可阵列布置在壳体206的外壳部分上或与所述外壳部分成一体。
任选地，每个光学元件结构210可包括分束器，所述分束器将系统接收的光与系统生成的光分开。分束器可包括例如四分之一波或半波波片，以执行分离并确保所接收的光被引导到接收器单元而不是发射器系统(这可在没有此种波片的情况下发生，因为发射的光和接收的光应表现出相同或类似的偏振)。
激光雷达系统将包括用于为光发射器系统204、马达216和电子部件供电的电力单元218。激光雷达系统还包括分析器214，所述分析器具有诸如处理器222和包含编程指令的非暂时性计算机可读存储器220等元件，所述编程指令被配置成使系统能够接收由光检测器单元收集的数据，对其进行分析以测量接收到的光的特性，并生成信息，连接的系统可使用所述信息来做出关于在从中收集所述数据的环境中操作的决策。任选地，分析器214可如图所示与激光雷达系统200成一体，或者其中的一些或全部可在激光雷达系统的外部并且经由有线或无线通信网络或链路通信地连接到激光雷达系统。
现在参看图3，提供了跟踪器架构300的图示。图1的跟踪器112可与跟踪器300相同或类似。因此，对跟踪器300的讨论足以用于理解图1的跟踪器112。
如图3中所示，跟踪器300包括观察结果选择器302、开关304、308、滤波器3061、3062、…、306N、轨迹生成器310和控制器312。控制器312可操作以控制部件302、304、308的操作。例如，控制器312向观察结果选择器302提供控制信号，以促进从随时间推移完成的观察结果的时间序列或系列观察结果c1、c2、…、cn中选择观察结果(例如，长方体)输入到跟踪器300中；向开关304提供控制信号以用于将观察结果选择器302选择性地联接到滤波器3061、3062、…、306N；并且向开关308提供控制信号以将3061、3062、…、306N选择性地联接到轨迹生成器310。
在由跟踪器300执行的操作的每个循环期间，控制开关304以使得以顺序方式将选定的观察结果(例如，长方体)提供给滤波器3061、3062、…、306N并由其处理。例如，在第一循环期间经由开关304向滤波器3061提供来自观察结果选择器302的第一组观察结果(例如，长方体)。滤波器3061处理观察结果以在时间t生成对象状态xt，所述对象状态经由开关308提供给轨迹生成器310。接着，经由开关304从观察结果选择器302向滤波器3062提供第二组不同的观察结果(例如，长方体)，并且该滤波器对其进行处理以在时间t+1处生成对象状态xt+1，所述对象状态经由开关308提供给轨迹生成器310。重复该过程，直到轨迹生成器310已经从滤波器306N接收到对象状态xt+N。跟踪器300执行给定对象或另一对象的下一个操作循环。轨迹生成器310通过将对象状态布置为对象状态的序列{xt、xt+1、…、xt+N}来生成轨迹T。
值得注意的是，观察结果(例如，长方体)由观察结果选择器302选择，以使得每个滤波器不会两次处理来自同一帧的激光雷达数据。这与常规跟踪器中所做的不同。在常规跟踪器中，滤波器多次处理来自同一帧的激光雷达数据，这导致通过本解决方案解决的上面提及的缺点。
现在将关于图4的场景详细描述本解决方案的观察结果选择过程。在这种场景中，跟踪器300包括三个滤波器3061、3062、3063。因此，开关304具有三个位置：将观察结果选择器302连接到滤波器3061的第一位置；将观察结果选择器302连接到滤波器3062的第二位置；以及将观察结果选择器302连接到滤波器3063的第三位置。开关304循环通过这三个位置。表400中引用的每个循环C1、C2、…、CM指代开关304循环通过三个位置的迭代。
在第一循环C1期间，观察结果选择器302选择与传感器数据的帧f1、f2、f3相关联的第一组观察结果(例如，长方体)c1、c2、c3。经由开关304将选定的观察结果(例如，长方体)c1、c2、c3提供给滤波器3061。滤波器3061处理观察结果(例如，长方体)c1、c2、c3以在时间t生成对象状态xt，所述对象状态经由开关308提供给轨迹生成器310。此后，观察结果选择器302选择与传感器数据的帧f2、f3、f4相关联的第二组不同的观察结果(例如，长方体)c2、c3、c4。经由开关304将选定的观察结果(例如，长方体)c2、c3、c4提供给滤波器3062。滤波器3062处理观察结果(例如，长方体)c2、c3、c4以在时间t+1生成对象状态xt+1，所述对象状态经由开关308提供给轨迹生成器310。随后，观察结果选择器302选择与传感器数据的帧f3、f4、f5相关联的第三组不同的观察结果(例如，长方体)c3、c4、c5。经由开关304将选定的观察结果(例如，长方体)c3、c4、c5提供给滤波器3063。滤波器3063处理观察结果(例如，长方体)c3、c4、c5以在时间t+2生成对象状态xt+2，所述对象状态经由开关308提供给轨迹生成器310。
在第二循环C2期间，观察结果选择器302选择与传感器数据的帧f4、f5、f6相关联的第四组观察结果(例如，长方体)c4、c5、c6。经由开关304将选定的观察结果(例如，长方体)c4、c5、c6提供给滤波器3061。滤波器3061处理观察结果(例如，长方体)c4、c5、c6以在时间t+3生成对象状态xt+3，所述对象状态经由开关308提供给轨迹生成器310。此后，观察结果选择器302选择与帧f5、f6、f7相关联的第五组不同的观察结果(例如，长方体)c5、c6、c7。经由开关304将选定的观察结果(例如，长方体)c5、c6、c7提供给滤波器3062。滤波器3062处理观察结果(例如，长方体)c5、c6、c7以在时间t+4生成对象状态xt+4，所述对象状态经由开关308提供给轨迹生成器310。随后，观察结果选择器302选择与帧f6、f7、f8相关联的第六组不同的观察结果(例如，长方体)c6、c7、c8。经由开关304将选定的观察结果(例如，长方体)c6、c7、c8提供给滤波器3063。滤波器3063处理观察结果(例如，长方体)c6、c7、c8以在时间t+5生成对象状态xt+5，所述对象状态经由开关308提供给轨迹生成器310。
值得注意的是，滤波器中的每个在循环C1和C2期间处理与点云数据的不同帧相关联的观察结果(例如，长方体)。例如，滤波器3061在循环C1期间处理与帧f1、f2、f3相关联的观察结果(例如，长方体)，并在循环C2期间处理与帧f4、f5、f6相关联的观察结果(例如，长方体)。与常规跟踪器相比，本解决方案的这种新颖特征提供了更准确的对象跟踪，在所述常规跟踪器中，每个滤波器在多个循环期间处理来自同一帧的传感器数据(即，与帧f2相关联的点云数据由特定滤波器在两个循环C1和C2期间处理)。
在一些场景中，滤波器3061、3062、…、306N包括卡尔曼滤波器。众所周知，卡尔曼滤波器实施一种算法，所述算法在随时间推移完成观察结果的情况下提供对未知变量的估计。在对象检测应用中，未知变量可包括但不限于时间t的对象状态xt(位置和速度)、时间t的对象位置pt和/或时间t的对象速度vt。对象位置和速度在x轴、y轴和z轴上限定。与输入到跟踪器300中的长方体相比，对象状态可被限定为具有更高准确度的长方体。因此，每个对象状态可包括但不限于：形心的x轴坐标、形心的y轴坐标、形心的z轴坐标、侧倾值、俯仰值、横摆值、针对线性速度的x轴坐标、针对线性速度的y轴坐标和针对线性速度的z轴坐标。
可基于时间t-1的先前对象状态而预测时间t的对象状态。可根据以下数学等式(1)和(2)进行对象状态xt的这种预测。
xt|-1＝Ft-1*xt-1 (1)
xt＝Kicn+(1-Kt)xt|t-1 (2)
其中xt|t-1表示以通过时间t-1的测量结果或观察结果为条件的预测的对象状态xt，Ft-1表示对动力学模型的线性函数(例如，位置p加上速度v乘delta t，即p+vΔt)的矩阵，xt-1表示时间t-1的估计的对象状态，xt表示时间t的估计的对象状态，Kt表示卡尔曼增益，并且cn表示观察结果(例如，长方体)。本解决方案不限于数学等式(1)和(2)。此处可采用其他数学等式以实施卡尔曼滤波器或可操作以使用传感器数据来预测或估计对象状态的其他滤波器。
在图4至图5的场景中，每个滤波器3061、3062、3063可在每个循环期间依次使用相应的观察结果(例如，长方体)递归地执行数学等式(1)和(2)。例如，滤波器3061在循环C1期间顺序地执行数学等式(1、2)的三次迭代，以(i)基于观察结果(例如，长方体)c1和初始对象状态x0而生成对象状态xt-2，(ii)基于观察结果(例如，长方体)c2和先前计算的对象状态xt-2而生成对象状态xt-1，以及(iii)基于观察结果(例如，长方体)c3和先前计算的对象状态xt-1而生成对象状态xt。本解决方案不限于本场景的细节。
本解决方案的额外益处在于跟踪器300仍然以传感器的相同频率输出状态更新，即，对于每个f/c输入存在更新的x输出。使输入“去相关”的替代方法将是具有单个滤波器，所述单个滤波器仅处理每第N组长方体(其中在图3、图4、图5中示出的示例中N为3)。这种替代方法的缺点在于更新频率将下降到传感器频率的1/N倍，这会将自主交通工具的反应时间增加到潜在危险水平。
现在参看图6，提供了用于操作对象跟踪系统(例如，图1的激光雷达系统100)的说明性方法600。方法600开始于602并且继续进行604，其中传感器数据的帧(例如，图1的点云数据的帧f1、…、fn)由对象检测器(例如，图1的对象检测器106)从传感器装置(例如，图1的激光雷达装置102和/或诸如雷达系统等其他传感器装置)中接收。传感器数据可包括但不限于限定点云的点云信息帧。每个点云包括绘制在3D图形上的多个数据点。对象检测器可包括但不限于计算装置(诸如下面关于图9描述的计算装置)。
在606中，对象检测器执行操作以基于传感器数据而检测一个或多个对象。用于基于传感器数据而检测对象的技术是众所周知的。对象检测器还为每个检测的对象生成观察结果的时间序列(例如，长方体)，如608所示。用于根据传感器数据生成观察结果(例如，长方体)的技术是众所周知的。在610中，可使观察结果(例如，长方体)任选地与先前检测的对象相关联。每个观察结果可与传感器数据的单个帧相关联。
接着在612中，将观察结果的时间序列或系列观察结果(例如，长方体)提供给跟踪器(例如，图1的跟踪器114)。在跟踪器处，在614中使用观察结果的时间序列或系列观察结果来选择多组观察结果。从所述系列观察结果中选择所述多组观察结果以确保每个滤波器在给定对象的轨迹的生成期间使用与传感器数据的每个帧相关联的传感器数据仅一次。当使用单个滤波器以生成轨迹时，可选择每个组以包括与包含在所有其他组中的观察结果不同的观察结果。当使用两个或更多个滤波器来生成轨迹时，多组观察结果中的至少两个可包括至少一个共同观察结果。
在616中，滤波器(例如，卡尔曼滤波器)使用多组观察结果来生成对象的轨迹。滤波器在轨迹的生成期间使用与传感器数据的帧中的每个帧相关联的传感器数据仅一次。例如，第一滤波器和第二滤波器使用多组观察结果来生成对象的轨迹。第一滤波器和第二滤波器中的每个在轨迹的生成期间使用与传感器数据的每个帧相关联的传感器数据仅一次。所述轨迹可包括由所述第一滤波器和所述第二滤波器使用所述多组观察结果中的相应观察结果按顺序生成的对象状态序列。本解决方案在这方面不受限制。
在618中，可任选地基于对象的轨迹而控制自主机器人(例如，自主交通工具)的操作。例如，可致使自主机器人上的铰接臂以给定方式移动，以便基于对象的轨迹而捕获对象或避开对象。另外或替代地，致使自主机器人沿着给定轨道行进，这基于对象的轨迹而避免与对象碰撞。随后，执行620，其中方法600结束或执行其他操作。
说明性的基于交通工具的系统
上述激光雷达系统100可用于多个应用中。此类应用包括但不限于基于交通工具的应用。提供以下讨论以示出本解决方案的激光雷达系统100可如何用于促进对交通工具的控制(例如，用于避免碰撞和/或自主驾驶目的)。交通工具可包括但不限于自主交通工具。
现在参看图7，提供了说明性系统700的图示。系统700包括以半自主或自主方式沿着道路行进的交通工具7021。交通工具7021在本文中也被称为自主交通工具(“AV”)。AV7021可包括但不限于陆地交通工具(如图7中所示)、飞行器、船只或航天器。
AV7021通常被配置成检测其附近的对象7022、704、706。对象可包括但不限于交通工具7022、骑自行车的人704(诸如，自行车、电动踏板车、摩托车等的骑手)和/或行人706。当进行此种检测时，AV7021执行操作以：生成检测的对象的一个或多个可能的对象轨道；并且分析所生成的可能对象轨道中的至少一个以确定AV7021的交通工具轨道。然后致使AV7021遵循交通工具轨道。
现在参看图8，提供了交通工具的说明性系统架构800的图示。图7的交通工具7021和/或7022可具有与图8中示出的系统架构相同或类似的系统架构。因此，以下对系统架构800的讨论足以用于理解图7的交通工具7021、7022。
如图8中所示，交通工具800包括发动机或马达802以及测量交通工具的各种参数的各种传感器804至818。在具有燃料动力发动机的燃气动力交通工具或混合动力交通工具中，传感器可包括例如发动机温度传感器804、电池电压传感器806、发动机每分钟转数(RPM)传感器808和节气门位置传感器810。如果交通工具是电动或混合动力交通工具，则交通工具可具有电动马达，并且相应地将具有传感器，诸如电池监测系统812(用于测量电池的电流、电压和/或温度)、马达电流814和温度816传感器以及马达位置传感器(诸如，旋转变压器和编码器818)。
两种类型的交通工具共有的操作参数传感器包括例如：位置传感器836，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器838；以及里程表传感器840。交通工具还可以具有时钟842，系统使用所述时钟来确定操作期间的交通工具时间。时钟842可被编码到交通工具机载计算装置中，它可能是单独的装置，或者多个时钟可能是可用的。
交通工具还将包括各种传感器，所述传感器操作以收集关于交通工具正在行驶的环境的信息。这些传感器可包括例如：位置传感器860(例如，全球定位系统(GPS)装置)；对象检测传感器，诸如一个或多个相机862；激光雷达传感器系统866；和/或者雷达系统864。激光雷达系统866与上面关于图1至图7所讨论的激光雷达系统100相同或类似。为此，以上对激光雷达系统100的讨论足以用于理解激光雷达系统866。传感器还可包括环境传感器868，诸如降水传感器和/或环境温度传感器。对象检测传感器可支持交通工具机载计算装置820检测在交通工具800的任何方向上的给定距离范围内的对象，而环境传感器收集关于交通工具的行进区域内的环境状况的数据。
在操作期间，信息从传感器传送到交通工具机载计算装置820。交通工具机载计算装置820分析由传感器捕获的数据，并且任选地基于分析的结果而控制交通工具的操作。例如，机载计算装置820可：经由制动控制器822控制制动；经由转向控制器824控制方向；经由节气门控制器826(在汽油动力交通工具中)或马达转速控制器828(诸如电动交通工具中的电流电平控制器)控制速度和加速度；控制差速器齿轮控制器830(在具有变速器的交通工具中)；和/或控制其他控制器。
地理位置信息可从位置传感器860传送到机载计算装置820，所述机载计算装置然后可访问对应于位置信息的环境地图以确定环境的已知固定特征，诸如街道、建筑物、停止标志和/或停止/前进信号。从相机862捕获的图像和/或从诸如激光雷达等传感器捕获的对象检测信息被传送到机载计算装置820。对象检测信息和/或捕获的图像由机载计算装置820处理以检测交通工具800附近的对象。用于基于传感器数据和/或捕获的图像进行对象检测的任何已知或即将已知的技术都可用于本文献中公开的实施例中。
当进行此种对象检测时，机载计算装置820执行操作以：生成检测的对象的一个或多个可能的对象轨道；并且分析所生成的可能对象轨道中的至少一个以确定在阈值时间段(例如，1分钟)内是否存在碰撞的风险。如果是，则机载计算装置820执行操作以确定如果交通工具800遵循给定的交通工具轨道并且在预限定时间段(例如，N毫秒)内执行了多个动态生成的紧急操纵中的任何一个，则是否能避免碰撞。如果能避免碰撞，则机载计算装置820不采取动作来改变交通工具轨道，或者任选地致使交通工具800执行谨慎操纵(例如，轻度减速)。相比之下，如果不能避免碰撞，则机载计算装置820致使交通工具800立即采取紧急操纵(例如，制动和/或改变行进方向)。
现在参看图9，提供了对计算装置900的架构的图示。图1的对象检测器106、图1的数据处理器110、图1的跟踪器114、图3的激光雷达系统300、图3的观察结果选择器302、图3的控制器312、图3的滤波器306、图3的轨迹生成器310、图8的激光雷达系统866和/或图8的交通工具机载计算装置820与计算装置900至少部分地相同或类似。为此，对计算装置900的讨论足以用于理解所列出的部件。
计算装置900可包括比图9中示出的那些更多或更少的部件。然而，示出的部件足以公开实施本解决方案的说明性解决方案。图9的硬件架构表示被配置成操作交通工具的代表性计算装置的一个实施方式，如本文所述。为此，图9的计算装置900实施了本文描述的方法的至少一部分。
计算装置900的一些或所有部件可被实施为硬件、软件和/或硬件和软件的组合。硬件包括但不限于一个或多个电子电路。电子电路可包括但不限于无源部件(例如，电阻器和电容器)和/或有源部件(例如，放大器和/或微处理器)。无源部件和/或有源部件可适于、被布置成和/或被编程以执行本文描述的方法、程序或功能中的一个或多个。
如图9中所示，计算装置900包括用户接口902、中央处理单元(CPU)906、系统总线910、通过系统总线910连接到计算装置900的其他部分并且由其可访问的存储器912、系统接口960以及连接到系统总线910的硬件实体914。用户接口可包括输入装置和输出装置，所述输入装置和输出装置促进用于控制计算装置900的操作的用户-软件交互。输入装置包括但不限于物理和/或触摸键盘950。输入装置可经由有线或无线连接(例如，连接)连接到计算装置900。输出装置包括但不限于扬声器952、显示器954和/或发光二极管956。系统接口960被配置成促进往返于外部装置(例如，诸如接入点等网络节点等)的有线或无线通信。
硬件实体914中的至少一些执行涉及访问和使用存储器912的动作，所述存储器可能是随机存取存储器(RAM)、磁盘驱动器、快闪存储器、光盘只读存储器(CD-ROM)和/或能够存储指令和数据的另一硬件装置。硬件实体914可包括磁盘驱动器单元916，所述磁盘驱动器单元包括计算机可读存储介质918，在所述计算机可读存储介质上存储有一组或多组指令920(例如，软件代码)，所述一组或多组指令被配置成实施本文所描述的方法、程序或功能中的一个或多个。指令920还可在计算装置900执行所述指令期间完全或至少部分地驻留在存储器912和/或CPU 906内。存储器912和CPU 906也可构成机器可读介质。如此处所使用的，术语“机器可读介质”指代存储一组或多组指令920的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。如此处所使用的，术语“机器可读介质”还指代能够存储、编码或携载一组指令920以由计算装置900执行并且致使计算装置900执行本公开的方法中的任何一个或多个的任何介质。
现在参看图10，提供了有益于理解如何根据本解决方案达成对交通工具的控制的框图。在框1002-1010中执行的所有操作可由交通工具(例如，图7的AV7021)的机载计算装置(例如，图8的交通工具机载计算装置820)执行。
在框1002中，检测交通工具的位置。可基于从交通工具的位置传感器(例如，图8的位置传感器860)输出的传感器数据而进行这种检测。该传感器数据可包括但不限于GPS数据。然后，将检测到的交通工具位置传递到框1006。
在框1004中，在交通工具附近检测对象。该检测是基于从激光雷达系统(例如，图1的激光雷达系统100和/或图8的激光雷达系统866)、雷达系统(例如，图8的雷达系统864)和/或交通工具的相机(例如，图8的相机862)输出的传感器数据而进行的。从激光雷达系统输出的传感器数据包括但不限于对象的轨迹(或空间描述)1050。轨迹(或空间描述)1050与图1的轨迹(或空间描述)T相同或类似。传感器数据还用于确定检测的对象的一个或多个可能的对象轨道。可能的对象轨道可包括但不限于以下轨道：
●由对象的实际速度(例如，每小时1英里)和实际行进方向(例如，西)限定的轨道；
●由对象的实际速度(例如，每小时1英里)和对象的另一可能的行进方向(例如，在朝向AV的方向上与对象的实际行进方向成南、西南或X(例如，40°)度)限定的轨道；
●由对象的另一可能速度(例如，每小时2英里至10英里)和对象的实际行进方向(例如，西)限定的轨道；和/或
●由对象的另一可能速度(例如，每小时2英里至10英里)和对象的另一可能的行进方向(例如，在朝向AV的方向上与对象的实际行进方向成南、西南或X(例如，40°)度)限定的轨道；
然后将一个或多个可能的对象轨道1012传递到框1006。
在框1006中，使用来自框1002和1004的信息生成交通工具轨道1020。用于确定交通工具轨道的技术在本领域中是公知的，并且因此将不在本文中描述。本文可无限制地使用用于确定交通工具轨道的任何已知或将要已知的技术。在一些场景中，基于来自框1002的位置信息、来自框1004的对象检测/轨道信息以及地图信息1028(预先存储在交通工具的数据存储库中)而确定交通工具轨道1020。交通工具轨迹1020表示平滑路径，所述平滑路径不具有将以其他方式给乘客带来不适的突然变化。然后将交通工具轨道1020提供给框1008。
在框1008中，基于交通工具轨道1020而生成转向角和速度命令。将转向角和速度命令提供给框1010以用于交通工具动力学控制。交通工具动力学控制致使交通工具减速、致使交通工具加速和/或致使交通工具改变其行进方向。
虽然已经关于一个或多个实施方式示出和描述了本解决方案，但是在阅读和理解本说明书和附图后，本领域的其他技术人员将想到等效的变更和修改。另外，虽然可能已经关于几个实施方式中的仅一个公开了本解决方案的特定特征，但是此类特征可与其他实施方式的一个或多个其他特征组合，如对于任何给定或特定应用可能是期望的和有利的。因此，本解决方案的广度和范围不应受到上述实施例中的任一个的限制。相反，本解决方案的范围应根据以下权利要求以及其等效形式来限定。

Claims (20)

1.一种用于跟踪对象的方法，其包括：
由处理器接收针对所述对象随时间推移完成的系列观察结果；
由所述处理器使用所述系列观察结果来选择多组观察结果；
由所述处理器致使至少一个滤波器使用所述多组观察结果来生成所述对象的轨迹，其中所述至少一个滤波器在所述轨迹的生成期间使用与传感器数据的多个帧中的每个帧相关联的传感器数据仅一次；以及
由所述处理器致使基于所述对象的所述轨迹而控制自主机器人的操作。
2.根据权利要求1所述的方法，其中所述系列观察结果中的每个观察结果由包括激光雷达数据点的长方体限定。
3.根据权利要求1所述的方法，其中所述系列观察结果中的每个观察结果与所述传感器数据的多个帧中的单个帧相关联。
4.根据权利要求1所述的方法，其中选择每个所述组以包括与包含在所有其他所述组中的观察结果不同的观察结果。
5.根据权利要求1所述的方法，其中所述至少一个滤波器包括卡尔曼滤波器。
6.根据权利要求1所述的方法，其还包括致使所述多组观察结果被第一滤波器和第二滤波器使用来生成所述对象的所述轨迹，其中所述至少一个滤波器包括所述第一滤波器和所述第二滤波器，并且所述第一滤波器和所述第二滤波器中的每个在所述轨迹的生成期间使用与所述传感器数据的多个帧中的每个帧相关联的传感器数据仅一次。
7.根据权利要求6所述的方法，其中所述轨迹包括由所述第一滤波器和所述第二滤波器使用所述多组观察结果中的相应观察结果按顺序生成的对象状态序列。
8.根据权利要求7所述的方法，其中多个不同组的观察结果中的至少两个包括至少一个共同观察结果。
9.根据权利要求1所述的方法，其中从所述系列观察结果中选择所述多组观察结果以确保所述至少一个滤波器在所述轨迹的生成期间使用与传感器数据的多个帧中的每个帧相关联的传感器数据仅一次。
10.根据权利要求1所述的方法，其中所述自主机器人包括自主交通工具。
11.一种系统，其包括：
处理器；以及
非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括编程指令，所述编程指令被配置成致使所述处理器实施一种用于控制自主机器人的方法，其中所述编程指令包括用于进行以下操作的指令：
接收针对所述对象随时间推移完成的系列观察结果；
使用所述系列观察结果来选择多组观察结果；
致使至少一个滤波器使用所述多组观察结果来生成所述对象的轨迹，其中所述至少一个滤波器在所述轨迹的生成期间使用与传感器数据的多个帧中的每个帧相关联的传感器数据仅一次；以及
致使基于所述对象的所述轨迹而控制所述自主机器人的操作。
12.根据权利要求11所述的系统，其中所述系列观察结果中的每个观察结果由包括激光雷达数据点的长方体限定。
13.根据权利要求11所述的系统，其中所述系列观察结果中的每个观察结果与所述传感器数据的多个帧中的单个帧相关联。
14.根据权利要求11所述的系统，其中选择每个所述组以包括与包含在所有其他所述组中的观察结果不同的观察结果。
15.根据权利要求11所述的系统，其中所述至少一个滤波器包括卡尔曼滤波器。
16.根据权利要求11所述的系统，其中所述编程指令还包括致使所述多组观察结果被第一滤波器和第二滤波器使用来生成所述对象的所述轨迹的指令，其中所述至少一个滤波器包括所述第一滤波器和所述第二滤波器，并且所述第一滤波器和所述第二滤波器中的每个在所述轨迹的生成期间使用与所述传感器数据的多个帧中的每个帧相关联的传感器数据仅一次。
17.根据权利要求16所述的系统，其中所述轨迹包括由所述第一滤波器和所述第二滤波器使用所述多组观察结果中的相应观察结果按顺序生成的对象状态序列。
18.根据权利要求17所述的系统，其中多个不同组的观察结果中的至少两个包括至少一个共同观察结果。
19.根据权利要求11所述的系统，其中从所述系列观察结果中选择所述多组观察结果以确保所述至少一个滤波器在所述轨迹的生成期间使用与传感器数据的多个帧中的每个帧相关联的传感器数据仅一次。
20.一种包括存储器和编程指令的计算机程序产品，所述编程指令被配置成致使处理器：
接收针对对象随时间推移完成的系列观察结果；
使用所述系列观察结果来选择多组观察结果；
致使至少一个滤波器使用所述多组观察结果来生成所述对象的轨迹，其中所述至少一个滤波器在所述轨迹的生成期间使用与传感器数据的多个帧中的每个帧相关联的传感器数据仅一次；以及
致使基于所述对象的所述轨迹而控制所述自主机器人的操作。
CN202280046676.7A 2021-07-01 2022-06-09 用于概率滤波的对象检测的时间去相关的系统和方法 Pending CN117769511A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/364,958 US20230003886A1 (en) 2021-07-01 2021-07-01 Systems and methods for temporal decorrelation of object detections for probabilistic filtering
US17/364,958 2021-07-01
PCT/US2022/072834 WO2023278931A1 (en) 2021-07-01 2022-06-09 Systems and methods for temporal decorrelation of object detections for probabilistic filtering

Publications (1)

Publication Number Publication Date
CN117769511A true CN117769511A (zh) 2024-03-26

Family

ID=84691596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280046676.7A Pending CN117769511A (zh) 2021-07-01 2022-06-09 用于概率滤波的对象检测的时间去相关的系统和方法

Country Status (4)

Country Link
US (1) US20230003886A1 (zh)
CN (1) CN117769511A (zh)
DE (1) DE112022002848T5 (zh)
WO (1) WO2023278931A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109521756B (zh) * 2017-09-18 2022-03-08 阿波罗智能技术(北京)有限公司 用于无人驾驶车辆的障碍物运动信息生成方法和装置

Also Published As

Publication number Publication date
DE112022002848T5 (de) 2024-04-04
WO2023278931A1 (en) 2023-01-05
US20230003886A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
US10457294B1 (en) Neural network based safety monitoring system for autonomous vehicles
CN111273655A (zh) 用于自动驾驶车辆的运动规划方法和系统
CN111301425A (zh) 用于自动驾驶车辆的利用动态模型的有效最优控制
CN110901656B (zh) 用于自动驾驶车辆控制的实验设计方法和系统
CN111208814B (zh) 用于自动车辆的、利用动态模型的、基于记忆的最优运动规划
US11657572B2 (en) Systems and methods for map generation based on ray-casting and semantic class images
WO2023283511A2 (en) Systems and methods for particle filter tracking
US11693110B2 (en) Systems and methods for radar false track mitigation with camera
US20230123184A1 (en) Systems and methods for producing amodal cuboids
US12065164B2 (en) Systems and methods for controlling vehicles using an amodal cuboid based algorithm
WO2024049461A2 (en) Methods and systems for dealiasing radar range rate measurements using machine learning
US11662454B2 (en) Systems and methods for range-rate dealiasing using position consistency
US20230003886A1 (en) Systems and methods for temporal decorrelation of object detections for probabilistic filtering
US20230150543A1 (en) Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques
US11919546B2 (en) Systems and methods for estimating cuboids from LiDAR, map and image data
US11158066B2 (en) Bearing only SLAM with cameras as landmarks
US20230247291A1 (en) System, Method, and Computer Program Product for Online Sensor Motion Compensation
WO2023146693A1 (en) False track mitigation in object detection systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination