CN115272408A - 车辆静止检测方法、装置、计算机设备和存储介质 - Google Patents

车辆静止检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115272408A
CN115272408A CN202210751457.0A CN202210751457A CN115272408A CN 115272408 A CN115272408 A CN 115272408A CN 202210751457 A CN202210751457 A CN 202210751457A CN 115272408 A CN115272408 A CN 115272408A
Authority
CN
China
Prior art keywords
point
point cloud
frame
feature
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210751457.0A
Other languages
English (en)
Inventor
李四林
孙家弼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaoma Zhixing Technology Co ltd
Original Assignee
Guangzhou Xiaoma Zhixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaoma Zhixing Technology Co ltd filed Critical Guangzhou Xiaoma Zhixing Technology Co ltd
Priority to CN202210751457.0A priority Critical patent/CN115272408A/zh
Publication of CN115272408A publication Critical patent/CN115272408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种车辆静止检测方法、装置、计算机设备和存储介质。所述方法包括:获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云;对第一帧点云和第二帧点云分别进行特征点提取;将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到第一帧点云的特征点与第二帧点云的特征点之间的关联关系;根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,根据位姿变化矩阵对目标车辆的静止状态进行检测。采用本方法能够提高车辆静止检测的准确性。

Description

车辆静止检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及自动驾驶技术领域,特别是涉及一种车辆静止检测方法、装置、计算机设备和存储介质。
背景技术
随着自动驾驶技术的发展,对车辆状态的检测需求不断提高,传的车辆组合导航中,一般使用IMU(Inertialmeasurementunit,惯性测量单元),轮速计和GPS(GlobalPositioningSystem,全球卫星定位系统)等对车辆的速度进行检测,通过车速信息来对车辆的静止状态进行判定。
然而,传统的车辆静止检测方法具有一定的场景局限性,在有些环境下,例如,城市峡谷、隧道、高架附近等GNSS(GlobalNavigationSatellite System,全球卫星导航系统)拒止场景中,无法提供准确稳定的检测结果。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高车辆静止检测准确性的车辆静止检测方法、装置、计算机设备和存储介质。
一种车辆静止检测方法,该方法包括:
获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云;
对第一帧点云和第二帧点云分别进行特征点提取;
将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到第一帧点云的特征点与第二帧点云的特征点之间的关联关系;
根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,根据位姿变化矩阵对目标车辆的静止状态进行检测。
在其中一个实施例中,特征点包括用于描述边缘特征的边缘特征点,将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,包括:
将第一帧点云的任意一个边缘特征点转换至第二帧点云的坐标系中,得到边缘特征转换点;
在第二帧点云的多个边缘特征点中选取与边缘特征转换点距离最近的点作为第一边缘特征对应点;
在第二帧点云的多个边缘特征点中选取与第一边缘特征对应点所在扫描线相邻的扫描线上的点作为第二边缘特征对应点;
将第一帧点云的任意一个边缘特征点与其对应的第一边缘特征对应点以及第二边缘特征对应点进行关联。
在其中一个实施例中,特征点包括用于描述平面特征的平面特征点,将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,包括:
将第一帧点云中的任意一个平面特征点转换至第二帧点云的坐标系中,得到平面特征转换点;
在第二帧点云的多个平面特征点中选取与平面特征转换点距离最近的点作为第一平面特征对应点;
在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相邻的扫描线上的点作为第二平面特征对应点;
在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相同的扫描线上的点作为第三平面特征对应点;
将第一帧点云的任意一个平面特征点与其对应的第一平面特征对应点、第二平面特征对应点以及第三平面特征对应点进行关联。
在其中一个实施例中,根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,包括:
计算各边缘特征转换点到其对应的目标线段之间的距离;其中,目标线段是边缘特征转换点对应的第一边缘特征对应点与第二边缘特征对应点所构成的线段;
根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在其中一个实施例中,根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,包括:
计算各平面特征转换点到其对应的目标平面之间的距离;其中,目标平面是平面特征转换点对应的第一平面特征对应点、第二平面特征对应点和第三平面特征对应点所构成的平面;
根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在其中一个实施例中,获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云,包括:
通过激光雷达采集一定时间内目标车辆的点云数据;
从点云数据筛选满足预设时间间隔的两帧点云分别作为第一帧点云和第二帧点云。
在其中一个实施例中,根据位姿变化矩阵对目标车辆的静止状态进行检测,包括:
根据位姿变化矩阵中的旋转矩阵计算旋转角度;
根据位姿变化矩阵中的平移向量计算向量模;
响应于旋转角度小于第一预设值,且向量模小于第二预设值,判定目标车辆处于静止状态。
一种车辆静止检测装置,该装置包括:
点云获取模块,用于获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云;
特征提取模块,用于对第一帧点云和第二帧点云分别进行特征点提取;
特征关联模块,用于将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到第一帧点云的特征点与第二帧点的特征点之间的关联关系;
静止检测模块,用于根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,根据位姿变化矩阵对目标车辆的静止状态进行检测。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的任一实施例的车辆静止检测方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的任一实施例的车辆静止检测方法的步骤。
上述的车辆静止检测方法、装置、计算机设备和存储介质,上述的车辆静止检测方法,通过获取激光雷达扫描目标车辆得到的不同的两帧的点云,并分别对两帧点云进行特征提取,将两帧点云对应的特征点进行关联,根据关联结果构建目标车辆在这两帧中的位姿变换矩阵,根据构建的位姿变换矩阵对目标车辆的车辆静止状态进行检测。通过本方案,能够在例如城市峡谷、隧道、高架附近等GNSS拒止场景中,提高车辆静止检测的准确性。
附图说明
图1为一个实施例中车辆静止检测方法的流程示意图;
图2为一个实施例中将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联的步骤的流程示意图;
图3为一个实施例中将第一帧点云的任一边缘特征点与第二帧点云中用于描述边缘特征的两个边缘特征点进行关联的示意图;
图4为另一个实施例中将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联的步骤的流程示意图;
图5为一个实施例中将第一帧点云的任一平面特征点与第二帧点云中用于描述平面特征的三个平面特征点进行关联的示意图;
图6为一个实施例中车辆静止检测装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请提供的车辆静止检测方法,可以基于计算机设备实现,计算机设备可以包括终端设备和/或服务器设备。其中,服务器可以是独立的服务器或者是多个服务器组成的服务器集群。终端可以但不限于是各种个人计算机、车载终端、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在其中一个实施例中,如图1所示,提供了一种车辆静止检测方法,以该方法应用于计算机设备为例进行说明,包括以下步骤:
步骤S102:获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云。
其中,激光雷达也称光学雷达,它可以通过测定传感器发射器与目标物体之间的传播距离,分析目标物体表面的反射能量大小、反射波谱的幅度、频率和相位等信息,从而呈现出目标物的三维结构信息。目标车辆可以是任意一个或多个被选为目标的车辆。激光雷达可配置于目标车辆上,也可以是与目标车辆关联的独立的激光雷达设备等。激光雷达的每一个扫描周期组成一帧。第一帧点云是指激光雷达扫描目标车辆得到的被选定的某一帧所包含的点云数据。第二帧点云是指激光雷达扫描目标车辆得到的不同于第一帧的另外一帧所包含的点云数据。
此处,值得注意的是,本申请中的诸如“第一”、“第二”的术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何实际的前后关系或者先后顺序。
在本步骤中,计算机设备可以接收一定时间内通过激光雷达扫描目标车辆而得到的点云数据,并从激光雷达的多帧中,筛选不同的两帧,分别作为第一帧和第二帧,并分别获取第一帧的点云作为第一帧点云,获取第二帧的点云作为第二帧点云。其中,可选地,第一帧和第二帧可以是相邻的两帧,也可以是不相邻的两帧,第一帧和第二帧之间的时间间隔可以自定义设置,例如设置为0.5秒。
步骤S104:对第一帧点云和第二帧点云分别进行特征点提取。
其中,特征点提取的方式不限,提取的特征点可以包括几何特征点,例如,边缘特征点和/或平面特征点等几何特征点。
具体地,计算机设备可以通过特征提取算法,根据第一帧点云的几何特征提取第一帧点云的边缘特征点和/或平面特征点,根据第二帧点云的几何特征提取第二帧点云的边缘特征点和/或平面特征点。
在其中一个实施例中,在分别对第一帧点云和第二帧点云进行特征点提取的步骤之前,还可以首先对第一帧点云和第二帧点云进行去除噪、聚类和/或去畸变等点云预处理,从而提高特征提取的准确性。
步骤S106:将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到第一帧点云的特征点与第二帧点云的特征点之间的关联关系。
在本步骤中,可以对提取的第一、第二两帧点云的特征点进行关联。首先,可以将第一帧点云的各个特征点分别转换至第二帧点云的坐标系中,在相同坐标系中,寻找第一帧点云的各个特征点在第二帧点云的多个相同类型的特征点中所对应的一个或多个特征点,并将它们进行关联。在本步骤中,可以采用传统的点-点的关联方法,也可以采用本申请其他实施例中创造性提出的点-线段(两点)和/或点-平面(三点)的关联方法。
例如,特征点可以是几何特征点,可以将第一帧点云的任意一个几何特征点转换至第二帧点云的坐标系中,得到几何特征转换点;在第二帧点云的多个几何特征点中确定与该几何特征转换点对应的用于描述该几何特征的多个点(几何特征为边缘特征时确定两个描述边缘特征的点;几何特征为平面特征时确定三个描述平面特征的点),将该几何特征转换点与第二帧点云中的用于描述该几何特征的多个点进行关联。
步骤S108:根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,根据位姿变化矩阵对目标车辆的静止状态进行检测。
在本步骤中,位姿变化矩阵是指能够反映目标车辆位姿的变换情况的矩阵,例如,可以是一个包括旋转部分和平移部分的矩阵。通过分析位姿变化矩阵,判断目标车辆从第一帧到第二帧的时间内,其方向、位置等姿态是否存在变换,从而确定目标车辆是否静止。
上述的车辆静止检测方法,通过获取激光雷达扫描目标车辆得到的不同的两帧的点云,并分别对两帧点云进行特征提取,将两帧点云对应的特征点进行关联,根据关联结果构建目标车辆在这两帧中的位姿变换矩阵,根据构建的位姿变换矩阵对目标车辆的车辆静止状态进行检测。通过本方案,能够在例如城市峡谷、隧道、高架附近等GNSS拒止场景中,提高车辆静止检测的准确性。
在其中一个实施例中,如图2所示,特征点可以包括用于描述边缘特征的边缘特征点,将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,包括:
S202:将第一帧点云的任意一个边缘特征点转换至第二帧点云的坐标系中,得到边缘特征转换点;
S204:在第二帧点云的多个边缘特征点中选取与边缘特征转换点距离最近的点作为第一边缘特征对应点;
S206:在第二帧点云的多个边缘特征点中选取与第一边缘特征对应点所在扫描线相邻的扫描线上的点作为第二边缘特征对应点;
S208:将第一帧点云的任意一个边缘特征点与其对应的第一边缘特征对应点以及第二边缘特征对应点进行关联。
在本实施例中,针对第一帧点云和第二帧点云的边缘特征点进行特征关联处理,为了更清晰地对关联过程进行说明,下面,请参见图3所示,在图3中,pi′为第一帧点云中的边缘特征点pi(未图示)转换至第二帧点云的坐标系中得到的边缘特征转换点31,pj为第一边缘特征对应点32,pl为第二边缘特征对应点33,点pj为第二帧点云中与pi′距离最近的边缘特征点,点pj与点pl为第二帧点云中相邻的两条扫描线34上的边缘特征点。在本实施例中,将第一特征集中的任一边缘特征点分别与其对应的第一边缘特征对应点32以及第二边缘特征对应点33进行关联,也即是,将点pi与点pj和点pl进行关联。
在其中一个实施例中,如图4所示,特征点也可以包括用于描述平面特征的平面特征点,将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,包括:
S402:将第一帧点云中的任意一个平面特征点转换至第二帧点云的坐标系中,得到平面特征转换点;
S404:在第二帧点云的多个平面特征点中选取与平面特征转换点距离最近的点作为第一平面特征对应点;
S406:在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相邻的扫描线上的点作为第二平面特征对应点;
S408:在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相同的扫描线上的点作为第三平面特征对应点;
S410:将第一帧点云的任意一个平面特征点与其对应的第一平面特征对应点、第二平面特征对应点以及第三平面特征对应点进行关联。
在本实施例中,针对第一帧点云和第二帧点云的平面特征点进行特征关联处理,为了更清晰地对关联过程进行说明,下面,请参见图5所示,在图5中,pi′为第一帧点云中的平面特征点pi(未图示)转换至第二帧点云的坐标系中得到的平面特征转换点51,pj为第一平面特征对应点52,pl为第二平面特征对应点53,pm为第三平面特征点54,点pj为第二帧点云中与pi′距离最近的平面特征点,点pj与点pl为第二帧点云中相邻的两条扫描线55上的平面特征点,点pj与点pm为第二帧点云中相同的扫描线55上的平面特征点。在本实施例中,将第一帧点云的任意一个平面特征点pi与其对应的第一平面特征对应点52、第二平面特征对应点53以及第三平面特征对应点54进行关联,也即是,将点pi与点pj、点pl以及点pm进行关联。
通过上述的特征点的关联方法,能够使得某一帧点云的任意一个几何特征点与另一帧点云中的描述该几何特征的多个特征点进行关联,即,并不仅是两帧间点-点的关联,而是点与几何特征描述之间的关联,从而能够提高几何特征点关联的稳定性和准确性,更有利于后续的误差优化计算和配准精度的提高。
在其中一个实施例中,根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,包括:计算各边缘特征转换点到其对应的目标线段之间的距离;其中,目标线段是边缘特征转换点对应的第一边缘特征对应点与第二边缘特征对应点所构成的线段;根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在本实施例中,还可以进一步根据关联后的第一帧点云的特征点与第二帧点云的特征点之间的关联关系进行误差构建,从得到误差优化后的最优的位姿变化矩阵。
具体地,对于关联后的各边缘特征点,可以参考图3所示,可以通过计算各个边缘特征转换点31到其对应的第一边缘特征对应点32与第二边缘特征对应点33构成的目标线段35之间的距离36,也即是,计算点pi′到点pj与点pl构成的线段之间的距离de,将de作为关联后的各组特征点的误差值。具体的计算公式可以参考如下:
Figure BDA0003718393780000091
其中,上述公式中的pl、pj分别表示点pl和点pj的坐标值,pi′为pi转换到第二帧点云的坐标系中得到的转换点的坐标值。将两帧中关联后的各组边缘特征点的误差值的最小二乘和作为误差优化函数进行位姿变换矩阵的构建,具体地,可以参考如下优化公式:
Figure BDA0003718393780000101
其中,
Figure BDA0003718393780000102
为根据各组边缘特征点的关联关系计算的误差值对ΔT的函数。通过调整ΔT,使得
Figure BDA0003718393780000103
最小,取
Figure BDA0003718393780000104
最小时的ΔT构建最优的位姿变化矩阵。
在其中一个实施例中,根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,包括:计算各平面特征转换点到其对应的目标平面之间的距离;其中,目标平面是平面特征转换点对应的第一平面特征对应点、第二平面特征对应点和第三平面特征对应点所构成的平面;根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在本实施例中,具体地,参考图5所示,对于关联后的各平面特征点,可以通过计算各个平面特征转换点51到第一平面征对应点52、第二平面特征对应点53和第三平面特征对应点54构成的目标平面56之间的距离57,也即是,计算点pi′到点pj、点pl和点pm构成的平面之间的距离dp,将dp作为关联后的第一帧点云的特征点与第二帧点云的特征点的误差值。具体的计算公式可以参考如下:
Figure BDA0003718393780000105
其中,pi′以及pj为点的坐标值,e为平面法向量e=(pm-pj)×(pl-pj)。将关联后的各组平面特征点的误差值的最小二乘和作为误差优化函数进行位姿变换矩阵的构建,具体地,可以参考如下优化公式:
Figure BDA0003718393780000106
其中,
Figure BDA0003718393780000111
为根据各组边平面特征点的关联关系计算的误差值对ΔT的函数,通过调整ΔT,使得
Figure BDA0003718393780000112
最小,取
Figure BDA0003718393780000113
最小时的ΔT构建最优的位姿变化矩阵。
进一步地,特征点既包括边缘特征点也包括平面特征点的情况下,还可以将上述的针对边缘特征点和针对平面特征点的误差优化方法结合。也即是,可以参考下述误差优化函数构建位姿变换矩阵:
Figure BDA0003718393780000114
其中,
Figure BDA0003718393780000115
为根据各组边缘特征点的关联关系计算的误差值对ΔT的函数,
Figure BDA0003718393780000116
为根据各组平面特征点的关联关系计算的误差值对ΔT的函数,通过调整ΔT,使得
Figure BDA0003718393780000117
的取值最小,以此时的ΔT来构建最优的位姿变换矩阵。
上述几个实施例,通过对各类特征点进行不同的误差构建,从而进行位姿变换矩阵的误差优化,使得生成的第一帧点云和第二帧点云的位姿变换矩阵更加精准。
在其中一个实施例中,获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云,包括:通过激光雷达采集一定时间内目标车辆的点云数据;从点云数据筛选满足预设时间间隔的两帧点云分别作为第一帧点云和第二帧点云。
在本实施例中,第一帧和第二帧可以是前后相邻的两帧,也可以是不相邻的两帧,第一帧与第二帧之间可以间隔预设的时间,例如,可以是0.5s,该时间间隔不限,可以根据激光雷达型号、类型的不同,或根据不同的业务需求进行自定义预设,从而能够提高车辆静止检测的灵活性。
在其中一个实施例中,根据位姿变化矩阵对目标车辆的静止状态进行检测,包括:根据位姿变化矩阵中的旋转矩阵计算旋转角度;根据位姿变化矩阵中的平移向量计算向量模;响应于旋转角度小于第一预设值,且向量模小于第二预设值,判定目标车辆处于静止状态。
在本实施例中,位姿变化矩阵可以包括两部分,分别为旋转矩阵部分和平移向量部分:
Figure BDA0003718393780000121
其中,T表示位姿变化矩阵;R表示3×3的旋转矩阵,即用于定义目标车辆的方向;t表示3×1的平移向量,即用于定义目标车辆的位置。
在本实施例中,通过判定目标车辆的从第一帧点云到第二帧点云的位姿变换矩阵的旋转矩阵部分、平移向量部分是否都满足预设的条件,若上述两部分都满足预设的条件,则可以判定目标车辆处于静止状态。
更为具体地:
1、对于旋转矩阵部分,例如,旋转矩阵为:
Figure BDA0003718393780000122
则,可以分别以X、Y和Z轴为旋转轴,分别求出各个轴对应的旋转角θX、θY和θZ,计算公式如下所示:
θZ=atan2(r21,r11)
Figure BDA0003718393780000123
θX=atan2(r32,r33)
然后,判定θX、θY和θZ是否分别小于预设的第一预设值。其中,各角度可以分别设置对应的第一预设值,也可以仅设置一个第一预设值。
2、对于平移向量部分,例如,t=[x,y,z],则计算得到向量t的模:
|t|=sqrt(x2+y2+z2)
然后,判定|t|是否小于预设的第二预设值。
响应于旋转角θX、θY和θZ分别小于预设的阈值,且|t|也小于预设的阈值,判定目标车辆处于静止状态。
本实施例,通过分析位姿变化矩阵中的旋转部分和平移部分是否都满足预设的要求,从而对目标车辆的静止状态进行准确判定。
应该理解的是,虽然图1、图2和图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1、图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中,如图6所示,提供了一种车辆静止检测装置,包括:点云获取模块602、特征提取模块604、特征关联模块606和静止检测模块608,其中:
点云获取模块602,用于获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云;
特征提取模块604,用于对第一帧点云和第二帧点云分别进行特征点提取;
特征关联模块606,用于将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到第一帧点云的特征点与第二帧点的特征点之间的关联关系;
静止检测模块608,用于根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,根据位姿变化矩阵对目标车辆的静止状态进行检测。
在其中一个实施例中,特征关联模块606将第一帧点云的任意一个边缘特征点转换至第二帧点云的坐标系中,得到边缘特征转换点;在第二帧点云的多个边缘特征点中选取与边缘特征转换点距离最近的点作为第一边缘特征对应点;在第二帧点云的多个边缘特征点中选取与第一边缘特征对应点所在扫描线相邻的扫描线上的点作为第二边缘特征对应点;将第一帧点云的任意一个边缘特征点与其对应的第一边缘特征对应点以及第二边缘特征对应点进行关联。
在其中一个实施例中,特征关联模块606将第一帧点云中的任意一个平面特征点转换至第二帧点云的坐标系中,得到平面特征转换点;在第二帧点云的多个平面特征点中选取与平面特征转换点距离最近的点作为第一平面特征对应点;在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相邻的扫描线上的点作为第二平面特征对应点;在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相同的扫描线上的点作为第三平面特征对应点;将第一帧点云的任意一个平面特征点与其对应的第一平面特征对应点、第二平面特征对应点以及第三平面特征对应点进行关联。
在其中一个实施例中,静止检测模块608计算各边缘特征转换点到其对应的目标线段之间的距离;其中,目标线段是边缘特征转换点对应的第一边缘特征对应点与第二边缘特征对应点所构成的线段;根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在其中一个实施例中,静止检测模块608计算各平面特征转换点到其对应的目标平面之间的距离;其中,目标平面是平面特征转换点对应的第一平面特征对应点、第二平面特征对应点和第三平面特征对应点所构成的平面;根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在其中一个实施例中,点云获取模块602通过激光雷达采集一定时间内目标车辆的点云数据;从点云数据筛选满足预设时间间隔的两帧点云分别作为第一帧点云和第二帧点云。
在其中一个实施例中,静止检测模块608根据位姿变化矩阵中的旋转矩阵计算旋转角度;根据位姿变化矩阵中的平移向量计算向量模;响应于旋转角度小于第一预设值,且向量模小于第二预设值,判定目标车辆处于静止状态。
关于车辆静止检测装置的具体限定可以参见上文中对于车辆静止检测方法的限定,在此不再赘述。上述车辆静止检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆静止检测方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在其中一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云;对第一帧点云和第二帧点云分别进行特征点提取;将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到第一帧点云的特征点与第二帧点云的特征点之间的关联关系;根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,根据位姿变化矩阵对目标车辆的静止状态进行检测。
在其中一个实施例中,处理器执行计算机程序实现将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联时,具体实现以下步骤:将第一帧点云的任意一个边缘特征点转换至第二帧点云的坐标系中,得到边缘特征转换点;在第二帧点云的多个边缘特征点中选取与边缘特征转换点距离最近的点作为第一边缘特征对应点;在第二帧点云的多个边缘特征点中选取与第一边缘特征对应点所在扫描线相邻的扫描线上的点作为第二边缘特征对应点;将第一帧点云的任意一个边缘特征点与其对应的第一边缘特征对应点以及第二边缘特征对应点进行关联。
在其中一个实施例中,处理器执行计算机程序实现将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联时,具体实现以下步骤:将第一帧点云中的任意一个平面特征点转换至第二帧点云的坐标系中,得到平面特征转换点;在第二帧点云的多个平面特征点中选取与平面特征转换点距离最近的点作为第一平面特征对应点;在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相邻的扫描线上的点作为第二平面特征对应点;在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相同的扫描线上的点作为第三平面特征对应点;将第一帧点云的任意一个平面特征点与其对应的第一平面特征对应点、第二平面特征对应点以及第三平面特征对应点进行关联。
在其中一个实施例中,处理器执行计算机程序实现根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵时,具体实现以下步骤:计算各边缘特征转换点到其对应的目标线段之间的距离;其中,目标线段是边缘特征转换点对应的第一边缘特征对应点与第二边缘特征对应点所构成的线段;根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在其中一个实施例中,处理器执行计算机程序实现根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵时,具体实现以下步骤:计算各平面特征转换点到其对应的目标平面之间的距离;其中,目标平面是平面特征转换点对应的第一平面特征对应点、第二平面特征对应点和第三平面特征对应点所构成的平面;根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在其中一个实施例中,处理器执行计算机程序实现获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云时,具体实现以下步骤:通过激光雷达采集一定时间内目标车辆的点云数据;从点云数据筛选满足预设时间间隔的两帧点云分别作为第一帧点云和第二帧点云。
在其中一个实施例中,处理器执行计算机程序实现根据位姿变化矩阵对目标车辆的静止状态进行检测时,具体实现以下步骤:根据位姿变化矩阵中的旋转矩阵计算旋转角度;根据位姿变化矩阵中的平移向量计算向量模;响应于旋转角度小于第一预设值,且向量模小于第二预设值,判定目标车辆处于静止状态。
在其中一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云;对第一帧点云和第二帧点云分别进行特征点提取;将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到第一帧点云的特征点与第二帧点云的特征点之间的关联关系;根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵,根据位姿变化矩阵对目标车辆的静止状态进行检测。
在其中一个实施例中,计算机程序被处理器执行实现将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联时,具体实现以下步骤:将第一帧点云的任意一个边缘特征点转换至第二帧点云的坐标系中,得到边缘特征转换点;在第二帧点云的多个边缘特征点中选取与边缘特征转换点距离最近的点作为第一边缘特征对应点;在第二帧点云的多个边缘特征点中选取与第一边缘特征对应点所在扫描线相邻的扫描线上的点作为第二边缘特征对应点;将第一帧点云的任意一个边缘特征点与其对应的第一边缘特征对应点以及第二边缘特征对应点进行关联。
在其中一个实施例中,计算机程序被处理器执行实现将第一帧点云的各个特征点分别与第二帧点云中用于描述相应特征的至少一个特征点进行关联时,具体实现以下步骤:将第一帧点云中的任意一个平面特征点转换至第二帧点云的坐标系中,得到平面特征转换点;在第二帧点云的多个平面特征点中选取与平面特征转换点距离最近的点作为第一平面特征对应点;在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相邻的扫描线上的点作为第二平面特征对应点;在第二帧点云的多个平面特征点中选取与第一平面特征对应点所在扫描线相同的扫描线上的点作为第三平面特征对应点;将第一帧点云的任意一个平面特征点与其对应的第一平面特征对应点、第二平面特征对应点以及第三平面特征对应点进行关联。
在其中一个实施例中,计算机程序被处理器执行实现根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵时,具体实现以下步骤:计算各边缘特征转换点到其对应的目标线段之间的距离;其中,目标线段是边缘特征转换点对应的第一边缘特征对应点与第二边缘特征对应点所构成的线段;根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在其中一个实施例中,计算机程序被处理器执行实现根据关联关系生成第一帧点云与第二帧点云的位姿变化矩阵时,具体实现以下步骤:计算各平面特征转换点到其对应的目标平面之间的距离;其中,目标平面是平面特征转换点对应的第一平面特征对应点、第二平面特征对应点和第三平面特征对应点所构成的平面;根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到位姿变换矩阵。
在其中一个实施例中,计算机程序被处理器执行实现获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云时,具体实现以下步骤:通过激光雷达采集一定时间内目标车辆的点云数据;从点云数据筛选满足预设时间间隔的两帧点云分别作为第一帧点云和第二帧点云。
在其中一个实施例中,计算机程序被处理器执行实现根据位姿变化矩阵对目标车辆的静止状态进行检测时,具体实现以下步骤:根据位姿变化矩阵中的旋转矩阵计算旋转角度;根据位姿变化矩阵中的平移向量计算向量模;响应于旋转角度小于第一预设值,且向量模小于第二预设值,判定目标车辆处于静止状态。
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)、DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符一般表示前后关联对象是一种“或”的关系。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆静止检测方法,所述方法包括:
获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云;
对所述第一帧点云和所述第二帧点云分别进行特征点提取;
将所述第一帧点云的各个特征点分别与所述第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到所述第一帧点云的特征点与所述第二帧点云的特征点之间的关联关系;
根据所述关联关系生成所述第一帧点云与所述第二帧点云的位姿变化矩阵,根据所述位姿变化矩阵对所述目标车辆的静止状态进行检测。
2.根据权利要求1所述的方法,其特征在于,所述特征点包括用于描述边缘特征的边缘特征点,所述将所述第一帧点云的各个特征点分别与所述第二帧点云中用于描述相应特征的至少一个特征点进行关联,包括:
将所述第一帧点云的任意一个边缘特征点转换至所述第二帧点云的坐标系中,得到边缘特征转换点;
在所述第二帧点云的多个边缘特征点中选取与所述边缘特征转换点距离最近的点作为第一边缘特征对应点;
在所述第二帧点云的多个边缘特征点中选取与所述第一边缘特征对应点所在扫描线相邻的扫描线上的点作为第二边缘特征对应点;
将所述第一帧点云的所述任意一个边缘特征点与其对应的所述第一边缘特征对应点以及所述第二边缘特征对应点进行关联。
3.根据权利要求1所述的方法,其特征在于,所述特征点包括用于描述平面特征的平面特征点,所述将所述第一帧点云的各个特征点分别与所述第二帧点云中用于描述相应特征的至少一个特征点进行关联,包括:
将所述第一帧点云中的任意一个平面特征点转换至所述第二帧点云的坐标系中,得到平面特征转换点;
在所述第二帧点云的多个平面特征点中选取与所述平面特征转换点距离最近的点作为第一平面特征对应点;
在所述第二帧点云的多个平面特征点中选取与所述第一平面特征对应点所在扫描线相邻的扫描线上的点作为第二平面特征对应点;
在所述第二帧点云的多个平面特征点中选取与所述第一平面特征对应点所在扫描线相同的扫描线上的点作为第三平面特征对应点;
将所述第一帧点云的所述任意一个平面特征点与其对应的所述第一平面特征对应点、所述第二平面特征对应点以及所述第三平面特征对应点进行关联。
4.根据权利要求2所述的方法,其特征在于,所述根据所述关联关系生成所述第一帧点云与所述第二帧点云的位姿变化矩阵,包括:
计算各所述边缘特征转换点到其对应的目标线段之间的距离;其中,所述目标线段是所述边缘特征转换点对应的所述第一边缘特征对应点与所述第二边缘特征对应点所构成的线段;
根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到所述位姿变换矩阵。
5.根据权利要求3所述的方法,其特征在于,所述根据所述关联关系生成所述第一帧点云与所述第二帧点云的位姿变化矩阵,包括:
计算各所述平面特征转换点到其对应的目标平面之间的距离;其中,所述目标平面是所述平面特征转换点对应的所述第一平面特征对应点、所述第二平面特征对应点和所述第三平面特征对应点所构成的平面;
根据计算的各距离构建误差优化函数,根据构建的误差优化函数得到所述位姿变换矩阵。
6.根据权利要求1所述的方法,其特征在于,所述获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云,包括:
通过所述激光雷达采集一定时间内所述目标车辆的点云数据;
从所述点云数据筛选满足预设时间间隔的两帧点云分别作为所述第一帧点云和所述第二帧点云。
7.根据权利要求1至6任意一项所述的方法,其特征在于,所述根据所述位姿变化矩阵对所述目标车辆的静止状态进行检测,包括:
根据所述位姿变化矩阵中的旋转矩阵计算旋转角度;
根据所述位姿变化矩阵中的平移向量计算向量模;
响应于所述旋转角度小于第一预设值,且所述向量模小于第二预设值,判定所述目标车辆处于静止状态。
8.一种车辆静止检测装置,其特征在于,所述装置包括:
点云获取模块,用于获取激光雷达扫描目标车辆得到的第一帧点云和第二帧点云;
特征提取模块,用于对所述第一帧点云和所述第二帧点云分别进行特征点提取;
特征关联模块,用于将所述第一帧点云的各个特征点分别与所述第二帧点云中用于描述相应特征的至少一个特征点进行关联,得到所述第一帧点云的特征点与所述第二帧点的特征点之间的关联关系;
静止检测模块,用于根据所述关联关系生成所述第一帧点云与所述第二帧点云的位姿变化矩阵,根据所述位姿变化矩阵对所述目标车辆的静止状态进行检测。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210751457.0A 2022-06-28 2022-06-28 车辆静止检测方法、装置、计算机设备和存储介质 Pending CN115272408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210751457.0A CN115272408A (zh) 2022-06-28 2022-06-28 车辆静止检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210751457.0A CN115272408A (zh) 2022-06-28 2022-06-28 车辆静止检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115272408A true CN115272408A (zh) 2022-11-01

Family

ID=83764027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210751457.0A Pending CN115272408A (zh) 2022-06-28 2022-06-28 车辆静止检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115272408A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115575923A (zh) * 2022-12-08 2023-01-06 千巡科技(深圳)有限公司 一种地面机器人静止判断方法、系统、装置以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115575923A (zh) * 2022-12-08 2023-01-06 千巡科技(深圳)有限公司 一种地面机器人静止判断方法、系统、装置以及存储介质

Similar Documents

Publication Publication Date Title
CN114636993A (zh) 一种激光雷达与imu的外参标定方法、装置及设备
CN111179274B (zh) 地图地面分割方法、装置、计算机设备和存储介质
CN111080784B (zh) 一种基于地面图像纹理的地面三维重建方法和装置
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
EP3324359B1 (en) Image processing device and image processing method
CN114091561A (zh) 目标跟踪方法、装置、服务器和可读存储介质
CN113701745A (zh) 一种外参变化检测方法、装置、电子设备及检测系统
CN116449392B (zh) 一种地图构建方法、装置、计算机设备及存储介质
CN115272408A (zh) 车辆静止检测方法、装置、计算机设备和存储介质
CN114118253B (zh) 一种基于多源数据融合的车辆检测方法及检测装置
CN114371484A (zh) 车辆定位方法、装置、计算机设备和存储介质
CN114067556B (zh) 环境感知方法、装置、服务器和可读存储介质
CN111723597A (zh) 跟踪算法的精度检测方法、装置、计算机设备和存储介质
US11288554B2 (en) Determination method and determination device
CN111753901B (zh) 一种数据融合方法、装置、系统及计算机设备
CN112965076A (zh) 一种用于机器人的多雷达定位系统及方法
CN111721283B (zh) 定位算法的精度检测方法、装置、计算机设备和存储介质
CN113591890A (zh) 一种聚类的方法和装置
CN108957432B (zh) 路沿检测方法、装置、计算机设备和存储介质
WO2002012830A1 (en) Height measurement apparatus
CN116182905A (zh) 激光雷达和组合惯导的时空外参标定方法、装置及系统
CN115952248A (zh) 终端设备的位姿处理方法、装置、设备、介质及产品
CN114067555B (zh) 多基站数据的配准方法、装置、服务器和可读存储介质
CN111723826B (zh) 跟踪算法的精度检测方法、装置、计算机设备和存储介质
CN114998864A (zh) 一种障碍物检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination