CN113724303A - 点云与图像匹配方法、装置、电子设备和存储介质 - Google Patents

点云与图像匹配方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113724303A
CN113724303A CN202111043341.3A CN202111043341A CN113724303A CN 113724303 A CN113724303 A CN 113724303A CN 202111043341 A CN202111043341 A CN 202111043341A CN 113724303 A CN113724303 A CN 113724303A
Authority
CN
China
Prior art keywords
point cloud
pose
camera
target
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111043341.3A
Other languages
English (en)
Other versions
CN113724303B (zh
Inventor
杜杭肯
吴涤豪
吴育灿
冯荻
蔡健
薛辉
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202111043341.3A priority Critical patent/CN113724303B/zh
Publication of CN113724303A publication Critical patent/CN113724303A/zh
Application granted granted Critical
Publication of CN113724303B publication Critical patent/CN113724303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种点云与图像匹配方法、装置、电子设备和存储介质，点云与图像匹配方法包括：获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。本发明实施例在高速场景下对点云移动补偿后，可以使得点云中的点与图像中得像素准确匹配。

Description

点云与图像匹配方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及视觉处理技术领域，尤其涉及一种点云与图像匹配方法、装置、电子设备和存储介质。
背景技术
在自动驾驶的感知任务中，激光雷达收集到的点云和相机收集到的图像作为感知模块的输入，经过感知算法处理后，获取自动驾驶车辆周围环境中障碍物的距离、类型、形状等信息。
在自动驾驶车辆上不同位置安装多个相机以全面视觉覆盖，当激光雷达旋转扫描的角度与相机的中心重合时，相机开始曝光，采集到的点云通过激光雷达到相机之间的标定参数投影到相机拍摄的图像上时，点云中的每个点和图像中的像素可以天然匹配，从而保证点云和图像融合。然而车辆在移动时，点云中每个点并不都是在同一时刻获取，点云中的点需要移动补偿，以将每个点同步到同一个时刻获取。在车辆行驶速度较慢时，激光雷达移动畸变影响小，可以不作移动补偿，但在车辆行驶速度较快时，激光雷达移动畸变影响大，需要对点云中的点作移动补偿，但是移动补偿后，点云与图像上像素失去天然匹配，为了解决上述问题，现有技术中激光雷达和相机融合限制在低速场景，或者仅采用一个相机，相机的曝光时间为点云的同步时刻。
综上所述，现有点云与图像匹配方法存在以下问题：
1)仅适用与低速场景，高速场景下点云与图像出现失配；
2)点云中的点在移动补偿后，点云通过标定参数投影到多个相机采集的图像像素时存在失配问题。
发明内容
本发明实施例提供一种点云与图像匹配方法、装置、电子设备和存储介质，以解决现有技术中在高速场景以及多相机场景下点云与图像失配的问题。
第一方面，本发明实施例提供了一种点云与图像匹配方法，应用于安装有激光雷达和多个相机的车辆，包括：
获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；
对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；
基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；
根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；
根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。
第二方面，本发明实施例提供了一种点云与图像匹配装置，应用于安装有激光雷达和多个相机的车辆，包括：
数据获取模块，用于获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；
插值模块，用于对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；
点云移动补偿模块，用于基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；
相机外标定参数确定模块，用于根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；
匹配模块，用于根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的点云与图像匹配方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的点云与图像匹配方法。
本发明实施例对车辆的多个第一位姿插值得到车辆在同步时刻时的第二位姿，该同步时刻为激光雷达的扫描周期内的时刻，基于车辆在同步时刻时的第二位姿将原始点云的点移动补偿到同步时刻，并根据第二位姿和相机原始外标定参数重新计算相机在同步时刻时的目标外标定参数，一方面，在高速场景下对原始点云同步移动补偿到同步时刻之后，点云中的点可以与图像中的像素准确匹配，另一方面，不受相机数量限制，当多个相机时，可以重新计算每个相机在同步时刻时的目标外标定参数来匹配点云中的点和图像中的像素，实现了多个相机时点云中的点与图像中的像素准确匹配。
附图说明
图1为本发明实施例一提供的一种点云与图像匹配方法的流程图；
图2是本发明实施例二提供的一种点云与图像匹配方法的流程图；
图3为本发明实施例三提供的一种点云与图像匹配装置的结构示意图；
图4为本发明实施例四提供的一种电子设备结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种点云与图像匹配方法的流程图，本发明实施例可适用于将点云中的点与图像中的像素匹配的情况，该方法可以由点云与图像匹配装置来执行，该点云与图像匹配装置可以由软件和/或硬件实现，点云与图像匹配装置可配置在电子设备中，例如可配置在无人驾驶车辆的主控机或者后台服务器中，该方法具体包括如下步骤：
S101、获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿。
在本发明实施例中，车辆上安装有激光雷达、相机以及定位传感器，其中，激光雷达用于对车辆周围环境进行感知以生成点云，相机的数量可以为多个，多个相机按照一定的方位安装在车辆上的不同位置以实现全面覆盖，多个相机在车辆行驶时采集图像，定位传感器实时定位以按照预设周期输出车辆的位姿。
在一个可选实施例中，激光雷达按照预设的扫描周期扫描车辆周围的环境，并在扫描周期结束时输出点云，则可以将激光雷达在每个扫描周期结束时输出的点云作为原始点云，同时，多个相机在每个扫描周期内的曝光时刻曝光以输出图像，车辆上的定位传感器同样也按照预设周期输出车辆的多个位姿作为第一位姿。
S102、对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻。
本发明实施例中，同步时刻可以是激光雷达的扫描周期内的任意一个时刻，对于该同步时刻，可以从多个第一位姿的定位时刻中查找出与同步时刻相邻的两个定位时刻，通过两个定位时刻的定位传感器输出的车辆的两个第一位姿来插值得到车辆在同步时刻时的第二位姿。
S103、基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云。
在实际应用中，激光雷达按照预设的扫描频率旋转，周围环境中的物体并不都是在同一时刻被激光雷达所扫描到，即原始点云中每个点对应的物体被激光雷达所扫描到的时刻并不是都在同一个时刻，原始点云中的每个点均关联有该点对应的物体的第一相对坐标以及被激光雷达所扫描到的原始时刻，该第一相对坐标为物体被激光雷达在原始时刻扫描到时物体在激光雷达的坐标系下的坐标。
在激光雷达的一个扫描周期内，一个物体被激光雷达扫描一次，而随着车辆移动，物体与激光雷达的相对位置发生变化，同步时刻可以是激光雷达的扫描周期内的任意一个时刻，移动补偿可以是对原始点云中的每个点所关联的第一相对坐标进行补偿，使得补偿后的坐标为激光雷达在同步时刻所在的位置时物体相对于激光雷达的坐标。当车辆在同步时刻时由于激光雷达的旋转，在同步时刻之前已经扫描物体或者在同步时刻之后激光雷达才扫描物体形成原始点云，即无法获得物体在同步时刻时相对于激光雷达的相对坐标，需要对在原始时刻时物体相对于激光雷达的相对坐标进行移动补偿，以获得物体在同步时刻时相对于激光雷达的相对坐标。
在本发明的可选实施例中，对于原始点云中的每个目标点，可以获取该目标点被激光雷达扫描到时的原始时刻以及该目标点所关联的第一相对坐标，通过车辆的多个第一位姿和插值算法插值得到车辆在原始时刻时的位姿，然后通过车辆与相机之间的标定参数、车辆在原始时刻时的位姿、车辆在同步时刻的位姿以及第一相对坐标计算得到第二相对坐标，该第二相对坐标即为原始点云中的每个目标点移动补偿之后在激光雷达的坐标系下的坐标。
S104、根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数。
在激光雷达的一个扫描周期内，多个相机的曝光时刻有可能不是同步时刻，而相机输出的图像是曝光时刻输出的图像，相机随着车辆移动，在曝光时刻和同步时刻同一个物体相对于相机的位置是变化的，相机在曝光时刻和在同步时刻输出的图像中同一物体对应的像素的坐标是不相同的，由于相机在同步时刻并不输出图像，为了使得在曝光时刻输出的图像能够反映像素对应的物体在同步时刻时相对于相机的位置，需要对相机的外标定参数重新计算，使得通过车辆在同步时刻的位姿、重新计算的外标定参数以及相机内参计算得到的像素关联的相对坐标能够真实反映物体在同步时刻时相对于相机的位置。
在一个可选实施例中，可以先通过插值算法对多个第一位姿插值得到车辆在相机的曝光时刻时的位姿，然后计算车辆在同步时刻的位姿、曝光时刻时的位姿的逆矩阵以及车辆到相机的原始标定参数的逆矩阵的乘积，得到相机在同步时刻时的目标外标定参数。
S105、根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。
在实际应用中，目标点云中的点匹配到图像的像素上，可以理解为将目标点云中的点在激光雷达的坐标系下的相对坐标转换为相机坐标系下的相对坐标，在相机坐标系下，目标点云中的点的相对坐标与像素的相对坐标相同时，原始点云中的点和图像中的像素即可以匹配。
具体地，可以通过目标外标定参数、目标点云中的点所关联的相对坐标、激光雷达到相机的标定参数、相机的内标定参数计算目标点云中的点在相机坐标系下的相对坐标，然后从图像查找坐标为计算得到的相对坐标的像素作为与目标点云中的点匹配的像素。
本发明实施例对车辆的多个第一位姿插值得到车辆在同步时刻时的第二位姿，该同步时刻为激光雷达的扫描周期内的时刻，基于车辆在同步时刻时的第二位姿将原始点云的点移动补偿到同步时刻，并根据第二位姿和相机原始外标定参数重新计算相机在同步时刻时的目标外标定参数，一方面，在高速场景下对原始点云同步移动补偿到同步时刻之后，点云中的点可以与图像中的像素准确匹配，另一方面，不受相机数量限制，当多个相机时，可以重新计算每个相机在同步时刻时的目标外标定参数来匹配点云中的点和图像中的像素，实现了多个相机时点云中的点与图像中的像素准确匹配。
实施例二
图2为本发明实施例二提供的一种点云与图像匹配方法的流程图，本发明实施例以前述实施例为基础进行优化，该方法具体包括如下步骤：
S201、获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿。
在本发明的可选实施例中，可以将激光雷达在每个扫描周期结束时输出的点云作为原始点云，以及获取相机在扫描周期内输出的图像并记录相机的曝光时刻，并控制车辆上的定位传感器按照预设周期在扫描周期内输出车辆的多个第一位姿。
示例性地，激光雷达按照预设的扫描周期扫描车辆周围的环境，并在扫描周期结束时输出点云，则可以将激光雷达在每个扫描周期结束时输出的点云作为原始点云，同时，多个相机在每个扫描周期内的曝光时刻曝光以输出图像，车辆上的定位传感器同样也按照预设周期输出车辆的多个位姿作为第一位姿。
S202、对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿。
在本发明的可选实施例中，可以先在扫描周期内确定一时刻作为同步时刻，获取多个第一位姿的输出时刻得到多个定位时刻，从多个定位时刻中查找与同步时刻相邻的两个相邻定位时刻，对两个相邻定位时刻的两个第一位姿进行插值得到车辆在同步时刻时的第二位姿。
具体地，原始点云中的每个目标点均关联有时间戳，该时间戳表示该目标点对应的物体被激光雷达所扫描时的时刻，即原始时刻，假设一帧原始点云的扫描开始时刻为lidar_start_time，扫描结束时刻为lidar_end_time，记同步时刻为l_t，则可以有：
lidat_start_time≤l_t≤lidar_end_time，或者
l_t＝lidat_start_time，或者
l_t＝lidat_end_time，或者
l_t＝(lidar_start_time+lidar_end_time)/2
示例性地，激光雷达的扫描频率为5Hz，即1秒钟激光雷达旋转5圈，输出5帧原始点云，第1帧原始点云的扫描开始时间为第0秒，扫描结束时间为第0.2秒，则可以将第0秒、第0.2秒、第0.1秒或者是第0秒到第0.2秒中的任意一个时刻作为同步时刻。
在确定同步时刻之后，由于定位传感器按照预设周期输出车辆的多个第一位姿，每个第一位姿关联有一个定位时刻，对于同步时刻，可以从多个定位时刻中查找出与同步时刻相邻的两个相邻定位时刻，对两个相邻定位时刻的两个第一位姿进行插值，得到车辆在同步时刻时的位姿。以同步时刻为第8.0秒作为示例，如果定位传感器分别在第7.7、7.9、8.1、8.3秒输出第一位姿，则可以取定位传感器在第7.9秒和第8.1秒输出的两个第一位姿进行插值，通过插值得到车辆在第8.0秒的位姿。其中，插值算法可以是slerp(球面线性插值，Spherical Linear Interpolation)插值算法，通过slerp插值算法可以将两个相邻定位时刻的两个第一位姿转换为四元数的形式，进一步通过四元数球面插值得到插值后的位姿，当然，插值算法还可以是基于旋转向量的插值算法、双线性插值算法等，本发明实施例对位姿进行插值的算法不加以限制。
S203、针对所述原始点云中的每个目标点，获取所述目标点被所述激光雷达扫描时的原始时刻，以及所述目标点在所述原始时刻时在雷达坐标系下的第一相对坐标。
在本发明实施例中，原始点云中的每个点均关联有该点对应的物体的第一相对坐标以及被激光雷达所扫描到的原始时刻，该相对坐标为物体被激光雷达在原始时刻扫描到时物体在激光雷达的坐标系下的坐标，即对于原始点云中的每个目标点，可以直接从原始点云中读取到原始时刻和第一相对坐标。
S204、获取所述车辆到所述激光雷达的第一标定参数。
激光雷达安装在车辆上，由于车辆是刚体结构，激光雷达与车辆之间的位置关系固定不变，在对激光雷达进行标定之后得到激光雷达的标定参数，该标定参数可以存储在激光雷达的存储器或者车辆的主控的存储器中，可以直接从存储器中读取车辆到激光雷达的标定参数作为第一标定参数。
S205、通过插值算法对多个第一位姿插值得到所述车辆在所述原始时刻时的第三位姿。
具体地，对于原始点云中的每个目标点，该目标点对应的物体被激光雷达扫描到的时刻并不一定等于定位传感器的定位时刻，为了获得车辆在原始点云中每个目标点的原始时刻时的第三位姿，可以从多个第一位姿的定位时刻中查找出与原始时刻相邻的两个定位时刻，通过两个定位时刻的定位传感器输出的车辆的两个第一位姿来插值得到车辆在原始时刻时的第三位姿，具体可参考S202中通过插值算法插值得到车辆在同步时刻时的位姿，在此不再详述。
S206、采用所述第一相对坐标、所述第二位姿、第三位姿以及所述第一标定参数计算所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标。
在实际应用中，对于原始点云中的每个目标点，记该目标点对应的物体的相关信息如下：
在原始时刻：
激光雷达坐标系下的三维坐标为PL(第一相对坐标)，在世界坐标系下的三维坐标为PW，车辆在原始时刻的第三位姿为TWB，车辆到激光雷达的第一标定参数为TBL；
在同步时刻：
记目标点对应的物体在激光雷达坐标系下的三维坐标为P＇L(第二相对坐标)，在世界坐标系下的三维坐标为P＇W，车辆在同步时刻的第四位姿为T＇WB，车辆到激光雷达的第一标定参数为T＇BL。
由于静止的物体在世界坐标系下的坐标不变，PW＝P＇W，由于车辆的车身是刚体结构，TBL＝T＇BL，则目标点在同步时刻时关联的在雷达坐标系下的第二相对坐标P＇L的推算过程如下：
在原始时刻：
PW＝TWB×TBL×PL
同理，在同步时刻：
P＇W＝T＇WB×T＇BL×P＇L
即有：
TWB×TBL×PL＝T＇WB×T＇BL×P＇L
P＇L＝T＇BL -1(T＇WB -1×TWB)×TBL×PL
即可以先计算第三位姿TWB与第二位姿T＇WB的逆矩阵T＇WB -1的乘积得到第一乘积(T＇WB -1×TWB)，再计算第一乘积(T＇WB -1×TWB)、第一标定参数TBL、第一标定参数TBL的逆矩阵T＇BL -1以及第一相对坐标PL的乘积，得到目标点在同步时刻时在雷达坐标系下的、补偿后的第二相对坐标P＇L。
对原始点云中的每个点均计算得到第二相对坐标P＇L后，将原始点云中每个点关联的第一相对坐标PL改为第二相对坐标P＇L即可以得到移动补偿后的目标点云，即对点云进行了移动补偿，以适用于车辆在高速行驶时的场景。
S207、通过插值算法对多个所述第一位姿插值得到所述车辆在所述相机的曝光时刻时的第四位姿。
具体地，对于每个相机，该相机的曝光时刻并不一定等于定位传感器的定位时刻，为了获得车辆在每个相机的曝光时刻时的第四位姿，可以从多个第一位姿的定位时刻中查找出与曝光时刻相邻的两个定位时刻，通过两个定位时刻的定位传感器输出的车辆的两个第一位姿来插值得到车辆在曝光时刻时的第四位姿，具体可参考S202中通过插值算法插值得到车辆在同步时刻时的位姿，在此不再详述。
S208、计算所述第二位姿、所述第四位姿的逆矩阵以及所述原始标定参数的逆矩阵的乘积，得到所述相机在所述同步时刻时的目标外标定参数。
在实际应用中，对于相机输出的图像中的每个像素，记该像素对应的物体的相关信息如下：
在原始时刻：
相机坐标系下的三维坐标为PU，在世界坐标系下的三维坐标为PW，车辆在原始时刻的第四位姿为TWB，车辆到相机的原始标定参数为TBC；
在同步时刻：
记相机坐标系下的三维坐标为P＇U，在世界坐标系下的三维坐标为P＇W，车辆在同步时刻的第二位姿为T＇WB，车辆到相机的目标标定参数为T＇BC。
由于静止的物体在世界坐标系下的坐标不变，PW＝P＇W，由于相机在同一曝光时刻输出的图像不变，PU＝P＇U，相机的内标定参数K不变，则相机在同步时刻时的目标外标定参数T＇BC的推算过程如下：
在原始时刻：
PU＝K×TCB×TBW×PW
其中，TCB为原始标定参数为TBC的逆矩阵，TBW为第四位姿为TWB的逆矩阵；
同理，在同步时刻：
P＇U＝K×T＇CB×T＇BW×P＇W
其中，T＇CB为原始标定参数为T＇BC的逆矩阵，T＇BW为第四位姿为T＇WB的逆矩阵；
即有：
K×TCB×TBW×PW＝K×T＇CB×T＇BW×P＇W
即：
TCB×TBW＝T＇CB×T＇BW
亦即：
T＇CB＝TCB×(T＇WB×TWB -1)
即计算第二位姿T＇WB、第四位姿TWB的逆矩阵TWB -1以及原始标定参数TBC的逆矩阵TCB的乘积得到相机在同步时刻时的目标外标定参数T＇CB。
本发明实施例通过重新计算相机在同步时刻的外标定参数，使得曝光时刻输出的图像能够反映像素对应的物体在同步时刻时相对于相机的位置，无需对相机在曝光时刻输出的图像进行更改，可以防止图像修改造成的图像失真。
S209、获取所述相机的内标定参数以及所述相机到所述激光雷达的第二标定参数。
本发明实施例中，相机与激光雷达均安装在车辆上，并且由于车辆是刚性的，相机与激光雷达之间的位置相对固定，即相机与激光雷达之间的标定参数也相对固定不变，相机与激光雷达之间的标定参数可以预先标定后存储在存储介质中，相机的内标定参数可以在相机生产制造时标定并且存储在相机中。
S210、针对所述目标点云中的每个目标点，计算所述内标定参数、所述目标外标定参数、所述第二标定参数以及所述目标点的第二相对坐标的乘积，得到所述目标点在所述相机坐标系下的第三相对坐标。
具体地，可以通过以下公式计算目标点在相机坐标系下的第三相对坐标：
PU＝K×T＇CB×Tcl×P＇L
其中，PU是目标点云中的每个目标点在相机坐标系下的第三相对坐标，K是相机的内标定参数，TCB是相机在同步时刻时的目标标定参数，Tcl是相机到雷达之间的标定参数，P＇L是目标点在同步时刻时在雷达坐标系下的、补偿后的第二相对坐标。
S211、将所述图像中相对坐标为所述第三相对坐标的像素确定为与所述目标点匹配的目标像素。
对于目标点云中的每个目标点，在计算得到该目标点在相机坐标系下的第三相对坐标之后，图像中每个像素均关联有一个第四相对坐标，如果第三相对坐标与第四相对坐标相等，则说明目标点对应的物体与该像素对应的物体属于同一个物体，可以将该目标点云与图像中的该像素匹配。
本发明实施例对车辆的多个第一位姿插值得到车辆在同步时刻时的第二位姿，该同步时刻为激光雷达的扫描周期内的时刻，基于车辆在同步时刻时的第二位姿将原始点云的点移动补偿到同步时刻，并根据第二位姿和相机原始外标定参数重新计算相机在同步时刻时的目标外标定参数，一方面，在高速场景下对原始点云同步移动补偿到同步时刻之后，点云中的点可以与图像中的像素准确匹配，另一方面，不受相机数量限制，当多个相机时，可以重新计算每个相机在同步时刻时的目标外标定参数来匹配点云中的点和图像中的像素，实现了多个相机时点云中的点与图像中的像素准确匹配。
进一步地，通过重新计算相机在同步时刻的外标定参数，使得曝光时刻输出的图像能够反映像素对应的物体在同步时刻时相对于相机的位置，无需对相机在曝光时刻输出的图像进行更改，可以防止图像修改造成的图像失真。
实施例三
图3为本发明实施例三提供的一种点云与图像匹配装置的结构示意图，该点云与图像匹配装置应用于安装有激光雷达和多个相机的车辆，具体可以包括如下模块：
数据获取模块301，用于获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；
插值模块302，用于对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；
点云移动补偿模块303，用于基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；
相机外标定参数确定模块304，用于根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；
匹配模块305，用于根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。
可选地，所述数据获取模块301包括：
点云获取子模块，用于将激光雷达在每个扫描周期结束时输出的点云作为原始点云；
图像获取子模块，用于获取相机在所述扫描周期内输出的图像并记录所述相机的曝光时刻；
定位子模块，用于控制车辆上的定位传感器按照预设周期在所述扫描周期内输出所述车辆的多个第一位姿。
可选地，所述插值模块302包括：
同步时刻确定子模块，用于在所述扫描周期内确定一时刻作为同步时刻；
定位时刻获取子模块，用于获取多个所述第一位姿的输出时刻得到多个定位时刻；
相邻定位时刻查找子模块，用于从多个定位时刻中查找与所述同步时刻相邻的两个相邻定位时刻；
插值子模块，用于对所述两个相邻定位时刻的两个第一位姿进行插值，得到所述车辆在所述同步时刻时的第二位姿。
可选地，所点云移动补偿模块303包括：
点云原始数据获取子模块，用于针对所述原始点云中的每个目标点，获取所述目标点被所述激光雷达扫描时的原始时刻，以及所述目标点在所述原始时刻时关联的在雷达坐标系下的第一相对坐标；
第一标定参数获取子模块，用于获取所述车辆到所述激光雷达的第一标定参数；
原始时刻位姿插值子模块，用于通过插值算法对多个第一位姿插值得到所述车辆在所述原始时刻时的第三位姿；
补偿坐标计算子模块，用于采用所述第一相对坐标、所述第二位姿、第三位姿以及所述第一标定参数计算所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标。
可选地，所述补偿坐标计算子模块，用于包括：
第一计算单元，用于计算所述第三位姿与所述第二位姿的逆矩阵的乘积得到第一乘积；
第二计算单元，用于计算所述第一乘积、所述第一标定参数、所述第一标定参数的逆矩阵以及所述第一相对坐标的乘积，得到所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标。
可选地，所述相机外标定参数确定模块304包括：
曝光时刻位姿插值子模块，用于通过插值算法对多个第一位姿插值得到所述车辆在所述相机的曝光时刻时的第四位姿；
目标外标定参数计算子模块，用于计算所述第二位姿、所述第四位姿的逆矩阵以及所述原始标定参数的逆矩阵的乘积，得到所述相机在所述同步时刻时的目标外标定参数。
可选地，所述匹配模块305包括：
相机参数获取子模块，用于获取所述相机的内标定参数以及所述相机到所述激光雷达的第二标定参数；
第三相对坐标计算子模块，用于针对所述目标点云中的每个目标点，计算所述内标定参数、所述目标外标定参数、所述第二标定参数以及所述目标点的第二相对坐标的乘积，得到所述目标点在所述相机坐标系下的第三相对坐标；
坐标匹配子模块，用于将所述图像中相对坐标为所述第三相对坐标的像素确定为与所述目标点匹配的目标像素。
本发明实施例所提供的点云与图像匹配装置可执行本发明实施例一或实施例二所提供的点云与图像匹配方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种电子的结构示意图。如图4所示，该电子包括处理器400、存储器401、通信模块402、输入装置403和输出装置404；电子中处理器400的数量可以是一个或多个，图4中以一个处理器400为例；电子设备中的处理器400、存储器401、通信模块402、输入装置403和输出装置404可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器401作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例的点云与图像匹配方法对应的模块(例如，如图3所示的点云与图像匹配装置中的数据获取模块301、插值模块302、点云移动补偿模块303、相机外标定参数确定模块304和匹配模块305)。处理器400通过运行存储在存储器401中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的点云与图像匹配方法。
存储器401可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器401可进一步包括相对于处理器400远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块402，用于与显示屏建立连接，并实现与显示屏的数据交互。
输入装置403可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头、获取点云的激光雷达以及输出位姿的定位传感器等。
输出装置404可以包括扬声器等音频设备。
需要说明的是，输入装置403和输出装置404的具体组成可以根据实际情况设定。
处理器400通过运行存储在存储器401中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的点云与图像匹配方法。
本实施例提供的电子设备，可执行本发明实施例提供的点云与图像匹配方法，具体相应的功能和有益效果。
实施例五
本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种点云与图像匹配方法，应用于安装有激光雷达和多个相机的车辆，该方法包括：
获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；
对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；
基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；
根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；
根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。
当然，本发明实施例所提供的计算机可读存储介质，其计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的点云与图像匹配方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的点云与图像匹配方法。
值得注意的是，上述点云与图像匹配装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种点云与图像匹配方法，其特征在于，应用于安装有激光雷达和多个相机的车辆，包括：
获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；
对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；
基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；
根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；
根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。
2.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿，包括：
将激光雷达在每个扫描周期结束时输出的点云作为原始点云；
获取相机在所述扫描周期内输出的图像并记录所述相机的曝光时刻；
控制车辆上的定位传感器按照预设周期在所述扫描周期内输出所述车辆的多个第一位姿。
3.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，包括：
在所述扫描周期内确定一时刻作为同步时刻；
获取多个所述第一位姿的输出时刻得到多个定位时刻；
从多个定位时刻中查找与所述同步时刻相邻的两个相邻定位时刻；
对所述两个相邻定位时刻的两个第一位姿进行插值，得到所述车辆在所述同步时刻时的第二位姿。
4.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云，包括：
针对所述原始点云中的每个目标点，获取所述目标点被所述激光雷达扫描时的原始时刻，以及所述目标点在所述原始时刻时关联的在雷达坐标系下的第一相对坐标；
获取所述车辆到所述激光雷达的第一标定参数；
通过插值算法对多个第一位姿插值得到所述车辆在所述原始时刻时的第三位姿；
采用所述第一相对坐标、所述第二位姿、第三位姿以及所述第一标定参数计算所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标。
5.根据权利要求4所述的点云与图像匹配方法，其特征在于，所述通过所述第一相对坐标、所述第二位姿、第三位姿以及所述第一标定参数计算所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标，包括：
计算所述第三位姿与所述第二位姿的逆矩阵的乘积得到第一乘积；
计算所述第一乘积、所述第一标定参数、所述第一标定参数的逆矩阵以及所述第一相对坐标的乘积，得到所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标。
6.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数，包括：
通过插值算法对多个第一位姿插值得到所述车辆在所述相机的曝光时刻时的第四位姿；
计算所述第二位姿、所述第四位姿的逆矩阵以及所述原始标定参数的逆矩阵的乘积，得到所述相机在所述同步时刻时的目标外标定参数。
7.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素，包括：
获取所述相机的内标定参数以及所述相机到所述激光雷达的第二标定参数；
针对所述目标点云中的每个目标点，计算所述内标定参数、所述目标外标定参数、所述第二标定参数以及所述目标点的第二相对坐标的乘积，得到所述目标点在所述相机坐标系下的第三相对坐标；
将所述图像中相对坐标为所述第三相对坐标的像素确定为与所述目标点匹配的目标像素。
8.一种点云与图像匹配装置，其特征在于，应用于安装有激光雷达和多个相机的车辆，包括：
数据获取模块，用于获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；
插值模块，用于对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；
点云移动补偿模块，用于基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；
相机外标定参数确定模块，用于根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；
匹配模块，用于根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的点云与图像匹配方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的点云与图像匹配方法。
CN202111043341.3A 2021-09-07 2021-09-07 点云与图像匹配方法、装置、电子设备和存储介质 Active CN113724303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111043341.3A CN113724303B (zh) 2021-09-07 2021-09-07 点云与图像匹配方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111043341.3A CN113724303B (zh) 2021-09-07 2021-09-07 点云与图像匹配方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113724303A true CN113724303A (zh) 2021-11-30
CN113724303B CN113724303B (zh) 2024-05-10

Family

ID=78682123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111043341.3A Active CN113724303B (zh) 2021-09-07 2021-09-07 点云与图像匹配方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113724303B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511626A (zh) * 2022-04-20 2022-05-17 杭州灵西机器人智能科技有限公司 基于rgbd相机系统的图像处理装置、方法、设备及介质
CN115236644A (zh) * 2022-07-26 2022-10-25 广州文远知行科技有限公司 一种激光雷达外参标定方法、装置、设备和存储介质
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
WO2023103198A1 (zh) * 2021-12-08 2023-06-15 深圳奥锐达科技有限公司 一种计算测距系统相对外参的方法、装置和存储介质
CN116577796A (zh) * 2022-11-17 2023-08-11 昆易电子科技(上海)有限公司 对齐参数的验证方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070981A1 (en) * 2014-09-08 2016-03-10 Kabushiki Kaisha Topcon Operating device, operating system, operating method, and program therefor
CN111784834A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 一种点云地图生成方法、装置以及电子设备
CN112051590A (zh) * 2020-08-31 2020-12-08 广州文远知行科技有限公司 激光雷达与惯性测量单元的检测方法及相关装置
WO2020258901A1 (zh) * 2019-06-25 2020-12-30 上海商汤智能科技有限公司 传感器数据处理方法、装置、电子设备及系统
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN112330756A (zh) * 2021-01-04 2021-02-05 中智行科技有限公司 一种相机标定方法、装置、智能车辆和存储介质
CN112639883A (zh) * 2020-03-17 2021-04-09 华为技术有限公司 一种相对位姿标定方法及相关装置
WO2021098439A1 (zh) * 2019-11-18 2021-05-27 商汤集团有限公司 传感器标定方法及装置、存储介质、标定系统和程序产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070981A1 (en) * 2014-09-08 2016-03-10 Kabushiki Kaisha Topcon Operating device, operating system, operating method, and program therefor
WO2020258901A1 (zh) * 2019-06-25 2020-12-30 上海商汤智能科技有限公司 传感器数据处理方法、装置、电子设备及系统
WO2021098439A1 (zh) * 2019-11-18 2021-05-27 商汤集团有限公司 传感器标定方法及装置、存储介质、标定系统和程序产品
CN112639883A (zh) * 2020-03-17 2021-04-09 华为技术有限公司 一种相对位姿标定方法及相关装置
CN111784834A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 一种点云地图生成方法、装置以及电子设备
CN112051590A (zh) * 2020-08-31 2020-12-08 广州文远知行科技有限公司 激光雷达与惯性测量单元的检测方法及相关装置
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN112330756A (zh) * 2021-01-04 2021-02-05 中智行科技有限公司 一种相机标定方法、装置、智能车辆和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫利;曹亮;陈长军;黄亮;: "车载全景影像与激光点云数据配准方法研究", 测绘通报, no. 03, 25 March 2015 (2015-03-25) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103198A1 (zh) * 2021-12-08 2023-06-15 深圳奥锐达科技有限公司 一种计算测距系统相对外参的方法、装置和存储介质
CN114511626A (zh) * 2022-04-20 2022-05-17 杭州灵西机器人智能科技有限公司 基于rgbd相机系统的图像处理装置、方法、设备及介质
CN114511626B (zh) * 2022-04-20 2022-08-05 杭州灵西机器人智能科技有限公司 基于rgbd相机系统的图像处理装置、方法、设备及介质
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
CN115236644A (zh) * 2022-07-26 2022-10-25 广州文远知行科技有限公司 一种激光雷达外参标定方法、装置、设备和存储介质
CN116577796A (zh) * 2022-11-17 2023-08-11 昆易电子科技(上海)有限公司 对齐参数的验证方法、装置、存储介质及电子设备
CN116577796B (zh) * 2022-11-17 2024-03-19 昆易电子科技(上海)有限公司 对齐参数的验证方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113724303B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN113724303B (zh) 点云与图像匹配方法、装置、电子设备和存储介质
US9185388B2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
US10560633B2 (en) Apparatus and methods for rolling shutter compensation for multi-camera systems
CN102595146B (zh) 全景影像产生方法及装置
US10121262B2 (en) Method, system and apparatus for determining alignment data
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
CN111737518A (zh) 基于三维场景模型的图像展示方法、装置及电子设备
CN110544273B (zh) 运动捕捉方法、装置以及系统
CN113192182A (zh) 一种基于多传感器的实景重建方法及系统
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
CN112102199A (zh) 深度图像的空洞区域填充方法、装置和系统
CN116109684B (zh) 面向变电场站在线视频监测二三维数据映射方法及装置
US10154241B2 (en) Depth map based perspective correction in digital photos
CN113838116B (zh) 确定目标视图的方法、装置、电子设备及存储介质
WO2017134770A1 (ja) 映像同期装置
US20230290061A1 (en) Efficient texture mapping of a 3-d mesh
WO2021149509A1 (ja) 撮像装置、撮像方法、及び、プログラム
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム
WO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
CN109089100B (zh) 一种双目立体视频的合成方法
Liu et al. Dense three-dimensional color reconstruction with data fusion and image-guided depth completion for large-scale outdoor scenes
JPH10255071A (ja) 画像処理システム
RU2779245C1 (ru) Способ и система автоматизированного построения виртуальной сцены на основании трехмерных панорам
WO2023088383A1 (zh) 目标物体的重定位方法、装置、存储介质及电子装置
CN113890984B (zh) 拍照方法、图像处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant