CN114882701B - 车位检测方法、装置、电子设备及机器可读存储介质 - Google Patents

车位检测方法、装置、电子设备及机器可读存储介质 Download PDF

Info

Publication number
CN114882701B
CN114882701B CN202210470203.1A CN202210470203A CN114882701B CN 114882701 B CN114882701 B CN 114882701B CN 202210470203 A CN202210470203 A CN 202210470203A CN 114882701 B CN114882701 B CN 114882701B
Authority
CN
China
Prior art keywords
parking space
frame
vehicle
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210470203.1A
Other languages
English (en)
Other versions
CN114882701A (zh
Inventor
张经纬
方梓成
赵显�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Goldway Intelligent Transportation System Co Ltd
Original Assignee
Shanghai Goldway Intelligent Transportation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Goldway Intelligent Transportation System Co Ltd filed Critical Shanghai Goldway Intelligent Transportation System Co Ltd
Priority to CN202210470203.1A priority Critical patent/CN114882701B/zh
Publication of CN114882701A publication Critical patent/CN114882701A/zh
Application granted granted Critical
Publication of CN114882701B publication Critical patent/CN114882701B/zh
Priority to PCT/CN2023/090064 priority patent/WO2023207845A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供一种车位检测方法、装置、电子设备及机器可读存储介质,该方法包括:利用车载毫米波雷达获取车身四周的点云数据,并对所述点云数据进行栅格化处理,得到栅格密度图;依据所述栅格密度图,利用深度学习算法进行目标检测,得到车位检测结果和车辆检测结果;依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果;对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果。该方法可以提高车位检测的可靠性和准确性。

Description

车位检测方法、装置、电子设备及机器可读存储介质
技术领域
本申请涉及目标检测技术领域,尤其涉及一种车位检测方法、装置、电子设备及机器可读存储介质。
背景技术
车位目标的检测性能对于自动泊车的实现十分关键。目前,车位检测常用的传感器包含相机、超声波雷达和毫米波雷达。
相机是自动驾驶应用最广泛的传感器之一。基于视觉的车位检测目前较为成熟,很多是基于深度学习的方法。利用深度学习网络对相机获取到的图像进行车位线检测,再进行车位的后处理。但相机获取图像易受天气的干扰,不同的光照条件对检测结果影响较大。
超声波雷达也是泊车常用传感器。但超声波的探测距离较短,探测点云较为稀疏,制约了产品应用。
毫米波雷达克服了相机易受环境干扰的特点,鲁棒性较强。此外,毫米波雷达可以生成较超声波更稠密的点云,探测距离远,在车位检测上的潜力更大。如何利用毫米波雷达实现车位检测成为热门研究方向。
发明内容
有鉴于此,本申请提供一种车位检测方法、装置、电子设备及机器可读存储介质,以实现基于毫米波雷达的车位检测。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种车位检测方法,包括:
利用车载毫米波雷达获取车身四周的点云数据,并对所述点云数据进行栅格化处理,得到栅格密度图;
依据所述栅格密度图,利用深度学习算法进行目标检测,得到车位检测结果和车辆检测结果;
依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果;
对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果。
根据本申请实施例的第二方面,提供一种车位检测装置,包括:
数据预处理单元,用于利用车载毫米波雷达获取车身四周的点云数据,并对所述点云数据进行栅格化处理,得到栅格密度图;
目标检测单元,用于依据所述栅格密度图,利用深度学习算法进行目标检测,得到车位检测结果和车辆检测结果;
分析单元,用于依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果;
融合单元,用于对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果。
根据本申请实施例的第三方面,提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现第一方面提供的方法。
根据本申请实施例的第四方面,提供一种机器可读存储介质,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现第一方面提供的方法。
本申请提供的技术方案至少可以带来以下有益效果:
通过对利用车载毫米波获取到的车身四周的点云数据进行栅格化处理,得到栅格密度图,并利用深度学习算法,对栅格密度图进行目标检测,得到车位检测结果和车辆检测结果,提高了依据毫米波雷达的点云数据进行目标检测的结果的准确性;此外,还可以依据目标检测得到的车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果,并对该车位分析结果与目标检测得到的车位检测结果进行融合,得到车位检测最终结果,提高了车位检测的可靠性和准确性。
附图说明
图1是本申请示例性实施例示出的一种车位检测方法的流程示意图;
图2是本申请示例性实施例示出的一种在车辆四角安装毫米波雷达的示意图;
图3是本申请示例性实施例示出的一种车位检测系统框架的示意图;
图4是本申请示例性实施例示出的一种检测模型效果示意图;
图5是本申请示例性实施例示出的一种车位分析模块的结构示意图;
图6是本申请示例性实施例示出的一种邻近目标匹配对的确定示意图;
图7是本申请示例性实施例示出的一种候选区域的示意图;
图8是本申请示例性实施例示出的一种车位融合模块的结构示意图;
图9是本申请示例性实施例示出的一种排除障碍物的示意图;
图10是本申请示例性实施例示出的一种车位检测装置的结构示意图;
图11是本申请示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
需要说明的是,本申请实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
请参见图1,为本申请实施例提供的一种车位检测方法的流程示意图,如图 1所示,该车位检测方法可以包括以下步骤:
步骤S100、利用车载毫米波雷达获取车身四周的点云数据,并对点云数据进行栅格化处理,得到栅格密度图。
本申请实施例中,为了实现车位检测,可以在车辆上部署多个毫米波雷达 (可以称为车载毫米波雷达),该多个毫米波雷达的扫描范围可以覆盖车身四周。
例如,可以在车辆四个角分别安装毫米波雷达(可以称为车载角毫米雷达),或者,可以在车辆前后左右分别安装毫米波雷达。
示例性的,可以通过毫米波雷达获取车身四周的点云数据,并依据毫米波雷达与车身坐标系的标定参数,将点云数据转换到车身坐标系,得到车身周围的物体信息。
本申请实施例中,对于利用车载毫米波雷达获取到的车身四周的点云数据,可以通过对点云数据进行栅格化处理,得到栅格密度图。
步骤S110、依据栅格密度图,利用深度学习算法进行目标检测,得到车位检测结果和车辆检测结果。
本申请实施例中,对于步骤S100中得到的栅格密度图,可以利用深度学习算法进行目标检测,得到车位检测结果和车辆检测结果。
例如,可以将栅格密度图输入到预先训练的深度学习网络模型,得到车位检测结果和车辆检测结果。
示例性的,车位检测结果可以包括车位位置信息和尺寸信息。
示例性的,车位位置信息可以包括车位检测框的中心点位置,或,车位检测框的角点位置。车位尺寸信息可以包括车位检测框的长和宽。
示例性的,车辆检测结果可以包括车辆位置信息和尺寸位置信息。
示例性的,车辆位置信息可以包括车辆检测框的中心点位置,或,车辆检测框的角点位置。车辆尺寸信息可以包括车辆检测框的长和宽。
需要说明的是,在本申请实施例中,若未特殊说明,所提及的车位检测/分析均指针对空闲车位的检测/分析。
步骤S120、依据车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果。
步骤S130、对车位检测结果和车位分析结果进行融合,得到车位检测最终结果。
本申请实施例中,考虑到实际场景中,在停车位上停放的相邻车辆之间存在较大空闲区域的情况下,该相邻车辆之间可能会存在空闲车位,即可以依据车辆检测结果,对相邻车辆之间的区域尺寸进行分析,以分析出空闲车位信息。
示例性的,区域尺寸可以包括但不限于区域长度、区域宽度以及区域面积之中的一个或多个。
此外,由于通过毫米波雷达扫描出的车辆的可靠性通常会高于通过毫米波雷达扫描得到的空闲车位的可靠性,因此,依据车辆检测结果可以较为准确地分析出空闲车位信息,进而,通过对检测出的车位信息(即车位检测结果)和对分析出的车位信息(即车位分析结果)进行融合,可以有效提升车位检测的可控性和准确性。
相应地,在按照步骤S110中描述的方式得到了车位检测结果和车辆检测结果的情况下,可以依据车辆检测结果,进行车位分析,得到车位分析结果,并对车位检测结果和车位分析结果进行融合,得到车位检测最终结果。
可见,在图1所示方法流程中,通过对利用车载毫米波获取到的车身四周的点云数据进行栅格化处理,得到栅格密度图,并利用深度学习算法,对栅格密度图进行目标检测,得到车位检测结果和车辆检测结果,提高了依据毫米波雷达的点云数据进行目标检测的结果的准确性;此外,还可以依据目标检测得到的车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果,并对该车位分析结果与目标检测得到的车位检测结果进行融合,得到车位检测最终结果,提高了车位检测的可靠性和准确性。
在一些实施例中,车辆检测结果可以包括车辆目标框的位置信息、尺寸信息以及旋转角度信息。
示例性的,考虑到实际场景中,车位并不是均与道路平行或垂直,也存在倾斜车位。车辆停在车位上的情况下,车辆也不是与道路平行或垂直的,而是存在一定的旋转角度(相对平行道路或垂直道路的情况)。
相应地,为了提高车位检测的准确性和扩展方案的适用场景,在进行车辆目标检测和车位目标检测时,除了可以检测出车辆/车位检测框的位置和尺寸之外,还可以检测出车辆/车位的旋转角度信息。
示例性的,可以采用分类的方法得到车辆/车位的旋转角度。
例如,旋转角度的检测可以通过方向分类和角度分类两个环节完成。方向分类可以包括将车辆旋转角划分为0到180度和-180度到0度,用二分类分支预测方向,使用二分类交叉熵loss(损失)监督。角度分类指的是以k度为分辨率,可以分为180/k类。
使用分类loss如交叉熵等进行监督,基于概率最大的类别求出车辆/车位的旋转角度。如方向预测为正,角度预测第i类概率最大,旋转角度为180/k*i。
示例性的,旋转角度的正或负可以预先定义。
以道路为南北方向,车位在道路两侧为例,可以定义车位在道路左侧的情况下,旋转角度为负;车位在道路右侧的情况下,旋转角度为正。
步骤S120中,依据车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果,可以包括:
对于旋转角度匹配,且中心距离最近的两个车辆目标框,依据该两个车辆目标框的相邻边之间的区域的尺寸,得到车位分析结果。
示例性的,对于步骤S110中检测到的任一车辆,可以依据车辆目标框的旋转角度,可以搜索与该车辆目标框的旋转角度匹配的其它车辆目标框,并将与该车辆目标框的旋转角度匹配的其它车辆目标框中,与该车辆目标框的中心距离最近的其它车辆目标框,确定为该车辆目标框的相邻车辆目标框,依据该车辆目标框与该相邻车辆目标框的相邻边之间的区域的尺寸,分析出这两个车辆目标框之间的车位分析结果。
需要说明的是,在本申请实施例中,两个车辆目标框的旋转角度匹配可以包括两个车辆目标框的旋转角度相同,或者,两个车辆目标框的旋转角度不同,但是旋转角度的差值在预设角度范围内。
在一个示例中,上述依据该两个车辆目标框的相邻边之间的区域的尺寸,得到车位分析结果,可以包括:
对于该两个车辆目标框中的任一车辆目标框,生成以该车辆目标框中与另一车辆目标框相邻的边为边,且与该另一车辆目标不重叠的最大矩形框,并以该最大矩形框作为候选车位分析框;
在该两个车辆目标框对应的候选车位分析框中的面积较大者满足预设尺寸要求的情况下,将该两个车辆目标框对应的候选车位分析框中的面积较大者确定为车位分析框。
示例性的,对于旋转角度匹配,且中心距离最近的两个车辆目标框中的任一车辆目标框,可以以该车辆目标框中与另一车辆目标框相邻的边为边,生成与该另一个车辆目标不重叠的最大矩形框,将该最大矩形框作为候选车位分析框。
举例来说,假设该两个车辆目标框分别为框1和框2,框1中与框2相邻的边为边A1B1,框2中与框1相邻的边为边A2B2,则对于框1,可以分别从点 A1与B1引起和边A1B1垂直的两条射线(假设为射线S1和S2),并得到S1 与直线A2B2的交点(假设为C1),以及,S2与直线A2B2的交点(假设为C2),确定出线段A1C1与A2C2中的较短者(假设为A1C1),将以线段A1C1和线段A1B1为边的矩形框,确定为候选车位分析框。
示例性的,按照上述方式,对于该两个车辆目标框,可以确定出两个候选车位分析框(该两个候选车位分析框可以完全重叠),比较该两个候选车位分析框的面积,得到面积较大的候选车位分析框,并确定该候选车位分析框是否满足预设尺寸要求,在该候选车位分析框满足预设尺寸要求的情况下,将该候选车位分析框确定为车位分析框。
示例性的,候选车位分析框满足预设尺寸要求可以包括候选车位分析框的长、宽以及面积中的一个或多个满足预设尺寸要求(即可以针对长、宽以及面积中的一个或多个设置要求,如阈值)。
示例性的,以面积为例,候选车位分析框的面积满足预设面积要求可以包括候选车位分析框的面积大于第一面积阈值,且小于第二面积阈值,第一面积阈值小于第二面积阈值。
在一些实施例中,步骤S130中,对车位检测结果和车位分析结果进行融合,得到车位检测最终结果,包括:
对于任一车位分析框,分别确定各车位检测框与该车位分析框的交并比;
在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位 分析框与该目标车位检测框中面积较大者确定为候选车位区域
示例性的,在按照上述方式得到了车位检测框和车位分析框的情况下,对于任一车位分析框,可以依次遍历各车位检测框,分别确定各车位检测框与该车位分析框的交并比(Intersection of Union,简称IOU),并确定是否存在与该车位分析框的交并比大于预设阈值的目标车位检测框。
在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位 分析框与该目标车位检测框中面积较大者确定为候选车位区域。
示例性的,对于任一车位分析框,在确定存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,对于其它车位分析框,可以不需要再与该目标车位检测框进行交并比计算。
需要说明的是,在本申请实施例中,对车位检测结果和车位分析结果进行融合得到车位检测最终结果的实现方式并不限于上述实施例中描述的方式,例如,由于实际场景中车位面积通常是已知的,因此,对于任一车位分析框,可以分别确定各车位检测框与该车位分析框重叠区域的面积,并在存在与该车位分析框的重叠区域的面积大于预设阈值的目标车位检测框的情况下,将该车辆分析框与该目标车位检测框中面积较大者确定为候选车位区域;或者,由于对于某一个真实存在的车位,在按照上述方式得到了该车位的车位检测结果和车位分析结果的情况下,该车位检测结果和车位分析结果的中心点之间的距离也不会相差太大,因此,对于任一车位分析框,可以分别确定各车位检测框与该车位分析框的中心点之间的距离,在存在与该车位分析框的中心点之间的距离小于预设阈值的目标车位检测框的情况下,将该车位 分析框与该目标车位检测框中面积较大者确定为候选车位区域。
在一个示例中,在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,本申请实施例提供的车位检测方法还可以包括:
为该车位 分析框与该目标车位检测框中面积较大者设置第一置信度标签;
本申请实施例提供的车位检测方法还可以包括:
在不存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位分析框确定为候选车位区域,并为该候选车位区域设置第二置信度标签;
对于任一车位检测框,在不存在与该车位检测框的交并比大于预设阈值的目标车位分析框的情况下,将该车位检测框确定为候选车位区域,并为该候选车位区域设置第三置信度标签;
其中,第一置信度标签、第二置信度标签以及第三置信度标签对应的置信度依次降低。
示例性的,考虑到毫米波雷达对实际存在的物体的扫描准确率更高,依据毫米波雷达的点云数据得到的车辆检测结果的可靠性会高于车位检测结果的可靠性。按照上述方式依据车辆检测结果分析得到的车位分析结果的可靠性通常会高于车位检测结果的可靠性。
相应地,对于任一车位分析框,在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,可以将该车位 分析框与该目标车位检测框中面积较大者确定为候选车位区域,并为该候选车位区域设置第一置信度标签。
对于任一车位分析框,在不存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,可以将车位分析框确定为候选车位区域,并为该候选车位区域设置第二置信度标签。
对于任一车位检测框,在不存在与该车位检测框的交并比大于预设阈值的目标车位分析框的情况下,将该车位检测框确定为候选车位区域,并为该候选车位区域设置第三置信度标签。
其中,第一置信度标签、第二置信度标签以及第三置信度标签对应的置信度依次降低,即融合处理得到的候选车位区域、分析得到的候选车位区域,以及检测得到的候选车位区域的置信度依次降低。
在一个示例中,本申请实施例提供的车位检测方法还可以包括:
对于任一候选车位区域,在该候选车位区域中存在障碍物检测结果的情况下,依据障碍物的检测位置信息,确定该候选车位区域的待调整关键边;
对该候选车位区域的待调整关键边进行平移,得到不覆盖该障碍物的矩形框;
在该矩形框满足预设尺寸要求的情况下,将该候选车位区域更新为该矩形框区域;
在该矩形框不满足预设尺寸要求的情况下,删除该候选车位区域。
示例性的,考虑到实际场景中,空闲车位中可能会存在一些障碍物,如三角锥、柱子等。为了自动泊车过程中车辆碰撞到障碍物,还可以依据检测出的障碍物信息对所确定的车位区域进行调整。
示例性的,对于任一候选车位区域,在该候选车位区域中存在障碍物检测结果的情况下,可以依据障碍物的检测位置信息,确定该候选车位区域的待调整关键边。
示例性的,考虑到实际场景中,车位的宽度通常会明显大于车辆宽度,但是车位长度通常会与车辆长度较为匹配,因此,对于存在障碍物的情况,可以将候选车位区域中靠近障碍物的长边作为待调整关键边。
示例性的,在确定了待调整关键边的情况下,可以对该候选车位区域的待调整关键边进行平移,得到不覆盖该障碍物的矩形框。例如,得到不覆盖该障碍物的最大的矩形框。
在完成候选车位区域调整的情况下,可以确定调整后的矩形框是否满足预设尺寸要求。
在该矩形框满足预设尺寸要求的情况下,将该候选车位区域更新为该矩形框区域;
在该矩形框不满足预设尺寸要求的情况下,删除该候选车位区域。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
在该实施例中,为了实现车位检测,可以在分别在车辆四角安装毫米波雷达,其示意图可以如图2所示。
在该实施例中,车位检测系统框架的示意图可以参见图3,如图3所示,该车位检测系统框架可以包括雷达预处理模块、目标检测模块、车位分析模块、车位融合模块和车位跟踪模块。其中:
雷达预处理模块可以利用车载毫米波雷达获取雷达点云,统一到车身坐标系下(车辆坐标系可以以车辆后轴中心为原点,前向为y轴,右向为x轴,上边为z轴),并进行栅格化处理,生成雷达栅格密度图。
目标检测模块可以依据栅格密度图,获取车辆、车位和通用障碍物目标的类别和位置信息。
车位分析模块对车辆目标的位置进行分析,获取空闲车位信息。经过分析得到的车位位置和检测模型得到的车位位置送入车位融合模块进行处理得到融合检测车位(即上述车位最终检测结果)。最后把融合检测车位输入车位跟踪模块,进行多帧的稳定,得到最终的车位结果。
下面对各模块进行详细描述。
1、雷达预处理模块
4个角毫米波雷达分别与车身坐标系(车辆坐标系以车辆后轴中心为原点,前向为y轴,右向为x轴,上边为z轴)进行标定,通过标定参数转换到车身坐标系,得到周围障碍物信息。针对单帧或多帧叠加的点云数据,通过栅格化处理,统计落入每个栅格的雷达个数,生成栅格密度图。
2、目标检测模块
基于栅格密度图,利用深度学习网络进行目标检测。
示例性的,可以使用yolov3网络模型进行目标检测。
示例性的,考虑到传统yolov3网络模型通常在图像坐标系下使用,检测的目标均为正交矩形框。但是在车身坐标系下,车辆和车位目标可能并非正交框。因此,需要对yolov3网络进行改进,以适应旋转目标框的检测。
示例性的,传统的yolov3网络模型,回归目标框的位置时,一般回归框的中心点(x,y),以及框的宽高(w,h)(也可以称为长和宽),该实施例中改进后的yolov3网络模型除了正交框的参数之外,还需要获取旋转角度的信息。
示例性的,旋转角度的检测可以通过方向分类和角度分类两个环节完成。方向分类可以包括将车辆旋转角划分为0到180度和-180度到0度,用二分类分支预测方向,使用二分类交叉熵loss监督。角度分类指的是以k度为分辨率,可以分为180/k类。
使用分类loss如交叉熵等进行监督,基于概率最大的类别求出车辆/车位的旋转角度。如方向预测为正,角度预测第i类概率最大,旋转角度为180/k*i。
其中,检测模型效果可以如图4所示。检测目标的种类包含车辆、车位和通用障碍物目标。受限于雷达成像质量,有时候点云特征并不明显,可能会影响车位的检测。因此,可以利用车辆目标进行车位的分析,以做补充。
3、车位分析模块
车位分析模块可依据车辆检测结果,推测空闲的停车位,包含邻近目标匹配子模块、临近角点获取子模块、候选区域生成子模块、候选区域选取子模块4 个子模块,其示意图可以如图5所示。其中:
邻近目标匹配子模块:进行邻近车辆目标的匹配。对于每个车辆目标,寻找与其状态相似(航向角偏差小于一定阈值,即旋转角度的差值小于一定阈值) 的候选车辆目标,再从中选取中心距离最近的车辆目标,形成邻近目标匹配对,如图6中的A和B、B和C等。
邻近角点获取子模块:对邻近目标匹配对,寻找其相邻的两条边,选取相应的角点。如图6中A和B的实心角点,B和C的空心角点。
候选区域生成子模块:对邻近匹配对,以邻近边和角点为界,生成矩形框。这样,每个目标都会产生一个候选车位区域,如图7所示。
候选区域选取子模块:每个邻近匹配对,都会产生两个候选区域。可以对候选区域进行评估,如选取面积最大的候选区域。随后,在对候选区域的长、宽和面积进行一定的限制(即上述尺寸要求),去除过大或者过小的值。
例如,如图7所示,A和B产生的候选区域宽和面积较小,应该删除。
4、车位融合模块
车位融合模块是对模型得到的车位(即上述车位检测结果)和分析得到的车位(即上述车位分析结果)进行合并处理,排除异常车位,其可以包括车位目标合并子模块和障碍物排除子模块,其示意图可以如图8所示。其中:
车位目标合并子模块:对模型得到的车位目标和分析得到的车位目标进行合并。
示例性的,可以计算检测车位和分析车位IOU(交并比,
Figure BDA0003622105030000131
A 和B为目标位置),当IOU大于一定阈值,则说明两者匹配,选择面积最大的车位,添加置信度标签1(即上述第一置信度标签)。
对未匹配的车位分析的车位目标,添加置信度标签2(即上述第二置信度标签)。对未匹配的模型检测车位,添加置信度标签3(即上述第三置信度标签)。
障碍物排除子模块:考虑到空闲车位中可能会存在三角锥、柱子等障碍物,因此,可以依据检测出的障碍物信息对候选车位区域进行微调。
示例性的,可以依据车位候选位置信息和障碍物的位置信息,选择待调整关键边,对关键边进行平移,排除障碍物区域,如图9所示,车位关键边界调整到障碍物下方。最后,再对调整后的候选区域,进行尺寸要求判断,删除不合理区域,得到车位检测的最终结果。
5、车位跟踪模块
车位跟踪模块可以对车位检测结果进行多帧稳定,减少单帧的偶然。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图10,为本申请实施例提供的一种车位检测装置的结构示意图,如图10所示,该车位检测装置可以包括:
数据预处理单元1010,用于利用车载毫米波雷达获取车身四周的点云数据,并对所述点云数据进行栅格化处理,得到栅格密度图;
目标检测单元1020,用于依据所述栅格密度图,利用深度学习算法进行目标检测,得到车位检测结果和车辆检测结果;
分析单元1030,用于依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果;
融合单元1040,用于对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果。
在一些实施例中,所述车辆检测结果包括车辆目标框的位置信息、尺寸信息以及旋转角度信息;
所述分析单元1030依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果,包括:
对于旋转角度匹配,且中心距离最近的两个车辆目标框,依据该两个车辆目标框的相邻边之间的区域的尺寸,得到车位分析结果。
在一些实施例中,所述分析单元1030依据该两个车辆目标框的相邻边之间的区域的尺寸,得到车位分析结果,包括:
对于该两个车辆目标框中的任一车辆目标框,生成以该车辆目标框中与另一车辆目标框相邻的边为边,且与该另一车辆目标不重叠的最大矩形框,并以该最大矩形框作为候选车位分析框;
在该两个车辆目标框对应的候选车位分析框中的面积较大者满足预设尺寸要求的情况下,将该两个车辆目标框对应的候选车位分析框中的面积较大者确定为车位分析框。
在一些实施例中,所述融合单元1040对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果,包括:
对于任一车位分析框,分别确定各车位检测框与该车位分析框的交并比;
在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位 分析框与该目标车位检测框中面积较大者确定为候选车位区域。
在一些实施例中,所述融合单元1040,还用于在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,为该车位 分析框与该目标车位检测框中面积较大者设置第一置信度标签;
所述融合单元1040,还用于在不存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位分析框确定为候选车位区域,并为该候选车位区域设置第二置信度标签;
对于任一车位检测框,在不存在与该车位检测框的交并比大于预设阈值的目标车位分析框的情况下,将该车位检测框确定为候选车位区域,并为该候选车位区域设置第三置信度标签;
其中,所述第一置信度标签、所述第二置信度标签以及所述第三置信度标签对应的置信度依次降低。
在一些实施例中,所述融合单元1040,还用于对于任一候选车位区域,在该候选车位区域中存在障碍物检测结果的情况下,依据障碍物的检测位置信息,确定该候选车位区域的待调整关键边;对该候选车位区域的待调整关键边进行平移,得到不覆盖该障碍物的矩形框;在该矩形框满足预设尺寸要求的情况下,将该候选车位区域更新为该矩形框区域;在该矩形框不满足预设尺寸要求的情况下,删除该候选车位区域。
本申请实施例提供一种电子设备,包括处理器和存储器,其中,存储器存储有能够被所述处理器执行的机器可执行指令,处理器用于执行机器可执行指令,以实现上文描述的车位检测方法。
请参见图11,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器1101、存储有机器可执行指令的存储器1102。处理器1101 与存储器1102可经由系统总线1103通信。并且,通过读取并执行存储器1102 中与车位检测逻辑对应的机器可执行指令,处理器1101可执行上文描述的车位检测方法。
本文中提到的存储器1102可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(RadomAccess Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
在一些实施例中,还提供了一种机器可读存储介质,如图11中的存储器 1102,该机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现上文描述的车位检测方法。例如,所述存储介质可以是ROM、 RAM、CD-ROM、磁带、软盘和光数据存储设备等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种车位检测方法,其特征在于,包括:
利用车载毫米波雷达获取车身四周的点云数据,并对所述点云数据进行栅格化处理,得到栅格密度图;
依据所述栅格密度图,利用深度学习算法进行目标检测,得到车位检测结果和车辆检测结果;
依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果;
对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果。
2.根据权利要求1所述的方法,其特征在于,所述车辆检测结果包括车辆目标框的位置信息、尺寸信息以及旋转角度信息;
所述依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果,包括:
对于旋转角度匹配,且中心距离最近的两个车辆目标框,依据该两个车辆目标框的相邻边之间的区域的尺寸,得到车位分析结果。
3.根据权利要求2所述的方法,其特征在于,所述依据该两个车辆目标框的相邻边之间的区域的尺寸,得到车位分析结果,包括:
对于该两个车辆目标框中的任一车辆目标框,生成以该车辆目标框中与另一车辆目标框相邻的边为边,且与该另一车辆目标不重叠的最大矩形框,并以该最大矩形框作为候选车位分析框;
在该两个车辆目标框对应的候选车位分析框中的面积较大者满足预设尺寸要求的情况下,将该两个车辆目标框对应的候选车位分析框中的面积较大者确定为车位分析框。
4.根据权利要求1所述的方法,其特征在于,所述对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果,包括:
对于任一车位分析框,分别确定各车位检测框与该车位分析框的交并比;
在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位分析框与该目标车位检测框中面积较大者确定为候选车位区域。
5.根据权利要求4所述的方法,其特征在于,在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,所述方法还包括:
为该车位 分析框与该目标车位检测框中面积较大者设置第一置信度标签;
所述方法还包括:
在不存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位分析框确定为候选车位区域,并为该候选车位区域设置第二置信度标签;
对于任一车位检测框,在不存在与该车位检测框的交并比大于预设阈值的目标车位分析框的情况下,将该车位检测框确定为候选车位区域,并为该候选车位区域设置第三置信度标签;
其中,所述第一置信度标签、所述第二置信度标签以及所述第三置信度标签对应的置信度依次降低。
6.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
对于任一候选车位区域,在该候选车位区域中存在障碍物检测结果的情况下,依据障碍物的检测位置信息,确定该候选车位区域的待调整关键边;
对该候选车位区域的待调整关键边进行平移,得到不覆盖该障碍物的矩形框;
在该矩形框满足预设尺寸要求的情况下,将该候选车位区域更新为该矩形框区域;
在该矩形框不满足预设尺寸要求的情况下,删除该候选车位区域。
7.一种车位检测装置,其特征在于,包括:
数据预处理单元,用于利用车载毫米波雷达获取车身四周的点云数据,并对所述点云数据进行栅格化处理,得到栅格密度图;
目标检测单元,用于依据所述栅格密度图,利用深度学习算法进行目标检测,得到车位检测结果和车辆检测结果;
分析单元,用于依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果;
融合单元,用于对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果。
8.根据权利要求7所述的装置,其特征在于,所述车辆检测结果包括车辆目标框的位置信息、尺寸信息以及旋转角度信息;
所述分析单元依据所述车辆检测结果,对相邻车辆之间的区域尺寸进行分析,得到车位分析结果,包括:
对于旋转角度匹配,且中心距离最近的两个车辆目标框,依据该两个车辆目标框的相邻边之间的区域的尺寸,得到车位分析结果;
其中,所述分析单元依据该两个车辆目标框的相邻边之间的区域的尺寸,得到车位分析结果,包括:
对于该两个车辆目标框中的任一车辆目标框,生成以该车辆目标框中与另一车辆目标框相邻的边为边,且与该另一车辆目标不重叠的最大矩形框,并以该最大矩形框作为候选车位分析框;
在该两个车辆目标框对应的候选车位分析框中的面积较大者满足预设尺寸要求的情况下,将该两个车辆目标框对应的候选车位分析框中的面积较大者确定为车位分析框;
和/或,所述融合单元对所述车位检测结果和所述车位分析结果进行融合,得到车位检测最终结果,包括:
对于任一车位分析框,分别确定各车位检测框与该车位分析框的交并比;
在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位分析框与该目标车位检测框中面积较大者确定为候选车位区域;
其中,所述融合单元,还用于在存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,为该车位 分析框与该目标车位检测框中面积较大者设置第一置信度标签;
所述融合单元,还用于在不存在与该车位分析框的交并比大于预设阈值的目标车位检测框的情况下,将该车位分析框确定为候选车位区域,并为该候选车位区域设置第二置信度标签;
对于任一车位检测框,在不存在与该车位检测框的交并比大于预设阈值的目标车位分析框的情况下,将该车位检测框确定为候选车位区域,并为该候选车位区域设置第三置信度标签;
其中,所述第一置信度标签、所述第二置信度标签以及所述第三置信度标签对应的置信度依次降低;
其中,所述融合单元,还用于对于任一候选车位区域,在该候选车位区域中存在障碍物检测结果的情况下,依据障碍物的检测位置信息,确定该候选车位区域的待调整关键边;对该候选车位区域的待调整关键边进行平移,得到不覆盖该障碍物的矩形框;在该矩形框满足预设尺寸要求的情况下,将该候选车位区域更新为该矩形框区域;在该矩形框不满足预设尺寸要求的情况下,删除该候选车位区域。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求1-6任一项所述的方法。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现如权利要求1-6任一项所述的方法。
CN202210470203.1A 2022-04-28 2022-04-28 车位检测方法、装置、电子设备及机器可读存储介质 Active CN114882701B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210470203.1A CN114882701B (zh) 2022-04-28 2022-04-28 车位检测方法、装置、电子设备及机器可读存储介质
PCT/CN2023/090064 WO2023207845A1 (zh) 2022-04-28 2023-04-23 车位检测方法、装置、电子设备及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210470203.1A CN114882701B (zh) 2022-04-28 2022-04-28 车位检测方法、装置、电子设备及机器可读存储介质

Publications (2)

Publication Number Publication Date
CN114882701A CN114882701A (zh) 2022-08-09
CN114882701B true CN114882701B (zh) 2023-01-24

Family

ID=82673155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210470203.1A Active CN114882701B (zh) 2022-04-28 2022-04-28 车位检测方法、装置、电子设备及机器可读存储介质

Country Status (2)

Country Link
CN (1) CN114882701B (zh)
WO (1) WO2023207845A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882701B (zh) * 2022-04-28 2023-01-24 上海高德威智能交通系统有限公司 车位检测方法、装置、电子设备及机器可读存储介质
CN117590371B (zh) * 2024-01-18 2024-03-29 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现全局车位状态检测的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108136987A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车位检测方法及装置
CN110766979A (zh) * 2019-11-13 2020-02-07 奥特酷智能科技(南京)有限公司 一种用于自动驾驶车辆的泊车车位检测方法
CN112633152A (zh) * 2020-12-22 2021-04-09 深圳佑驾创新科技有限公司 停车位检测方法、装置、计算机设备和存储介质
CN113076824A (zh) * 2021-03-19 2021-07-06 上海欧菲智能车联科技有限公司 车位获取方法、装置、车载终端及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6700216B2 (ja) * 2017-05-09 2020-05-27 株式会社デンソー 駐車空間検出装置
JP7065410B2 (ja) * 2018-09-28 2022-05-12 パナソニックIpマネジメント株式会社 空き駐車スペース検知装置および空き駐車スペース検知方法
CN116620265A (zh) * 2018-12-26 2023-08-22 北京图森智途科技有限公司 一种停车控制方法、设备及系统
CN112417926B (zh) * 2019-08-22 2024-02-27 广州汽车集团股份有限公司 车位识别方法、装置、计算机设备及可读存储介质
CN111325858B (zh) * 2020-03-06 2022-01-07 赛特斯信息科技股份有限公司 针对路边临时停车位实现自动计费管理的方法
CN112180373B (zh) * 2020-09-18 2024-04-19 纵目科技(上海)股份有限公司 一种多传感器融合的智能泊车系统和方法
CN113920778A (zh) * 2021-12-15 2022-01-11 深圳佑驾创新科技有限公司 一种图像采集方法及装置
CN114267180B (zh) * 2022-03-03 2022-05-31 科大天工智能装备技术(天津)有限公司 一种基于计算机视觉的停车管理方法及系统
CN114882701B (zh) * 2022-04-28 2023-01-24 上海高德威智能交通系统有限公司 车位检测方法、装置、电子设备及机器可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108136987A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车位检测方法及装置
CN110766979A (zh) * 2019-11-13 2020-02-07 奥特酷智能科技(南京)有限公司 一种用于自动驾驶车辆的泊车车位检测方法
CN112633152A (zh) * 2020-12-22 2021-04-09 深圳佑驾创新科技有限公司 停车位检测方法、装置、计算机设备和存储介质
CN113076824A (zh) * 2021-03-19 2021-07-06 上海欧菲智能车联科技有限公司 车位获取方法、装置、车载终端及存储介质

Also Published As

Publication number Publication date
CN114882701A (zh) 2022-08-09
WO2023207845A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
US10580164B2 (en) Automatic camera calibration
CN114882701B (zh) 车位检测方法、装置、电子设备及机器可读存储介质
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
WO2022188663A1 (zh) 一种目标检测方法及装置
Dreher et al. Radar-based 2D car detection using deep neural networks
Li et al. An adaptive 3D grid-based clustering algorithm for automotive high resolution radar sensor
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN113008296B (zh) 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元
CN114792416A (zh) 一种目标检测方法及装置
CN115205803A (zh) 自动驾驶环境感知方法、介质及车辆
Yuan et al. Independent moving object detection based on a vehicle mounted binocular camera
CN115327572A (zh) 一种车辆前方障碍物检测方法
Gigli et al. Road segmentation on low resolution lidar point clouds for autonomous vehicles
WO2022226831A1 (zh) 未定义类别障碍物的检测方法、装置和计算机设备
Zhao et al. Computing object-based saliency in urban scenes using laser sensing
CN110826468A (zh) 一种辅助驾驶的基于车道线检测的车辆检测测距方法
Lidman et al. Clustering, shape extraction and velocity estimation applied to radar detections
CN115862000A (zh) 目标检测方法、装置、车辆及存储介质
CN111338336B (zh) 一种自动驾驶方法及装置
CN116863325A (zh) 一种用于多个目标检测的方法和相关产品
Tao 3D LiDAR based drivable road region detection for autonomous vehicles
Wang et al. A 64‐Line Lidar‐Based Road Obstacle Sensing Algorithm for Intelligent Vehicles
Zhao et al. Vehicle detection and tracking method based on multi-sensor trajectory information
John et al. Sensor fusion and registration of lidar and stereo camera without calibration objects
Talebi Nahr et al. Utility‐pole Detection Based on Interwoven Column Generation from Terrestrial Mobile Laser Scanner Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant