CN115082662B - 目标区域的定位方法和目标区域的定位装置 - Google Patents

目标区域的定位方法和目标区域的定位装置 Download PDF

Info

Publication number
CN115082662B
CN115082662B CN202210831087.1A CN202210831087A CN115082662B CN 115082662 B CN115082662 B CN 115082662B CN 202210831087 A CN202210831087 A CN 202210831087A CN 115082662 B CN115082662 B CN 115082662B
Authority
CN
China
Prior art keywords
point cloud
target
determining
target object
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210831087.1A
Other languages
English (en)
Other versions
CN115082662A (zh
Inventor
何仕文
王潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suteng Innovation Technology Co Ltd
Original Assignee
Suteng Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suteng Innovation Technology Co Ltd filed Critical Suteng Innovation Technology Co Ltd
Priority to CN202211744086.XA priority Critical patent/CN116229040A/zh
Priority to CN202210831087.1A priority patent/CN115082662B/zh
Publication of CN115082662A publication Critical patent/CN115082662A/zh
Application granted granted Critical
Publication of CN115082662B publication Critical patent/CN115082662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开提供一种目标区域的定位方法和目标区域的定位装置,涉及区域定位技术领域。该方法包括:获取目标物体对应的第一点云集;根据上述第一点云集确定上述目标物体的姿态信息;根据上述姿态信息确定对上述目标物体中目标区域的初始搜索位置;将上述第一点云集投影至第一平面,并根据上述初始搜索位置和投影至上述第一平面的点云的反射强度,确定多个候选区域;以及,根据上述多个候选区域以及图像数据,实现对上述目标区域的定位。本技术方案能够在保证对目标区域的定位准确度的情况下,有效提升定位效率。

Description

目标区域的定位方法和目标区域的定位装置
技术领域
本公开涉及区域定位技术领域,尤其涉及一种目标区域的定位方法和目标区域的定位装置。
背景技术
对于车库出入口等场合需设置车牌自动识别系统,现有的车牌自动识别系统一般为基于摄像头和补光灯实现车辆自动识别。然而,现场使用车牌自动识别的过程中不可避免地存在一些逆光场景,例如阳光照射,其他车辆或者环境光源,则为了准确识别车牌信息,可能需要调整拍摄角度的情况下进行多次拍摄,从而导致车辆车牌的定位效率有待提高。
发明内容
本公开的目的在于提供一种目标区域的定位方法和目标区域的定位装置,在保证车牌定位准确度的情况下,至少在一定程度上提升定位效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种目标区域的定位方法,该方法包括:获取目标物体对应的第一点云集;根据上述第一点云集确定上述目标物体的姿态信息;根据上述姿态信息确定对上述目标物体中目标区域的初始搜索位置;将上述第一点云集投影至第一平面,并根据上述初始搜索位置和投影至上述第一平面的点云的反射强度,确定多个候选区域;以及,根据上述多个候选区域以及图像数据,实现对上述目标区域的定位。
根据本公开的另一个方面,提供一种目标区域的定位装置,该装置包括:点云集确定模块、姿态信息确定模块、初始搜索位置确定模块、候选区域确定模块,以及定位模块。
其中,上述点云集确定模块,用于获取目标物体对应的第一点云集;上述姿态信息确定模块,用于根据上述第一点云集确定上述目标物体的姿态信息;上述初始搜索位置确定模块,用于根据上述姿态信息确定对上述目标物体中目标区域的初始搜索位置;上述候选区域确定模块,用于将上述第一点云集投影至第一平面,并根据上述初始搜索位置和投影至上述第一平面的点云的反射强度,确定多个候选区域;以及,上述定位模块,用于根据上述多个候选区域以及图像数据,实现对上述目标区域的定位。
根据本公开的再一个方面,提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述实施例中的目标区域的定位方法。
根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中的目标区域的定位方法。
本公开的实施例所提供的目标区域的定位方法和目标区域的定位装置,具备以下技术效果:
本技术方案先获取目标物体对应的第一点云集。然后,根据上述第一点云集确定该目标物体的当前姿态信息,进一步地,根据姿态信息确定对该目标物体中目标区域的初始搜索位置。将上述第一点云集投影至第一平面,并根据上述初始搜索位置和投影至所述第一平面的点云的反射强度,确定多个候选区域;最终,根据多个候选区域以及图像数据,实现对上述目标区域的定位。本技术方案基于激光雷达对目标区域的扫描数据的特点实现对目标区域的自动定位,具有较高的定位准确度,进而提升了定位效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
图1示出本公开一示例性实施例中目标区域的定位方案的场景示意图。
图2示出本公开一示例性实施例中目标区域的定位方法的流程示意图。
图3示出本公开一示例性实施例中对目标物体是否出现在目标环境区域的确定方法的流程示意图。
图4示出了本公开一示例性实施例中反映目标环境区域的背景高度信息的栅格示意图。
图5示出本公开另一示例性实施例中对目标物体是否出现在目标环境区域的确定方法的流程示意图。
图6示出本公开另一示例性实施例中目标区域的定位方法的流程示意图。
图7示出本公开一示例性实施例中第一点云集的示意图。
图8示出了本公开一示例性实施例中确定目标物体姿态信息的示意图。
图9示出了本公开一示例性实施例中确定候选区域的示意图。
图10示出了本公开一实施例的目标区域的定位装置的结构示意图。
图11示出了本公开的另一实施例的目标区域的定位装置的结构示意图。
图12示出了本公开一实施例的电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施例方式作进一步地详细描述。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
以下先对本公开提供的目标区域的定位方法实施例的进行详细阐述:
其中,图1示出本公开一示例性实施例中目标区域的定位方案的场景示意图。参考图1,该场景主要包括:目标物体110(即包含目标区域的物体,如,包含车牌的车辆)、目标环境区域120、测量设备130(如,激光雷达、摄像装置(设置有补光部件))、网络140、计算设备150以及显示设备160。
其中,测量设备130用于测量上述目标环境区域120,本实施例中,以激光雷达为例,激光雷达按照一定的周期对目标环境区域120进行扫描,由于应用场景所需要的扫描范围是根据周期对目标环境区域120的范围确定的,所以,根据目标环境区域120的范围以及实际需求对激光雷达的扫描周期和扫描功率进行控制,从而降低激光雷达的扫描功耗。
进一步地,通过测量设备130的测量结果确定是否有目标物体110出现在目标环境区域120。进一步地,在确定有目标物体110出现在目标环境区域120的情况下,继续通过测量设备130进行测量,并通过对测量结果的处理实现对目标区域定位以及对目标区域的信息识别。上述计算处理过程可以由通过计算设备150实现,还可以将对目标区域的信息识别结果显示在上述显示设备160中,以便于用户查看。
需要说明的是,激光雷达对距离其较近范围内物体的扫描比较密集,适合获取车辆的尺寸信息;同时,由于激光雷达对于物体的反射强度和车辆的外观材质、距离、扫描角度以及发射功率等相关;相较于车辆的其他部件,车辆车牌的材料具有更强的反射率,所以,在激光雷达的扫描点云中,车牌区域的扫描点云具有更高的反射强度,从而,本技术方案基于激光雷达反射强度的车牌区域定位,加快车牌区域的识别效率。
图2示出本公开一示例性实施例中目标区域的定位方法的流程示意图。参考图2该方法包括:
S210,获取目标物体对应的第一点云集;
S220,根据上述第一点云集确定上述目标物体的姿态信息;
S230,根据上述姿态信息确定对上述目标物体中目标区域的初始搜索位置;
S240,将上述第一点云集投影至第一平面,并根据上述初始搜索位置和投影至上述第一平面的点云的反射强度,确定多个候选区域;以及,
S250,根据上述多个候选区域以及图像数据,实现对上述目标区域的定位。
图2所示实施例提供的方案中,先获取目标物体对应的点云集(记作第一点云集)。然后,根据上述第一点云集确定该目标物体的当前姿态信息,再根据姿态信息确定对该目标物体中目标区域的初始搜索位置。通过确定出初始搜索位置能够有效提升对目标区域的搜索效率。
进一步地,将上述第一点云集投影至目标区域所在的第一平面,并根据上述初始搜索位置和投影至第一平面的点云的反射强度,确定多个候选区域。最终,根据多个候选区域以及图像数据,实现对上述目标区域的定位。本方案通过设置多个候选区域以及结合图像数据进行目标区域定位,均有利于提升对目标区域的搜索效率以及定位准确度。
本技术方案基于激光雷达对目标区域的扫描数据的特点实现对目标区域信息的自动定位,具有较高的定位准确度,进而提升了定位效率。
以下将对图2所示实施例中各个步骤的具体实施方式进行详细介绍:
在示例性的实施例中,图3和图5示出了,两种用于确定是否有目标物体110出现在目标环境区域120的技术方案。
其中,图3示出本公开一示例性实施例中对目标物体是否出现在目标环境区域的确定方法的流程示意图。参考图3,S310-S340可以作为用于确定目标环境区域内存在目标物体的可能性是否大于第三预设阈值的一种实施例,S350-S360为确定目标环境区域内存在目标物体的可能性大于第三预设阈值之后的实施例。
在S310中,获取目标环境区域对应的第二点云集。
在示例性的实施例中,参考图1,目标环境区域120可以是对车辆进行车牌自动识别的区域,并根据目标环境区域120,设置测量设备130,保证测量设备130的主要扫描点覆盖目标环境区域120。其中,目标环境区域120的范围与测量设备130中激光雷达所获取的点云密度、目标物体的尺寸特征有关。
需要说明的是,在确定目标环境区域120中不存在任何活动物体的情况下,通过激光雷达对目标环境区域120进行背景建模,即获取该区域的背景高度信息。示例性的,获取背景高度信息的方式有以下示例性的两种:
(1)、静态一次性获取的方式,即,在安装测量设备时,通过激光雷达获取目标环境区域中的无前景的点云数据(可进一步的进行栅格化,以获取每个栅格对应的背景高度信息)。该方式适用于目标环境区域120固定的场景。(2)、动态更新的方式,该方法通过激光雷达实时扫描的点云,动态更新背景,更新频率可以根据时间和/或垂直高度量等阈值来控制。具体的,例如可以设置一个更新时间,例如可以设置十分钟对目标区域的栅格的高度信息进行一下更新。可以理解的是,也可以设置一个高度阈值,即当目标区域的栅格高度信息变化大于第一预设阈值的面积达到第二预设阈值的情况下,看变化的时间是不是持续大于第三阈值,当变化时间稳定持续大于第三阈值则对环境背景栅格信息进行动态更新。
示例性的,对目标环境区域120进行背景建模:如图4所示,通过激光雷达获取目标环境区域的背景高度信息,其中,图4示出栅格的灰度是根据该栅格的背景高度信息B(i,j)确定的。其中,背景高度信息B(i, j)为栅格(i, j)对应的扫描点中的最大高度。例如,B(i, j)值越大,栅格灰度值越大。同时,为了便于数据处理,对目标环境区域进行栅格化,将栅格化的背景建模信息表示为B(i, j)。其中,B(i, j)为栅格(i, j)的背景高度。
本实施例中,在激光雷达的第t(正整数)个扫描周期内,获取目标环境区域120在第t个扫描周期对应的点云集(为了与其他“点云集”进行区分,记作“第二点云集”)。本实施例中通过第二点云集确定目标环境区域内当前是否存在或出现了目标物体,例如,是否有车辆驶入目标区域。
在S320中,将上述第二点云集投影至第二平面,并将上述第二点云集在上述第二平面上的投影进行栅格化,得到第一栅格集。
本实施例中,将上述第二点云集在第二平面内进行栅格化,以通过同个栅格(i,j)中当前高度信息G(i, j)与背景高度信息B(i, j)来确定出前景。其中,当前高度信息G(i, j)为栅格(i, j)对应的第二点云集中扫描点的最大高度。
在示例性的实施例中,在目标区域为车牌的情况下,由于车牌一般存在于垂直面中,因此,为了对车牌区域的检测准确度,将上述包含目标区域的第一平面确定为垂直面,而上述与第一平面垂直的第二平面为水平面。需要说明的是,上述进行背景建模也是在该第二平面(水平面)内进行的,且若是在背景建模过程中已经进行了栅格化,则可以直接根据第二点云集来获取任一个栅格对应的当前高度信息,而无需再次进行栅格化。
在S330中,获取上述第一栅格集中高度信息变化大于第一预设阈值的目标栅格集。
示例性的,对于第一栅格集中栅格(i, j),计算当前高度信息G(i, j)和背景高度信息B(i, j)的高度差,在高度差大于第一预设阈值的情况下,将栅格(i, j)记作“目标栅格”,进一步地,将具有连续性的目标栅格记作上述目标栅格集。
在S340中,判断上述目标栅格集的面积是否大于第二预设阈值。其中,上述第二预设阈值与上述目标物体的尺寸特征相关。例如,目标物体在第二平面内的投影面积为5平方米,则上述第二预设阈值取值范围可以是3平方米至5平方米。
其中,第一栅格集中可能包含多个具有连续性的目标栅格集,本实施例中,将第一栅格集中最大面积的目标栅格集作为判断目标。
在上述目标栅格集的面积大于第二预设阈值的情况下,说明当前出现在目标环境区域内的物体有较大可能性为目标物体(当前出现在目标环境区域内出现目标物体的可能性大于第三预设阈值,上述第三预设阈值为大于0.5且小于1的数值)。
在示例性的实施例中,在确定当前出现在目标环境区域内的物体有较大可能性为目标物体之后,执行S350,确定上述目标物体出现在上述目标环境区域中的可能性大于第三预设阈值,以及启动摄像装置获取上述目标环境区域的图像。在判断到在目标环境区域内的有较大可能出现或参展目标物体的情况下,通过启用摄像装置来进一步判断当前物体是否的确为目标物体,提升识别准确度。同时,避免了一直开启摄像装置而导致的获取到多张无用的图像,以及能够降低一直开启摄像装置带来的功耗问题。
在上述目标栅格的面积不大于第二预设阈值的情况下,说明当前出现在目标环境区域内的物体有较大可能性不是目标物体(当前出现在目标环境区域内的目标物体的可能性不大于上述第三预设阈值)。则再次执行S310,获取上述目标环境区域对应的第二点云集。本实施例中通过目标栅格集(第一点云集中面积最大的目标栅格集)的面积大小来初步判断是否有目标物体出现在目标环境区域,从而排除干扰物(如:行人,非机动车,动物等)带来的干扰,从而利用简单的前景目标面积对干扰物进行过滤,可以减少其他设备(如,摄像装置、计算设备)的启用,从而,进一步减少整个系统的功耗。
继续参考图3,在S360中,根据上述图像识别上述目标环境区域中是否包含上述目标物体。
在根据上述图像识别上述目标环境区域中不包含上述目标物体的情况下,则再次执行S310,获取上述目标环境区域对应的第二点云集,以通过循环执行S310-S360的过程,来判断是否有目标物体进入上述目标环境区域。
在根据上述图像识别上述目标环境区域中包含上述目标物体的情况下,说明确定目标物体进入上述目标环境区域,则需执行S210,获取上述目标物体对应的第一点云集,以基于第一点云集来对目标物体中的目标区域进行信息识别。
其中,图5示出本公开另一示例性实施例中对目标物体是否出现在目标环境区域的确定方法的流程示意图。参考图5,S310’-S340’可以作为用于确定目标环境区域内存在目标物体的可能性是否大于第三预设阈值的另一种实施例,S350-S360为确定目标环境区域内存在目标物体的可能性大于第三预设阈值之后的实施例。
作为确定目标环境区域内存在目标物体的可能性是否大于第三预设阈值的一种实施例,执行S310’-S340’:
在S310’中,获取目标环境区域的第二点云集,以及将所述目标环境区域划分为N个区域,N为正整数。
示例性的,获取目标环境区域的第二点云集的具体实施方式与S310的具体实施方式相同,在此不再赘述。
本实施例中,可以根据实际需要将目标环境区域分为多个区域。示例性的,可以根据目标物体在第二平面内的投影面积对上述目标环境区域进行区域划分。例如,每个被划分后的区域不小于上述目标物体在第二平面内的投影面积。
在S320’中,获取第i个区域中在第t扫描周期的平均深度信息Di(t),以及获取第i个区域中在第t+1扫描周期的平均深度信息Di(t+1),i取值为不大于N的正整数,t为正整数。以及,在S330’中,根据所述平均深度信息Di(t)和所述平均深度信息Di(t+1)确定所述第i个区域的平均深度变化信息。
示例性的,若在激光雷达不同的扫描周期内,同一位置的深度变化信息能够反映该位置是否出现运动目标。因此,本实施例中,在连续扫描周期中,每个区域在每个扫描周期中的深度信息。并对于同一区域,计算连续扫描周期后,该区域的深度变化信息。
为了便于计算,本实施例中,通过一个区域的平均深度信息来代表该区域的深度信息。
在S340’中,根据所述第i个区域的平均深度变化信息,确定所述目标物体出现在所述目标环境区域的可能性是否大于第三预设阈值。
作为S340’的一种具体实施方式:在平均深度变化信息大于第四预设阈值的区域数量大于第二预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于第三预设阈值。
本实施例中,上述第四预设阈值可以根据目标物体的高度确定。若平均深度变化信息大于第四预设阈值,说明可能目标物体出现。进一步地,若平均深度变化信息大于第四预设阈值的区域连续且面积较大(大于第二预设阈值,且上述第二预设阈值根据目标物体在第二平面内的投影面积确定),则说明目标物体出现在所述目标环境区域的可能性大于第三预设阈值。
作为S340’的另一种具体实施方式:在目标区域的平均深度变化信息大于第四预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于第三预设阈值。
本实施例中,若对目标环境区域进行划分时,将重点关注的区域确定为上述目标区域,如聚类放行杆预设距离内的一块区域。若上述区域的平均深度变化信息大于第四预设阈值,则可以说明可能目标物体出现在所述目标环境区域的可能性大于第三预设阈值。
作为S340’的再一种具体实施方式:在第i个区域的平均深度变化信息大于第四预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于第三预设阈值。
本实施例中,若对目标环境区域进行划分时,每个被划分后的区域小于上述目标物体在第二平面内的投影面积。另若某个区域的平均深度变化信息大于第四预设阈值,则说明可能目标物体出现在所述目标环境区域的可能性大于第三预设阈值。
在确定上述目标物体出现在上述目标环境区域中的可能性大于第三预设阈值的情况下,则执行S350。即启动摄像装置获取上述目标环境区域的图像,以及S360:根据上述图像识别上述目标环境区域中是否包含上述目标物体。
其中,S350以及S360的具体实施方式与图3对应的实施例中相同,在此不再赘述。
在示例性的实施例中,图6示出本公开另一示例性实施例中目标区域的定位方法的流程示意图。该图所示实施例包含对图2中各个步骤具体实施方式。
为了能够更快速地进行目标区域(车牌)位置的定位,本实施例通过上述第一点云集来估计目标物体(车辆)的姿态信息。即执行:S210和S220。参考图6,S210的具体实施方式包含S2102-S2108,S220的具体实施方式包含S2202-S2208。
首先,通过S2102-S2108对上述第一点云集进行更新。具体地:
在S2102中,将上述目标栅格集对应的点云,确定为上述第一点云集。
在一示例性的实施例中,在经过S340判断目标栅格集的面积大于第二预设阈值,且经过S360的图像中包含目标物体的情况下,则将上述目标栅格集对应的点云作为上述目标物体对应的点云集,记作“第一点云集”,如图7所示。在另一示例性的实施例中,在经过S340’确定大于第四预设阈值的区域数量大于第二预设阈值等情况下,且经过S360的图像中包含目标物体的情况下,则将上述响应区域的在最新扫描周期内的点云作为上述目标物体对应的点云集。
在示例性的实施例中,为了筛除不要点云,以减少计算量。本实施例中还根据上述第一点云集来确定上述目标物体对应的质心,确定执行的具体步骤包括:S2104,在上述第一点云集中,获取与激光雷达扫描中心最近的M个扫描点,M取值为正整数;以及,S2106,计算上述M个扫描点的质心,并将上述M个扫描点的质心确定为上述目标物体对应的质心。
进一步地,在确定目标物体对应的质心之后,执行S2108,将上述第一点云集中,与上述质心之间距离大于第五预设阈值的扫描点进行过滤,得到更新后的第一点云集。
为了正确估计车辆的姿态,本实施例中将距离质心距离第五预设阈值S范围外的扫描点进行过滤掉,也就是说,过滤处理之后得到目标物体的最小包络点云集。其中,该方案还包括第五预设阈值的确定方案:从数据库中所存储的关于多个物体的标准尺寸中,获取所述目标物体的标准尺寸;根据所述目标物体的标准尺寸确定所述第五预设阈值,也就是说,上述第五预设阈值S与上述目标物体的尺寸特征相关。由于车辆的姿态多数情况下是正面面对激光雷达的场景,因此第五预设阈值S的取值不应该大于常规车辆最大尺寸的1/2。
在得到上述第一点云集进行更新之后,再通过S2202-S2208确定上述目标物体的姿态信息。具体地:
在S2202中,将上述更新后的第一点云集在第二平面进行投影,得到第一投影点集。
本实施例中,将上述点更新后的第一点云集在第二平面(水平面)进行投影,得到第一投影点集。以进一步地,根据上述第一投影点集,确定上述目标物体在上述第二平面(水平面)内的最小外接矩形。
其中,确定上述目标物体在上述第二平面内的最小外接矩形的步骤,包括:S2204,将上述第一投影点集按照二值化图像的方式进行膨胀和腐蚀处理,得到第二投影点集;以及,S2206,确定上述第二投影点集的最小轴向外接旋转矩形,得到上述目标物体在上述第二平面内的最小外接矩形。
其中,上述最小外接矩形(如图8中80)的长边对应于上述目标物体的横向,上述最小外接矩形的宽边对应于上述目标物体的纵向。
在示例性的实施例中,在确定上述目标物体在上述第二平面(水平面)内的最小外接矩形之后,执行S2208,根据上述最小外接矩形以及上述目标物体的运动方向,确定上述目标物体的姿态信息。
参考图8,在上述目标环境区域120中,假如地理方位如图中“N(North,杯)-S(South,南)”所示,而上述目标物体的运动方向为N’,则可以确定上述目标物体的姿态信息为与地理方位“N”之间夹角α。
继续参考图2,在S230中:根据所述姿态信息确定对所述目标物体中目标区域的初始搜索位置。示例性的参考图6,作为S230的一种具体实施方式,在S2302中:将上述最小外接矩形的长边的中心位置,作为上述目标区域的初始搜索位置。
示例性的,在确定上述目标物体的姿态信息之后,则可以确定在水平面内的最小外接矩形中,加粗位置与车辆的车牌(目标区域)相对应,并将该位置作为上述目标区域的初始搜索位置。
在示例性的实施例中,由于车辆车牌位于垂直面(第一平面)内,而上述初始搜索位置为在水平面(第二平面)内的定位,因此执行S240中:将所述第一点云集(具体可以为,更新后的第一点云集)投影至第一平面。
参考图6,再通过S2402-S2406将所述第一点云集投影至第一平面,并根据上述初始搜索位置和投影至第一平面的点云的反射强度,确定出多个候选区域。具体地:
在S2402中,将上述第一点云集在第二平面内进行栅格化,得到第二栅格集。以及,在S2404中,在极坐标系下对上述第二栅格集进行投影,得到第三栅格集,以将上述第一点云集投影至第一平面。
本实施例中,将S210确定的第一点云集(或S2108确定的更新后的第一点云集)在第二平面(水平面)内进行栅格化,得到第二栅格集。进一步地,在极坐标系下对上述第二栅格集进行投影,得到第三栅格集(如图9中90),从而可以将上述第一点云集投影至第一平面(垂直面)。
其中,上述第三栅格集中第(i, j)个栅格中包含扫描点与上述第二栅格集中第(i, j)个栅格中包含扫描点相同,i,j取值均为正整数。
在示例性的实施例中,为了极坐标投影中的上述第三栅格集能够更加鲁棒地进行车牌(目标其余)位置定位,本实施例还提供了噪声处理,具体操作,在上述确定多个候选区域之前,本技术方案还包括:剔除离群点以及滤波处理。
其中,剔除离群点的实施方式:根据上述第三栅格集对应的点云确定上述目标物体对应的质心;将上述第三栅格集对应的扫描点中,与上述质心之间距离大于第六预设阈值的扫描点确定为离群点;以及,将上述离群点在上述第三栅格集对应的扫描点中删除。从而减少激光雷达扫描点的反射强度受到离群点的干扰。
其中,上述第六预设阈值的确定方式如下:根据极坐标系栅格的分辨率、上述质心与激光雷达中心的距离,和/或上述激光雷达的扫描分辨率,确定上述第六预设阈值。可见,上述第六预设阈值需要考虑两个因素: (a)、极坐标系栅格的分辨率;(b)、根据质心位置距离激光雷达的中心距离以及激光雷达自身扫描的分辨率。其中因素(a)确定了可能落入栅格中的扫描点之间距离差异;因素(b)确定了激光雷达扫描点之间可能的距离差异。
其中,滤波处理的实施方式:根据上述第三栅格集对应的点云的反射强度进行均值滤波。具体地,目标物体(车辆)的目标区域(车牌)为该物体中的高反射率区域,为了实现对高反射率区域的定位,本实施例中对第三栅格集内的点云的反射强度进行均值滤波。示例性的,在进行上述均值滤波时,需要确定均值滤波的范围。而由于关于车辆车牌的相关规定,因此均值滤波的范围大小取值不大于车牌宽度的1/3。
在示例性的实施例中,在执行上述去噪处理之后,执行S240中:根据上述初始搜索位置和投影至上述第一平面的点云的反射强度,确定多个候选区域。其中,上述候选区域包括第一候选区域和第二候选区域。
参考图6,具体地:在S2406中,从初始搜索位置开始,在第一方向上确定多个第一选框;计算第s个第一选框对应的投影至上述第一平面的点云的反射强度的平均值Xs;以及根据反射强度的平均值Xs,在上述多个第一选框中确定出至少一个上述第一候选区域。其中,s取值为正整数。
示例性的,从初始搜索位置(如图8中如图9中加粗位置)开始,在上述第一方向上每间隔第一预设距离确定一个上述第一选框。示例性的,参考图9,在第一方向可以上确定多个搜索列(如图9中的一个搜索列901)。对每个搜索列在第一方向上可以确定出多个第一选框。进一步地,计算第s(取值为正整数)个第一选框对应的投影至上述第一平面(垂直面)的点云的反射强度的平均值Xs;以及根据反射强度的平均值Xs,在上述多个第一选框中确定出至少一个上述第一候选区域。例如,反射强度的平均值Xs大于预设强度值的情况下,则确定该第一选框为第一候选区域(如图9中的一个搜索列901中的第一候选区域1、第一候选区域2和第一候选区域3)。
其中,上述第一预设距离不小于上述目标区域在上述第一方向的长度。在上述目标区域为车辆中车牌的情况下,上述第一预设距离不小于车牌垂直方向的长度(即车辆的宽度)。
继续参考图6,在S2406’中,从上述初始搜索位置开始,在第二方向上确定多个第二选框;计算第d个第二选框对应的投影至上述第一平面的点云的反射强度的平均值Yd;以及根据反射强度的平均值Yd,在上述多个第二选框中确定出至少一个上述第二候选区域。其中,d取值为正整数,上述第一方向与上述第二方向垂直。
示例性的,从初始搜索位置(如图8和如图9中加粗位置)开始,在上述第二方向上每间隔第二预设距离确定一个上述第二选框。示例性的,参考图9,在第二方向可以上确定多个搜索行(如图9中的一个搜索行902)。对每个搜索行在第二方向上可以确定出多个第二选框。进一步地,计算第d(取值为正整数)个第二选框对应的投影至上述第一平面(垂直面)的点云的反射强度的平均值Yd;以及根据反射强度的平均值Yd,在上述多个第二选框中确定出至少一个上述第二候选区域。例如,反射强度的平均值Yd大于预设强度值的情况下,则确定该第二选框为第二候选区域(如图9中的一个搜索行902中的第二候选区域A和第二候选区域B)。
其中,上述第二预设距离不小于上述目标区域在上述第二方向的长度。在上述目标区域为车辆中车牌的情况下,上述第二预设距离不小于车牌水平方向的长度(即车辆的长度)。
在示例性的实施例中,对于上述第一候选区域和上述第二候选区域,执行S250:根据上述多个候选区域以及图像数据,实现对上述目标区域的定位。作为一种具体实施方式,参考图6,执行S2502和S2504。
在S2502中,根据激光雷达对应的第一坐标系和摄像装置对应的第二坐标系之间的变换关系,将上述第一候选区域和/或上述第二候选区域转换至上述第二坐标系中,得到候选区域坐标。
其中,上述激光雷达为获取上述第一点云集的雷达,上述摄像装置为用于获取上述图像数据的装置。通过根据激光雷达对应的第一坐标系和摄像装置对应的第二坐标系之间的变换关系,将根据点云集确定出的上述候选区域转换至图像对应的第二坐标系中,从而得到上述候选区域坐标。
在示例性的实施例中,如果是环境光照不足时,控制补光部件等设备进行环境光补充,从而,提高摄像装置所获取图像的清晰度。
在S2504中,对上述图像数据中上述候选区域坐标对应的区域进行图像识别,以实现对上述目标区域的定位。
对于S240中基于反射强度确定的候选区域,也就是说,获取到了具有极大可能性为目标区域的位置。进一步地,通过相应区域的图像信息来进一步验证候选区域是否为目标区域。例如,通过相应区域的图像信息来进一步验证候选区域是否为车辆车牌。本实施例中,通过S2502将上述图像坐标系中的上述候选区域坐标,则便于获取到响应坐标处的图像区域。获取候选区域对应的图像区域之后,进行图像识别,从而根据图像识别结果来确定当前候选区域是否为车辆车牌(目标区域)。
示例性的,在结合图像识别结果确定当前候选区域不是车辆车牌的情况下,则对下一个候选区域进行坐标转换之后结合响应图像信息来验证下一个候选区域是否为车辆车牌。在结合图像识别结果确定当前候选区域是车辆车牌的情况下,则实现了对所述目标区域的定位。进一步地,还可以获取车辆车牌信息作为对目标区域的识别结果。
在示例性的实施例中,当对目标区域的识别结果后,控制进行相应的硬件的设备操作,例如将车辆放行杆的抬起。示例性的,此时,激光雷达还对放行杆下的障碍物进行判断,以避免对行人或非机动人员的砸伤。需要注意的是,需要先将放行杆本身的扫描点云进行排除,从而提高障碍物判断的鲁棒性。
需要说明的是,步骤S240与S250的执行方式包含两种。一种执行方式是:边执行S240来获取至少一个候选区域(如获取一个搜索行/搜索列对应的候选区域),边执行S250来确定当前候选区域是否对应于车牌。在确定当前候选区域不对应于车牌的情况下,再次执行S240来获取下一个候选区域,从而循环执行S240和S250,直至确定出车辆车牌。另一种执行方式为:通过S240获取所有的候选区域,再对于所有候选区域并行执行S250。
需要注意的是,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
其中,图10示出了可以应用本公开一实施例的目标区域的定位装置的结构示意图。请参见图10,该图所示的目标区域的定位装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分,还可以作为独立的模块集成于电子设备中或服务器上。
本公开实施例中的目标区域的定位装置1000包括:点云集确定模块1010、姿态信息确定模块1020、初始搜索位置确定模块1030、候选区域确定模块1040,以及定位模块1050。
其中,上述点云集确定模块1010,用于获取目标物体对应的第一点云集;上述姿态信息确定模块1020,用于根据上述第一点云集确定上述目标物体的姿态信息;上述初始搜索位置确定模块1030,用于根据上述姿态信息确定对上述目标物体中目标区域的初始搜索位置;上述候选区域确定模块1040,用于将上述第一点云集投影至第一平面,并根据上述初始搜索位置和投影至上述第一平面的点云的反射强度,确定多个候选区域;以及,上述定位模块1050,用于根据上述多个候选区域以及图像数据,实现对上述目标区域的定位。
在示例性的实施例中,图11示意性示出了根据本公开另一示例性的实施例中目标区域的定位装置的结构图。请参见图11:
在示例性的实施例中,基于前述方案,上述目标区域的定位装置1000还包括:目标物体确定模块1060。
其中,上述目标物体确定模块1060,用于:在上述获取目标物体的点云数据之前:
获取目标环境区域对应的第二点云集;将所述第二点云集投影至第二平面,并将所述第二点云集在所述第二平面上的投影进行栅格化,得到第一栅格集;其中,所述第一平面与所述第二平面垂直;获取所述第一栅格集中高度信息变化大于第一预设阈值的目标栅格集;以及,当所述目标栅格集的面积大于第二预设阈值,确定所述目标物体出现在所述目标环境区域的可能性大于第三预设阈值;其中第二预设阈值与所述目标物体的尺寸相关。
在示例性的实施例中,基于前述方案,上述目标物体确定模块1060,还用于,在所述获取目标物体对应的第一点云集之前:
获取目标环境区域的第二点云集,以及将所述目标环境区域划分为N个区域,N为正整数;获取第i个区域中在第t扫描周期的平均深度信息Di(t),以及获取第i个区域中在第t+1扫描周期的平均深度信息Di(t+1),i取值为不大于N的正整数,t为正整数;根据所述平均深度信息Di(t)和所述平均深度信息Di(t+1)确定所述第i个区域的平均深度变化信息,以及,根据所述第i个区域的平均深度变化信息,确定所述目标物体出现在所述目标环境区域的可能性是否大于第三预设阈值。
在示例性的实施例中,基于前述方案,上述目标物体确定模块1060,具体用于:在平均深度变化信息大于第四预设阈值的区域数量大于第二预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于所述第三预设阈值。
在示例性的实施例中,基于前述方案,上述目标物体确定模块1060,具体用于:在目标区域的平均深度变化信息大于第四预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于所述第三预设阈值。
在示例性的实施例中,基于前述方案,上述目标物体确定模块1060,具体用于:在所述第i个区域的平均深度变化信息大于第四预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于所述第三预设阈值。
在示例性的实施例中,基于前述方案,在示例性的实施例中,基于前述方案,上述目标物体确定模块1060,还用于,在所述确定所述目标物体出现在所述目标环境区域中的可能性大于第三预设阈值之后:
启动摄像装置获取上述目标环境区域的图像;根据上述图像识别上述目标环境区域中是否包含上述目标物体;在根据上述图像识别上述目标环境区域中不包含上述目标物体的情况下,再次获取上述目标环境区域对应的第二点云集;以及,在根据上述图像识别上述目标环境区域中包含上述目标物体的情况下,获取上述目标物体对应的第一点云集。
在示例性的实施例中,基于前述方案,上述点云集确定模块1010,包括:质心确定单元10101和过滤单元10102。
其中,上述质心确定单元10101,用于:根据上述第一点云集确定上述目标物体对应的质心;以及,上述过滤单元10102,用于:将上述第一点云集中,与上述质心之间距离大于第五预设阈值的扫描点进行过滤,得到更新后的上述第一点云集;其中,更新后的所述第一点云为所述目标物体的最小包络点云集。
在示例性的实施例中,基于前述方案,上述质心确定单元10101,具体用于:从数据库中所存储的关于多个物体的标准尺寸中,获取所述目标物体的标准尺寸;以及,根据所述目标物体的标准尺寸确定所述第五预设阈值,其中,所述第五预设阈值不大于所述标准尺寸的二分之一。
在示例性的实施例中,基于前述方案,上述质心确定单元10101,具体用于:在上述第一点云集中,获取与激光雷达扫描中心最近的M个扫描点,M取值为正整数;以及,计算上述M个扫描点的质心,并将上述M个扫描点的质心确定为上述目标物体对应的质心。
在示例性的实施例中,基于前述方案,上述姿态信息确定模块1020,包括:第一投影单元10201、最小外接矩形确定单元10202,以及姿态信息确定单元10203。
其中,上述第一投影单元10201,用于:将上述第一点云集在第二平面进行投影,得到第一投影点集;上述最小外接矩形确定单元10202,用于:根据上述第一投影点集,确定上述目标物体在上述第二平面内的最小外接矩形,其中,上述第一平面与上述第二平面垂直;以及,上述姿态信息确定单元10203,用于:根据上述最小外接矩形以及上述目标物体的运动方向,确定上述目标物体的姿态信息。
在示例性的实施例中,基于前述方案,上述最小外接矩形确定单元10202,具体用于:将上述第一投影点集按照二值化图像的方式进行膨胀和腐蚀处理,得到第二投影点集;以及,确定上述第二投影点集的最小轴向外接旋转矩形,得到上述目标物体在上述第二平面内的最小外接矩形;
其中,上述最小外接矩形的长边对应于上述目标物体的横向,上述最小外接矩形的宽边对应于上述目标物体的纵向。
在示例性的实施例中,基于前述方案,上述初始搜索位置确定模块1030,具体用于:将上述最小外接矩形的长边的中心位置,作为上述目标区域的初始搜索位置。
在示例性的实施例中,基于前述方案,上述候选区域确定模块1040,包括:第二投影单元10401。
其中,上述第二投影单元10401,用于:将上述第一点云集在第二平面内进行栅格化,得到第二栅格集;以及,在极坐标系下对上述第二栅格集进行投影,得到第三栅格集,以将上述第一点云集投影至上述第一平面;
其中,上述第三栅格集中第(i, j)个栅格中包含扫描点与上述第二栅格集中第(i, j)个栅格中包含扫描点相同,i,j取值均为正整数。
在示例性的实施例中,基于前述方案,上述候选区域确定模块1040,还包括:去噪单元10402。
其中,上述去噪单元10402,用于:根据上述第三栅格集对应的点云确定上述目标物体对应的质心;将上述第三栅格集对应的扫描点中,与上述质心之间距离大于第六预设阈值的扫描点确定为离群点;以及,将上述离群点在上述第三栅格集对应的扫描点中删除。
在示例性的实施例中,基于前述方案,上述去噪单元10402,还用于:根据极坐标系栅格的分辨率、上述质心与激光雷达中心的距离,和/或上述激光雷达的扫描分辨率,确定上述第六预设阈值。
在示例性的实施例中,基于前述方案,上述去噪单元10402,还用于:根据上述第三栅格集对应的点云的反射强度进行均值滤波。
在示例性的实施例中,基于前述方案,上述候选区域包括第一候选区域和第二候选区域;上述候选区域确定模块1040,还包括:第一候选区域确定单元10403和第二候选区域确定单元10404。
其中,上述第一候选区域确定单元10403,用于:从上述初始搜索位置开始,在第一方向上确定多个第一选框;计算第s个第一选框对应的投影至上述第一平面的点云的反射强度的平均值Xs;以及根据反射强度的平均值Xs,在上述多个第一选框中确定出至少一个上述第一候选区域,s取值为正整数;以及,上述第二候选区域确定单元10404,用于:从上述初始搜索位置开始,在第二方向上确定多个第二选框;计算第d个第二选框对应的投影至上述第一平面的点云的反射强度的平均值Yd;以及根据反射强度的平均值Yd,在上述多个第二选框中确定出至少一个上述第二候选区域;其中,d取值为正整数,上述第一方向与上述第二方向垂直。
在示例性的实施例中,基于前述方案,上述第一候选区域确定单元10403,具体用于:从初始搜索位置开始,在上述第一方向上每间隔第一预设距离确定一个上述第一选框;其中,上述第一预设距离不小于上述目标区域在上述第一方向的长度;
上述第二候选区域确定单元10404,具体用于:从初始搜索位置开始,在上述第二方向上每间隔第二预设距离确定一个上述第二选框;其中,上述第二预设距离不小于上述目标区域在上述第二方向的长度。
在示例性的实施例中,基于前述方案,上述定位模块1050,具体用于:根据激光雷达对应的第一坐标系和摄像装置对应的第二坐标系之间的变换关系,将上述第一候选区域和/或上述第二候选区域转换至上述第二坐标系中,得到候选区域坐标;其中,上述激光雷达用于获取上述第一点云集,上述摄像装置用于获取上述图像数据;以及,对上述图像数据中上述候选区域坐标对应的区域进行图像识别,以实现对上述目标区域的定位。
在示例性的实施例中,基于前述方案,上述定位模块1050,还具体用于:对上述图像数据中上述候选区域坐标对应的区域进行图像识别,在上述候选区域坐标对应的区域存在车牌信息的情况下,将上述候选区域确定为上述目标区域。
在示例性的实施例中,基于前述方案,上述目标区域的定位装置1000还包括:识别结果确定模块1070。
其中,上述识别结果确定模块1070,用于:将上述车牌信息确定为对上述目标区域的信息识别结果。
需要说明的是,上述实施例提供的目标区域的定位装置在执行目标区域的定位方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标区域的定位装置与目标区域的定位方法实施例属于同一构思,因此对于本公开装置实施例中未披露的细节,请参照本公开上述的目标区域的定位方法的实施例,这里不再赘述。
上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一实施例方法的步骤。其中,计算机可读存储介质可以包括但不限于任何类型的盘,包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC),或适合于存储指令和/或数据的任何类型的媒介或设备。
本公开实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一实施例方法的步骤。
图12示意性示出了根据本公开一示例性的实施例中电子设备的结构图。请参见图12所示,电子设备1200包括有:处理器1201和存储器1202。
本公开实施例中,处理器1201为计算机系统的控制中心,可以是实体机的处理器,也可以是虚拟机的处理器。处理器1201可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable LogicArray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在本公开实施例中,所述处理器1201具体用于:
获取目标物体对应的第一点云集;根据所述第一点云集确定所述目标物体的姿态信息;根据所述姿态信息确定对所述目标物体中目标区域的初始搜索位置;将所述第一点云集投影至第一平面,并根据所述初始搜索位置和投影至所述第一平面的点云的反射强度,确定多个候选区域;以及,根据所述多个候选区域以及图像数据,实现对所述目标区域的定位。
进一步地,所述处理器1201具体用于:
在所述获取目标物体的点云数据之前,获取目标环境区域对应的第二点云集;将所述第二点云集投影至第二平面,并将所述第二点云集在所述第二平面上的投影进行栅格化,得到第一栅格集;其中,所述第一平面与所述第二平面垂直;获取所述第一栅格集中高度信息变化大于第一预设阈值的目标栅格集;当所述目标栅格集的面积大于第二预设阈值,确定所述目标物体出现在所述目标环境区域的可能性大于第三预设阈值;其中第二预设阈值与所述目标物体的尺寸相关。
进一步地,上述处理器1201具体用于:
在所述获取目标物体对应的第一点云集之前,获取目标环境区域的第二点云集,以及将所述目标环境区域划分为N个区域,N为正整数;获取第i个区域中在第t扫描周期的平均深度信息Di(t),以及获取第i个区域中在第t+1扫描周期的平均深度信息Di(t+1),i取值为不大于N的正整数,t为正整数;根据所述平均深度信息Di(t)和所述平均深度信息Di(t+1)确定所述第i个区域的平均深度变化信息,以及,根据所述第i个区域的平均深度变化信息,确定所述目标物体出现在所述目标环境区域的可能性是否大于第三预设阈值。
进一步地,所述根据所述第i个区域的平均深度变化信息,确定所述目标物体出现在所述目标环境区域的可能性是否大于第三预设阈值,包括:在平均深度变化信息大于第四预设阈值的区域数量大于第二预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于所述第三预设阈值。
进一步地,所述根据所述第i个区域的平均深度变化信息,确定所述目标物体出现在所述目标环境区域的可能性是否大于第三预设阈值,包括:在目标区域的平均深度变化信息大于第四预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于所述第三预设阈值。
进一步地,所述根据所述第i个区域的平均深度变化信息,确定所述目标物体出现在所述目标环境区域的可能性是否大于第三预设阈值,包括:在所述第i个区域的平均深度变化信息大于第四预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于所述第三预设阈值。
进一步地,上述处理器1201具体用于:
在所述确定所述目标物体出现在所述目标环境区域中的可能性大于第三预设阈值之后,启动摄像装置获取上述目标环境区域的图像;根据上述图像识别上述目标环境区域中是否包含上述目标物体;在根据上述图像识别上述目标环境区域中不包含上述目标物体的情况下,再次获取上述目标环境区域对应的第二点云集;以及,在根据上述图像识别上述目标环境区域中包含上述目标物体的情况下,获取上述目标物体对应的第一点云集。
进一步地,上述获取上述目标物体对应的第一点云集,包括:将上述多个目标栅格对应的点云,确定为上述第一点云集。
进一步地,上述处理器1201具体用于:
上述获取目标物体对应的第一点云集之后,根据上述第一点云集确定上述目标物体对应的质心;以及,将上述第一点云集中,与上述质心之间距离大于第五预设阈值的扫描点进行过滤,得到更新后的上述第一点云集;其中,更新后的所述第一点云为所述目标物体的最小包络点云集。
进一步地,上述处理器1201具体用于:
从数据库中所存储的关于多个物体的标准尺寸中,获取所述目标物体的标准尺寸;以及,根据所述目标物体的标准尺寸确定所述第五预设阈值,其中,所述第五预设阈值不大于所述标准尺寸的二分之一。
进一步地,上述根据上述第一点云集确定上述目标物体对应的质心,包括:在上述第一点云集中,获取与激光雷达扫描中心最近的M个扫描点,M取值为正整数;以及,计算上述M个扫描点的质心,并将上述M个扫描点的质心确定为上述目标物体对应的质心。
进一步地,上述根据上述第一点云集确定上述目标物体的姿态信息,包括:将上述点第一点云集在第二平面进行投影,得到第一投影点集;根据上述第一投影点集,确定上述目标物体在上述第二平面内的最小外接矩形,其中,上述第一平面与上述第二平面垂直;以及,根据上述最小外接矩形以及上述目标物体的运动方向,确定上述目标物体的姿态信息。
进一步地,上述根据上述第一投影点集,确定上述目标物体在上述第二平面内的最小外接矩形,包括:将上述第一投影点集按照二值化图像的方式进行膨胀和腐蚀处理,得到第二投影点集;以及,确定上述第二投影点集的最小轴向外接旋转矩形,得到上述目标物体在上述第二平面内的最小外接矩形;
其中,上述最小外接矩形的长边对应于上述目标物体的横向,上述最小外接矩形的宽边对应于上述目标物体的纵向。
进一步地,上述根据上述姿态信息确定对上述目标物体中目标区域的初始搜索位置,包括:将上述最小外接矩形的长边的中心位置,作为上述目标区域的初始搜索位置。
进一步地,上述将上述第二点云集投影至第一平面,包括:将上述第一点云集在第二平面内进行栅格化,得到第二栅格集;以及,在极坐标系下对上述第二栅格集进行投影,得到第三栅格集,以将上述第一点云集投影至上述第一平面;
其中,上述第三栅格集中第(i, j)个栅格中包含扫描点与上述第二栅格集中第(i, j)个栅格中包含扫描点相同,i,j取值均为正整数。
进一步地,上述处理器1201具体用于:
在上述确定多个候选区域之前,根据上述第三栅格集对应的点云确定上述目标物体对应的质心;将上述第三栅格集对应的扫描点中,与上述质心之间距离大于第六预设阈值的扫描点确定为离群点;以及,将上述离群点在上述第三栅格集对应的扫描点中删除。
进一步地,上述处理器1201具体用于:
在上述确定多个候选区域之前,根据极坐标系栅格的分辨率、上述质心与激光雷达中心的距离,和/或上述激光雷达的扫描分辨率,确定上述第六预设阈值。
进一步地,上述处理器1201具体用于:
在上述确定多个候选区域之前,根据上述第三栅格集对应的点云的反射强度进行均值滤波。
进一步地,上述候选区域包括第一候选区域和第二候选区域;
上述根据上述初始搜索位置和投影至上述第一平面的点云的反射强度,确定多个候选区域,包括:从上述初始搜索位置开始,在第一方向上确定多个第一选框;计算第s个第一选框对应的投影至上述第一平面的点云的反射强度的平均值Xs;以及根据反射强度的平均值Xs,在上述多个第一选框中确定出至少一个上述第一候选区域,s取值为正整数;以及,从上述初始搜索位置开始,在第二方向上确定多个第二选框;计算第d个第二选框对应的投影至上述第一平面的点云的反射强度的平均值Yd;以及根据反射强度的平均值Yd,在上述多个第二选框中确定出至少一个上述第二候选区域;其中,d取值为正整数,上述第一方向与上述第二方向垂直。
进一步地,从上述初始搜索位置开始,在第一方向上确定多个第一选框,包括:从初始搜索位置开始,在上述第一方向上每间隔第一预设距离确定一个上述第一选框;其中,上述第一预设距离不小于上述目标区域在上述第一方向的长度;
从上述初始搜索位置开始,在第二方向上确定多个第二选框,包括:从初始搜索位置开始,在上述第二方向上每间隔第二预设距离确定一个上述第二选框;其中,上述第二预设距离不小于上述目标区域在上述第二方向的长度。
进一步地,上述根据上述多个候选区域以及图像数据,实现对上述目标区域的定位,包括:根据激光雷达对应的第一坐标系和摄像装置对应的第二坐标系之间的变换关系,将上述第一候选区域和/或上述第二候选区域转换至上述第二坐标系中,得到候选区域坐标;其中,上述激光雷达用于获取上述第一点云集,上述摄像装置用于获取上述图像数据;以及,对上述图像数据中上述候选区域坐标对应的区域进行图像识别,以实现对上述目标区域的定位。
进一步地,上述对上述图像数据中上述候选区域坐标对应的区域进行图像识别,以实现对上述目标区域的定位,包括:对上述图像数据中上述候选区域坐标对应的区域进行图像识别,在上述候选区域坐标对应的区域存在车牌信息的情况下,将上述候选区域确定为上述目标区域。
进一步地,将上述车牌信息确定为对上述目标区域的信息识别结果。
存储器1202可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在本公开的一些实施例中,存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1201所执行以实现本公开实施例中的方法。
一些实施例中,电子设备1200还包括有:外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地,外围设备包括:显示屏1204、摄像头1205和音频电路1206中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在本公开的一些实施例中,处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上;在本公开的一些其他实施例中,处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现。本公开实施例对此不作具体限定。
显示屏1204用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1204是触摸显示屏时,显示屏1204还具有采集在显示屏1204的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时,显示屏1204还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在本公开的一些实施例中,显示屏1204可以为一个,设置电子设备1200的前面板;在本公开的另一些实施例中,显示屏1204可以为至少两个,分别设置在电子设备1200的不同表面或呈折叠设计;在本公开的再一些实施例中,显示屏1204可以是柔性显示屏,设置在电子设备1200的弯曲表面上或折叠面上。甚至,显示屏1204还可以设置成非矩形的不规则图形,也即异形屏。显示屏1204可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头1205用于采集图像或视频。可选地,摄像头1205包括前置摄像头和后置摄像头。通常,前置摄像头设置在电子设备的前面板,后置摄像头设置在电子设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在本公开的一些实施例中,摄像头1205还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1206可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1201进行处理。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。
电源1207用于为电子设备1200中的各个组件进行供电。电源1207可以是交流电、直流电、一次性电池或可充电电池。当电源1207包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本公开实施例中示出的电子设备结构框图并不构成对电子设备1200的限定,电子设备1200可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在本公开的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本公开中的具体含义。此外,在本公开的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,依本公开权利要求所作的等同变化,仍属本公开所涵盖的范围。

Claims (8)

1.一种目标区域的定位方法,其特征在于,所述方法包括:
获取目标物体对应的第一点云集;
根据所述第一点云集确定所述目标物体的姿态信息;
根据所述姿态信息确定对所述目标物体中目标区域的初始搜索位置;
将所述第一点云集投影至第一平面,并根据所述初始搜索位置和投影至所述第一平面的点云的反射强度,确定多个候选区域;
根据所述多个候选区域以及图像数据,实现对所述目标区域的定位;
其中,所述根据所述第一点云集确定所述目标物体的姿态信息,包括:将所述第一点云集在第二平面进行投影,得到第一投影点集;根据所述第一投影点集,确定所述目标物体在所述第二平面内的最小外接矩形;根据所述最小外接矩形以及所述目标物体的运动方向,确定所述目标物体的姿态信息;
所述根据所述姿态信息确定对所述目标物体中目标区域的初始搜索位置,包括:将所述最小外接矩形的长边的中心位置,作为所述目标区域的初始搜索位置。
2.根据权利要求1所述的方法,其特征在于,在所述获取目标物体的点云数据之前,所述方法还包括:
获取目标环境区域对应的第二点云集;
将所述第二点云集投影至第二平面,并将所述第二点云集在所述第二平面上的投影进行栅格化,得到第一栅格集;
获取所述第一栅格集中高度信息变化大于第一预设阈值的目标栅格集;
当所述目标栅格集的面积大于第二预设阈值,确定所述目标物体出现在所述目标环境区域的可能性大于第三预设阈值;其中,第二预设阈值与所述目标物体的尺寸相关。
3.根据权利要求1所述的方法,其特征在于,在所述获取目标物体对应的第一点云集之前,所述方法还包括:
获取目标环境区域的第二点云集,以及将所述目标环境区域划分为N个区域,N为正整数;
获取第i个区域中在第t扫描周期的平均深度信息Di(t),以及获取第i个区域中在第t+1扫描周期的平均深度信息Di(t+1),i取值为不大于N的正整数,t为正整数;
根据所述平均深度信息Di(t)和所述平均深度信息Di(t+1)确定所述第i个区域的平均深度变化信息,以及,根据所述第i个区域的平均深度变化信息,确定所述目标物体出现在所述目标环境区域的可能性是否大于第三预设阈值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第i个区域的平均深度变化信息,确定所述目标物体出现在所述目标环境区域的可能性是否大于第三预设阈值,包括:
在平均深度变化信息大于第四预设阈值的区域数量大于第二预设阈值的情况下,确定所述目标物体出现在所述目标环境区域的可能性大于所述第三预设阈值。
5.根据权利要求1所述的方法,其特征在于,在所述获取目标物体对应的第一点云集之后,所述方法还包括:
根据所述第一点云集确定所述目标物体对应的质心;
将所述第一点云集中,与所述质心之间距离大于第五预设阈值的扫描点进行过滤,得到更新后的所述第一点云集;
其中,更新后的所述第一点云为所述目标物体的最小包络点云集。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一点云集确定所述目标物体对应的质心,包括:
在所述第一点云集中,获取与激光雷达扫描中心最近的M个扫描点,M取值为正整数;
计算所述M个扫描点的质心,并将所述M个扫描点的质心确定为所述目标物体对应的质心。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述候选区域包括第一候选区域和第二候选区域;
所述根据所述初始搜索位置和投影至所述第一平面的点云的反射强度,确定多个候选区域,包括:
从所述初始搜索位置开始,在第一方向上确定多个第一选框;计算第s个第一选框对应的投影至所述第一平面的点云的反射强度的平均值Xs;以及根据反射强度的平均值Xs,在所述多个第一选框中确定出至少一个所述第一候选区域,s取值为正整数;
从所述初始搜索位置开始,在第二方向上确定多个第二选框;计算第d个第二选框对应的投影至所述第一平面的点云的反射强度的平均值Yd;以及根据反射强度的平均值Yd,在所述多个第二选框中确定出至少一个所述第二候选区域,d取值为正整数;
其中,所述第一方向与所述第二方向垂直。
8.一种目标区域的定位装置,其特征在于,所述装置包括:
点云集确定模块,用于获取目标物体对应的第一点云集;
姿态信息确定模块,用于根据所述第一点云集确定所述目标物体的姿态信息;
初始搜索位置确定模块,用于根据所述姿态信息确定对所述目标物体中目标区域的初始搜索位置;
候选区域确定模块,用于将所述第一点云集投影至第一平面,并根据所述初始搜索位置和投影至所述第一平面的点云的反射强度,确定多个候选区域;
定位模块,用于根据所述多个候选区域以及图像数据,实现对所述目标区域的定位;
其中,所述点云集确定模块,具体用于:将所述第一点云集在第二平面进行投影,得到第一投影点集;根据所述第一投影点集,确定所述目标物体在所述第二平面内的最小外接矩形;根据所述最小外接矩形以及所述目标物体的运动方向,确定所述目标物体的姿态信息;
所述姿态信息确定模块,具体用于:将所述最小外接矩形的长边的中心位置,作为所述目标区域的初始搜索位置。
CN202210831087.1A 2022-07-15 2022-07-15 目标区域的定位方法和目标区域的定位装置 Active CN115082662B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211744086.XA CN116229040A (zh) 2022-07-15 2022-07-15 目标区域的定位方法和目标区域的定位装置
CN202210831087.1A CN115082662B (zh) 2022-07-15 2022-07-15 目标区域的定位方法和目标区域的定位装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210831087.1A CN115082662B (zh) 2022-07-15 2022-07-15 目标区域的定位方法和目标区域的定位装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211744086.XA Division CN116229040A (zh) 2022-07-15 2022-07-15 目标区域的定位方法和目标区域的定位装置

Publications (2)

Publication Number Publication Date
CN115082662A CN115082662A (zh) 2022-09-20
CN115082662B true CN115082662B (zh) 2023-02-03

Family

ID=83259513

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211744086.XA Pending CN116229040A (zh) 2022-07-15 2022-07-15 目标区域的定位方法和目标区域的定位装置
CN202210831087.1A Active CN115082662B (zh) 2022-07-15 2022-07-15 目标区域的定位方法和目标区域的定位装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211744086.XA Pending CN116229040A (zh) 2022-07-15 2022-07-15 目标区域的定位方法和目标区域的定位装置

Country Status (1)

Country Link
CN (2) CN116229040A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109459734A (zh) * 2018-10-30 2019-03-12 百度在线网络技术(北京)有限公司 一种激光雷达定位效果评估方法、装置、设备及存储介质
CN112465908A (zh) * 2020-11-30 2021-03-09 深圳市优必选科技股份有限公司 一种物体定位方法、装置、终端设备及存储介质
CN112543859A (zh) * 2020-10-28 2021-03-23 华为技术有限公司 定位方法、装置、电子设备和存储介质
WO2021171411A1 (ja) * 2020-02-26 2021-09-02 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
CN113916243A (zh) * 2020-07-07 2022-01-11 长沙智能驾驶研究院有限公司 目标场景区域的车辆定位方法、装置、设备和存储介质
CN114299146A (zh) * 2021-12-29 2022-04-08 北京万集科技股份有限公司 辅助停车方法、装置、计算机设备和计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059608B (zh) * 2019-04-11 2021-07-06 腾讯科技(深圳)有限公司 一种物体检测方法、装置、电子设备和存储介质
JP7313955B2 (ja) * 2019-07-30 2023-07-25 株式会社トプコン 測量装置、測量方法および測量用プログラム
CN113761999B (zh) * 2020-09-07 2024-03-05 北京京东乾石科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN111932943B (zh) * 2020-10-15 2021-05-14 深圳市速腾聚创科技有限公司 动态目标的检测方法、装置、存储介质及路基监测设备
CN116659376A (zh) * 2021-09-30 2023-08-29 深圳市速腾聚创科技有限公司 动态目标外观尺寸的确定方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109459734A (zh) * 2018-10-30 2019-03-12 百度在线网络技术(北京)有限公司 一种激光雷达定位效果评估方法、装置、设备及存储介质
WO2021171411A1 (ja) * 2020-02-26 2021-09-02 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
CN113916243A (zh) * 2020-07-07 2022-01-11 长沙智能驾驶研究院有限公司 目标场景区域的车辆定位方法、装置、设备和存储介质
CN112543859A (zh) * 2020-10-28 2021-03-23 华为技术有限公司 定位方法、装置、电子设备和存储介质
CN112465908A (zh) * 2020-11-30 2021-03-09 深圳市优必选科技股份有限公司 一种物体定位方法、装置、终端设备及存储介质
CN114299146A (zh) * 2021-12-29 2022-04-08 北京万集科技股份有限公司 辅助停车方法、装置、计算机设备和计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic Number Plate Recognition:A Detailed Survey of Relevant Algorithms;Lubna 等;《sensors》;20210426;1-35 *
Research on Surface Target Detection Algorithm Based on 3D Lidar;Zhiguo Zhou 等;《2021 International Conference on Security, Pattern Analysis,and Cybernetics (SPAC)》;20210927;489-494 *
基于RGB和LIDAR数据的3D目标检测算法研究;何庆东;《中国优秀硕士学位论文全文数据库信息科技辑》;20220115(第(2022)01期);I136-2231 *
基于立体视觉与激光雷达的车辆目标外形位置融合算法研究;冯明驰 等;《仪器仪表学报》;20211031;第42卷(第10期);210-220 *

Also Published As

Publication number Publication date
CN116229040A (zh) 2023-06-06
CN115082662A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、3d再現および追跡
CN114111568B (zh) 动态目标外观尺寸的确定方法及装置、介质及电子设备
CN110998671B (zh) 三维重建方法、装置、系统和存储介质
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
JPWO2007083494A1 (ja) 図形認識装置、図形認識方法および図形認識プログラム
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN113450459B (zh) 目标物的三维模型构建方法及装置
CN111986214B (zh) 一种地图中人行横道的构建方法和电子设备
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
CN115205284B (zh) 目标对象的检测方法及装置、介质及电子设备
JP2021033510A (ja) 運転支援装置
CN116844129A (zh) 多模态特征对齐融合的路侧目标检测方法、系统及装置
CN118115520A (zh) 水下声呐图像目标检测方法、装置、电子设备及存储介质
CN113763438B (zh) 一种点云配准方法、装置、设备及存储介质
CN115082662B (zh) 目标区域的定位方法和目标区域的定位装置
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
JP2008206143A (ja) 画像処理機能を備える撮像装置
CN113362370B (zh) 目标对象的运动信息确定方法、装置、介质及终端
CN112184901A (zh) 一种深度图确定方法及装置
CN111221486B (zh) 信息显示系统及信息显示方法
JPWO2020244717A5 (zh)
CN115836322A (zh) 图像裁剪方法与装置、电子设备及存储介质
CN113838125B (zh) 目标位置确定方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant