CN111523475B - 3d点云中物体的识别方法、装置、存储介质和处理器 - Google Patents
3d点云中物体的识别方法、装置、存储介质和处理器 Download PDFInfo
- Publication number
- CN111523475B CN111523475B CN202010329261.3A CN202010329261A CN111523475B CN 111523475 B CN111523475 B CN 111523475B CN 202010329261 A CN202010329261 A CN 202010329261A CN 111523475 B CN111523475 B CN 111523475B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- determining
- area
- vehicle
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000003068 static effect Effects 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种3D点云中物体的识别方法、装置、存储介质和处理器,该识别方法包括:采集同时显示有多帧3D点云的图像;根据图像识别图像中对应的物体,通过采集同时显示有多帧3D点云的图像,进而从多帧3D点云的图像中识别出对应的物体,本方案相对于现有技术中的激光雷达识别物体的方法,具有更丰富的点云和更明显的点云特征,因此本方案提高了物体识别的效率和准确度。
Description
技术领域
本申请涉及点云数据领域,具体而言,涉及一种3D点云中物体的识别方法、装置、存储介质和处理器。
背景技术
现有技术中,无人驾驶领域中,需要通过自动驾驶汽车上方安装的激光雷达获取该车周围的情况,包括需要识别出该车周围的具体的运动物体和具体的静止物体,后续根据车辆周围的情况来确定自动驾驶汽车的行驶策略。
现有技术中,通过激光雷达识别物体的方法较为复杂,效率较低。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解,因此,背景技术中可能包含某些信息,这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种3D点云中物体的识别方法、装置、存储介质和处理器,以解决现有技术中激光雷达识别物体的方法的效率较低的问题。
根据本发明实施例的一个方面,提供了一种3D点云中物体的识别方法,包括:采集同时显示有多帧3D点云的图像;根据所述图像识别所述图像中对应的物体。
可选地,所述图像包括多个3D点云区域,根据所述图像识别所述图像中对应的物体,包括:根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体;在识别到所述3D点云区域对应的物体为所述静止物体的情况下,根据任意一帧的3D点云对应的2D图像确定所述静止物体的信息,所述信息至少包括名称;在识别到所述3D点云区域对应的物体为所述运动物体的情况下,根据所述3D点云区域的形状确定所述运动物体是否为车辆。
可选地,根据所述3D点云区域的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体,包括:在所述3D点云区域中点的平均密度大于或者等于预定阈值的情况下,确定所述物体为所述静止物体;在所述3D点云区域中点的平均密度小于所述预定阈值的情况下,确定所述物体为所述运动物体。
可选地,根据所述3D点云区域的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体,包括:判断所述3D点云区域是否包括第一区域和第二区域,所述第一区域具有第一点密度,所述第二区域具有第二点密度,且所述第一点密度大于所述第二点密度,所述第一区域和所述第二区域相邻;在所述3D点云区域包括所述第一区域和所述第二区域的情况下,确定所述物体为所述运动物体;在所述3D点云区域不包括所述第一区域和所述第二区域的情况下,确定所述物体为所述静止物体。
可选地,根据所述3D点云区域的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体,包括:从所述3D点云区域中选取多个子区域,任意相邻的两个所述子区域在长度方向上的间距大于预定距离,多个所述子区域的面积相同;比较任意两个所述子区域的点密度;在任意两个所述子区域之间的密度差大于或者等于预定差值的情况下,确定所述物体为所述运动物体;在任意两个所述子区域之间的密度差小于所述预定差值的情况下,确定所述物体为所述静止物体。
可选地,根据任意一帧的3D点云对应的2D图像确定所述静止物体的信息,包括:确定任意一帧的3D点云对应的所述2D图像;将所述静止物体对应的3D点云投影在所述2D图像上;确定所述静止物体对应的3D点云投影所在的2D区域中对应的物体即为所述静止物体;根据所述2D区域中对应的物体确定所述信息。
可选地,在识别到所述3D点云区域对应的物体为所述运动物体的情况下,根据所述3D点云区域的形状确定所述运动物体是否为车辆,包括:检测所述3D点云区域是否为带状区域;在所述3D点云区域为带状区域的情况下,确定所述运动物体为所述车辆。
可选地,在确定所述物体为所述车辆后,所述方法还包括:根据所述车辆对应的所述3D点云区域中点的疏密情况确定所述车辆的车头对应的区域和/或车尾对应的区域;根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆的行驶情况。
可选地,根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆的行驶情况,包括:根据任意相邻的两个所述车头对应的区域之间的距离,和/或根据任意相邻的两个所述车尾对应的区域之间的距离,确定所述车辆的行驶速度。
可选地,根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆的行驶情况,包括:根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆在每一帧3D点云的标注框;根据多帧对应的多个所述标注框确定所述车辆的行驶轨迹。
可选地,多帧3D点云为连续的多帧3D点云。
根据本发明实施例的另一方面,还提供了一种3D点云中物体的识别方法,包括:采集同时显示有多帧3D点云的图像,所述图像包括多个3D点云区域;根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体;在识别到所述3D点云区域对应的物体为所述静止物体的情况下,根据任意一帧的3D点云对应的2D图像确定所述静止物体的信息,所述信息至少包括名称;在识别到所述3D点云区域对应的物体为所述运动物体的情况下,根据所述3D点云区域的形状确定所述运动物体是否为车辆。
根据本发明实施例的再一方面,还提供了一种3D点云中物体的识别装置,包括:采集单元;用于采集同时显示有多帧3D点云的图像;识别单元,用于根据所述图像识别所述图像中对应的物体。
根据本发明实施例的又一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行任意一种所述的方法。
根据本发明实施例的再一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行任意一种所述的方法。
在本发明实施例中,采用3D点云中物体的识别方法的方式,通过采集同时显示有多帧3D点云的图像,根据所述图像识别所述图像中对应的物体,达到了识别物体的目的,从而实现了较高效率地识别物体的技术效果,进而解决了激光雷达识别物体的方法的效率较低技术问题。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了根据本申请实施例的一种3D点云中物体的识别方法的流程图;以及
图2示出了根据本申请实施例的一种3D点云中物体的识别装置的结构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是,当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时,该元件可直接在该另一元件上,或者也可存在中间元件。而且,在说明书以及权利要求书中,当描述有元件“连接”至另一元件时,该元件可“直接连接”至该另一元件,或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的,现有技术中的激光雷达识别物体的方法的效率较低,为了解决上述问题,本申请的一种典型的实施方式中,提供了一种3D点云中物体的识别方法、装置、存储介质和处理器。
根据本申请的实施例,提供了一种3D点云中物体的识别方法。
图1是根据本申请实施例的3D点云中物体的识别方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,采集同时显示有多帧3D点云的图像;
步骤S102,根据上述图像识别上述图像中对应的物体。
上述方案中,通过采集同时显示有多帧3D点云的图像,进而根据多帧3D点云的图像识别出对应的物体,本方案相对于现有技术中的识别物体的方法,其可以直接根据多帧3D点云的图像识别物体,提高了物体识别的效率和准确度。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
需要说明的是,上述多帧3D点云可以为连续多帧的3D点云,也可为不连续的多帧的3D点云,本领域技术人员可以根据实际情况选择连续的、不连续或者部分连续部分不连续的多帧的3D点云。
为了进一步提高识别效率和识别准确度,本申请的一种实施例中,多帧3D点云为连续的多帧3D点云。
本申请的一种实施例中,上述图像包括多个3D点云区域,根据上述图像识别上述图像中对应的物体,包括:根据上述3D点云区域中点的疏密程度,识别上述3D点云区域对应的物体为静止物体或者运动物体;在识别到上述3D点云区域对应的物体为上述静止物体的情况下,根据任意一帧的3D点云对应的2D图像确定上述静止物体的信息,上述信息至少包括名称;在识别到上述3D点云区域对应的物体为上述运动物体的情况下,根据上述3D点云区域的形状确定上述运动物体是否为车辆,即静止物体和运动物体的3D点云区域中点的疏密程度不同,根据3D点云区域中点的疏密程度可以初步判断是静止物体或者运动物体,在识别为静止物体的情况下,将3D点云转化为2D图像,得到静止物体的信息,在识别为运动物体的情况下,根据3D点云区域的形状可以初步判断出运动物体的形状,包括判断出运动物体是否为车辆,以为物体的精准识别做基础。
本申请的一种实施例中,根据上述3D点云区域的疏密程度,识别上述3D点云区域对应的物体为静止物体或者运动物体,包括:在上述3D点云区域中点的平均密度大于或者等于预定阈值的情况下,确定上述物体为上述静止物体;在上述3D点云区域中点的平均密度小于上述预定阈值的情况下,确定上述物体为上述运动物体,即运动物体会叠加出一条轨迹,静止物体点会变得密集,可初步判断点的平均密度较大的区域为静止物体,初步判断点的平均密度较小的区域为静止物体,以为物体的精准识别做基础。
当然,本申请中的根据上述3D点云区域的疏密程度识别静止物体或者运动物体的方法并不限于上述的步骤,还可以为其他可行的步骤,本申请的另一种具体的实施例中,本申请的再一种实施例中,根据上述3D点云区域的疏密程度,识别上述3D点云区域对应的物体为静止物体或者运动物体,包括:判断上述3D点云区域是否包括第一区域和第二区域,上述第一区域具有第一点密度,上述第二区域具有第二点密度,且上述第一点密度大于上述第二点密度,上述第一区域和上述第二区域相邻;在上述3D点云区域包括上述第一区域和上述第二区域的情况下,确定上述物体为上述运动物体;在上述3D点云区域不包括上述第一区域和上述第二区域的情况下,确定上述物体为上述静止物体,即由于物体的运动,3D点云区域的至少有部分会比较密集,叠加的会把稀疏的点变得更加密集,即在3D点云区域包括相邻的第一点密度区域和第二点密度区域的情况下,确定物体为运动物体,在3D点云区域不包括相邻的第一点密度区域和第二点密度区域的情况下,确定物体为静止物体。
本申请的又一种实施例中,根据上述3D点云区域的疏密程度,识别上述3D点云区域对应的物体为静止物体或者运动物体,包括:从上述3D点云区域中选取多个子区域,任意相邻的两个上述子区域在长度方向上的间距大于预定距离,多个上述子区域的面积相同;比较任意两个上述子区域的点密度;在任意两个上述子区域之间的密度差大于或者等于预定差值的情况下,确定上述物体为上述运动物体;在任意两个上述子区域之间的密度差小于上述预定差值的情况下,确定上述物体为上述静止物体,即从上述3D点云区域中选取多个相同面积的子区域,比较任意两个上述子区域的点密度,在任意两个上述子区域之间的密度差较大的情况下,说明由于物体的运动使得点密度发生了改变,即确定上述物体为上述运动物体,在任意两个上述子区域之间的密度差较小的情况下,说明相邻的两个上述子区域的点密度几乎不改变,即确定上述物体为上述静止物体。
需要说明的是,本申请中的3D点云区域为任一单位面积的点密度大于阈值的区域,本领域技术人员可以根据实际情况确定对应的阈值,从而确定对应的3D点云区域。
本申请中的根据任意一帧的3D点云对应的2D图像确定上述静止物体的信息的过程可以为任何可行的过程,本申请的一种具体的实施例中,根据任意一帧的3D点云对应的2D图像确定上述静止物体的信息,包括:确定任意一帧的3D点云对应的上述2D图像;将上述静止物体对应的3D点云投影在上述2D图像上;确定上述静止物体对应的3D点云投影所在的2D区域中对应的物体即为上述静止物体;根据上述2D区域中对应的物体确定上述信息,即通过将静止物体对应的3D点云投影在2D图像上,进而根据所投影在2D图像上的信息确定上述静止物体信息。
当然,本申请的根据任意一帧的3D点云对应的2D图像确定上述静止物体的信息的过程并不限于上述的一种确定过程,本申请的另一种具体的实施例中,根据任意一帧的3D点云对应的2D图像确定上述静止物体的信息,包括:确定任意一帧的3D点云对应的上述2D图像;将上述2D图像投影在上述静止物体对应的3D点云上;确定投影在上述静止物体对应的3D点云上的物体即为上述静止物体;根据上述物体确定上述信息。
上述的信息不仅仅可以包括名称,还可以包括具体物体的大小、形状以及对应的型号等。
由于路上的车辆对自动驾驶汽车的驾驶的影响较大,为了更准确地识别出车辆,本申请的一种实施例中,在识别到上述3D点云区域对应的物体为上述运动物体的情况下,根据上述3D点云区域的形状确定上述运动物体是否为车辆,包括:检测上述3D点云区域是否为带状区域;在上述3D点云区域为带状区域的情况下,确定上述运动物体为上述车辆,即由于运动的车辆的属性,在在上述3D点云区域为带状区域的情况下,可确定运动物体为车辆。
本申请的一种实施例中,在确定上述物体为上述车辆后,上述方法还包括:根据上述车辆对应的上述3D点云区域中点的疏密情况确定上述车辆的车头对应的区域和/或车尾对应的区域;根据上述车头对应的区域和/或上述车尾对应的区域确定上述车辆的行驶情况,即根据车头对应的区域和/或上述车尾对应的区域的信息确定车辆的行驶情况。具体地,可以仅确定上述车辆的车头对应的区域,然后根据车头对应的区域确定上述车辆的行驶情况;也可以进确定上述车辆的车尾对应的区域,然后根据车尾对应的区域确定上述车辆的行驶情况;还可以确定上述车辆的车头对应的区域和上述车辆的车尾对应的区域,然后根据车头对应的区域和上述车辆的车尾对应的区域确定上述车辆的行驶情况。
本申请的一种实施例中,根据上述车头对应的区域和/或上述车尾对应的区域确定上述车辆的行驶情况,包括:根据任意相邻的两个上述车头对应的区域之间的距离,和/或根据任意相邻的两个上述车尾对应的区域之间的距离,确定上述车辆的行驶速度,具体地,可以仅仅根据任意相邻的两个上述车头对应的区域之间的距离,确定上述车辆的行驶速度;也可以仅根据任意相邻的两个上述车尾对应的区域之间的距离,确定上述车辆的行驶速度;可以根据任意相邻的两个上述车头对应的区域之间的距离以及任意相邻的两个上述车尾对应的区域之间的距离确定上述车辆的行驶速度。
本申请的一种实施例中,根据上述车头对应的区域和/或上述车尾对应的区域确定上述车辆的行驶情况,包括:根据上述车头对应的区域和/或上述车尾对应的区域确定上述车辆在每一帧3D点云的标注框;根据多帧对应的多个上述标注框确定上述车辆的行驶轨迹,即根据确定的车头对应的区域和/或上述车尾对应的区域便于确定车辆的行驶轨迹。具体地,也可以有三种方式来确定车辆的行驶轨迹,具体以参考上段的三种情况,此处就不再赘述了。
本申请中,还可以根据车头对应的区域和车尾对应的区域来确定车辆的大小和形状,再将该大小和形状与数据库中的数据进行比较,即可确定车辆的型号等信息。
本申请的另一种典型的实施例,提供了另一种3D点云中物体的识别方法,包括:采集同时显示有多帧3D点云的图像,上述图像包括多个3D点云区域;根据上述3D点云区域中点的疏密程度,识别上述3D点云区域对应的物体为静止物体或者运动物体;在识别到上述3D点云区域对应的物体为上述静止物体的情况下,根据任意一帧的3D点云对应的2D图像确定上述静止物体的信息,上述信息至少包括名称;在识别到上述3D点云区域对应的物体为上述运动物体的情况下,根据上述3D点云区域的形状确定上述运动物体是否为车辆。
上述方案中,通过采集同时显示有多帧3D点云的图像,根据3D点云区域中点的疏密程度,识别3D点云区域对应的物体为静止物体或者运动物体,在识别到的物体为静止物体的情况下,根据意一帧的3D点云对应的2D图像确定静止物体的信息,在识别到上述3D点云区域对应的物体为运动物体的情况下,根据上述3D点云区域的形状确定运动物体是否为车辆,以实现静止物体和运动物体的精准识别。
本申请实施例还提供了一种3D点云中物体的识别装置,需要说明的是,本申请实施例的3D点云中物体的识别装置可以用于执行本申请实施例所提供的用于3D点云中物体的识别方法。以下对本申请实施例提供的3D点云中物体的识别装置进行介绍。
图2是根据本申请实施例的3D点云中物体的识别装置的示意图。如图2所示,该装置包括:
采集单元10,用于采集同时显示有多帧3D点云的图像;
识别单元20,用于根据上述图像识别上述图像中对应的物体。
上述方案中,通过采集单元采集同时显示有多帧3D点云的图像,进而识别单元从多帧3D点云的图像中识别出对应的物体,本方案相对于现有技术中的识别物体的装置,其可以直接根据多帧3D点云的图像识别物体,提高了物体识别的效率和准确度。
需要说明的是,上述多帧3D点云可以为连续多帧的3D点云,也可为不连续的多帧的3D点云,本领域技术人员可以根据实际情况选择连续的、不连续或者部分连续部分不连续的多帧的3D点云。
为了进一步提高识别效率和识别准确度,本申请的一种实施例中,多帧3D点云为连续的多帧3D点云。
本申请的一种实施例中,上述图像包括多个3D点云区域,识别单元包括识别模块、第一确定模块和第二确定模块,识别模块用于根据上述3D点云区域中点的疏密程度,识别上述3D点云区域对应的物体为静止物体或者运动物体;第一确定模块用于在识别到上述3D点云区域对应的物体为上述静止物体的情况下,根据任意一帧的3D点云对应的2D图像确定上述静止物体的信息,上述信息至少包括名称;第二确定模块用于在识别到上述3D点云区域对应的物体为上述运动物体的情况下,根据上述3D点云区域的形状确定上述运动物体是否为车辆,即静止物体和运动物体的3D点云区域中点的疏密程度不同,根据3D点云区域中点的疏密程度可以初步判断是静止物体或者运动物体,在识别为静止物体的情况下,将3D点云转化为2D图像,得到静止物体的信息,在识别为运动物体的情况下,根据3D点云区域的形状可以初步判断出运动物体的形状,包括判断出运动物体是否为车辆,以为物体的精准识别做基础。
本申请的一种具体的实施例中,识别模块包括第一确定子模块和第二确定子模块,第一确定子模块用于在上述3D点云区域中点的平均密度大于或者等于预定阈值的情况下,确定上述物体为上述静止物体;第二确定子模块用于在上述3D点云区域中点的平均密度小于上述预定阈值的情况下,确定上述物体为上述运动物体,即运动物体会叠加出一条轨迹,静止物体点会变得密集,可初步判断点的平均密度较大的区域为静止物体,初步判断点的平均密度较小的区域为静止物体,以为物体的精准识别做基础。
当然,本申请中的识别单元并不限于上述的模块,还可以为其他处理模块,本申请的另一种具体的实施例中,识别模块包括判断子模块、第三确定子模块和第四确定子模块,判断子模块用于判断上述3D点云区域是否包括第一区域和第二区域,上述第一区域具有第一点密度,上述第二区域具有第二点密度,且上述第一点密度大于上述第二点密度,上述第一区域和上述第二区域相邻;第三确定子模块用于在上述3D点云区域包括上述第一区域和上述第二区域的情况下,确定上述物体为上述运动物体;第四确定子模块用于在上述3D点云区域不包括上述第一区域和上述第二区域的情况下,确定上述物体为上述静止物体,即由于物体的运动,3D点云区域的至少有部分会比较密集,叠加的会把稀疏的点变得更加密集,即在3D点云区域包括相邻的第一点密度区域和第二点密度区域的情况下,确定物体为运动物体,在3D点云区域不包括相邻的第一点密度区域和第二点密度区域的情况下,确定物体为静止物体。
本申请的又一种实施例中,识别模块包括选取子模块、比较子模块、第五确定子模块和第六确定子模块,选取子模块用于从上述3D点云区域中选取多个子区域,任意相邻的两个上述子区域在长度方向上的间距大于预定距离,多个上述子区域的面积相同;比较子模块用于比较任意两个上述子区域的点密度;第五确定子模块在任意两个上述子区域之间的密度差大于或者等于预定差值的情况下,确定上述物体为上述运动物体;第六确定子模块用于在任意两个上述子区域之间的密度差小于上述预定差值的情况下,确定上述物体为上述静止物体,即从上述3D点云区域中选取多个相同面积的子区域,比较任意两个上述子区域的点密度,在任意两个上述子区域之间的密度差较大的情况下,说明由于物体的运动使得点密度发生了改变,即确定上述物体为上述运动物体,在任意两个上述子区域之间的密度差较小的情况下,说明相邻的两个上述子区域的点密度几乎不改变,即确定上述物体为上述静止物体。
需要说明的是,本申请中的3D点云区域为任一单位面积的点密度大于阈值的区域,本领域技术人员可以根据实际情况确定对应的阈值,从而确定对应的3D点云区域。
本申请中的第一确定模块可以采用任何可行的步骤来根据任意一帧的3D点云对应的2D图像确定上述静止物体的信息,本申请的一种实施例中,第一确定模块包括第七确定子模块、投影子模块、第八确定子模块和第九确定子模块,第七确定子模块用于确定任意一帧的3D点云对应的上述2D图像;投影子模块用于将上述静止物体对应的3D点云投影在上述2D图像上;第八确定子模块用于确定上述静止物体对应的3D点云投影所在的2D区域中对应的物体即为上述静止物体;第九确定子模块用于根据上述2D区域中对应的物体确定上述信息,即通过将静止物体对应的3D点云投影在2D图像上,进而根据所投影在2D图像上的信息确定上述静止物体信息。
当然,本申请的第一确定模块的处理模块并不限于上述的处理模块,本申请的另一种具体的实施例中,第一确定模块用于确定任意一帧的3D点云对应的上述2D图像;将上述2D图像投影在上述静止物体对应的3D点云上;确定投影在上述静止物体对应的3D点云上的物体即为上述静止物体;根据上述物体确定上述信息。
上述的信息不仅仅可以包括名称,还可以包括具体物体的大小、形状以及对应的型号等。
由于路上的车辆对自动驾驶汽车的驾驶的影响较大,为了更准确地识别出车辆,本申请的一种实施例中,第二确定模块包括第九确定子模块和第十确定子模块,第九确定子模块用于检测上述3D点云区域是否为带状区域;第十确定子模块用于在上述3D点云区域为带状区域的情况下,确定上述运动物体为上述车辆,即由于运动的车辆的属性,在在上述3D点云区域为带状区域的情况下,可确定运动物体为车辆。
本申请的一种实施例中,上述装置还包括第一确定单元和第二确定单元,第一确定单元用于在确定上述物体为上述车辆后,根据上述车辆对应的上述3D点云区域中点的疏密情况确定上述车辆的车头对应的区域和/或车尾对应的区域;第二确定单元用于根据上述车头对应的区域和/或上述车尾对应的区域确定上述车辆的行驶情况,即根据车头对应的区域和/或上述车尾对应的区域的信息确定车辆的行驶情况。具体地,第一确定单元可以仅确定上述车辆的车头对应的区域,第二确定单元仅根据车头对应的区域确定上述车辆的行驶情况;第一确定单元也可以进确定上述车辆的车尾对应的区域,第二确定单元根据车尾对应的区域确定上述车辆的行驶情况;第一确定单元还可以确定上述车辆的车头对应的区域和上述车辆的车尾对应的区域,第二确定单元根据车头对应的区域和上述车辆的车尾对应的区域确定上述车辆的行驶情况。
本申请的一种实施例中,第二确定单元还用于根据任意相邻的两个上述车头对应的区域之间的距离,和/或根据任意相邻的两个上述车尾对应的区域之间的距离,确定上述车辆的行驶速度,即根据所确定的相邻的两个车头对应的区域之间的距离或者相邻的两个车尾对应的区域之间的距离确定行驶速度。具体地,第二确定单元可以仅仅根据任意相邻的两个上述车头对应的区域之间的距离,确定上述车辆的行驶速度;第二确定单元也可以仅根据任意相邻的两个上述车尾对应的区域之间的距离,确定上述车辆的行驶速度;第二确定单元可以根据任意相邻的两个上述车头对应的区域之间的距离以及任意相邻的两个上述车尾对应的区域之间的距离确定上述车辆的行驶速度。
本申请的一种实施例中,第二确定单元还包括第三确定模块和第四确定模块,第三确定模块用于根据上述车头对应的区域和/或上述车尾对应的区域确定上述车辆在每一帧3D点云的标注框;第四确定模块用于根据多帧对应的多个上述标注框确定上述车辆的行驶轨迹,即根据确定的车头对应的区域和/或上述车尾对应的区域便于确定车辆的行驶轨迹。
本申请中,还可以根据车头对应的区域和车尾对应的区域来确定车辆的大小和形状,再将该大小和形状与数据库中的数据进行比较,即可确定车辆的型号等信息。
上述3D点云中物体的识别装置包括处理器和存储器,上述采集单元和识别单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高识别物体的效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现上述3D点云中物体的识别方法。
本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述3D点云中物体的识别方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S101,采集同时显示有多帧3D点云的图像;
步骤S102,根据上述图像识别上述图像中对应的物体。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S101,采集同时显示有多帧3D点云的图像;
步骤S102,根据上述图像识别上述图像中对应的物体。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
1)、本申请的识别方法,通过采集同时显示有多帧3D点云的图像,进而根据多帧3D点云的图像识别出对应的物体,本方案相对于现有技术中的识别物体的方法,其可以直接根据多帧3D点云的图像识别物体,提高了物体识别的效率和准确度。
2)、本申请的识别装置,通过采集单元采集同时显示有多帧3D点云的图像,进而识别单元从多帧3D点云的图像中识别出对应的物体,本方案相对于现有技术中的识别物体的装置,其可以直接根据多帧3D点云的图像识别物体,提高了物体识别的效率和准确度。
以上上述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种3D点云中物体的识别方法,其特征在于,包括:
采集同时显示有多帧3D点云的图像;
根据所述图像识别所述图像中对应的物体;
所述图像包括多个3D点云区域,根据所述图像识别所述图像中对应的物体,包括:
根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体;
在识别到所述3D点云区域对应的物体为所述静止物体的情况下,根据任意一帧的3D点云对应的2D图像确定所述静止物体的信息,所述信息至少包括名称;
在识别到所述3D点云区域对应的物体为所述运动物体的情况下,根据所述3D点云区域的形状确定所述运动物体是否为车辆;
根据所述3D点云区域的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体,包括:
在所述3D点云区域中点的平均密度大于或者等于预定阈值的情况下,确定所述物体为所述静止物体;
在所述3D点云区域中点的平均密度小于所述预定阈值的情况下,确定所述物体为所述运动物体;
根据所述3D点云区域的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体,包括:
判断所述3D点云区域是否包括第一区域和第二区域,所述第一区域具有第一点密度,所述第二区域具有第二点密度,且所述第一点密度大于所述第二点密度,所述第一区域和所述第二区域相邻;
在所述3D点云区域包括所述第一区域和所述第二区域的情况下,确定所述物体为所述运动物体;
在所述3D点云区域不包括所述第一区域和所述第二区域的情况下,确定所述物体为所述静止物体;
根据所述3D点云区域的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体,包括:
从所述3D点云区域中选取多个子区域,任意相邻的两个所述子区域在长度方向上的间距大于预定距离,多个所述子区域的面积相同;
比较任意两个所述子区域的点密度;
在任意两个所述子区域之间的密度差大于或者等于预定差值的情况下,确定所述物体为所述运动物体;
在任意两个所述子区域之间的密度差小于所述预定差值的情况下,确定所述物体为所述静止物体;
在确定所述物体为所述车辆后,所述方法还包括:
根据所述车辆对应的所述3D点云区域中点的疏密情况确定所述车辆的车头对应的区域和/或车尾对应的区域;
根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆的行驶情况;
根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆的行驶情况,包括:
根据任意相邻的两个所述车头对应的区域之间的距离,和/或根据任意相邻的两个所述车尾对应的区域之间的距离,确定所述车辆的行驶速度;
根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆的行驶情况,包括:
根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆在每一帧3D点云的标注框;
根据多帧对应的多个所述标注框确定所述车辆的行驶轨迹。
2.根据权利要求1所述的方法,其特征在于,根据任意一帧的3D点云对应的2D图像确定所述静止物体的信息,包括:
确定任意一帧的3D点云对应的所述2D图像;
将所述静止物体对应的3D点云投影在所述2D图像上;
确定所述静止物体对应的3D点云投影所在的2D区域中对应的物体即为所述静止物体;
根据所述2D区域中对应的物体确定所述信息。
3.根据权利要求1所述的方法,其特征在于,在识别到所述3D点云区域对应的物体为所述运动物体的情况下,根据所述3D点云区域的形状确定所述运动物体是否为车辆,包括:
检测所述3D点云区域是否为带状区域;
在所述3D点云区域为带状区域的情况下,确定所述运动物体为所述车辆。
4.根据权利要求1所述的方法,其特征在于,多帧3D点云为连续的多帧3D点云。
5.一种3D点云中物体的识别方法,其特征在于,包括:
采集同时显示有多帧3D点云的图像,所述图像包括多个3D点云区域;
根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体;
在识别到所述3D点云区域对应的物体为所述静止物体的情况下,根据任意一帧的3D点云对应的2D图像确定所述静止物体的信息,所述信息至少包括名称;
在识别到所述3D点云区域对应的物体为所述运动物体的情况下,根据所述3D点云区域的形状确定所述运动物体是否为车辆。
6.一种3D点云中物体的识别装置,其特征在于,包括:
采集单元,用于采集同时显示有多帧3D点云的图像;
识别单元,用于根据所述图像识别所述图像中对应的物体;
所述图像包括多个3D点云区域,所述识别单元包括:
识别模块,用于根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物体为静止物体或者运动物体;
第一确定模块,用于在识别到所述3D点云区域对应的物体为所述静止物体的情况下,根据任意一帧的3D点云对应的2D图像确定所述静止物体的信息,所述信息至少包括名称;
第二确定模块,用于在识别到所述3D点云区域对应的物体为所述运动物体的情况下,根据所述3D点云区域的形状确定所述运动物体是否为车辆;
所述识别模块包括:
第一确定子模块,用于在所述3D点云区域中点的平均密度大于或者等于预定阈值的情况下,确定所述物体为所述静止物体;
第二确定子模块,用于在所述3D点云区域中点的平均密度小于所述预定阈值的情况下,确定所述物体为所述运动物体;
所述识别模块还包括:
判断子模块,用于判断所述3D点云区域是否包括第一区域和第二区域,所述第一区域具有第一点密度,所述第二区域具有第二点密度,且所述第一点密度大于所述第二点密度,所述第一区域和所述第二区域相邻;
第三确定子模块,用于在所述3D点云区域包括所述第一区域和所述第二区域的情况下,确定所述物体为所述运动物体;
第四确定子模块,用于在所述3D点云区域不包括所述第一区域和所述第二区域的情况下,确定所述物体为所述静止物体;
所述识别模块还包括:
选取子模块,用于从所述3D点云区域中选取多个子区域,任意相邻的两个所述子区域在长度方向上的间距大于预定距离,多个所述子区域的面积相同;
比较子模块,用于比较任意两个所述子区域的点密度;
第五确定子模块,用于在任意两个所述子区域之间的密度差大于或者等于预定差值的情况下,确定所述物体为所述运动物体;
第六确定子模块,用于在任意两个所述子区域之间的密度差小于所述预定差值的情况下,确定所述物体为所述静止物体;
所述装置还包括:
第一确定单元,用于根据所述车辆对应的所述3D点云区域中点的疏密情况确定所述车辆的车头对应的区域和/或车尾对应的区域;
第二确定单元,用于根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆的行驶情况;
所述第二确定单元还用于:
根据任意相邻的两个所述车头对应的区域之间的距离,和/或根据任意相邻的两个所述车尾对应的区域之间的距离,确定所述车辆的行驶速度;
所述第二确定单元还包括:
第三确定模块,用于根据所述车头对应的区域和/或所述车尾对应的区域确定所述车辆在每一帧3D点云的标注框;
第四确定模块,用于根据多帧对应的多个所述标注框确定所述车辆的行驶轨迹。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至5中任意一项所述的方法。
8.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329261.3A CN111523475B (zh) | 2020-04-23 | 2020-04-23 | 3d点云中物体的识别方法、装置、存储介质和处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329261.3A CN111523475B (zh) | 2020-04-23 | 2020-04-23 | 3d点云中物体的识别方法、装置、存储介质和处理器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111523475A CN111523475A (zh) | 2020-08-11 |
CN111523475B true CN111523475B (zh) | 2023-12-19 |
Family
ID=71910529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010329261.3A Active CN111523475B (zh) | 2020-04-23 | 2020-04-23 | 3d点云中物体的识别方法、装置、存储介质和处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111523475B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542575A (zh) * | 2011-12-06 | 2012-07-04 | 苏州希图视鼎微电子有限公司 | 基于运动向量投影的静止物体和运动背景区域的检测方法及装置 |
CN103425958A (zh) * | 2012-05-24 | 2013-12-04 | 信帧电子技术(北京)有限公司 | 一种视频中不动物检测的方法 |
CN106709475A (zh) * | 2017-01-22 | 2017-05-24 | 百度在线网络技术(北京)有限公司 | 障碍物识别方法及装置、计算机设备及可读存储介质 |
CN106934347A (zh) * | 2017-02-10 | 2017-07-07 | 百度在线网络技术(北京)有限公司 | 障碍物识别方法及装置、计算机设备及可读介质 |
CN108460791A (zh) * | 2017-12-29 | 2018-08-28 | 百度在线网络技术(北京)有限公司 | 用于处理点云数据的方法和装置 |
CN110211388A (zh) * | 2019-05-27 | 2019-09-06 | 武汉万集信息技术有限公司 | 基于3d激光雷达的多车道自由流车辆匹配方法及系统 |
CN110363822A (zh) * | 2018-04-11 | 2019-10-22 | 上海交通大学 | 一种3d点云压缩方法 |
CN110789518A (zh) * | 2018-08-01 | 2020-02-14 | 北京图森未来科技有限公司 | 一种停车控制方法、停车服务器、车辆控制器和车辆 |
-
2020
- 2020-04-23 CN CN202010329261.3A patent/CN111523475B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542575A (zh) * | 2011-12-06 | 2012-07-04 | 苏州希图视鼎微电子有限公司 | 基于运动向量投影的静止物体和运动背景区域的检测方法及装置 |
CN103425958A (zh) * | 2012-05-24 | 2013-12-04 | 信帧电子技术(北京)有限公司 | 一种视频中不动物检测的方法 |
CN106709475A (zh) * | 2017-01-22 | 2017-05-24 | 百度在线网络技术(北京)有限公司 | 障碍物识别方法及装置、计算机设备及可读存储介质 |
CN106934347A (zh) * | 2017-02-10 | 2017-07-07 | 百度在线网络技术(北京)有限公司 | 障碍物识别方法及装置、计算机设备及可读介质 |
CN108460791A (zh) * | 2017-12-29 | 2018-08-28 | 百度在线网络技术(北京)有限公司 | 用于处理点云数据的方法和装置 |
CN110363822A (zh) * | 2018-04-11 | 2019-10-22 | 上海交通大学 | 一种3d点云压缩方法 |
CN110789518A (zh) * | 2018-08-01 | 2020-02-14 | 北京图森未来科技有限公司 | 一种停车控制方法、停车服务器、车辆控制器和车辆 |
CN110211388A (zh) * | 2019-05-27 | 2019-09-06 | 武汉万集信息技术有限公司 | 基于3d激光雷达的多车道自由流车辆匹配方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111523475A (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109087510B (zh) | 交通监测方法及装置 | |
CN110785719A (zh) | 在自动驾驶车辆中用于经由交叉时态验证的即时物体标记的方法和系统 | |
CN110869559A (zh) | 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统 | |
CN110799982A (zh) | 用于自动驾驶车辆中的以物体为中心的立体视觉的方法和系统 | |
Ohgushi et al. | Road obstacle detection method based on an autoencoder with semantic segmentation | |
CN109583393B (zh) | 一种车道线端点识别方法及装置、设备、介质 | |
CN111027539A (zh) | 一种基于空间位置信息的车牌字符分割方法 | |
CN111027535A (zh) | 一种车牌识别方法及相关设备 | |
CN104298947A (zh) | 一种对二维条码精确定位的方法及装置 | |
CN113807333A (zh) | 用于检测车道线的数据处理方法及存储介质 | |
CN111898659A (zh) | 一种目标检测方法及系统 | |
CN109102026A (zh) | 一种车辆图像检测方法、装置及系统 | |
CN112699711A (zh) | 车道线检测方法、装置、存储介质及电子设备 | |
CN112498369B (zh) | 车辆的控制方法、控制装置、处理器和车辆 | |
CN111881752B (zh) | 一种护栏检测分类方法、装置、电子设备及存储介质 | |
CN111523475B (zh) | 3d点云中物体的识别方法、装置、存储介质和处理器 | |
CN117269952A (zh) | 一种4d成像毫米波雷达动目标点云半自动标注方法及装置 | |
CN110555344B (zh) | 车道线识别方法、装置、电子设备、存储介质 | |
CN114037976A (zh) | 一种道路交通标志识别方法及装置 | |
CN114140773A (zh) | 一种地面标识的类别确认方法、装置及车辆 | |
CN110874935B (zh) | 识别车辆车牌的方法、系统及装置 | |
CN111539326B (zh) | 运动信息的确定方法、确定装置、存储介质和处理器 | |
CN112597960A (zh) | 图像的处理方法、处理装置与计算机可读存储介质 | |
CN114782927B (zh) | 障碍物检测方法、装置、电子设备及存储介质 | |
CN115439484B (zh) | 基于4d点云的检测方法、装置、存储介质及处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |