CN117636291A - 确定对象的包围盒的方法、装置、电子设备和存储介质 - Google Patents
确定对象的包围盒的方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117636291A CN117636291A CN202210983823.5A CN202210983823A CN117636291A CN 117636291 A CN117636291 A CN 117636291A CN 202210983823 A CN202210983823 A CN 202210983823A CN 117636291 A CN117636291 A CN 117636291A
- Authority
- CN
- China
- Prior art keywords
- bounding box
- template
- initial
- standard
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012937 correction Methods 0.000 claims description 45
- 230000004044 response Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种确定对象的包围盒的方法,涉及人工智能技术领域,尤其涉及自动驾驶、智能交通、计算机视觉、深度学习和高精地图技术领域。具体实现方案为:从点云数据中识别目标对象,得到目标对象的类型以及包裹目标对象的点云的初始包围盒;根据类型,确定与目标对象对应的模板包围盒;以及根据模板包围盒与初始包围盒之间的差异,确定目标对象的目标包围盒。本公开还提供了一种确定对象的包围盒的装置、电子设备和存储介质。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及自动驾驶、智能交通、计算机视觉、深度学习和高精地图技术领域。更具体地,本公开提供了一种确定对象的包围盒的方法、装置、电子设备和存储介质。
背景技术
确定目标对象的包围盒是指通过使用特性简单、体积稍大的几何体来近似地代替复杂的目标对象。包围盒在高精地图制作、障碍物的碰撞检测和目标对象的控制规划等领域有着重要作用。
发明内容
本公开提供了一种确定对象的包围盒的方法、装置、设备以及存储介质。
根据第一方面,提供了一种确定对象的包围盒的方法,该方法包括:从点云数据中识别目标对象,得到目标对象的类型以及包裹目标对象的点云的初始包围盒;根据类型,确定与目标对象对应的模板包围盒;以及根据模板包围盒与初始包围盒之间的差异,确定目标对象的目标包围盒。
根据第二方面,提供了一种确定对象的包围盒的装置,该装置包括:识别模块,用于从点云数据中识别目标对象,得到目标对象的类型以及包裹目标对象的点云的初始包围盒;第一确定模块,用于根据类型,确定与目标对象对应的模板包围盒;以及第二确定模块,用于根据模板包围盒与初始包围盒之间的差异,确定目标对象的目标包围盒。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开提供的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。
根据第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是相关技术中确定道路中信号灯的包围盒的示意图;
图2是根据本公开的一个实施例的确定对象的包围盒的方法的流程图;
图3是根据本公开的一个实施例的包围盒的示意图;
图4A~4B是根据本公开的一个实施例的交通道路设施包围盒的示意图;
图5是根据本公开的另一个实施例的确定对象的包围盒的方法的流程图;
图6是根据本公开的一个实施例的确定对象的包围盒的效果图;
图7是根据本公开的另一个实施例的确定对象的包围盒的效果图;
图8是根据本公开的一个实施例的确定对象的包围盒的装置的框图;
图9是根据本公开的一个实施例的确定对象的包围盒的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
道路交通标志标牌、信号灯等设施的三维可视化是智慧交通、智慧城市的基础需求。三维可视化可以是指使用立方体包围盒来表示道路两侧的交通标志标牌、信号灯、电子眼以及相关支撑杆件等设施,并对各设施的包围盒进行不同颜色的渲染,以便区分各设施。包围盒可以是通过点云识别得到的,但是由于点云存在零散、分层、遮挡缺失等情况,通过点云识别提取出来的包围盒的几何尺寸与目标对象的实地尺寸存在偏差。
图1是相关技术中确定道路中信号灯的包围盒的示意图。
如图1所示,信号灯110、120、130是真实道路场景中的信号灯。自动驾驶车辆行驶至该真实场景时,可以通过激光雷达探测器对真实场景进行扫描得到该真实场景的点云数据。通过对该真实道路场景的点云数据进行识别,可以确定信号灯110、120、130各自的包围盒。
例如包围盒111是信号灯110的识别结果,包围盒121是信号灯120的识别结果,围盒131、132是信号灯130的识别结果。
可以理解,包围盒111完整包裹住了信号灯110的点云,且包围盒111的尺寸与信号灯110的实际尺寸相一致,可以认为信号灯110的识别结果准确。包围盒121并未完全将信号灯120的点云包裹起来,因此,信号灯120的识别结果不准确。包围盒131、132则是将信号灯130识别成了两个目标对象,并且包围盒131、132也均未将信号灯130的点云包裹起来,因此信号灯130的识别结果并不准确。由于包围盒121、包围盒131以及包围盒132与各自对应的实体信号灯不匹配,因此需要对这些包围盒进行修正。
目前一般采用人工修正的方式来修正包围盒的长宽高尺寸,使得目标对象的包围盒与目标对象的实体相一致,但是目标对象的包围盒是批量产生的,导致投入较多人力成本。
图2是根据本公开的一个实施例的确定对象的包围盒的方法的流程图。
如图2所示,该确定对象的包围盒的方法200可以包括操作S210~操作S230。
在操作S210,从点云数据中识别目标对象,得到目标对象的类型以及包裹目标对象的点云的初始包围盒。
例如,点云数据可以是安装于自动驾驶车辆上的激光雷达探测器对真实道路场景进行扫描得到的三维矢量数据。该真实道路场景可以包括交通标志标牌、信号灯、电子眼、支撑杆件等设施(可以称为目标对象)。因此,点云数据包含这些目标对象的点云。可以通过点云识别确定各个目标对象的点云集合,针对每个点云集合,可以利用求解离散点集最优包围空间的算法来确定用于包围该点云集合的几何体(例如立方体),可以将该几何体作为对应目标对象的初始包围盒。
针对真实道路场景,还可以采集图像数据。可以将识别出的点云数据中的各个目标对象与图像中的各个目标对象进行关联。通过图像识别各个目标对象的类型,根据图像识别出的各个目标对象的类型,来确定点云数据中关联的目标对象的类型。目标对象的类型例如包括各种交通标志标牌,例如禁令标志、警告标志等,还可以包括各种信号灯,例如机动车信号灯、人行横道信号灯等。
例如,点云数据中的目标对象A与图像数据中的目标对象A’相关联,通过图像识别确定目标对象A’的类型为机动车信号灯,可以确定点云数据中的目标对象A的类型为机动车信号灯。
在操作S220,根据目标对象的类型确定与该目标对象对应的模板包围盒。
例如,模板包围盒可以来自于模板库,模板库可以包括多个类型的目标对象的模板包围盒。模板包围盒具有标准尺寸,标准尺寸可以是根据各类型设施的安装标准确定的,也可以是根据实地测量确定的。
例如,模板库可以包括各种交通标志标牌的模板包围盒,交通标志标牌的模板包围盒具有交通标志标牌的标准尺寸。模板库还可以包括各种信号灯的模板包围盒,信号灯的模板包围盒具有信号灯的标准尺寸。模板库还可以包括其他设施例如电子眼以及支撑杆件等设施的模板包围盒,本实施例不再一一列举。
例如,针对类型是机动车信号灯的目标对象,可以从模板库中获取机动车信号灯的模板包围盒。机动车信号灯的模板包围盒具有机动车信号灯的标准尺寸。例如机动车信号灯的标准尺寸为标准长度150cm,标准宽度40cm以及标准高度60cm。
在操作S230,根据模板包围盒与初始包围盒之间的差异,确定目标对象的目标包围盒。
例如,目标对象的初始包围盒具有中心点坐标以及初始尺寸,初始尺寸包括初始长度、初始宽度以及初始高度。目标对象的模板包围盒可以包括标准尺寸,标准尺寸包括标准长度、标准宽度和标准高度。
目标对象的初始尺寸和标准尺寸之间可能具有偏差,如果偏差较小(例如长度差异、宽度差异或高度差异中的至少之一小于5cm),可以确定目标对象的初始包围盒识别准确。如果偏差较大(例如长度差异、宽度差异或高度差异均大于5cm),可以确定目标对象的初始包围盒识别错误。
针对初始包围盒识别错误的目标对象,可以使用标准包围盒进行纠正。例如,以初始包围盒的中心点为中点,以对应标准包围盒的标准长度、标准宽度和标准高度为长宽高,生成新包围盒(目标包围盒)。
例如,目标对象“机动车信号灯”的初始包围盒的中心点坐标为(x,y,z),初始尺寸包括初始长度110cm,初始宽度50cm,初始高度50cm。机动车信号灯的标准尺寸包括标准长度150cm,标准宽度40cm以及标准高度60cm。由于初始包围盒与标准包围盒的长度差异、宽度差异或高度差异均大于5cm,因此,可以以中心点坐标为(x,y,z)为中心,以标准长度150cm,标准宽度40cm以及标准高度60cm为新长宽高,得到目标包围盒。
可以理解,相比于初始包围盒,经过模板包围盒修正的目标包围盒与目标对象的实体相一致,因此精度更高。目标包围盒还可以用于目标对象的可视化渲染、自动驾驶车辆的定位以及设施管理等。
本实施例针对目标对象,通过使用具有标准尺寸的模板包围盒修正点云识别出的初始包围盒,能够得到目标对象的目标包围盒,提高了目标对象的包围盒的精度。
图3是根据本公开的实施例的包围盒的示意图。
如图3所示,箭头301指示的方向可以表示自动驾驶车辆在道路302上的行驶方向,也可以作为道路302的延伸方向。包围盒303可以与地面平行(俯仰角是0度)。
包围盒303包括多个面,多个面中与自动驾驶车辆的行驶方向(箭头301指示的方向)相对的面(例如点A、B、F所在的面)可以作为包围盒303的正面。
包围盒303的边AB与道路延伸方向垂直,可以作为包围盒303的长。包围盒303的边BC与道路302平行,可以作为包围盒303的宽。包围盒303的边BF与地面垂直,可以作为包围盒303的高。
下面对模板库的构建进行详细说明。
根据本公开的实施例,模板库可以是根据道路交通标志标牌、信号灯、电子眼以及支撑杆件等设施的相关设计和安装标准,以及大量样本数据的归类计算结果进行构建的。
例如,将道路中的各设施按照类型进行划分,可以分为基本类型和子类型。基本类型例如包括交通标志标牌、信号灯、电子眼以及支撑杆件等。各基本类型可以继续划分多个子类型,例如交通标志标牌的子类型包括禁令标志、警告标志、限速标志等。信号灯的子类型可以包括机动车信号灯、人行横道信号灯等。
可以根据各个子类型的目标对象的安装标准或规范,确定各目标对象的标准尺寸,将标准尺寸作为模板包围盒的尺寸。例如车速在100-120km/h的限速标牌的标准尺寸为直径120cm(可以作为长度和高度),宽度为10cm。可以确定车速在100-120km/h的限速标牌的模板包围的尺寸为长度120cm、宽度10cm,高度120cm。
各基本类型以及子类型的目标对象的模板包围盒可以添加到模板库中。对于没有安装标准或规范的设施,可以根据设施的实际建设和安装情况进行调研,得到实地采集的各设施样本的实际尺寸。可以针对大量设施样本的尺寸进行统计和归类,得到各设施的标准尺寸,确定各设施的模板包围盒,并添加到模板库中。
表1是根据本公开的一个实施例的模板库的示例。
表1
如表1所示,每个基本类型可以有各自的标号,例如基本类型“交通标志标牌”的编号为1,基本类型“信号灯”的编号为2。每个子类型也有各自的编号,例如子类型“禁令标志”的编号为11,子类型“警告标志”的编号为12。等等
每个子类型可以包括至少一个模板包围盒,可以称为模板子库。每个模板包围盒也具有各自的编号,且具有长宽高尺寸。例如子类型“禁令标志”包括编号为11001的模板包围盒以及编号为11002的模板包围盒。编号为11001的模板包围盒的长宽高分别是120cm、10cm、120cm。编号为11002的模板包围盒的长宽高分别是80cm、10cm、80cm。
相同子类型的目标对象可以有多个模板包围盒。一方面是由于相同类型的目标对象的设置方向不同(例如横向设置或竖向设置)造成的,另一方面是由于相同类型的目标对象在不同道路上或不同限速情况下的安装标准不同造成的。例如相同的禁令标志在高速公路和在普通道路上的安装标准不同,在不同限速条件下的安装标准也不同。因此,该禁令标志的模板包围盒可以包括与高速公路对应的模板包围盒、与普通道路对应的模板包围盒、与不同限速条件下的模板包围盒等。
图4A~4B是根据本公开的一个实施例的交通道路设施包围盒的示意图。
如图4A所示,限速标志410的模板包围盒的标准尺寸与限速标志410的实际尺寸相匹配。例如模板包围盒的标准长度为120cm长度,标准宽度为10cm,标准高度为120cm。
如图4B所示,机动车信号灯420为竖向设置的信号灯,该机动车信号灯420的模板包围盒的标准长度为60cm,标准宽度为40cm,标准高度为150cm。
图5是根据本公开的另一个实施例的确定对象的包围盒的方法的流程图。
如图5所示,本实施例包括操作S510~操作S580。
在操作S510,从点云数据中识别目标对象,得到目标对象的类型以及包裹目标对象的点云的初始包围盒。
操作S510的具体实现方式与上文中操作S210的具体实现方式类似,这里不再赘述。操作S510输出的目标对象的初始包围盒可以具有中心点坐标(x,y,z),以及初始长度(记为AB’)、初始宽度记为(BC’)以及初始高度(记为BF’)。
操作S520,根据目标对象的类型从模板库中获取与该类型对应的至少一个模板包围盒。
例如,模板库可以如表(1)所示,本实施例的类型可以是指表(1)所示模板库中的子类型,每个子类型可以包括至少一个模板包围盒。
例如,目标对象的子类型为禁令标志(11),可以确定与该目标对象对应的模板包围盒包括编号为11001的模板包围盒以及编号为11002的模板包围盒。模板包围盒具有标准长度(记为AB)、标准宽度(记为BC)以及标准高度(记为BF)。
操作S530,计算初始包围盒与每个模板包围盒之间的尺寸差异。
例如,针对每个模板包围盒,可以计算初始包围盒与该模板包围盒之间长度差异DVAB=AB-AB’、宽度差异DVBC=BC-BC’以及高度差异DVBF=BF-BF’。因此,可以得到与多个模板包围盒各自对应的多个差异组(DVAB、DVBC、DVBF)。
操作S540,确定与初始包围盒之间差异最小的模板包围盒,作为参考包围盒。
由于模板包围盒有多个,可以确定其中一个作为参考包围盒。
一种确定参考包围盒的方式,可以以DVAB为标准,确定与初始包围盒之间DVAB最小的模板包围盒作为参考包围盒。类似地,也可以以DVBC为标准,确定与初始包围盒之间DVBC最小的模板包围盒作为参考包围盒。类似地,也可以以DVBF为标准,确定与初始包围盒之间DVBF最小的模板包围盒作为参考包围盒。
一种确定参考包围盒的方式,可以以DVAB、DVBC以及DVBF中任两者的平均值或者三者的平均值为参考,确定与初始包围盒之间差异平均值最小的模板包围盒作为参考包围盒。
可以理解,确定参考包围盒的方式不限于上述所列举的几种,可以根据实际需求进行调整。
操作S550,判断初始包围盒与参考包围盒之间的尺寸差异是否小于第一阈值,若是,则执行操作S560,否则执行操作S570~操作S580。
例如,初始包围盒与参考包围盒之间的尺寸差异可以表示为差异组(DVAB、DVBC、DVBF),可以根据该差异组确定用于判断尺寸差异是否小于第一阈值的多种判定条件。
一种判定条件,可以是判断DVAB、DVBC、DVBF中的至少之一是否小于第一阈值(例如5cm)。例如,DVAB、DVBC、DVBF中至少之一小于第一阈值,可以确定初始包围盒与参考包围盒之间的尺寸差异小于第一阈值。DVAB、DVBc、DVBF均大于第一阈值,可以确定初始包围盒与参考包围盒之间的尺寸差异不小于第一阈值。
例如,为提高包围盒精度,另一种判定条件,可以是判断DVAB、DVBC、DVBF是否均小于第一阈值。例如,DVAB、DVBC、DVBF均小于第一阈值,可以确定初始包围盒与参考包围盒之间的尺寸差异小于第一阈值。DVAB、DVBC、DVBF中的之一大于第一阈值,可以确定初始包围盒与参考包围盒之间的尺寸差异不小于第一阈值。
用于判断尺寸差异是否小于第一阈值的判定条件不限于上述所列举的几种,可以根据实际需求调整。
操作S560,根据初始包围盒的中心点坐标以及参考包围盒的标准尺寸,确定目标包围盒。
例如,在确定初始包围盒与参考包围盒之间的尺寸差异小于第一阈值的情况下,可以以初始包围盒的中心点坐标为中点,以参考包围盒的标准长度、标准宽度和标准高度为长宽高,生成新包围盒。
例如,目标对象的子类型为禁令标志(11),并确定编号为11002的模板包围盒为参考包围盒。可以以目标对象的初始包围盒的中心点坐标为中心,以编号为11002的模板包围盒的长宽高80cm、10cm、80cm作为新尺寸,生成新包围盒(目标包围盒)。
操作S570,确定基于人工修正的修正包围盒,作为目标包围盒。
例如,在确定初始包围盒与参考包围盒之间的尺寸差异不小于第一阈值的情况下,可以确定初始包围盒的误差较大。因此可以引入人工修正,得到基于人工修正的修正包围盒。该修正包围盒可以作为目标对象的目标包围盒。
操作S580,基于人工修正的修正包围盒,确定新模板包围盒。
可以理解,在生成的大量初始包围盒中,需要进行人工修正的初始包围盒可能是由于点云识别的误差较大造成的,这类修正包围盒可以称为第一类修正包围盒。也可能是由于模板库中未包含对应的模板包围盒造成的,这类修正包围盒可以称为第二类修正包围盒。
因此,可以从基于人工修正得到的修正包围盒集合中,确定是否存在第二类修正包围盒。具体实现方式可以包括获取基于人工修正的修正包围盒集合,确定修正包围盒集合中彼此之间的尺寸差异小于第二阈值(例如小于3cm)的多个目标修正包围盒。该多个目标修正包围盒的数量若大于第三阈值(例如10个),说明该类修正包围盒出现概率高,但是由于模板库中没有对应模板,导致无法自动修正。因此这些修正包围盒可以作为第二类修正包围盒。
对于第二类修正包围盒,可以确定各个第二类修正包围盒的尺寸的平均值作为新模板包围盒的标准尺寸,可以将新模板包围盒添加到模板库中,能够更新模板库。
本公开实施例可以自动监控人工修正的包围盒中属于同一类型的目标包围盒(彼此之间尺寸差异小于第二阈值)的数量是否大于第三阈值,若大于第三阈值,可以自动生成该类型的模板包围盒,能够针对一些模板库中没有统计到的设施自动生成包围盒,并更新模板库。
图6是根据本公开的一个实施例的确定对象的包围盒的效果图。
如图6所示,包围盒610’可以是通过点云识别得到的信号灯的初始包围盒,包围盒610是使用模板库对包围盒610’进行自动修正后得到的目标包围盒。类似地,包围盒620’可以是通过点云识别得到的警告标志的初始包围盒,包围盒620是使用模板库对包围盒620’进行自动修正后得到的目标包围盒。包围盒630’可以是通过点云识别得到的横向支撑杆的初始包围盒,包围盒630是使用模板库对包围盒630’进行自动修正后得到的目标包围盒。包围盒640’可以是通过点云识别得到的纵向支撑杆的初始包围盒,包围盒640是使用模板库对包围盒640’进行自动修正后得到的目标包围盒。
可以理解,包围盒610’与包围盒610的中心点坐标没有变化,仅尺寸发生了变化。类似地,包围盒620’与包围盒620的中心点坐标没有变化,仅尺寸发生了变化。包围盒630’与包围盒630的中心点坐标没有变化,仅尺寸发生了变化。包围盒640’与包围盒640的中心点坐标没有变化,仅尺寸发生了变化。
图7是根据本公开的另一个实施例的确定对象的包围盒的效果图。
如图7所示,包围盒710’可以是通过点云识别得到的信号灯的初始包围盒,该初始包围盒准确性较高,包围盒710可以是未对包围盒710’进行调整,或者是使用模板库对包围盒710’进行微调后得到的目标包围盒。
包围盒720’可以是通过点云识别得到的信号灯的初始包围盒,包围盒720是使用模板库对包围盒720’进行自动修正后得到的目标包围盒。可以理解,相比于包围盒720’,包围盒720完全将信号灯的点云包裹起来了。
包围盒730’和740’可以是通过点云识别得到的同一信号灯的初始包围盒,该初始包围盒的识别误差较大,可以基于人工修正得到包围盒730。
图8是根据本公开的一个实施例的确定对象的包围盒的装置的框图。
如图8所示,该确定对象的包围盒的装置800包括识别模块801、第一确定模块802以及第二确定模块803。
识别模块801用于从点云数据中识别目标对象,得到目标对象的类型以及包裹目标对象的点云的初始包围盒。
第一确定模块802用于根据类型,确定与目标对象对应的模板包围盒。
第二确定模块803用于根据模板包围盒与初始包围盒之间的差异,确定目标对象的目标包围盒。
初始包围盒具有中心点坐标和初始尺寸,模板包围盒具有标准尺寸;第二确定模块803用于响应于初始尺寸与标准尺寸之间的差异小于第一阈值,根据中心点坐标和标准尺寸,生成目标包围盒。
初始尺寸包括初始包围盒的初始长度、初始宽度和初始高度;标准尺寸包括模板包围盒的标准长度、标准宽度和标准高度;第二确定模块包括:长度差异确定单元、宽度差异确定单元、高度差异确定单元以及第一目标包围盒确定单元。
长度差异确定单元用于确定初始长度与标准长度之间的长度差异。
宽度差异确定单元用于确定初始宽度与标准宽度之间的宽度差异。
高度差异确定单元用于确定初始高度与标准高度之间的高度差异。
第一目标包围盒确定单元用于响应于长度差异、宽度差异和高度差异中的至少之一小于第一阈值,根据中心点坐标、标准长度、标准宽度和标准高度,生成目标包围盒。
模板包围盒包括多个模板包围盒;第二确定模块包括参考包围盒确定单元和第二目标包围盒确定单元。
参考包围盒确定单元用于确定多个模板包围盒中标准尺寸与初始尺寸之间的差异最小的模板包围盒,作为参考包围盒。
第二目标包围盒确定单元用于响应于初始尺寸与参考包围盒的标准尺寸之间的差异小于第一阈值,根据中心点坐标和参考包围盒的标准尺寸,确定目标包围盒。
第一确定模块用于根据类型,从模板库中获取与类型对应的至少一个模板包围盒,其中,模板库包括多个类型的模板子库,每个模板子库包括至少一个模板包围盒。
根据本公开的实施例,确定对象的包围盒的装置800还包括获取模块、第三确定模块、第四确定模块以及更新模块。
获取模块用于获取基于人工修正的修正包围盒集合。
第三确定模块用于确定修正包围盒集合中彼此之间的尺寸差异小于第二阈值的多个目标修正包围盒。
第四确定模块用于响应于多个目标修正包围盒的数量大于第三阈值,根据多个目标修正包围盒的尺寸,确定新模板包围盒。
更新模块用于将新模板包围盒添加到模板库中。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如确定对象的包围盒的方法。例如,在一些实施例中,确定对象的包围盒的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的确定对象的包围盒的方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行确定对象的包围盒的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (15)
1.一种确定对象的包围盒的方法,包括:
从点云数据中识别目标对象,得到所述目标对象的类型以及包裹所述目标对象的点云的初始包围盒;
根据所述类型,确定与所述目标对象对应的模板包围盒;以及
根据所述模板包围盒与所述初始包围盒之间的差异,确定所述目标对象的目标包围盒。
2.根据权利要求1所述的方法,其中,所述初始包围盒具有中心点坐标和初始尺寸,所述模板包围盒具有标准尺寸;所述根据所述模板包围盒与所述初始包围盒之间的差异,确定所述目标对象的目标包围盒包括:
响应于所述初始尺寸与所述标准尺寸之间的差异小于第一阈值,根据所述中心点坐标和所述标准尺寸,生成所述目标包围盒。
3.根据权利要求2所述的方法,其中,所述初始尺寸包括所述初始包围盒的初始长度、初始宽度和初始高度;所述标准尺寸包括所述模板包围盒的标准长度、标准宽度和标准高度;所述响应于所述初始尺寸与所述标准尺寸之间的差异小于第一阈值,根据所述中心点坐标和所述标准尺寸,生成所述目标包围盒包括:
确定所述初始长度与所述标准长度之间的长度差异;
确定所述初始宽度与所述标准宽度之间的宽度差异;
确定所述初始高度与所述标准高度之间的高度差异;以及
响应于所述长度差异、所述宽度差异和所述高度差异中的至少之一小于所述第一阈值,根据所述中心点坐标、所述标准长度、所述标准宽度和所述标准高度,生成所述目标包围盒。
4.根据权利要求2所述的方法,其中,所述模板包围盒包括多个模板包围盒;所述根据所述模板包围盒与所述初始包围盒之间的差异,确定所述目标对象的目标包围盒包括:
确定所述多个模板包围盒中标准尺寸与所述初始尺寸之间的差异最小的模板包围盒,作为参考包围盒;
响应于所述初始尺寸与所述参考包围盒的标准尺寸之间的差异小于所述第一阈值,根据所述中心点坐标和所述参考包围盒的标准尺寸,确定所述目标包围盒。
5.根据权利要求1所述的方法,其中,所述根据所述类型,确定与所述目标对象对应的模板包围盒包括:
根据所述类型,从模板库中获取与所述类型对应的至少一个模板包围盒,其中,所述模板库包括多个类型的模板子库,每个模板子库包括至少一个模板包围盒。
6.根据权利要求5所述的方法,还包括:
获取基于人工修正的修正包围盒集合;
确定所述修正包围盒集合中彼此之间的尺寸差异小于第二阈值的多个目标修正包围盒;
响应于所述多个目标修正包围盒的数量大于第三阈值,根据所述多个目标修正包围盒的尺寸,确定新模板包围盒;以及
将所述新模板包围盒添加到所述模板库中。
7.一种确定对象的包围盒的装置,包括:
识别模块,用于从点云数据中识别目标对象,得到所述目标对象的类型以及包裹所述目标对象的点云的初始包围盒;
第一确定模块,用于根据所述类型,确定与所述目标对象对应的模板包围盒;以及
第二确定模块,用于根据所述模板包围盒与所述初始包围盒之间的差异,确定所述目标对象的目标包围盒。
8.根据权利要求7所述的装置,其中,所述初始包围盒具有中心点坐标和初始尺寸,所述模板包围盒具有标准尺寸;所述第二确定模块用于响应于所述初始尺寸与所述标准尺寸之间的差异小于第一阈值,根据所述中心点坐标和所述标准尺寸,生成所述目标包围盒。
9.根据权利要求8所述的装置,其中,所述初始尺寸包括所述初始包围盒的初始长度、初始宽度和初始高度;所述标准尺寸包括所述模板包围盒的标准长度、标准宽度和标准高度;所述第二确定模块包括:
长度差异确定单元,用于确定所述初始长度与所述标准长度之间的长度差异;
宽度差异确定单元,用于确定所述初始宽度与所述标准宽度之间的宽度差异;
高度差异确定单元,用于确定所述初始高度与所述标准高度之间的高度差异;以及
第一目标包围盒确定单元,用于响应于所述长度差异、所述宽度差异和所述高度差异中的至少之一小于所述第一阈值,根据所述中心点坐标、所述标准长度、所述标准宽度和所述标准高度,生成所述目标包围盒。
10.根据权利要求8所述的装置,其中,所述模板包围盒包括多个模板包围盒;所述第二确定模块包括:
参考包围盒确定单元,用于确定所述多个模板包围盒中标准尺寸与所述初始尺寸之间的差异最小的模板包围盒,作为参考包围盒;
第二目标包围盒确定单元,用于响应于所述初始尺寸与所述参考包围盒的标准尺寸之间的差异小于所述第一阈值,根据所述中心点坐标和所述参考包围盒的标准尺寸,确定所述目标包围盒。
11.根据权利要求7所述的装置,其中,所述第一确定模块用于根据所述类型,从模板库中获取与所述类型对应的至少一个模板包围盒,其中,所述模板库包括多个类型的模板子库,每个模板子库包括至少一个模板包围盒。
12.根据权利要求11所述的装置,还包括:
获取模块,用于获取基于人工修正的修正包围盒集合;
第三确定模块,用于确定所述修正包围盒集合中彼此之间的尺寸差异小于第二阈值的多个目标修正包围盒;
第四确定模块,用于响应于所述多个目标修正包围盒的数量大于第三阈值,根据所述多个目标修正包围盒的尺寸,确定新模板包围盒;以及
更新模块,用于将所述新模板包围盒添加到所述模板库中。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序存储于可读存储介质和电子设备其中至少之一上,所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210983823.5A CN117636291A (zh) | 2022-08-16 | 2022-08-16 | 确定对象的包围盒的方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210983823.5A CN117636291A (zh) | 2022-08-16 | 2022-08-16 | 确定对象的包围盒的方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117636291A true CN117636291A (zh) | 2024-03-01 |
Family
ID=90036096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210983823.5A Pending CN117636291A (zh) | 2022-08-16 | 2022-08-16 | 确定对象的包围盒的方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117636291A (zh) |
-
2022
- 2022-08-16 CN CN202210983823.5A patent/CN117636291A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3327464B1 (en) | Algorithm and infrastructure for robust and efficient vehicle localization | |
EP3361278B1 (en) | Autonomous vehicle localization based on walsh kernel projection technique | |
KR20210151724A (ko) | 차량 포지셔닝 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
EP4098975B1 (en) | Vehicle travel control method and apparatus | |
CN111324115A (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
CN112432650B (zh) | 高精地图数据的获取方法、车辆控制方法以及设备 | |
CN113706704B (zh) | 基于高精地图规划路线的方法、设备以及自动驾驶车辆 | |
CN112823353A (zh) | 使用机器学习进行对象定位 | |
CN114882316A (zh) | 目标检测模型训练方法、目标检测方法及装置 | |
CN114111813B (zh) | 高精地图元素更新方法、装置、电子设备及存储介质 | |
CN113762397A (zh) | 检测模型训练、高精度地图更新方法、设备、介质及产品 | |
CN113119999B (zh) | 自动驾驶特征的确定方法、装置、设备、介质及程序产品 | |
CN113742440A (zh) | 道路图像数据处理方法、装置、电子设备及云计算平台 | |
US20230126172A1 (en) | Method of outputting prompt information, device, medium, and vehicle | |
CN112639822A (zh) | 一种数据处理方法及装置 | |
CN114724113B (zh) | 道路标牌识别方法、自动驾驶方法、装置和设备 | |
CN117636291A (zh) | 确定对象的包围盒的方法、装置、电子设备和存储介质 | |
CN110363847B (zh) | 一种基于点云数据的地图模型构建方法和装置 | |
JP7333369B2 (ja) | 交通データの処理方法、装置、電子機器、記憶媒体およびコンピュータプログラム製品 | |
CN115127565A (zh) | 高精地图数据生成方法、装置、电子设备及存储介质 | |
CN115062240A (zh) | 一种停车场排序方法、装置、电子设备和存储介质 | |
CN114998863A (zh) | 目标道路识别方法、装置、电子设备以及存储介质 | |
US20230090067A1 (en) | Generation device, generation method, and generation program | |
CN113360593A (zh) | 传感器数据处理方法及设备 | |
CN110909569B (zh) | 路况信息识别方法及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |