CN114219907B - 三维地图生成方法、装置、设备以及存储介质 - Google Patents
三维地图生成方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN114219907B CN114219907B CN202111495791.6A CN202111495791A CN114219907B CN 114219907 B CN114219907 B CN 114219907B CN 202111495791 A CN202111495791 A CN 202111495791A CN 114219907 B CN114219907 B CN 114219907B
- Authority
- CN
- China
- Prior art keywords
- information
- dimensional
- target
- detection object
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000001514 detection method Methods 0.000 claims abstract description 441
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000010276 construction Methods 0.000 claims abstract description 26
- 238000004904 shortening Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 35
- 238000004590 computer program Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Remote Sensing (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
Abstract
本公开提供了三维地图生成方法、装置、设备以及存储介质,涉及数据处理领域,尤其涉及自动驾驶、高精地图、三维重建等技术领域。具体实现方案为:获取车辆发送的多张图像对应的多个图像信息,所述图像中包括检测到的检测对象,所述图像信息包括拍摄位置、拍摄时间和所述检测对象的对象信息;根据所述多个图像信息,对所述检测对象进行三维构建处理,得到目标三维地图。本公开方案降低了地图数据源的采集难度和周期,从而降低制图成本,并缩短地图更新周期。
Description
技术领域
本公开涉及数据处理领域,尤其涉及一种三维地图生成方法、装置、设备以及存储介质,可用于自动驾驶、高精地图、三维重建等技术领域。
背景技术
高精地图也称高精度地图,可由自动驾驶汽车使用。高精地图,拥有精确的车辆位置信息和丰富的道路元素数据信息,可以帮助汽车预知路面复杂信息,如坡度、曲率、航向等,更好地规避潜在的风险。
相关技术中,利用专业采集车在道路上行驶,专业采集车中设置有激光雷达,在采集车行驶过程中,通过激光雷达采集道路的点云数据。进而,通过对点云数据进行三维重建,得到三维高精地图。
然而,上述方式中需要利用专业采集车采集道路的点云数据,导致制图成本较高,且地图更新周期较长。
发明内容
本公开提供了一种三维地图生成方法、装置、设备以及存储介质。
根据本公开的第一方面,提供了一种三维地图生成方法,包括:
获取车辆发送的多张图像对应的多个图像信息,所述图像中包括检测到的检测对象,所述图像信息包括拍摄位置、拍摄时间和所述检测对象的对象信息;
根据所述多个图像信息,对所述检测对象进行三维构建处理,得到目标三维地图。
根据本公开的第二方面,提供了一种三维地图生成装置,包括:
获取模块,用于获取车辆发送的多张图像对应的多个图像信息,所述图像中包括检测到的检测对象,所述图像信息包括拍摄位置、拍摄时间和所述检测对象的对象信息;
处理模块,用于根据所述多个图像信息,对所述检测对象进行三维构建处理,得到目标三维地图。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开提供的一种应用场景的示意图;
图2为本公开实施例提供的一种三维地图生成方法的流程示意图;
图3为本公开实施例提供的另一种三维地图生成方法的流程示意图;
图4为本公开实施例提供的又一种三维地图生成方法的流程示意图;
图5为本公开实施例提供的又一种三维地图生成方法的流程示意图;
图6为本公开实施例提供的一种投影示意图;
图7为本公开实施例提供的又一种三维地图生成方法的流程示意图;
图8为本公开实施例提供的一种三维地图生成过程的示意图;
图9为本公开实施例提供的一种三维地图生成装置的结构示意图;
图10为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开提供一种三维地图生成方法、装置、设备以及存储介质,应用于数据处理领域中的自动驾驶、高精地图、三维重建等技术领域,以降低高精地图的制图成本,并缩短地图更新周期。
为了便于理解本公开提供的技术方案,下面结合图1对本公开的应用场景进行介绍。
图1为本公开提供的一种应用场景的示意图。本公开涉及地图生成过程。如图1所示,该应用场景中包括一个或者多个车辆。每个车辆在道路行驶过程中,对道路场景进行采集得到图像,并对图像进行对象检测,得到检测结果。其中,对象是指道路场景中的3D道路元素,包括但不限于:杆状物(例如电线杆、标志牌支撑杆等)、建筑物等。
继续参见图1,各车辆将图像对应的图像信息发送至地图生成设备。其中,图像信息中可以包括图像的拍摄时间、拍摄位置以及图像对应对象检测结果信息。这样,地图生成设备可以从多个车辆接收到多个图像对应的图像信息。地图生成设备根据多个图像信息,对道路场景中的3D道路元素进行三维构建处理,生成三维地图。地图生成设备所生成的三维地图可以被存储在云端数据库中。
进一步的,在地图使用阶段,终端设备(例如,行人的手持设备,或者车辆的车载设备)可以从云端获取该三维地图,并用于终端设备导航应用中。
其中,图1所示的地图生成设备可以为云端服务器中的装置,例如,地图生成设备可以为云端服务器中的处理器、芯片、芯片模组、模块或者单元等。地图生成设备还可以为独立于云端服务器的装置,例如,地图生成设备可以为具有一定计算能力的电脑、计算机、服务器等。本公开实施例对此不作限定。
图1所示的车辆可以为专业采集车,也可以为众包车辆。当图1所示的车辆为众包车辆时,上述场景也可以称为众包制图场景。本公开实施例中,车辆只需要安装摄像头,并且具有一定的图像处理能力,能够对图像进行对象检测即可,可见,对车辆要求较低,大多数普通车辆或者自动驾驶车辆均可满足该要求。这样,使得大多数车辆均可以参与众包制图过程,从而,降低了地图数据源的采集难度和周期,因此,能够降低制图成本,并缩短地图更新周期。
另外,在众包制图场景,由于传输带宽有限,通常会对每个车辆端回传的数据量有所限制,例如,每个车辆端1个月回传数据量不超过10G。本公开实施例中,通过在车辆端完成对图像的检测过程,这样,车辆端只需要将包括图像检测结果的图像信息发送给云端,而无需发送采集到的原始图像,从而降低了车辆端与云端之间的传输数据量,从而能够满足众包回传模式下的传输带宽限制要求。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本公开实施例提供的一种三维地图生成方法的流程示意图。本实施例的方法可以由图1中的地图生成设备执行。如图2所示,本实施例的方法包括:
S201:获取车辆发送的多张图像对应的多个图像信息,所述图像中包括检测到的检测对象,所述图像信息包括拍摄位置、拍摄时间和所述检测对象的对象信息。
本实施例中,车辆中安装有摄像头,车辆在道路行驶过程中,可以通过摄像头对道路场景进行拍摄得到图像。车辆拍摄得到图像后,对图像进行对象检测,得到检测对象。例如,对图像中的检测对象以包围盒的形式进行标注。本公开中,对象是指道路环境中的3D对象,包括但不限于:杆状物(例如电线杆、标志牌支撑杆等)、建筑物等。
进一步的,车辆将图像对应的图像信息发送至地图生成设备。其中图像信息中包括图像的拍摄位置、拍摄时间以及检测对象的对象信息。其中,检测对象的对象信息可以包括:检测对象对应的包围盒的顶点坐标等。
本实施例中,车辆只需要安装摄像头,并且具有一定的图像处理能力,能够对图像进行对象检测即可,可见,对车辆要求较低,大多数普通车辆或者自动驾驶车辆均可满足该要求。因此,本公开实施例可应用于众包制图场景。通过采用众包制图,降低了地图数据源的采集难度和周期,因此,能够降低制图成本,并缩短地图更新周期。另外,通过在车辆端完成对图像的检测过程,这样,车辆只需要将包括图像检测结果的图像信息发送给地图生成设备,而无需发送采集到的原始图像,降低了车辆与地图生成设备之间的传输数据量,从而能够满足众包回传模式下的传输带宽限制要求。
需要说明的是,所述多个图像信息可以来自于一个车辆,也可以来自于多个车辆,本公开实施例对此不作限定。应理解的是,上述多张图像是在同一道路场景中采集得到的,例如,上述多张图像可以是在同一道路场景中的不同位置、以不同姿态或者在不同时刻拍摄得到的多张图像。
S202:根据所述多个图像信息,对所述检测对象进行三维构建处理,得到目标三维地图。
本公开实施例中,每张图像中可以包括一个或者多个检测对象。上述多张图像中可能存在相同的检测对象。例如,图像1中包括检测对象A1,图像2中包括检测对象A2和检测对象B1。图像3中包括检测对象B1和检测对象C1。图像4中包括检测对象C2。因此,地图生成设备可以根据多个图像对应的图像信息,对检测对象进行三维构建处理,得到目标三维地图。例如,地图生成设备可以根据图像1和图像2对应的图像信息,在当前三维地图中构建得到检测对象A对应的三维对象,根据图像2和图像3对应的图像信息,在当前三维地图中构建得到检测对象B对应的三维对象,根据图像3和图像4对应的图像信息,在当前三维地图中构建得到检测对象C对应的三维对象,从而得到目标三维地图。
本实施例提供的三维地图生成方法中,地图生成设备可以获取车辆发送的多张图像对应的多个图像信息,图像中包括检测到的检测对象,图像信息包括拍摄位置、拍摄时间和检测对象的对象信息,进而根据多个图像信息,对检测对象进行三维构建处理,得到目标三维地图。上述过程使得本公开提供的三维地图生成方式可用于众包制图场景中,与相关技术中基于激光雷达点云数据来生成三维地图的方式相比,降低了地图数据源的采集难度和周期,从而降低制图成本,并缩短地图更新周期。
在上述实施例的基础上,下面结合几个具体的实施例对本公开提供的技术方案进行更详细的描述。
图3为本公开实施例提供的另一种三维地图生成方法的流程示意图。
如图2所示,本实施例的方法,包括:
S301:获取车辆发送的多张图像对应的多个图像信息,所述图像中包括检测到的检测对象,所述图像信息包括拍摄位置、拍摄时间和所述检测对象的对象信息。
应理解,S301的实现方式与S201类似,此处不做赘述。
S302:根据所述多个图像信息中的拍摄位置和拍摄时间,对所述多个图像信息进行排序处理。
在众包制图场景下,由于多张图像可能是由不同的车辆,和/或,在不同的时间段内采集得到的,因此,本公开实施例中,可以先根据拍摄位置和拍摄时间,对多个图像进行排序处理。
可选的,可以先根据拍摄位置对多个图像信息进行初步排序处理,然后再根据拍摄时间进行二次排序处理。可选的,还可以先根据拍摄时间对多个图像信息进行初步排序处理,然后再根据拍摄位置进行二次排序处理。
本实施例中,根据拍摄位置进行排序处理,可以保证排序后的相邻图像是针对同一道路场景采集得到的。根据拍摄时间进行排序处理,可以保证排序后的相邻图像是在时序上是连续的,进而保证排序后的相邻图像的内容是连续的。
进一步的,在排序处理之后,可以根据排序后的多个图像信息,依次对多个图像信息对应的检测对象进行三维构建处理,直至得到目标三维地图。
一种可能的实现方式中,假设多个图像信息的数量为M,则按照排序处理后的第2、3、…、M个图像信息的顺序,依次对每个图像信息执行S303至S305的处理。应理解,第1个图像信息不做任何处理。
下面以第i个图像信息的处理过程为例进行举例说明,2≤i≤M。
S303:判断当前三维地图中是否存在与第i个图像信息对应的目标检测对象匹配的三维对象。
本实施例中,当前三维地图是根据第1至i-1个图像信息构建得到的。当前三维地图中包括一个或者多个已构建的三维对象。应理解,初始时(即i=1和i=2),当前三维地图为空。
需要说明的是,第i个图像信息中可能包括一个或者多个检测对象的对象信息。换言之,第i个图像信息可能对应多个检测对象。当第i个图像信息对应多个检测对象时,需要针对其中的每个检测对象,判断当前三维地图中是否存在与该检测对象匹配的三维对象。在确定存在的情况下,执行S304,在确定不存在的情况下,执行S305。也就是说,当第i个图像信息对应P个检测对象时,需要针对每个检测对象,分别执行S303至S305,即,S303至S305需要重复迭代P次。下面以其中一个检测对象对应的迭代过程为例进行介绍。为了便于描述和区分,将本次迭代对应的检测对象称为目标检测对象。
S304:根据所述第i个图像信息中的所述目标检测对象的对象信息,在所述当前三维地图中更新所述三维对象。
应理解,若当前三维地图中存在与目标检测对象匹配的三维对象,则说明在历史迭代(前i-1个图像信息的处理过程)中,已经构建出该目标检测对象对应的三维对象。该情况下,根据第i个图像信息中的目标检测对象的对象信息,在当前三维地图中更新该三维对象,从而提高三维地图的准确性。
S305:根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述第i个图像信息之前的N个图像信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象。
其中,N为大于或者等于1的整数。
应理解,若当前三维地图中不存在与目标检测对象匹配的三维对象,则说明该目标检测对象是新检测出的,在历史迭代(前i-1个图像信息的处理过程)中,还未构建过该目标检测对象对应的三维对象。该情况下,根据第i个图像信息中的目标检测对象的对象信息和第i个图像信息之前的N个图像信息,在当前三维地图中构建该目标检测对象对应的三维对象。
应理解,假设多个图像信息的数量为M,则针对第M个图像信息执行完成S303至S305之后,将当前三维地图确定为目标三维地图。
在实施例中,在对第i个图像信息进行处理时,若当前三维地图中已存在与第i个图像信息对应的目标检测对象匹配的三维对象,则利用第i个图像信息中的目标检测对象的对象信息,对当前三维地图中的三维对象进行更新;若当前三维地图中不存在与第i个图像信息对应的目标检测对象匹配的三维对象,则利用第i个图像信息中的目标检测对象的对象信息,以及第i个图像信息之前的N个图像信息,构建得到目标检测对象对应的三维对象。通过上述迭代方式,最终生成目标三维地图,由于在迭代过程中,对已构建的三维模型不断进行更新,提高了目标三维地图的精度。
在图3所示实施例的基础上,下面结合几个具体的实施例对本公开技术方案进行更详细的说明。
图4为本公开实施例提供的又一种三维地图生成方法的流程示意图。本实施例的方法可以作为S303的一种可能的实现方式。如图4所示,本实施例的方法包括:
S401:生成第i个图像信息对应的虚拟图像,所述虚拟图像中包括目标检测对象。
S402:根据当前三维地图中各三维对象的位置和所述第i个图像信息中的拍摄位置,在所述虚拟图像中,对所述当前三维地图中的三维对象进行投影处理。
本实施例中,通过将当前三维地图中的各三维对象投影到第i张图像上,根据投影到第i张图像上的投影对象与目标检测对象之间的相似度,来判断当前三维地图中是否存在与目标检测对象匹配的三维对象。由于车辆向地图生成设备发送的是图像信息,而不是原始图像。因此,在S401中,为了便于投影,地图生成设备可以根据第i个图像信息,生成虚拟图像。示例性的,虚拟图像的大小与第i张图像的大小相同,虚拟图像中标注有目标检测对象的位置,例如,虚拟图像中采用矩形包围盒的形式标注了目标检测对象的位置。
进一步的,在生成虚拟图像之后,可以根据当前三维地图中的三维对象的位置,以及第i个图像信息中的拍摄位置,在虚拟图像上,对当前三维地图中各三维对象进行投影处理。进而,可以根据各三维对象对应的投影对象与目标检测对象之间的相似性,确定当前三维地图中是否存在与目标检测对象匹配的三维对象。
应理解,针对当前三维地图中的每个三维对象,其对应的投影对象的位置可能位于虚拟图像中,也可能位于虚拟图像之外。可以根据下述的S403至406确定当前三维地图中是否存在与目标检测对象匹配的三维对象。
S403:若投影处理后的虚拟图像中不存在投影对象,则确定当前三维地图中不存在与目标检测对象匹配的三维对象。
也就是说,当前三维地图中的所有三维对象对应的投影对象均位于虚拟图像之外,该情况下,说明当前三维地图中的所有三维对象与目标检测对象的相似度均非常小,因此,可以认为当前三维地图中不存在与目标检测对象匹配的三维对象。
S404:若投影处理后的虚拟图像中存在投影对象,获取所述投影对象与所述目标检测对象的第一目标相似度。
在投影处理后的虚拟图像中存在一个或者多个投影对象的情况下,可以采用如下方式获取投影对象与目标检测对象的第一目标相似度:获取投影对象的第一属性信息,所述第一属性信息包括形状、尺寸和类型中的至少一种;获取目标检测对象的第二属性信息,所述第二属性信息包括形状、尺寸和类型中的至少一种;根据第一属性信息和第二属性信息,在虚拟图像中确定待选投影对象,待选投影对象的第一属性信息与第二属性信息的相似度大于或等于预设相似度;获取待选投影对象与目标检测对象的第一目标相似度。
也就是说,在虚拟图像上存在较多投影对象的情况下,可以对投影对象进行初步筛选,得到待选投影对象。示例性的,可以从形状、尺寸、类型等多个维度对投影对象进行初步筛选,将不明显与目标检测对象不相似/不匹配的投影对象删除,将剩余的投影对象确定为待选投影对象。
通过对投影对象进行初步筛选,能够过滤掉明显不相似/不匹配的投影对象,从而降低后续匹配过程的计算量。
一种可能的实现方式中,可以采用如下方式确定每个待选投影对象与目标检测对象的第一目标相似度:根据目标检测对象的中心点在虚拟图像中的位置、以及待选投影对象的中心点在虚拟图像中的位置,确定待选投影对象与目标检测对象的第一相似度;根据目标检测对象的顶点在虚拟图像中的位置、以及待选投影对象的顶点在虚拟图像中的位置,确定待选投影对象与目标检测对象的第二相似度;根据第一相似度和第二相似度,确定待选投影对象与目标检测对象的第一目标相似度。
示例性的,可以将目标检测对象的中心点与待选投影对象的中心点之间的距离,确定为第一相似度。将目标检测对象的顶点与待选投影对象的顶点之间的距离,确定为第二相似度。
该方式中,在确定第一目标相似度时,既考虑了投影对象与目标检测对象之间的中心点位置的相似性,还考虑了投影对象与目标检测对象之间的顶点位置的相似性,保证了第一目标相似度的准确性。
进一步的,得到每个待选投影对象与目标检测对象的第一目标相似度之后,可以根据后续的S405和S506,确定当前三维地图中是否存在于目标检测对象匹配的三维对象。
S405:若虚拟图像中存在投影对象与目标检测对象的第一目标相似度大于或等于预设阈值,则确定当前三维地图中存在与目标检测对象匹配的三维对象。
可选的,若虚拟图像中存在多个投影对象与目标检测对象的第一目标相似度大于或者等于预设阈值,则可以将最大第一目标相似度对应的三维对象,确定为与目标检测对象匹配的三维对象。
S406:若虚拟图像中不存在投影对象与目标检测对象的第一目标相似度大于或等于预设阈值,则确定当前三维地图中不存在与目标检测对象匹配的三维对象。
本实施例中,通过采用将当前三维地图中的各三维对象投影到虚拟图像中,根据各投影对象与目标检测对象之间的第一目标相似度,来判断当前三维地图中是否存在与目标检测对象匹配的三维对象,保证了判断结果的准确性。
图5为本公开实施例提供的又一种三维地图生成方法的流程示意图。本实施例的方法可以作为S304的一种可能的实现方式。如图5所示,本实施例的方法包括:
S501:将第i个图像信息中的目标检测对象的对象信息添加至三维对象对应的对象信息集合中,所述对象信息集合中包括用于构建所述三维对象的多个对象信息。
本实施例中,针对当前三维地图中的每个已构建的三维对象,分别维护一个对象信息集合,该对象信息集合包括用于构建该三维对象的多个对象信息。示例性的,若某个三维对象是根据图像1中检测对象A1的对象信息和图像2中的检测对象A2的对象信息构建得到的,则该三维对象对应的对象信息集合中包括:检测对象A1的对象信息、检测对象A2的对象信息。
在确定当前三维地图中存在与目标检测对象匹配的三维对象之后,将第i个图像信息中的目标检测对象的对象信息添加至该三维对象对应的对象信息集合中。进而,根据更新后的对象信息集合中的对象信息,在当前三维地图中更新三维对象。
应理解,根据三维对象类型的不同,三维对象的描述参数可能有所不同。以杆状物类型的三维对象为例,三维对象的描述参数可以包括:三维对象的中心点坐标和三维对象的高度。
示例性的,针对杆状物类型的三维对象,可以采用下述的S502至S505对三维对象的中心点坐标和高度进行更新。
S502:生成对象信息集合中各对象信息对应的虚拟图像,所述虚拟图像中包括所述对象信息对应的检测对象。
本实施例中的虚拟图像与图4所示实施例中的虚拟图像类似,也是为了便于进行投影处理而生成。
S503:分别将所述三维对象投影至各对象信息对应的虚拟图像,以在虚拟图像中生成投影对象。
应理解,由于三维对象是由对象信息集合中的各对象信息构建得到的,因此,在每个对象信息对应的虚拟图像上对三维对象进行投影处理,通常能够得到该三维对象对应的投影对象。
S504:获取所述虚拟图像中的检测对象和投影对象之间的距离信息,所述距离信息包括下述中的至少一项:所述检测对象的端点和所述投影对象的端点的距离、所述检测对象的中心点和所述投影对象的中心点的距离、所述检测对象的高度和所述投影对象的高度差值。
S505:根据所述距离信息,在所述当前三维地图中更新所述三维对象的中心点坐标和所述三维对象的高度。
示例性的,以最小化所述距离信息为目标,构建重投影误差约束关系,根据重投影误差约束关系,对三维对象的中心点坐标和三维对象的高度进行优化,从而实现在当前三维地图中对三维对象的更新。
一种可能的场景中,以杆状物类型的三维对象为例,在虚拟图像中对三维对象进行投影处理,投影得到的投影对象中,可能存在部分区域超出虚拟图像,即存在部分区域投影至虚拟图像之外。图6为本公开实施例提供的一种投影示意图,参见图6,矩形框表示虚拟图像,矩形框内的黑色实线表示检测对象,矩形框内的黑色虚线表示投影对象,投影对象的部分位于虚拟图像之外。该情况下,无法利用投影对象的真实端点进行计算,可以将投影对象与虚拟图像的边界的交点作为投影对象的端点。例如,图6中,将a点和b点作为虚拟图像的端点,来构建重投影误差约束关系。
本实施例中,通过对当前三维地图中的已构建的三维对象进行更新,能够不断提高三维地图的精度。
图7为本公开实施例提供的又一种三维地图生成方法的流程示意图。本实施例的方法可以作为S305的一种可能的实现方式。如图7所示,本实施例的方法包括:
S701:分别获取第i个图像信息之前的N个图像信息对应的检测对象与目标检测对象之间的第二目标相似度。
本实施例中,通过获取第i个图像信息之前的N个图像信息对应的检测对象与目标检测对象之间的第二目标相似度,能够在第i个图像信息之前的N个图像信息中,找对与目标检测对象关联的关联检测对象。进而,利用目标检测对象和关联检测对象,构建得到目标检测对象对应的三维对象。
一种可能的实现方式中,可以采用如下方式确定第二目标相似度:分别获取所述N个图像信息对应的检测对象的第三属性信息,所述第三属性信息包括形状、尺寸和类型中的至少一种;获取所述目标检测对象的第四属性信息,所述第四属性信息包括形状、尺寸和类型中的至少一种;根据所述第三属性信息和所述第四属性信息,在所述N个图像信息对应的检测对象中确定待选检测对象,所述待选检测对象的第三属性信息与所述第四属性信息的相似度大于或等于预设相似度;获取所述待选检测对象与所述目标检测对象的第二目标相似度。
本实施例中,第i个图像信息之前的N个图像信息对应的检测对象可能有多个。以N=2为例,第i-1个图像信息中可能包括x1个检测对象的对象信息,第i-2个图像信息中可能包括x2个检测对象的对象信息。也就是说,第i-1个图像信息对应x1个检测对象,第i-2个图像信息对应x-2个检测对象。该情况下,可以对上述检测对象进行初步筛选,得到待选检测对象。示例性的,可以从形状、尺寸、类型等多个维度对上述多个检测对象进行初步筛选,将不明显与目标检测对象不相似/不匹配的检测对象删除,将剩余的检测对象确定为待选检测对象。
通过对第i个图像信息之前的N个图像信息对应的检测对象进行初步筛选,能够过滤掉明显不相似/不匹配的检测对象,从而降低后续匹配过程的计算量。
一种可能的实现方式中,可以采用如下方式获取待选检测对象与目标检测对象的第二目标相似度:根据所述待选检测对象的中心点坐标和所述目标检测对象的中心点坐标,确定第三相似度;根据所述待选检测对象的顶点坐标和所述目标检测对象的顶点坐标,确定第四相似度;根据所述待选检测对象和所述目标检测对象的极线关系,确定第五相似度;根据所述第三相似度、所述第四相似度和所述第五相似度,确定所述第二目标相似度。
示例性的,可以将待选检测对象的中心点坐标与目标检测对象的中心点坐标之间的距离,确定为第三相似度。将待选检测对象的顶点坐标与目标检测对象的顶点坐标之间的距离,确定为第四相似度。在待选检测对象所在虚拟图像中,确定目标检测对象的极线,将待选检测对象与极线之间的距离,作为第五相似度。
该方式中,在确定第二目标相似度时,既考虑了待选检测对象与目标检测对象之间的中心点位置的相似性,也考虑了待选检测对象与目标检测对象之间的顶点位置的相似性,还考虑了待选检测对象与目标检测对象之间的极线约束的相似性,保证了第二目标相似度的准确性。
S702:在所述N个图像信息对应的检测对象中,将所述第二目标相似度大于预设阈值的检测对象确定为关联检测对象。
S703:根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象。
应理解,S702中,确定出的关联检测对象可能为空,说明目标检测对象是第一次被检测到(即之前的图像中未检测到该目标检测对象)。该情况下,可以不对该目标检测对象进行后续处理。若确定出的关联检测对象不为空,则根据目标检测对象和关联检测对象构建出新的三维对象。
以杆状物类型的三维对象为例,可以采用如下方式构建目标检测对象对应的三维对象:根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,确定所述目标检测对象对应的三维对象的中心点坐标和深度信息;根据所述深度信息以及所述目标检测对象的高度信息,确定所述目标检测对象对应的三维对象的高度;根据所述三维对象的中心点坐标和所述三维对象的高度,在所述当前三维地图中构建所述三维对象。
针对其他类型的三维对象,其构建原理是类似的,此处不做赘述。
在上述实施例的基础上,下面结合一个具体的示例,对三维地图的生成过程进行举例说明。
图8为本公开实施例提供的一种三维地图生成过程的示意图。如图8所示,以5个图像信息为例进行举例说明。第1个图像信息中包括检测对象A1的对象信息,第2个图像信息中包括检测对象A2的对象信息,第3个图像信息中包括检测对象A3的对象信息和检测对象B1的对象信息。第4个图像信息中包括检测对象A4的对象信息和检测对象B2的对象信息。第5个图像信息中包括检测对象B3的对象信息。
针对图8所示的5个图像信息,三维地图的生成过程如下:
(1)初始化当前三维地图为空。
(2)针对第2个图像信息对应的检测对象A2,首先判断当前三维地图中是否存在与检测对象A2匹配的三维对象。具体判断过程可以参见图4所示实施例的详细描述。由于当前三维地图为空,确定当前三维地图中不存在与检测对象A2匹配的三维对象,因此,根据第2个图像信息中检测对象A2的对象信息和第1个图像信息,在当前三维地图中构建出检测对象A2对应的三维对象。即,根据第1个图像信息中的检测对象A1的对象信息和第2个图像信息中的检测对象A2的对象信息,构建出三维对象A。具体构建过程可以参见图7所示实施例的详细描述。
此时,当前三维地图中包括三维对象A。三维对象A对应的对象信息集合中包括检测对象A1的对象信息、检测对象A2的对象信息。
(3)针对第3个图像信息对应的检测对象A3,首先判断当前三维地图中是否存在与检测对象A3匹配的三维对象。具体判断过程可以参见图4所示实施例的详细描述。该情况下确定当前三维地图中存在与检测对象A3匹配的三维对象A,因此,将第3个图像信息中的检测对象A3的对象信息添加至三维对象A对应的对象信息集合中,并根据更新后的对象信息集合对当前三维地图中的三维对象A进行更新。具体更新过程可以参见图5所示实施例的详细描述。
此时,当前三维地图中包括更新后的三维对象A。三维对象A对应的对象信息集合中包括:检测对象A1的对象信息、检测对象A2的对象信息、检测对象A3的对象信息。
(4)针对第3个图像信息对应的检测对象B1,首先判断当前三维地图中是否存在与检测对象B1匹配的三维对象。具体判断过程可以参见图4所示实施例的详细描述。由于当前三维地图中只包括三维对象A,因此确定当前三维地图中不存在与检测对象B1匹配的三维对象。该情况下,在第2个图像信息和第1个图像信息对应的检测对象中,确定关联检测对象,具体可以参见图7所示实施例的详细描述。该情况下,确定出的关联检测对象为空,不对检测对象B2进行处理。
此时,当前三维地图中包括三维对象A。三维对象A对应的对象信息集合中包括:检测对象A1的对象信息、检测对象A2的对象信息、检测对象A3的对象信息。
(5)针对第4个图像信息对应的检测对象A4,首先判断当前三维地图中是否存在与检测对象A4匹配的三维对象。具体判断过程可以参见图4所示实施例的详细描述。该情况下,可以确定当前三维地图中存在与检测对象A4匹配的三维对象A,因此,将第4个图像信息中的检测对象A4的对象信息添加至三维对象A对应的对象信息集合中,并根据更新后的对象信息集合对当前三维地图中的三维对象A进行更新。具体更新过程可以参见图5所示实施例的详细描述。
此时,当前三维地图中包括更新后的三维对象A。三维对象A对应的对象信息集合中包括:检测对象A1的对象信息、检测对象A2的对象信息、检测对象A3的对象信息、检测对象A4的对象信息。
(6)针对第4个图像信息对应的检测对象B2,首先判断当前三维地图中是否存在与检测对象B2匹配的三维对象。具体判断过程可以参见图4所示实施例的详细描述。由于当前三维地图中只包括三维对象A,因此确定当前三维地图中不存在与检测对象B2匹配的三维对象。该情况下,根据第4个图像信息中的检测对象B2的对象信息以及第3个图像信息中检测对象B1的对象信息,在当前三维地图中构建出检测对象B2对应的三维对象B。具体构建过程可以参见图7所示实施例的详细描述。
此时,当前三维地图中包括三维对象A和三维对象B。三维对象A对应的对象信息集合中包括:检测对象A1的对象信息、检测对象A2的对象信息、检测对象A3的对象信息、检测对象A4的对象信息。三维对象B对应的对象信息集合中包括:检测对象B1的对象信息、检测对象B2的对象信息。
(7)针对第5个图像信息对应的检测对象B3,首先判断当前三维地图中是否存在与检测对象B3匹配的三维对象。具体判断过程可以参见图4所示实施例的详细描述。该情况下,可以确定当前三维地图中存在与检测对象B3匹配的三维对象B,因此,将第5个图像信息中的检测对象B3的对象信息添加至三维对象B对应的对象信息集合中,并根据更新后的对象信息集合对当前三维地图中的三维对象B进行更新。具体更新过程可以参见图5所示实施例的详细描述。
此时,当前三维地图中包括三维对象A和更新后的三维对象B。三维对象A对应的对象信息集合中包括:检测对象A1的对象信息、检测对象A2的对象信息、检测对象A3的对象信息、检测对象A4的对象信息。三维对象B对应的对象信息集合中包括:检测对象B1的对象信息、检测对象B2的对象信息、检测对象B3的对象信息。
图9为本公开实施例提供的一种三维地图生成装置的结构示意图。本实施例的装置可以为软件和/或硬件形式。如图9所示,本实施例提供的三维地图生成装置900,包括:获取模块901和处理模块902。
其中,获取模块901,用于获取车辆发送的多张图像对应的多个图像信息,所述图像中包括检测到的检测对象,所述图像信息包括拍摄位置、拍摄时间和所述检测对象的对象信息;
处理模块902,用于根据所述多个图像信息,对所述检测对象进行三维构建处理,得到目标三维地图。
一种可能的实现方式中,所述处理模块902包括:
排序单元,用于根据所述多个图像信息中的拍摄位置和拍摄时间,对所述多个图像信息进行排序处理;
生成单元,用于根据排序后的所述多个图像信息,依次对所述多个图像信息对应的检测对象进行三维构建处理,直至得到所述三维地图。
一种可能的实现方式中,所述生成单元包括:
判断子单元,用于判断当前三维地图中是否存在与第i个图像信息对应的目标检测对象匹配的三维对象,初始时,所述当前三维地图为空;
更新子单元,用于若是,则根据所述第i个图像信息中的所述目标检测对象的对象信息,在所述当前三维地图中更新所述三维对象;
构建子单元,用于若否,则根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述第i个图像信息之前的N个图像信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象,所述N为大于或等于1的整数;
其中,所述i依次取2、3、……、M;
确定子单元,用于在所述i取M之后,将所述当前三维地图确定为所述目标三维地图,所述M为所述多个图像信息的数量,所述M为大于1的整数。
一种可能的实现方式中,所述判断子单元具体用于:
生成所述第i个图像信息对应的虚拟图像,所述虚拟图像中包括所述目标检测对象;
根据所述当前三维地图中各三维对象的位置和所述第i个图像信息中的拍摄位置,在所述虚拟图像中,对所述当前三维地图中的三维对象进行投影处理;
若投影处理后的虚拟图像中存在投影对象,则获取所述投影对象与所述目标检测对象的第一目标相似度,并根据所述第一目标相似度,判断当前三维地图中是否存在与所述目标检测对象匹配的三维对象;
若投影处理后的虚拟图像中不存在所述投影对象,则确定所述当前三维地图中不存在与所述目标检测对象匹配的三维对象。
一种可能的实现方式中,所述判断子单元具体用于:
获取所述投影对象的第一属性信息,所述第一属性信息包括形状、尺寸和类型中的至少一种;
获取所述目标检测对象的第二属性信息,所述第二属性信息包括形状、尺寸和类型中的至少一种;
根据所述第一属性信息和所述第二属性信息,在所述虚拟图像中确定待选投影对象,所述待选投影对象的第一属性信息与所述第二属性信息的相似度大于或等于预设相似度;
获取所述待选投影对象与所述目标检测对象的第一目标相似度。
一种可能的实现方式中,所述判断子单元具体用于:
根据所述目标检测对象的中心点在所述虚拟图像中的位置、以及所述待选投影对象的中心点在所述虚拟图像中的位置,确定所述待选投影对象与所述目标检测对象的第一相似度;
根据所述目标检测对象的顶点在所述虚拟图像中的位置、以及所述待选投影对象的顶点在所述虚拟图像中的位置,确定所述待选投影对象与所述目标检测对象的第二相似度;
根据所述第一相似度和所述第二相似度,确定所述待选投影对象与所述目标检测对象的第一目标相似度。
一种可能的实现方式中,所述判断子单元具体用于:
若所述虚拟图像中存在投影对象与所述目标检测对象的第一目标相似度大于或等于预设阈值,则确定当前三维地图中存在与所述目标检测对象匹配的三维对象;
若所述虚拟图像中不存在投影对象与所述目标检测对象的第一目标相似度大于或等于预设阈值,则确定当前三维地图中不存在与所述目标检测对象匹配的三维对象。
一种可能的实现方式中,所述更新子单元具体用于:
将所述第i个图像信息中的所述目标检测对象的对象信息添加至所述三维对象对应的对象信息集合中,所述对象信息集合中包括用于构建所述三维对象的多个对象信息;
根据所述对象信息集合中的对象信息,在所述当前三维地图中更新所述三维对象。
一种可能的实现方式中,所述更新子单元具体用于:
生成所述对象信息集合中各对象信息对应的虚拟图像,所述虚拟图像中包括所述对象信息对应的检测对象;
分别将所述三维对象投影至所述各对象信息对应的虚拟图像,以在所述虚拟图像中生成投影对象;
获取所述虚拟图像中的检测对象和投影对象之间的距离信息,所述距离信息包括下述中的至少一项:所述检测对象的端点和所述投影对象的端点的距离、所述检测对象的中心点和所述投影对象的中心点的距离、所述检测对象的高度和所述投影对象的高度差值;
根据所述距离信息,在所述当前三维地图中更新所述三维对象的中心点坐标和所述三维对象的高度。
一种可能的实现方式中,所述构建子单元具体用于:
分别获取所述N个图像信息对应的检测对象与所述目标检测对象之间的第二目标相似度;
在所述N个图像信息对应的检测对象中,将所述第二目标相似度大于预设阈值的检测对象确定为关联检测对象;
根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象。
一种可能的实现方式中,所述构建子单元具体用于:
分别获取所述N个图像信息对应的检测对象的第三属性信息,所述第三属性信息包括形状、尺寸和类型中的至少一种;
获取所述目标检测对象的第四属性信息,所述第四属性信息包括形状、尺寸和类型中的至少一种;
根据所述第三属性信息和所述第四属性信息,在所述N个图像信息对应的检测对象中确定待选检测对象,所述待选检测对象的第三属性信息与所述第四属性信息的相似度大于或等于预设相似度;
获取所述待选检测对象与所述目标检测对象的第二目标相似度。
一种可能的实现方式中,所述构建子单元具体用于:
根据所述待选检测对象的中心点坐标和所述目标检测对象的中心点坐标,确定第三相似度;
根据所述待选检测对象的顶点坐标和所述目标检测对象的顶点坐标,确定第四相似度;
根据所述待选检测对象和所述目标检测对象的极线关系,确定第五相似度;
根据所述第三相似度、所述第四相似度和所述第五相似度,确定所述第二目标相似度。
一种可能的实现方式中,所述构建子单元具体用于:
根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,确定所述目标检测对象对应的三维对象的中心点坐标和深度信息;
根据所述深度信息以及所述目标检测对象的高度信息,确定所述目标检测对象对应的三维对象的高度;
根据所述三维对象的中心点坐标和所述三维对象的高度,在所述当前三维地图中构建所述三维对象。
本实施例提供的三维地图生成装置,可用于执行上述任意方法实施例提供的三维地图生成方法,其实现原理和技术效果类似,此处不做赘述。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示,设备1000包括计算单元1001,其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序,来执行各种适当的动作和处理。在RAM 1003中,还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005,包括:输入单元1006,例如键盘、鼠标等;输出单元1007,例如各种类型的显示器、扬声器等;存储单元1008,例如磁盘、光盘等;以及通信单元1009,例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理,例如三维地图生成方法。例如,在一些实施例中,三维地图生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1008。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时,可以执行上文描述的三维地图生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元1001可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行三维地图生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (24)
1.一种三维地图生成方法,包括:
获取车辆发送的多张图像对应的多个图像信息,所述图像中包括检测到的检测对象,所述检测对象是指道路环境中的3D对象,所述图像信息包括拍摄位置、拍摄时间和所述检测对象的对象信息;
根据所述多个图像信息中的拍摄位置和拍摄时间,对所述多个图像信息进行排序处理;
根据排序后的所述多个图像信息,判断当前三维地图中是否存在与第i个图像信息对应的目标检测对象匹配的三维对象;其中,初始时,所述当前三维地图为空,所述第i个图像信息中包括一个或者多个检测对象的对象信息;
若是,则根据所述第i个图像信息中的所述目标检测对象的对象信息,在所述当前三维地图中更新所述三维对象;
若否,则根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述第i个图像信息之前的N个图像信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象,所述N为大于或等于1的整数;
其中,当所述第i个图像信息中包括多个检测对象时,将每个检测对象分别作为所述目标检测对象,判断当前三维地图中是否存在与所述目标检测对象匹配的三维对象;所述i依次取2、3、……、M,直至所述i取M之后,将所述当前三维地图确定为目标三维地图,所述M为所述多个图像信息的数量,所述M为大于1的整数。
2.根据权利要求1所述的方法,其中,判断当前三维地图中是否存在与第i个图像信息对应的目标检测对象匹配的三维对象,包括:
生成所述第i个图像信息对应的虚拟图像,所述虚拟图像中包括所述目标检测对象;
根据所述当前三维地图中各三维对象的位置和所述第i个图像信息中的拍摄位置,在所述虚拟图像中,对所述当前三维地图中的三维对象进行投影处理;
若投影处理后的虚拟图像中存在投影对象,则获取所述投影对象与所述目标检测对象的第一目标相似度,并根据所述第一目标相似度,判断当前三维地图中是否存在与所述目标检测对象匹配的三维对象;
若投影处理后的虚拟图像中不存在所述投影对象,则确定所述当前三维地图中不存在与所述目标检测对象匹配的三维对象。
3.根据权利要求2所述的方法,其中,获取所述投影对象与所述目标检测对象的第一目标相似度,包括:
获取所述投影对象的第一属性信息,所述第一属性信息包括形状、尺寸和类型中的至少一种;
获取所述目标检测对象的第二属性信息,所述第二属性信息包括形状、尺寸和类型中的至少一种;
根据所述第一属性信息和所述第二属性信息,在所述虚拟图像中确定待选投影对象,所述待选投影对象的第一属性信息与所述第二属性信息的相似度大于或等于预设相似度;
获取所述待选投影对象与所述目标检测对象的第一目标相似度。
4.根据权利要求3所述的方法,其中,获取所述待选投影对象与所述目标检测对象的第一目标相似度,包括:
根据所述目标检测对象的中心点在所述虚拟图像中的位置、以及所述待选投影对象的中心点在所述虚拟图像中的位置,确定所述待选投影对象与所述目标检测对象的第一相似度;
根据所述目标检测对象的顶点在所述虚拟图像中的位置、以及所述待选投影对象的顶点在所述虚拟图像中的位置,确定所述待选投影对象与所述目标检测对象的第二相似度;
根据所述第一相似度和所述第二相似度,确定所述待选投影对象与所述目标检测对象的第一目标相似度。
5.根据权利要求2至4任一项所述的方法,其中,根据所述第一目标相似度,判断当前三维地图中是否存在与所述目标检测对象匹配的三维对象,包括:
若所述虚拟图像中存在投影对象与所述目标检测对象的第一目标相似度大于或等于预设阈值,则确定当前三维地图中存在与所述目标检测对象匹配的三维对象;
若所述虚拟图像中不存在投影对象与所述目标检测对象的第一目标相似度大于或等于预设阈值,则确定当前三维地图中不存在与所述目标检测对象匹配的三维对象。
6.根据权利要求1至4任一项所述的方法,其中,根据所述第i个图像信息中的所述目标检测对象的对象信息,在所述当前三维地图中更新所述三维对象,包括:
将所述第i个图像信息中的所述目标检测对象的对象信息添加至所述三维对象对应的对象信息集合中,所述对象信息集合中包括用于构建所述三维对象的多个对象信息;
根据所述对象信息集合中的对象信息,在所述当前三维地图中更新所述三维对象。
7.根据权利要求6所述的方法,其中,根据所述对象信息集合中的对象信息,在所述当前三维地图中更新所述三维对象,包括:
生成所述对象信息集合中各对象信息对应的虚拟图像,所述虚拟图像中包括所述对象信息对应的检测对象;
分别将所述三维对象投影至所述各对象信息对应的虚拟图像,以在所述虚拟图像中生成投影对象;
获取所述虚拟图像中的检测对象和投影对象之间的距离信息,所述距离信息包括下述中的至少一项:所述检测对象的端点和所述投影对象的端点的距离、所述检测对象的中心点和所述投影对象的中心点的距离、所述检测对象的高度和所述投影对象的高度差值;
根据所述距离信息,在所述当前三维地图中更新所述三维对象的中心点坐标和所述三维对象的高度。
8.根据权利要求1至4任一项所述的方法,其中,根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述第i个图像信息之前的N个图像信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象,包括:
分别获取所述N个图像信息对应的检测对象与所述目标检测对象之间的第二目标相似度;
在所述N个图像信息对应的检测对象中,将所述第二目标相似度大于预设阈值的检测对象确定为关联检测对象;
根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象。
9.根据权利要求8所述的方法,其中,分别获取所述N个图像信息对应的检测对象与所述目标检测对象之间的第二目标相似度,包括:
分别获取所述N个图像信息对应的检测对象的第三属性信息,所述第三属性信息包括形状、尺寸和类型中的至少一种;
获取所述目标检测对象的第四属性信息,所述第四属性信息包括形状、尺寸和类型中的至少一种;
根据所述第三属性信息和所述第四属性信息,在所述N个图像信息对应的检测对象中确定待选检测对象,所述待选检测对象的第三属性信息与所述第四属性信息的相似度大于或等于预设相似度;
获取所述待选检测对象与所述目标检测对象的第二目标相似度。
10.根据权利要求9所述的方法,其中,获取所述待选检测对象与所述目标检测对象的第二目标相似度,包括:
根据所述待选检测对象的中心点坐标和所述目标检测对象的中心点坐标,确定第三相似度;
根据所述待选检测对象的顶点坐标和所述目标检测对象的顶点坐标,确定第四相似度;
根据所述待选检测对象和所述目标检测对象的极线关系,确定第五相似度;
根据所述第三相似度、所述第四相似度和所述第五相似度,确定所述第二目标相似度。
11.根据权利要求9或10所述的方法,其中,根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象,包括:
根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,确定所述目标检测对象对应的三维对象的中心点坐标和深度信息;
根据所述深度信息以及所述目标检测对象的高度信息,确定所述目标检测对象对应的三维对象的高度;
根据所述三维对象的中心点坐标和所述三维对象的高度,在所述当前三维地图中构建所述三维对象。
12.一种三维地图生成装置,包括:
获取模块,用于获取车辆发送的多张图像对应的多个图像信息,所述图像中包括检测到的检测对象,所述检测对象是指道路环境中的3D对象,所述图像信息包括拍摄位置、拍摄时间和所述检测对象的对象信息;
处理模块,用于根据所述多个图像信息,对所述检测对象进行三维构建处理,得到目标三维地图;
其中,所述处理模块包括:
排序单元,用于根据所述多个图像信息中的拍摄位置和拍摄时间,对所述多个图像信息进行排序处理;
生成单元,用于根据排序后的所述多个图像信息,依次对所述多个图像信息对应的检测对象进行三维构建处理,直至得到所述目标三维地图;
其中,所述生成单元包括:
判断子单元,用于判断当前三维地图中是否存在与第i个图像信息对应的目标检测对象匹配的三维对象;其中,初始时,所述当前三维地图为空,所述第i个图像信息中包括一个或者多个检测对象的对象信息;
更新子单元,用于若是,则根据所述第i个图像信息中的所述目标检测对象的对象信息,在所述当前三维地图中更新所述三维对象;
构建子单元,用于若否,则根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述第i个图像信息之前的N个图像信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象,所述N为大于或等于1的整数;
其中,当所述第i个图像信息中包括多个检测对象时,将每个检测对象分别作为所述目标检测对象,判断当前三维地图中是否存在与所述目标检测对象匹配的三维对象;所述i依次取2、3、……、M;
确定子单元,用于在所述i取M之后,将所述当前三维地图确定为所述目标三维地图,所述M为所述多个图像信息的数量,所述M为大于1的整数。
13.根据权利要求12所述的装置,其中,所述判断子单元具体用于:
生成所述第i个图像信息对应的虚拟图像,所述虚拟图像中包括所述目标检测对象;
根据所述当前三维地图中各三维对象的位置和所述第i个图像信息中的拍摄位置,在所述虚拟图像中,对所述当前三维地图中的三维对象进行投影处理;
若投影处理后的虚拟图像中存在投影对象,则获取所述投影对象与所述目标检测对象的第一目标相似度,并根据所述第一目标相似度,判断当前三维地图中是否存在与所述目标检测对象匹配的三维对象;
若投影处理后的虚拟图像中不存在所述投影对象,则确定所述当前三维地图中不存在与所述目标检测对象匹配的三维对象。
14.根据权利要求13所述的装置,其中,所述判断子单元具体用于:
获取所述投影对象的第一属性信息,所述第一属性信息包括形状、尺寸和类型中的至少一种;
获取所述目标检测对象的第二属性信息,所述第二属性信息包括形状、尺寸和类型中的至少一种;
根据所述第一属性信息和所述第二属性信息,在所述虚拟图像中确定待选投影对象,所述待选投影对象的第一属性信息与所述第二属性信息的相似度大于或等于预设相似度;
获取所述待选投影对象与所述目标检测对象的第一目标相似度。
15.根据权利要求14所述的装置,其中,所述判断子单元具体用于:
根据所述目标检测对象的中心点在所述虚拟图像中的位置、以及所述待选投影对象的中心点在所述虚拟图像中的位置,确定所述待选投影对象与所述目标检测对象的第一相似度;
根据所述目标检测对象的顶点在所述虚拟图像中的位置、以及所述待选投影对象的顶点在所述虚拟图像中的位置,确定所述待选投影对象与所述目标检测对象的第二相似度;
根据所述第一相似度和所述第二相似度,确定所述待选投影对象与所述目标检测对象的第一目标相似度。
16.根据权利要求13至15任一项所述的装置,其中,所述判断子单元具体用于:
若所述虚拟图像中存在投影对象与所述目标检测对象的第一目标相似度大于或等于预设阈值,则确定当前三维地图中存在与所述目标检测对象匹配的三维对象;
若所述虚拟图像中不存在投影对象与所述目标检测对象的第一目标相似度大于或等于预设阈值,则确定当前三维地图中不存在与所述目标检测对象匹配的三维对象。
17.根据权利要求12至15任一项所述的装置,其中,所述更新子单元具体用于:
将所述第i个图像信息中的所述目标检测对象的对象信息添加至所述三维对象对应的对象信息集合中,所述对象信息集合中包括用于构建所述三维对象的多个对象信息;
根据所述对象信息集合中的对象信息,在所述当前三维地图中更新所述三维对象。
18.根据权利要求17所述的装置,其中,所述更新子单元具体用于:
生成所述对象信息集合中各对象信息对应的虚拟图像,所述虚拟图像中包括所述对象信息对应的检测对象;
分别将所述三维对象投影至所述各对象信息对应的虚拟图像,以在所述虚拟图像中生成投影对象;
获取所述虚拟图像中的检测对象和投影对象之间的距离信息,所述距离信息包括下述中的至少一项:所述检测对象的端点和所述投影对象的端点的距离、所述检测对象的中心点和所述投影对象的中心点的距离、所述检测对象的高度和所述投影对象的高度差值;
根据所述距离信息,在所述当前三维地图中更新所述三维对象的中心点坐标和所述三维对象的高度。
19.根据权利要求12至15任一项所述的装置,其中,所述构建子单元具体用于:
分别获取所述N个图像信息对应的检测对象与所述目标检测对象之间的第二目标相似度;
在所述N个图像信息对应的检测对象中,将所述第二目标相似度大于预设阈值的检测对象确定为关联检测对象;
根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,在所述当前三维地图中构建所述目标检测对象对应的三维对象。
20.根据权利要求19所述的装置,其中,所述构建子单元具体用于:
分别获取所述N个图像信息对应的检测对象的第三属性信息,所述第三属性信息包括形状、尺寸和类型中的至少一种;
获取所述目标检测对象的第四属性信息,所述第四属性信息包括形状、尺寸和类型中的至少一种;
根据所述第三属性信息和所述第四属性信息,在所述N个图像信息对应的检测对象中确定待选检测对象,所述待选检测对象的第三属性信息与所述第四属性信息的相似度大于或等于预设相似度;
获取所述待选检测对象与所述目标检测对象的第二目标相似度。
21.根据权利要求20所述的装置,其中,所述构建子单元具体用于:
根据所述待选检测对象的中心点坐标和所述目标检测对象的中心点坐标,确定第三相似度;
根据所述待选检测对象的顶点坐标和所述目标检测对象的顶点坐标,确定第四相似度;
根据所述待选检测对象和所述目标检测对象的极线关系,确定第五相似度;
根据所述第三相似度、所述第四相似度和所述第五相似度,确定所述第二目标相似度。
22.根据权利要求20或21所述的装置,其中,所述构建子单元具体用于:
根据所述第i个图像信息中的所述目标检测对象的对象信息、以及所述N个图像信息中的所述关联检测对象的对象信息,确定所述目标检测对象对应的三维对象的中心点坐标和深度信息;
根据所述深度信息以及所述目标检测对象的高度信息,确定所述目标检测对象对应的三维对象的高度;
根据所述三维对象的中心点坐标和所述三维对象的高度,在所述当前三维地图中构建所述三维对象。
23.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111495791.6A CN114219907B (zh) | 2021-12-08 | 2021-12-08 | 三维地图生成方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111495791.6A CN114219907B (zh) | 2021-12-08 | 2021-12-08 | 三维地图生成方法、装置、设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114219907A CN114219907A (zh) | 2022-03-22 |
CN114219907B true CN114219907B (zh) | 2023-05-30 |
Family
ID=80700371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111495791.6A Active CN114219907B (zh) | 2021-12-08 | 2021-12-08 | 三维地图生成方法、装置、设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114219907B (zh) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647600B (zh) * | 2018-06-26 | 2023-10-20 | 百度在线网络技术(北京)有限公司 | 三维地图的构建方法、装置、服务器及存储介质 |
CN110146097B (zh) * | 2018-08-28 | 2022-05-13 | 北京初速度科技有限公司 | 自动驾驶导航地图的生成方法、系统、车载终端及服务器 |
CN109579856A (zh) * | 2018-10-31 | 2019-04-05 | 百度在线网络技术(北京)有限公司 | 高精度地图生成方法、装置、设备及计算机可读存储介质 |
CN109753928B (zh) * | 2019-01-03 | 2022-03-29 | 北京百度网讯科技有限公司 | 违章建筑物识别方法和装置 |
CN110287276B (zh) * | 2019-05-27 | 2021-08-31 | 百度在线网络技术(北京)有限公司 | 高精地图更新方法、装置及存储介质 |
CN110160544A (zh) * | 2019-06-12 | 2019-08-23 | 北京深思敏行科技有限责任公司 | 一种基于边缘计算的高精度地图众包更新系统 |
KR20210061722A (ko) * | 2019-11-20 | 2021-05-28 | 팅크웨어(주) | 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
CN113127583A (zh) * | 2019-12-31 | 2021-07-16 | 华为技术有限公司 | 一种数据传输方法和装置 |
CN112380317B (zh) * | 2021-01-18 | 2021-04-09 | 腾讯科技(深圳)有限公司 | 高精地图更新方法、装置、电子设备和存储介质 |
CN112862881B (zh) * | 2021-02-24 | 2023-02-07 | 清华大学 | 基于众包多车摄像头数据的道路地图构建与融合的方法 |
CN113052966B (zh) * | 2021-03-05 | 2022-09-02 | 清华大学 | 自动驾驶众包高精度地图更新方法、系统及介质 |
CN112907757A (zh) * | 2021-04-08 | 2021-06-04 | 深圳市慧鲤科技有限公司 | 一种导航提示方法、装置、电子设备及存储介质 |
CN113674416B (zh) * | 2021-08-26 | 2024-04-26 | 中国电子科技集团公司信息科学研究院 | 三维地图的构建方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-08 CN CN202111495791.6A patent/CN114219907B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114219907A (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3852008A2 (en) | Image detection method and apparatus, device, storage medium and computer program product | |
CN113971723B (zh) | 高精地图中三维地图的构建方法、装置、设备和存储介质 | |
CN116255992A (zh) | 一种同时定位与建图的方法和装置 | |
CN113724388B (zh) | 高精地图的生成方法、装置、设备以及存储介质 | |
CN113392794B (zh) | 车辆跨线识别方法、装置、电子设备和存储介质 | |
CN111597987B (zh) | 用于生成信息的方法、装置、设备和存储介质 | |
CN113298910A (zh) | 生成交通标志线地图的方法、设备和存储介质 | |
CN114111813B (zh) | 高精地图元素更新方法、装置、电子设备及存储介质 | |
CN113932796B (zh) | 高精地图车道线生成方法、装置和电子设备 | |
CN113177980B (zh) | 用于自动驾驶的目标对象速度确定方法、装置及电子设备 | |
CN112634366B (zh) | 位置信息的生成方法、相关装置及计算机程序产品 | |
CN113762397A (zh) | 检测模型训练、高精度地图更新方法、设备、介质及产品 | |
CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
CN114674328B (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
CN114219907B (zh) | 三维地图生成方法、装置、设备以及存储介质 | |
CN115147561A (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
CN116758503A (zh) | 车道线自动标注方法、装置、设备及存储介质 | |
CN114299192B (zh) | 定位建图的方法、装置、设备和介质 | |
CN115790621A (zh) | 高精地图更新方法、装置及电子设备 | |
CN114166238B (zh) | 车道线的识别方法、装置及电子设备 | |
CN113514053B (zh) | 生成样本图像对的方法、装置和更新高精地图的方法 | |
CN116168366B (zh) | 点云数据生成方法、模型训练方法、目标检测方法和装置 | |
CN114049615B (zh) | 行驶环境中交通对象融合关联方法、装置及边缘计算设备 | |
CN117611547A (zh) | 地图元素检测、模型训练方法、装置及电子设备 | |
CN118692042A (zh) | 车道线的检测方法、装置、电子设备与可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |