CN111797187B - 地图数据的更新方法、装置、电子设备和存储介质 - Google Patents
地图数据的更新方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111797187B CN111797187B CN202010571727.0A CN202010571727A CN111797187B CN 111797187 B CN111797187 B CN 111797187B CN 202010571727 A CN202010571727 A CN 202010571727A CN 111797187 B CN111797187 B CN 111797187B
- Authority
- CN
- China
- Prior art keywords
- semantic information
- updated
- information
- image
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims description 113
- 230000015654 memory Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 5
- 239000007787 solid Substances 0.000 description 11
- 238000013507 mapping Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 241000283070 Equus zebra Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了地图数据的更新方法、装置、电子设备和存储介质，涉及自动驾驶、计算机视觉技术领域。实现方案：通过将车辆在行驶过程中采集的点云数据集投影至采集的图像中，以获取图像中多个元素的第一位置信息；获取多个元素之中的待更新元素；从图像中获取待更新元素的当前语义信息；根据图像中待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息；如果待更新元素的历史语义信息与当前语义信息不匹配，则根据待更新元素的当前语义信息对地图数据进行更新。通过融合点云数据和图像信息，获取高精度的语义信息，进而基于高精度语义信息对高精地图数据进行更新，提高了地图数据的准确性。
Description
技术领域
本申请涉及计算机技术领域，具体涉及自动驾驶和计算机视觉技术领域，尤其涉及一种地图数据的更新方法、装置、电子设备和存储介质。
背景技术
无人驾驶，是集自动控制、体系结构、人工智能、视觉计算等众多技术于一体，是计算机科学、模式识别和智能控制技术高度发展的产物。无人驾驶汽车依据高精度的地图，通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标。
可见，无人驾驶技术的发展，与高精度地图的准确性息息相关。
发明内容
本申请提供一种用于提高地图准确性的地图数据的更新方法、装置、电子设备和存储介质。
根据第一方面，提供了一种地图数据的更新方法，包括：
获取车辆在行驶过程中采集的图像及点云数据集；
根据所述点云数据集的采集时刻及所述图像的采集时刻，将所述点云数据集投影至所述图像中，以获取所述图像中多个元素的第一位置信息；
获取所述多个元素之中的待更新元素；
从所述图像中获取所述待更新元素的当前语义信息；
根据所述图像中所述待更新元素的第一位置信息，从历史地图数据中获取所述待更新元素的历史语义信息；以及
如果待更新元素的历史语义信息，与对应的所述当前语义信息不匹配，则根据所述待更新元素的当前语义信息对所述地图数据进行更新。
本申请实施例的地图数据的更新方法，通过将车辆在行驶过程中采集的点云数据集映射到采集的图像中，以获取图像中多个元素的第一位置信息，从图像中获取待更新元素的当前语义信息，和根据待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息，如果待更新元素的历史语义信息，与对应的当前语义信息不匹配，则根据待更新元素的当前语义信息对地图数据进行更新，由此，通过融合点云数据和图像信息，可以获取高精度的语义信息，进而基于高精度语义信息对高精地图数据进行更新，从而提高了地图数据的准确性。
根据第二方面，提供了一种地图数据的更新装置，包括：
第一获取模块，用于获取车辆在行驶过程中采集的图像及点云数据集；
投影模块，用于根据所述点云数据集的采集时刻及所述图像的采集时刻，将所述点云数据集投影至所述图像中，以获取所述图像中多个元素的第一位置信息；
第二获取模块，用于获取所述多个元素之中的待更新元素；
第三获取模块，用于从所述图像中获取所述待更新元素的当前语义信息；
第四获取模块，用于根据所述图像中所述待更新元素的第一位置信息，从历史地图数据中获取所述待更新元素的历史语义信息；以及
更新模块，用于当待更新元素的历史语义信息，与对应的所述当前语义信息不匹配时，则根据所述待更新元素的当前语义信息对所述地图数据进行更新。
本申请实施例的地图数据的更新装置，通过将车辆在行驶过程中采集的点云数据集映射到采集的图像中，以获取图像中多个元素的第一位置信息，从图像中获取待更新元素的当前语义信息，和根据待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息，如果待更新元素的历史语义信息，与对应的当前语义信息不匹配，则根据待更新元素的当前语义信息对地图数据进行更新，由此，通过融合点云数据和图像信息，可以获取高精度的语义信息，进而基于高精度语义信息对高精地图数据进行更新，从而提高了地图数据的准确性。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的地图数据的更新方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的地图数据的更新方法。
根据第四方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述一方面实施例所述的地图数据的更新方法。
根据本申请实施例，通过将车辆在行驶过程中采集的点云数据集映射到采集的图像中，以获取图像中多个元素的第一位置信息，从图像中获取待更新元素的当前语义信息，和根据待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息，如果待更新元素的历史语义信息，与对应的当前语义信息不匹配，则根据待更新元素的当前语义信息对地图数据进行更新，由此，通过融合点云数据和图像信息，可以获取高精度的语义信息，进而基于高精度语义信息对高精地图数据进行更新，从而提高了地图数据的准确性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提供的一种地图数据的更新方法的流程示意图；
图2为本申请实施例提供的另一种地图数据的更新方法的流程示意图；
图3为本申请实施例提供的另一种地图数据的更新方法的流程示意图；
图4为本申请实施例提供的另一种地图数据的更新方法的流程示意图；
图5为本申请实施例提供的另一种地图数据的更新方法的流程示意图；
图6为本申请实施例提供的另一种地图数据的更新方法的流程示意图；
图7为本申请实施例提供的一种地图更新过程示意图；
图8为本申请实施例提供的一种地图数据的更新装置的结构示意图；
图9为本申请实施例提供的另一种地图数据的更新装置的结构示意图；
图10为根据本申请实施例的地图数据的更新方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的地图数据的更新方法、装置、电子设备和存储介质。
本申请实施例，针对相关技术中无人驾驶技术的发展，与高精度地图的准确性息息相关，亟需一种可以提高地图准确性的方法，提出一种地图数据的更新方法。
本申请实施例的地图数据的更新方法，通过将车辆在行驶过程中采集的点云数据集映射到采集的图像中，以获取图像中多个元素的第一位置信息，从图像中获取待更新元素的当前语义信息，和根据待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息，如果待更新元素的历史语义信息，与对应的当前语义信息不匹配，则根据待更新元素的当前语义信息对地图数据进行更新，由此，通过融合点云数据和图像信息，可以获取高精度的语义信息，进而基于高精度语义信息对高精地图数据进行更新，从而提高了地图数据的准确性。
图1为本申请实施例提供的一种地图数据的更新方法的流程示意图。
本申请实施例的地图数据的更新方法，可由本申请实施例提供的地图数据的更新装置执行，该装置可配置于电子设备中，以实现通过融合点云数据和图像信息，获取高精度的语义信息，利用高精度语义信息进行地图数据更新。
如图1所示，该地图数据的更新方法包括：
步骤101，获取车辆在行驶过程中采集的图像及点云数据集。
本实施例中，可在车辆上设置摄像装置和雷达，以在车辆行驶过程中通过摄像装置采集图像，通过雷达等采集各物体的点云数据，得到点云数据集，并在采集图像及点云数据集中过程中，记录图像的采集时刻，以及点云数据集的采集时刻。
其中，点云数据是指在一个三维坐标系统中的一组向量的集合，点云数据集是由采集时刻相同的点云数据组成的集合。
在实际应用中，摄像装置可以安装车辆的车顶上，以采集车辆所行驶在道路的道路环境。比如，车辆的车顶上安装有摄像头，在车辆行驶过程中，可以采集车辆前进方向上的道路图像，通过雷达可以确定物体的各点的三维坐标信息。
步骤102，根据点云数据集的采集时刻及图像的采集时刻，将点云数据集投影至图像中，以获取图像中多个元素的第一位置信息。
本实施例中，可根据记录的点云数据集的采集时刻及图像的采集时刻，将同一采集时刻的点云数据集投影至同一采集时刻的图像上，从而得到像素级各元素的二维与三维的映射关系。那么根据该映射关系，可以获取图像中多个元素的位置信息，为了便于区别，称为第一位置信息。
这里图像中的多个元素可以是红绿灯、为白色虚线的车道线、为白色实线的车道线、斑马线、停车线等等。
需要说明的是，这里的第一位置信息是指在世界坐标系中的位置信息。比如，摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。
其中，元素的第一位置信息可以是空间中元素的各点的坐标集合，可以是在世界坐标系中的坐标。比如元素为车道线，那么车道线的第一位置信息可以是空间中车道线各点的坐标集合，可以是车道线这个线段的起点和终点在世界坐标系中的坐标，也可以是有线段起始点、方向及长度。
步骤103，获取多个元素之中的待更新元素。
本实施例中，图像中的包含多个元素，可以根据需求确定多个元素中待更新元素。比如，可以预先指定元素，将预先指定的元素作为待更新元素，如预先设定待更新元素为车道线，那么从图像中的多个元素中，获取车道线，作为待更新元素。
又如，预先设定待更新元素为斑马线，可以从采集的图像中获取斑马线，将其作为待更新元素。
步骤104，从图像中获取待更新元素的当前语义信息。
对于自动驾驶而言，语义信息是指能够让无人车更好地理解行车规则、感知路面交通状况、规划行车路线，且被涵盖在高精度地图里的多层次、富维度的信息。
本实施例中，在确定待更新元素之后，可以通过提取图像中的颜色特征，从图像中获取待更新元素的当前语义信息，比如对于车道线，其语义信息可以包括：车道线的颜色和形状。
可以理解的是，图像中待更新元素可能具有一个或多个。比如，图像中待更新元素为红绿灯和车道线。同一待更新元素的数量也可能有多个，比如，待更新元素为车道线，采集的图像中可能包含两条或两条以上的车道线，若待更新元素为红绿灯。
步骤105，根据图像中待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息。
具体地，可以根据图像中待更新元素的第一位置信息，确定从历史地图数据位置信息为第一位置信息的待更新元素，然后从历史地图数据中获取待更新元素的语义信息，这里称为历史语义信息。
在实际应用中，待更新元素的位置信息可能会发生变化，即待更新元素当前第一位置信息与历史地图数据中的位置信息不一致，那么也可将与第一位置信息之间的距离小于预设阈值的位置信息，对应的元素的语义信息作为待更新元素的历史语义信息。
比如，将历史地图数据中与当前车道线的位置之间的距离，小于3cm的位置对应的车道线的颜色和形状，作为待更新车道线的历史语义信息。
步骤106，如果待更新元素的历史语义信息，与对应的当前语义信息不匹配，则根据待更新元素的当前语义信息对地图数据进行更新。
在获取待更新元素的当前语义信息和历史语义信息后，将当前语义信息与历史语义信息进行匹配。如果待更新元素的历史语义信息，与待更新元素的当前语义信息不匹配，说明待更新元素的语义信息发生了变化，那么可历史地图数据中待更新元素的语义信息更新为待更新元素的当前语义信息，实现对地图数据更新。也就是说，可以根据当前语义信息与历史语义信息不同的待更新元素，对地图数据进行更新。
本实施例中，在更新地图时，可以是一个元素一个元素的进行更新，即对元素逐个进行更新，也可以是一帧图像中同一类元素一起更新。在实际应用中，同一类型的待更新元素可能只有部分发生了变化，比如待更新元素为车道线，图像中包含两条车道线，其中，有一条车道线的语义信息与地图数据中的不匹配，那么可对地图数据中该车道线的语义信息进行更新。
若待更新元素为车道线，地图数据更新类型有，在车道线线型发生变化，自动修正车道线；当漏标车道线时，在地图数据中添加车道线等等。
比如，某位置的车道线当前语义信息为白色实线，而历史语义信息为白色虚线，那么将历史地图数据中的该车道线由白色虚线更新为白色实线。
本申请实施例的地图数据更新方法，可以用于高精地图的更新，比如，应用于自动驾驶中高精地图的更新，当然也可以应用精度低的地图的更新。并且，该方法支持地图数据中各元素的更新。
本申请实施例的地图数据的更新方法，通过将车辆在行驶过程中采集的点云数据集映射到采集的图像中，以获取图像中多个元素的第一位置信息，从图像中获取待更新元素的当前语义信息，和根据待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息，如果待更新元素的历史语义信息，与对应的当前语义信息不匹配，则根据待更新元素的当前语义信息对地图数据进行更新，由此，通过融合点云数据和图像信息，可以获取高精度的语义信息，进而基于高精度语义信息对高精地图数据进行更新，从而提高了地图数据的准确性。
为了满足地图更新的个性化需求，在本申请的一个实施例中，在上述获取多个元素之中的待更新元素之前，先获取地图数据更新请求，其中，更新请求中包括待更新元素的目标类型，然后根据待更新元素的目标类型，从多个元素中获取待更新元素。
其中，目标类型可以包括车道线、斑马线、停车线等等。其中，每种类型中包括多种元素，比如，车道线包括白色虚线车道线、白色实线车道线、黄色实线车道线等等。
本实施例中，地图数据更新请求可以是根据用户操作获取的，也可以是定时更新时获取的。比如，用户设置待更新元素的类型，并触发了地图更新操作，这时可获取到地图数据更新请求。或者，预先设定待更新元素的类型和更新周期，当到达更新时间时，获取地图数据更新请求。比如，设置每隔10天更新一次地图中的车道线，那么到达更新时间，可以获取到地图数据更新请求。
本申请实施例中，在获取多个元素之中的待更新元素之前，还可获取地图数据更新请求，其中，更新请求中包括待更新元素的目标类型；在获取多个元素之中的待更新元素时，根据待更新元素的目标类型，从多个元素中获取待更新元素。由此，根据获取的地图数据更新请求中的包括的待更新元素的目标类型，从图像的多个元素中获取待更新元素，从而可以满足用户对不同元素的更新需求。
在本申请的一个实施例中，可以通过对图像进行语义分割，获取图像中每个元素的语义信息，由此，可以获取待更新元素的当前语义信息。图2为本申请实施例提供的另一种地图数据的更新方法的流程示意图。
如图2所示，上述从图像中获取待更新元素的当前语义信息，包括：
步骤201，将图像进行语义分割，以获取图像对应的语义分割数据集，其中，语义分割数据集中包括图像中每个元素的当前语义信息。
图像语义分割可以认为是图像理解的基石性技术，图像是由许多像素组成，而语义分割顾名思义就是将像素按照图像中表达语义含义的不同进行分组或分割。
图像语义分割是指自动分割并识别出图像中的内容，比如给出一个人骑摩托车的照片，语义分割后可以确定图中的人和摩托车。
本实施例中，可根据图像中各像素的位置和颜色进行语义分割，得到图像的语义分割数据集，其中，语义分割数据集中包括图像中每个元素的当前语义信息。在具体实现时，可以利用预先训练的语义分割模型，对图像进行语义分割，得到图像的语义分割数据集。
步骤202，从语义分割数据集，获取待更新元素的当前语义信息。
本实施例中，根据待更新元素，从语义分割数据集中，获取待更新元素的当前语义信息。比如，待更新元素为车道线，那么从语义分割数据中获取车道线的当前颜色、形状等语义信息。
本申请实施例中，在从图像中获取待更新元素的当前语义信息时，将图像进行语义分割，以获取图像对应的语义分割数据集，其中，语义分割数据集中包括图像中每个元素的当前语义信息；从语义分割数据集，获取待更新元素的当前语义信息。由此，通过对图像进行语义分割，获取待更新元素的当前语义信息，提高了获取的语义信息的准确性。
在实际应用中，空间中一个点，可对应多幅图像的特定像素点，每张图像中对对应点解析的语义信息可能不一致，以及可能存在噪声等问题。为了进一步提高地图更新的准确性，在本申请的一个实施例中，如果车辆采集的多个图像分别对应的多个语义分割数据集中均包含待更新元素，则根据多个图像中待更新元素的语义信息的融合，更新地图数据，这里均包含待更新元素的多个图像可以是连续采集的多张图像。
下面结合图3进行说明，图3为本申请实施例提供的另一种地图数据的更新方法的流程示意图。如图3所示，该地图数据的更新方法还包括：
步骤301，从多个语义分割数据集中，获取待更新元素的多个当前语义信息。
本实施例中，从每个语义分割数据集中，获取待更新元素的当前语义信息，由此，可以获取待更新元素的多个当前语义信息。这里，不同图像中待更新元素的当前语义信息可能相同，也可能不同。
步骤302，将多个当前语义信息进行融合，以确定待更新元素的目标语义信息。
为了提高语义信息的准确性，本实施例中，可以对待更新元素的多个当前语义信息进行融合。具体地，可以将多个图像中采集时间最晚的图像对应的语义分割数据中，待更新元素的当前语义信息，作为待更新元素的当前语义信息。
或者，将待更新元素的多个当前语义信息中，数量最多的相同语义信息，作为待更新元素的目标语义信息。比如，获取某元素的5个当前语义信息，其中，3个语义信息相同，那么可将该语义信息作为该元素的目标元素信息。
步骤303，如果待更新元素的历史语义信息与目标语义信息不匹配，则根据待更新元素的目标语义信息对地图数据进行更新。
本实施例中，可以根据待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息。这里的待更新元素的第一位置信息，可以是根据多个图像中任意一个图像，和与该图像的采集时刻相同的点云数据集确定的。
在获取待更新元素的历史语义信息和目标语义信息后，将历史语义信息和目标语义信息进行匹配。如果待更新元素的历史语义信息与目标语义信息不匹配，说明待更新元素发生了变化，那么根据待更新元素的当前语义信息对地图数据进行更新，具体地，将待更新元素的历史语义信息更新为待更新元素的目标语义信息。
本申请实施例中，如果车辆采集的多个图像分别对应的多个语义分割数据集中均包含待更新元素，则该地图数据的更新方法，还可从多个语义分割数据集中，获取待更新元素的多个当前语义信息；将多个当前语义信息进行融合，以确定待更新元素的目标语义信息；如果待更新元素的历史语义信息与目标语义信息不匹配，则根据待更新元素的目标语义信息对地图数据进行更新。由此，通过融合多个图像的语义信息，获取待更新元素的当前语义信息，提高了当前语义信息的准确性，那么根据融合多帧图像语义信息得到的目标语义信息，进行地图数据更新，大大提高了地图数据的准确性。
在实际应用中，采集图像的位置与元素的距离不同，那么根据该图像确定的该元素的语义信息可能不同。在本申请的一个实施例中，上述在确定待更新元素的目标语义信息时，可以根据采集每个图像的位置，确定每个图像对应的语义分割数据集的权重，然后基于每个语义分割数据的权重进行融合，确定待更新元素的目标语义信息。下面结合图4进行说明，图4为本申请实施例提供的另一种地图数据的更新方法的流程示意图。
如图4所示，上述将多个当前语义信息进行融合，以确定待更新元素的目标语义信息之前，还包括：
步骤401，确定多个语义分割数据集中的每个语义分割数据集对应的目标图像。
本实施例中，可根据对每个图像进行语义分割，得到对应的语义分割数据集，这里将每个语义分割数据集对应的图像称为目标图像。
步骤402，获取车辆中摄像装置在采集每个目标图像时的第二位置信息。
本实施例中，在车辆行驶过程中，每采集一张图像时，记载图像的采集时刻以及车辆中摄像装置的位置信息。因此，可以获取车辆中摄像装置在采集每个目标图像时的位置信息，为了便于区分，这里称为第二位置信息。
其中，第二位置信息是在世界坐标系中的位置信息，比如在世界坐标系统中的三维坐标。
步骤403，根据每个第二位置信息，确定多个语义分割数据集中每个语义分割数据集的权重。
在实际应用中，采集图像的位置与元素的距离越近，那么根据该图像确定的该元素的语义信息越准确。因此，本实施例中，可以根据每个第二位置信息，确定多个语义分割数据集中每个语义分割数据集的权重。
具体地，可以预先建立采集图像时摄像装置的位置与元素之间的距离所属的距离范围，与权重之间的对应关系，那么根据车辆中摄像装置在采集目标图像时的第二位置信息，可以确定摄像装置的第二位置信息与待更新元素的第一位置信息之间的距离所属的距离范围，然后将该距离范围对应的权重作为语义分割数据的权重。
或者，可以按照预设的方式计算语义分割数据的权重，如下公式所示：
其中，wi表示从第i个图像中获取的语义信息的权重，ξi表示摄像装置在拍摄i个图像时的位置信息，ξP表示待更新元素P在空间中的位置信息。
步骤404，根据每个语义分割数据集的权重，将多个当前语义信息进行融合，以确定待更新元素的目标语义信息。
本实施例中，可以将权重最大的语义分割数据集中待更新元素的当前语义信息，作为待更新元素的目标语义信息。
本申请实施例中，在将多个当前语义信息进行融合，以确定待更新元素的目标语义信息之前，还可确定多个语义分割数据集中的每个语义分割数据集对应的目标图像；获取车辆中摄像装置在采集每个目标图像时的第二位置信息；以及根据每个第二位置信息，确定多个语义分割数据集中每个语义分割数据集的权重；在将多个当前语义信息进行融合，以确定待更新元素的目标语义信息时，根据每个语义分割数据集的权重，将多个当前语义信息进行融合，以确定待更新元素的目标语义信息。由此，根据摄像装置采集图像时的位置信息，确定该图像对应的语义分割数据的权重，根据每个包含待更新元素的语义信息信息的语义分割数据的权重，确定待更新元素的目标语义信息，提高了待更新元素的目标语义的准确性，从而根据该目标语义信息更新地图数据，进一步提高了地图数据的准确性。
在本申请的一个实施例中，在根据多个语义分割数据集中的权重，确定可待更新元素的目标语义信息时，可利用图5所示的方法确定。图5为本申请实施例提供的另一种地图数据的更新方法的流程示意图。
如图5所示，上述根据每个语义分割数据集的权重，将多个当前语义信息进行融合，以确定待更新元素的目标语义信息，包括：
步骤501，将多个当前语义信息中，相同语义信息对应的权重进行加和，以确定每个当前语义信息对应的权重和。
本实施例中，确定多个语义信息中相同的语义信息，并将相同语义信息对应的权重相加，将权重和作为相同语义信息对应的权重和。其中，相同语义信息对应的权重可以是这些相同的语义信息中，每个语义信息所在的语义分割数据集对应的权重。
比如，从6个语义分割数据集中获取车道线的6个当前语义信息，其中，有3个当前语义信息是白色实线，权重分别为0.2、0.2、0.1；2个当前语义信息是白色虚线权重别为0.1、0.09；1个当前语义信息为黄色实线0.05。白色实线对应的权重为0.2+0.1+0.1＝0.4，白色虚线对应的权重为0.1+0.09＝0.19；黄色实线对应的权重为0.05。
步骤502，根据每个当前语义信息对应的权重和，从多个当前语义信息中选取待更新元素的目标语义信息。
本实施例中，比较每个当前语义信息对应的权重和，可将权重和最大的当前语义信息，作为待更新元素的目标语义信息。
比如，某路段车道线的6个当前语义信息中，白色实线对应的权重为0.4，白色虚线对应的权重为0.19；黄色实线对应的权重为0.05，那么可将权重最大的语义信息白色实线作为车道线的目标语义信息。
本申请实施例中，在根据每个语义分割数据集的权重，将多个当前语义信息进行融合，以确定待更新元素的目标语义信息时，可将多个当前语义信息中，相同语义信息对应的权重进行加和，以确定每个当前语义信息对应的权重和，然后根据每个当前语义信息对应的权重和，从多个当前语义信息中选取待更新元素的目标语义信息。由此，通过将相同语义信息的权重进行加和，根据权重和确定待更新元素的目标语义信息，从而提高了待更新元素的目标语义信息的准确性，进而提高了地图数据的准确性。
为了提高地图数据的更新效率，在本申请的一个实施例中，如果待更新元素为车道线，则在获取图像对应的语义分割数据集之后，可根据语义分割数据集获取车道组的语义信息和位置信息，根据车道组的当前语义信息更新地图数据，提高更新效率。下面结合6进行说明，图6为本申请实施例提供的另一种地图数据的更新方法的流程示意图。
如图6所示，该地图数据的更新方法还包括：
步骤601，获取车辆在行驶过程中采集的图像及点云数据集。
步骤602，根据点云数据集的采集时刻及图像的采集时刻，将点云数据集投影至图像中，以获取图像中多个元素的第一位置信息。
步骤603，获取多个元素之中的每个车道线。
本实施例中，步骤601与步骤603与上述步骤101-步骤103类似，故在此不再赘述。
步骤604，将图像进行语义分割，以获取图像对应的语义分割数据集。
步骤605，从语义分割数据集，获取每个车道线的当前语义信息。
本实施例中，步骤604与步骤605与上述步骤201-步骤202类似，故在此不再赘述。
步骤606，根据语义分割数据集中每个车道线的当前语义信息及第一位置信息，确定语义分割数据集中包含的第一车道组、第一车道组对应的当前语义信息及第一车道组的第三位置信息。
车道组是指在交叉口的一个进口中,服务于一个或几个交通流向的一条车道或多条车道。比如，一条或几条专用左转车道可作为一个车道组；又如，在有专用左转或专用右转的进口,除专用左右转以外的车道可分为一个车道组。
在实际应用中，同一车道组内各车道的宽度等通常相同，为了提高地图更新效率，那可根据车道组对地图进行更新。
本实施例中，在对采集的图像进行语义分割，获取语义分割数据集后，可根据语义分割数据集中，每个车道线的当前语义信息以及第一位置信息，将车道线分组，以确定语义分割数据中包含的车道组这里称为第一车道组、第一车道组对应的当前语义信息，及第一车道组的第三位置信息。
其中，第四位置信息也是世界坐标中的位置信息；第一车道组对应的语义信息可以车道的行驶方向，比如左转车道，而第一车道组的第三位置信息可以是空间中各车道线的位置信息以及行驶方向的标识的位置信息。
步骤607，根据第三位置信息，从历史地图数据中获取第一车道组的历史语义信息。
具体地，可以根据第一车道组的第三位置信息，确定从历史地图数据位置信息为第三位置信息的车道组，然后从历史地图数据中获取该车道组的语义信息，即获取第一车道组的历史语义信息。
在实际应用中，车道组的位置信息可能会发生变化，即第一车道组的第三位置信息与历史地图数据中的位置信息不一致，那么也可将与第三位置信息之间的距离小于预设阈值的位置信息，对应的车道组的语义信息作为第一车道组的历史语义信息。
步骤608，如果第一车道组的历史语义信息与第一车道组的当前语义信息不匹配，则根据第一车道组的当前语义信息对地图数据进行更新。
本实施例中，将获取的第一车道组的历史语义信息和第一车道组的当前语义进行匹配。如果第一车道组的历史语义信息与第一车道组的当前语义信息不匹配，说明第一车道的语义信息发生了变化，那么可以将地图数据中第一车道组的历史语义信息更新为第一车道组的当前语义信息。
比如，地图数据中某车道组的语义信息为左转车道，而当前语义信息信息为直行和左转合用车道，那么将地图数据中该车道组的语义信息更新为直行和左转合用车道。
本申请实施例中，待更新元素为车道线，在获取图像对应的语义分割数据集之后，根据语义分割数据集中每个车道线的当前语义信息及第一位置信息，确定语义分割数据集中包含的第一车道组、第一车道组对应的当前语义信息及第一车道组的第三位置信息；根据第三位置信息，从历史地图数据中获取第一车道组的历史语义信息；如果第一车道组的历史语义信息与第一车道组的当前语义信息不匹配，则根据第一车道组的当前语义信息对地图数据进行更新。由此，通过根据语义分割数据集中每个车道线的当前语义信息与第一位置信息，获取语义分割数据集包含的车道组的当前语义信息和位置信息，以车道组更新地图数据，提高了地图数据更新效率。
上述实施例是一个图像的语义分割数据集包含的车道组进行更新，在本申请的一个实施例中，如果待更新元素为车道线，还可根据多个连续图像中包含的车道组对地图数据进行更新。
具体地，获取在车辆行驶过程中，连续采集多个图像，比如从某个路口到下一个路口采集的100张连续图像。然后，对多个连续图像分别进行语义分割，得到对应的多个语义分割数据集。
之后，根据多个连续图像分别对应的多个语义分割数据集中各车道线的当前语义信息和第一位置信息，可以确定采集多个连续图像的路段包含的各车道线，以确定多个连续图像中包含的第二车道组、第二车道组对应的当前语义信息及第二车道组的第四位置信息。
其中，第四位置信息也是世界坐标中的位置信息，第二车道组的第四位置信息可以是各车道线的位置信息的集合。
在获取第二车道组的第四位置信息后，可以根据第四位置信息，从历史地图数据中获取第二车道组的历史语义信息。在获取第二车道组的第二历史语义信息和当前语义信息后，将两者进行匹配。如果第二车道组的历史语义信息与第二车道组的当前语义信息不匹配，说明第二车道组的语义信息发生了变化，可将地图数据中第二车道组的历史语义信息，更新为当前语义信息，从而实现了对地图数据的更新。
比如，从多个连续图像包含的车道组的当前语义信息为左侧黄色实线、中间白色虚线、右侧是黄色实线，而地图数据中该车道组的历史语义信息为左侧白色实线、中间白色虚线、右侧是白色实线，那么可对左侧白色实线和右侧是白色实线进行更新，将地图数据中车道组更新为左侧黄色实线、中间白色虚线、右侧是黄色实线。
本申请实施例中，待更新元素为车道线，在获取图像对应的语义分割数据集之后，通过多个连续图像分别对应的多个语义分割数据集中各车道线的当前语义信息，确定多个连续图像中包含的第二车道组、第二车道组对应的当前语义信息及第二车道组的第四位置信息，根据第四位置信息，从历史地图数据中获取第二车道组的历史语义信息，如果第二车道组的历史语义信息与第二车道组的当前语义信息不匹配，则根据第二车道组的当前语义信息对地图数据进行更新。由此，通过根据多个连续图像分别对应的多个语义分割数据集中各车道线的当前语义信息，确定包含的车道组，以车道组为单位更新地图数据，减少了计算量，提高了更新效率。
图7为本申请实施例提供的一种地图更新过程示意图。图7中，采集了N张图像分别为图像1、图像2、…、图像N，如图中701、702、703所示；同时采集了每张图像的点云数据集如图中704、705、706所示，分别为点云数据集1、点云数据集2、…、点云数据集N。然后，将点云数据集分别投影到对应的图像上，比如点云数据集1投影到图像1上，点云数据集2投影到图像2上等，分别得到映射关系1、映射关系2、…、映射关系N，即图中的707、708、709，其中，映射关系是指2维-3维映射关系。之后，根据映射关系1，可以得到元素A的语义信息1,根据映射关系2，可以得到元素A的语义信息2，映射关系N，可以得到元素A的语义信息N，即图中710、711、712。
在获取语义信息时，可以采用上述方法，对图像进行语义分割，从语义分割数据中获取元素A的语义信息。
然后，执行713融合多帧语义信息，具体地，可采用上述实施例中的方法，将语义信息1、语义信息2,…、语义信息N共N个语义信息中，相同语义信息对应的权重进行加和，得到每个语义信息的权重，根据每个语义信息的权重，从N个语义信息中确定出元素A的目标语义信息，根据目标语义信息进行更新，即执行714。
其中，相同语义信息对应的权重可以是指语义信息所在语义分割数据集对应的权重，可以是根据摄像装置与元素之间的距离计算出的。
为了实现上述实施例，本申请实施例还提出一种地图数据的更新装置。图8为本申请实施例提供的一种地图数据的更新装置的结构示意图。
如图8所示，该地图数据的更新装置800包括：第一获取模块810、投影模块820、第二获取模块830、第三获取模块840、第四获取模块850及更新模块860。
第一获取模块810，用于获取车辆在行驶过程中采集的图像及点云数据集；
投影模块820，用于根据点云数据集的采集时刻及图像的采集时刻，将点云数据集投影至图像中，以获取图像中多个元素的第一位置信息；
第二获取模块830，用于获取多个元素之中的待更新元素；
第三获取模块840，用于从图像中获取待更新元素的当前语义信息；
第四获取模块850，用于根据图像中待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息；以及
更新模块860，用于当待更新元素的历史语义信息，与对应的当前语义信息不匹配时，则根据待更新元素的当前语义信息对地图数据进行更新。
图9为本申请实施例提供的另一种地图数据的更新装置的结构示意图。如图9所示，在本申请实施例一种可能的实现方式中，该装置还可包括：
第五获取模块870，用于获取地图数据更新请求，其中，更新请求中包括待更新元素的目标类型；
上述第二获取模块830，用于根据待更新元素的目标类型，从多个元素中获取待更新元素。
在本申请实施例一种可能的实现方式中，上述第三获取模块840，包括：
语义分割单元，用于将图像进行语义分割，以获取图像对应的语义分割数据集，其中，语义分割数据集中包括图像中每个元素的当前语义信息；
获取单元，用于从语义分割数据集，获取待更新元素的当前语义信息。
在本申请实施例一种可能的实现方式中，如果上述车辆采集的多个图像分别对应的多个语义分割数据集中均包含待更新元素，则上述装置还包括：
第六获取模块，用于从多个语义分割数据集中，获取待更新元素的多个当前语义信息；以及
第一确定模块，用于将多个当前语义信息进行融合，以确定待更新元素的目标语义信息；
上述更新模块860，用于当待更新元素的历史语义信息与目标语义信息不匹配时，根据待更新元素的目标语义信息对地图数据进行更新。
在本申请实施例一种可能的实现方式中，该装置还可包括：
第二确定模块，用于确定多个语义分割数据集中的每个语义分割数据集对应的目标图像；
第七获取模块，用于获取车辆中摄像装置在采集每个目标图像时的第二位置信息；以及
第三确定模块，用于根据每个第二位置信息，确定多个语义分割数据集中每个语义分割数据集的权重；
上述第一确定模块，用于：
根据每个语义分割数据集的权重，将多个当前语义信息进行融合，以确定待更新元素的目标语义信息。
在本申请实施例一种可能的实现方式中，上述第一确定模块，包括：
确定单元，用于将多个当前语义信息中，相同语义信息对应的权重进行加和，以确定每个当前语义信息对应的权重和；以及
选取单元，用于根据每个当前语义信息对应的权重和，从多个当前语义信息中选取待更新元素的目标语义信息。
在本申请实施例一种可能的实现方式中，如果上述待更新元素为车道线，则该装置还可包括：
第四确定模块，用于根据语义分割数据集中每个车道线的当前语义信息及第一位置信息，确定语义分割数据集中包含的第一车道组、第一车道组对应的当前语义信息及第一车道组的第三位置信息；
上述第四获取模块850，用于根据第三位置信息，从历史地图数据中获取第一车道组的历史语义信息；以及
上述更新模块860，用于当第一车道组的历史语义信息与第一车道组的当前语义信息不匹配时，根据第一车道组的当前语义信息对地图数据进行更新。
在本申请实施例一种可能的实现方式中，如果上述待更新元素为车道线，则该装置还可包括：
第五确定模块，用于根据多个连续图像分别对应的多个语义分割数据集中各车道线的当前语义信息，确定多个连续图像中包含的第二车道组、第二车道组对应的当前语义信息及第二车道组的第四位置信息；
上述第四获取模块850，用于根据第四位置信息，从历史地图数据中获取第二车道组的历史语义信息；以及
上述更新模块860，用于当第二车道组的历史语义信息与第二车道组的当前语义信息不匹配时，根据第二车道组的当前语义信息对地图数据进行更新。
需要说明的是，前述地图数据的更新方法实施例的解释说明，也适用于该实施例的地图数据的更新装置，故在此不再赘述。
本申请实施例的地图数据的更新装置，通过将车辆在行驶过程中采集的点云数据集映射到采集的图像中，以获取图像中多个元素的第一位置信息，从图像中获取待更新元素的当前语义信息，和根据待更新元素的第一位置信息，从历史地图数据中获取待更新元素的历史语义信息，如果待更新元素的历史语义信息，与对应的当前语义信息不匹配，则根据待更新元素的当前语义信息对地图数据进行更新，由此，通过融合点云数据和图像信息，可以获取高精度的语义信息，进而基于高精度语义信息对高精地图数据进行更新，从而提高了地图数据的准确性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图10所示，是根据本申请实施例的地图数据的更新方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的地图数据的更新方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的地图数据的更新方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的地图数据的更新方法对应的程序指令/模块(例如，附图8所示的第一获取模块810、投影模块820、第二获取模块830、第三获取模块840、第四获取模块850及更新模块860)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的地图数据的更新方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据地图数据的更新电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至地图数据的更新方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
地图数据的更新方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与地图数据的更新方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过融合点云数据和图像信息，可以获取高精度的语义信息，进而基于高精度语义信息对高精地图数据进行更新，从而提高了地图数据的准确性。
为了实现上述实施例，本申请实施例还提出一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述实施例所述的地图数据的更新方法。
在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种地图数据的更新方法，包括：
获取车辆在行驶过程中采集的图像及点云数据集；
根据所述点云数据集的采集时刻及所述图像的采集时刻，将所述点云数据集投影至所述图像中，以获取所述图像中多个元素的第一位置信息；
获取所述多个元素之中的待更新元素；
将所述图像进行语义分割，以获取所述图像对应的语义分割数据集，其中，所述语义分割数据集中包括所述图像中每个元素的当前语义信息；从所述语义分割数据集，获取所述待更新元素的当前语义信息；
根据所述图像中所述待更新元素的第一位置信息，从历史地图数据中获取所述待更新元素的历史语义信息；以及
如果所述待更新元素的历史语义信息，与对应的所述当前语义信息不匹配，则根据所述待更新元素的当前语义信息对所述地图数据进行更新；
如果所述车辆采集的多个图像分别对应的多个所述语义分割数据集中均包含所述待更新元素，从所述多个语义分割数据集中，获取所述待更新元素的多个当前语义信息；将所述多个当前语义信息进行融合，以确定所述待更新元素的目标语义信息；如果所述待更新元素的历史语义信息与所述目标语义信息不匹配，则根据所述待更新元素的目标语义信息对所述地图数据进行更新。
2.如权利要求1所述的方法，其中，在所述获取所述多个元素之中的待更新元素之前，还包括：
获取地图数据更新请求，其中，所述更新请求中包括待更新元素的目标类型；
所述获取所述多个元素之中的待更新元素，包括：
根据所述待更新元素的目标类型，从所述多个元素中获取待更新元素。
3.如权利要求1所述的方法，其中，在所述将所述多个当前语义信息进行融合，以确定所述待更新元素的目标语义信息之前，还包括：
确定所述多个语义分割数据集中的每个语义分割数据集对应的目标图像；
获取所述车辆中摄像装置在采集每个目标图像时的第二位置信息；以及
根据每个所述第二位置信息，确定所述多个语义分割数据集中每个语义分割数据集的权重；
所述将所述多个当前语义信息进行融合，以确定所述待更新元素的目标语义信息，包括：
根据所述每个语义分割数据集的权重，将所述多个当前语义信息进行融合，以确定所述待更新元素的目标语义信息。
4. 如权利要求3所述的方法，其中，所述根据所述每个语义分割数据集的权重，将所述多个当前语义信息进行融合，以确定所述待更新元素的目标语义信息，包括：
将所述多个当前语义信息中，相同语义信息对应的权重进行加和，以确定每个当前语义信息对应的权重和；以及
根据所述每个当前语义信息对应的权重和，从多个所述当前语义信息中选取所述待更新元素的目标语义信息。
5.如权利要求1-4任一所述的方法，其中，如果所述待更新元素为车道线，则在所述获取所述图像对应的语义分割数据集之后，还包括：
根据所述语义分割数据集中每个车道线的当前语义信息及第一位置信息，确定所述语义分割数据集中包含的第一车道组、所述第一车道组对应的当前语义信息及所述第一车道组的第三位置信息；
根据所述第三位置信息，从历史地图数据中获取所述第一车道组的历史语义信息；以及
如果所述第一车道组的历史语义信息与所述第一车道组的当前语义信息不匹配，则根据所述第一车道组的当前语义信息对所述地图数据进行更新。
6.如权利要求1-4任一所述的方法，其中，如果所述待更新元素为车道线，则在所述获取所述图像对应的语义分割数据集之后，还包括：
根据多个连续图像分别对应的多个语义分割数据集中各车道线的当前语义信息，确定所述多个连续图像中包含的第二车道组、所述第二车道组对应的当前语义信息及所述第二车道组的第四位置信息；
根据所述第四位置信息，从历史地图数据中获取所述第二车道组的历史语义信息；以及
如果所述第二车道组的历史语义信息与所述第二车道组的当前语义信息不匹配，则根据所述第二车道组的当前语义信息对所述地图数据进行更新。
7.一种地图数据的更新装置，包括：
第一获取模块，用于获取车辆在行驶过程中采集的图像及点云数据集；
投影模块，用于根据所述点云数据集的采集时刻及所述图像的采集时刻，将所述点云数据集投影至所述图像中，以获取所述图像中多个元素的第一位置信息；
第二获取模块，用于获取所述多个元素之中的待更新元素；
第三获取模块，包括：语义分割单元，用于将所述图像进行语义分割，以获取所述图像对应的语义分割数据集，其中，所述语义分割数据集中包括所述图像中每个元素的当前语义信息；获取单元，用于从所述语义分割数据集，获取所述待更新元素的当前语义信息；
第四获取模块，用于根据所述图像中所述待更新元素的第一位置信息，从历史地图数据中获取所述待更新元素的历史语义信息；以及
更新模块，用于当所述待更新元素的历史语义信息，与对应的所述当前语义信息不匹配时，则根据所述待更新元素的当前语义信息对所述地图数据进行更新；
如果所述车辆采集的多个图像分别对应的多个所述语义分割数据集中均包含所述待更新元素，则所述装置还包括：
第六获取模块，用于从所述多个语义分割数据集中，获取所述待更新元素的多个当前语义信息；以及
第一确定模块，用于将所述多个当前语义信息进行融合，以确定所述待更新元素的目标语义信息；
所述更新模块，用于当所述待更新元素的历史语义信息与所述目标语义信息不匹配时，根据所述待更新元素的目标语义信息对所述地图数据进行更新。
8.如权利要求7所述的装置，还包括：
第五获取模块，用于获取地图数据更新请求，其中，所述更新请求中包括待更新元素的目标类型；
所述第二获取模块，用于根据所述待更新元素的目标类型，从所述多个元素中获取待更新元素。
9.如权利要求7所述的装置，还包括：
第二确定模块，用于确定所述多个语义分割数据集中的每个语义分割数据集对应的目标图像；
第七获取模块，用于获取所述车辆中摄像装置在采集每个目标图像时的第二位置信息；以及
第三确定模块，用于根据每个所述第二位置信息，确定所述多个语义分割数据集中每个语义分割数据集的权重；
所述第一确定模块，用于：
根据所述每个语义分割数据集的权重，将所述多个当前语义信息进行融合，以确定所述待更新元素的目标语义信息。
10. 如权利要求9所述的装置，其中，所述第一确定模块，包括：
确定单元，用于将所述多个当前语义信息中，相同语义信息对应的权重进行加和，以确定每个当前语义信息对应的权重和；以及
选取单元，用于根据所述每个当前语义信息对应的权重和，从多个所述当前语义信息中选取所述待更新元素的目标语义信息。
11.如权利要求7-10任一所述的装置，其中，如果所述待更新元素为车道线，则所述装置还包括：
第四确定模块，用于根据所述语义分割数据集中每个车道线的当前语义信息及第一位置信息，确定所述语义分割数据集中包含的第一车道组、所述第一车道组对应的当前语义信息及所述第一车道组的第三位置信息；
所述第四获取模块，用于根据所述第三位置信息，从历史地图数据中获取所述第一车道组的历史语义信息；以及
所述更新模块，用于当所述第一车道组的历史语义信息与所述第一车道组的当前语义信息不匹配时，根据所述第一车道组的当前语义信息对所述地图数据进行更新。
12.如权利要求7-10任一所述的装置，其中，如果所述待更新元素为车道线，则所述装置还包括：
第五确定模块，用于根据多个连续图像分别对应的多个语义分割数据集中各车道线的当前语义信息，确定所述多个连续图像中包含的第二车道组、所述第二车道组对应的当前语义信息及所述第二车道组的第四位置信息；
所述第四获取模块，用于根据所述第四位置信息，从历史地图数据中获取所述第二车道组的历史语义信息；以及
所述更新模块，用于当所述第二车道组的历史语义信息与所述第二车道组的当前语义信息不匹配时，根据所述第二车道组的当前语义信息对所述地图数据进行更新。
13. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的地图数据的更新方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的地图数据的更新方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010571727.0A CN111797187B (zh) | 2020-06-22 | 2020-06-22 | 地图数据的更新方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010571727.0A CN111797187B (zh) | 2020-06-22 | 2020-06-22 | 地图数据的更新方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111797187A CN111797187A (zh) | 2020-10-20 |
| CN111797187B true CN111797187B (zh) | 2023-09-26 |
Family
ID=72804562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010571727.0A Active CN111797187B (zh) | 2020-06-22 | 2020-06-22 | 地图数据的更新方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797187B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163063B (zh) * | 2020-10-22 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 生成高精度地图的方法、装置和计算机可读存储介质 |
| CN112289113B (zh) * | 2020-10-29 | 2022-05-24 | 中国航空工业集团公司洛阳电光设备研究所 | 机载光电系统的数字视频激励的方法及其系统 |
| CN112308810B (zh) * | 2020-11-05 | 2022-05-13 | 广州小鹏自动驾驶科技有限公司 | 一种地图融合的方法及装置、服务器、存储介质 |
| CN112683284B (zh) * | 2020-12-01 | 2024-01-02 | 北京罗克维尔斯科技有限公司 | 更新高精地图的方法及装置 |
| CN112960000A (zh) * | 2021-03-15 | 2021-06-15 | 新石器慧义知行智驰(北京)科技有限公司 | 高精地图更新方法、装置、电子设备和存储介质 |
| CN113515536B (zh) * | 2021-07-13 | 2022-12-13 | 北京百度网讯科技有限公司 | 地图的更新方法、装置、设备、服务器以及存储介质 |
| CN113611008B (zh) * | 2021-07-30 | 2023-09-01 | 广州文远知行科技有限公司 | 一种车辆行驶场景采集方法、装置、设备及介质 |
| CN113762397B (zh) * | 2021-09-10 | 2024-04-05 | 北京百度网讯科技有限公司 | 检测模型训练、高精度地图更新方法、设备、介质及产品 |
| CN113792061B (zh) * | 2021-09-16 | 2023-11-28 | 北京百度网讯科技有限公司 | 地图数据的更新方法、装置及电子设备 |
| CN113932794B (zh) * | 2021-10-13 | 2022-12-13 | 广州小鹏自动驾驶科技有限公司 | 一种语义地图的更新方法和装置 |
| CN114061564B (zh) * | 2021-11-01 | 2022-12-13 | 广州小鹏自动驾驶科技有限公司 | 一种地图数据的处理方法和装置 |
| CN114036253B (zh) * | 2021-11-29 | 2023-09-22 | 北京百度网讯科技有限公司 | 高精地图数据处理方法、装置、电子设备和介质 |
| WO2023131203A1 (zh) * | 2022-01-04 | 2023-07-13 | 深圳元戎启行科技有限公司 | 语义地图更新方法、路径规划方法以及相关装置 |
| CN114754762A (zh) * | 2022-04-14 | 2022-07-15 | 中国第一汽车股份有限公司 | 地图的处理方法、装置 |
| CN116994145B (zh) * | 2023-09-05 | 2024-06-11 | 腾讯科技（深圳）有限公司 | 车道线变化点的识别方法、装置、存储介质及计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109737974A (zh) * | 2018-12-14 | 2019-05-10 | 中国科学院深圳先进技术研究院 | 一种3d导航语义地图更新方法、装置及设备 |
| CN110287276A (zh) * | 2019-05-27 | 2019-09-27 | 百度在线网络技术（北京）有限公司 | 高精地图更新方法、装置及存储介质 |
| WO2020103108A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 一种语义生成方法、设备、飞行器及存储介质 |
-
2020
- 2020-06-22 CN CN202010571727.0A patent/CN111797187B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020103108A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 一种语义生成方法、设备、飞行器及存储介质 |
| CN109737974A (zh) * | 2018-12-14 | 2019-05-10 | 中国科学院深圳先进技术研究院 | 一种3d导航语义地图更新方法、装置及设备 |
| WO2020119684A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种3d导航语义地图更新方法、装置及设备 |
| CN110287276A (zh) * | 2019-05-27 | 2019-09-27 | 百度在线网络技术（北京）有限公司 | 高精地图更新方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Yuxia Li等."Road Segmentation of Unmanned Aerial Vehicle Remote Sensing Images Using Adversarial Network With Multiscale Context Aggregation".《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》.2019,第12卷(第7期),第2279-2287页. * |
| 江文婷 ; 龚小谨 ; 刘济林 ; .基于增量计算的大规模场景致密语义地图构建.浙江大学学报(工学版).2016,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111797187A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797187B (zh) | 地图数据的更新方法、装置、电子设备和存储介质 | |
| CN111595358B (zh) | 导航数据处理方法、路径诱导方法、设备及存储介质 | |
| CN112415552B (zh) | 车辆位置的确定方法、装置及电子设备 | |
| CN111859778B (zh) | 泊车模型的生成方法和装置、电子设备和存储介质 | |
| CN111723768B (zh) | 车辆重识别的方法、装置、设备和存储介质 | |
| JP7204823B2 (ja) | 車両制御方法、車両制御装置及び車両 | |
| CN111797657A (zh) | 车辆周边障碍检测方法、装置、存储介质及电子设备 | |
| CN111274343A (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
| CN111523471B (zh) | 车辆所在车道的确定方法、装置、设备以及存储介质 | |
| CN111292531B (zh) | 交通信号灯的跟踪方法、装置、设备及存储介质 | |
| CN110794844B (zh) | 自动驾驶方法、装置、电子设备及可读存储介质 | |
| CN111666876B (zh) | 用于检测障碍物的方法、装置、电子设备和路侧设备 | |
| CN111652112B (zh) | 一种车道流向的识别方法、装置、电子设备及存储介质 | |
| CN111324616B (zh) | 车道线变化信息的检测方法、装置及设备 | |
| CN111597986B (zh) | 用于生成信息的方法、装置、设备和存储介质 | |
| CN112668428A (zh) | 车辆变道的检测方法、路侧设备、云控平台和程序产品 | |
| CN111540010B (zh) | 一种道路监测的方法、装置、电子设备及存储介质 | |
| CN111627241A (zh) | 用于生成车辆排队信息的方法和装置 | |
| CN111353453A (zh) | 用于车辆的障碍物检测方法和装置 | |
| CN111242986A (zh) | 跨相机的障碍物跟踪方法、装置、设备、系统及介质 | |
| CN113297878B (zh) | 道路交叉口识别方法、装置、计算机设备和存储介质 | |
| CN113011298A (zh) | 截断物体样本生成、目标检测方法、路侧设备和云控平台 | |
| CN112801012A (zh) | 交通元素的处理方法、装置、电子设备及存储介质 | |
| Abu-Khadrah et al. | Pervasive computing of adaptable recommendation system for head-up display in smart transportation | |
| CN112987707A (zh) | 一种车辆的自动驾驶控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |