CN113763504B - 地图更新方法、系统、车载终端、服务器及存储介质 - Google Patents
地图更新方法、系统、车载终端、服务器及存储介质 Download PDFInfo
- Publication number
- CN113763504B CN113763504B CN202110330793.3A CN202110330793A CN113763504B CN 113763504 B CN113763504 B CN 113763504B CN 202110330793 A CN202110330793 A CN 202110330793A CN 113763504 B CN113763504 B CN 113763504B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- map
- internal
- updated
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000000007 visual effect Effects 0.000 claims abstract description 105
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 description 17
- 230000007613 environmental effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种地图更新方法、系统、车载终端、服务器及存储介质，其中，该方法基于车辆的车辆轨迹数据，以及该车辆轨迹数据对应的车辆视觉图像，获得了上述车辆上行车记录仪的内外参，并将该行车记录仪的数据发送至服务器，使得服务器基于上述行车记录仪的数据对上述车辆的HDMap进行更新，解决了现有HD Map没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。而且，该方法基于行车记录仪数据进行HD Map更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时降低了HD Map更新的成本，提高了时效性。
Description
技术领域
本申请涉及导航电子地图技术领域，尤其涉及一种地图更新方法、系统、车载终端、服务器及存储介质。
背景技术
随着技术发展，人们对地图的要求进一步提高，高精地图(High Definition Map，HD Map)被应用到人们生活的多个方面，其与普通电子导航地图不同，可满足自动驾驶需求，例如自动驾驶、路径规划、高精高的导航定位等。
相关技术中，以自动驾驶为例，自动驾驶汽车需要先了解周围的环境。然后确定车辆的最优行驶轨迹，进而，控制车辆按照规划的行驶轨迹行驶。其中，自动驾驶汽车可以通过传感器(如相机、激光雷达等)获取车辆附近的环境信息。但是，由于传感器的感知范围和处理器性能的限制，会降低自动驾驶汽车对周围环境的感知能力。为了克服这一局限性，自动驾驶汽车可以利用预先构建的HD Map来获取环境信息。
然而，现实世界是不断变化的。如果HD Map没有及时更新，会导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大的问题，例如，自动驾驶汽车由于HDMap没有及时更新，导致定位失效。
发明内容
本申请提供一种地图更新方法、系统、车载终端、服务器及存储介质，能够对车辆的HD Map进行及时更新，使得自动驾驶汽车对所处环境信息做出正确的理解，减少自动驾驶中出现的问题。
第一方面，本申请实施例提供一种地图更新方法，该方法包括如下步骤：
从目标车辆的控制器局域网络(Controller Area Network，CAN)总线和行车记录仪，获取所述目标车辆的数据流，所述数据流中的每一帧数据包括车辆轨迹数据，以及与所述车辆轨迹对应的车辆视觉图像；
根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新HD Map的对应关系，其中，所述待更新HD Map与所述目标车辆对应；
根据所述对应关系，获得所述行车记录仪的第一内外参；
将所述第一内外参发送至服务器，以使所述服务器根据所述第一内外参，对所述待更新HD Map进行更新。
在一种可能的实现方式中，所述根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新HD Map的对应关系，包括：
根据所述车辆轨迹数据，确定所述目标车辆对应的所述待更新HD Map，并根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述行车记录仪的第二内外参；
根据所述第二内外参，确定所述车辆视觉图像与所述待更新HD Map的对应关系。
在一种可能的实现方式中，所述根据所述第二内外参，确定所述车辆视觉图像与所述待更新HD Map的对应关系，包括：
根据所述第二内外参，将所述待更新HD Map投影到对应的车辆视觉图像上，获得所述待更新HD Map中各要素的二维坐标；
将所述二维坐标与所述对应的车辆视觉图像进行匹配；
根据所述二维坐标与所述对应的车辆视觉图像的匹配结果，确定所述对应关系。
在一种可能的实现方式中，所述根据所述对应关系，获得所述行车记录仪的第一内外参，包括：
根据所述对应关系，获得所述行车记录仪每一帧的投影矩阵；
根据所述投影矩阵，获得所述行车记录仪每一帧的内外参估计值；
根据所述行车记录仪初始帧的内外参估计值，对所述每一帧的内外参估计值进行优化，获得所述第一内外参。
在一种可能的实现方式中，所述根据所述行车记录仪初始帧的内外参估计值，对所述每一帧的内外参估计值进行优化，获得所述第一内外参，包括：
根据所述初始帧的内外参估计值中内参参数估计值，将所述待更新HD Map投影到对应的车辆视觉图像上，计算投影误差；
将所述投影误差作为损失函数，并基于所述损失函数，对所述每一帧的内外参估计值进行优化，获得所述第一内外参。
第二方面，本申请实施例提供另一种地图更新方法，该方法包括如下步骤：
接收车载终端发送的目标车辆的行车记录仪的第一内外参；
根据所述第一内外参，对待更新HD Map进行更新，所述待更新高精地图与所述目标车辆对应；
其中，所述第一内外参是所述车载终端从所述目标车辆的CAN总线和所述行车记录仪，获取所述目标车辆的数据流后，根据所述行车记录仪的内参参数和所述数据流中的车辆轨迹数据，确定所述数据流中的车辆视觉图像与所述待更新高精地图的对应关系，并根据所述对应关系，获得的第一内外参，其中，所述数据流中的每一帧数据包括所述车辆轨迹数据，以及与所述车辆轨迹对应的所述车辆视觉图像。
在一种可能的实现方式中，所述根据所述第一内外参，对所述待更新HD Map进行更新，包括：
根据所述第一内外参，确定所述行车记录仪在HD Map坐标系下的位姿；
根据所述位姿，构建目标HD Map；
根据所述目标HD Map，对所述待更新HD Map进行更新。
在一种可能的实现方式中，所述根据所述第一内外参，确定所述行车记录仪在HDMap坐标系下的位姿，包括：
根据所述第一内外参中的内参参数，对所述行车记录仪的帧间基础矩阵进行分解，获得帧间位姿估计值；
根据所述帧间位姿估计值，对所述第一内外参中的外参参数进行优化，获得所述位姿。
在一种可能的实现方式中，所述根据所述位姿，构建目标HD Map，包括：
根据所述位姿，获得各对象特征点的三维空间坐标值；
根据所述各对象特征点的三维空间坐标值，构建所述目标HD Map。
第三方面，本申请实施例提供一种地图更新装置，包括：
获取模块，用于从目标车辆的CAN总线和行车记录仪，获取所述目标车辆的数据流，所述数据流中的每一帧数据包括车辆轨迹数据，以及与所述车辆轨迹对应的车辆视觉图像；
确定模块，用于根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新HD Map的对应关系，其中，所述待更新HD Map与所述目标车辆对应；
获得模块，用于根据所述对应关系，获得所述行车记录仪的第一内外参；
发送模块，用于将所述第一内外参发送至服务器，以使所述服务器根据所述第一内外参，对所述待更新HD Map进行更新。
在一种可能的实现方式中，所述确定模块，具体用于：
根据所述车辆轨迹数据，确定所述目标车辆对应的所述待更新HD Map，并根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述行车记录仪的第二内外参；
根据所述第二内外参，确定所述车辆视觉图像与所述待更新HD Map的对应关系。
在一种可能的实现方式中，所述确定模块，具体用于：
根据所述第二内外参，将所述待更新HD Map投影到对应的车辆视觉图像上，获得所述待更新HD Map中各要素的二维坐标；
将所述二维坐标与所述对应的车辆视觉图像进行匹配；
根据所述二维坐标与所述对应的车辆视觉图像的匹配结果，确定所述对应关系。
在一种可能的实现方式中，所述获得模块，具体用于：
根据所述对应关系，获得所述行车记录仪每一帧的投影矩阵；
根据所述投影矩阵，获得所述行车记录仪每一帧的内外参估计值；
根据所述行车记录仪初始帧的内外参估计值，对所述每一帧的内外参估计值进行优化，获得所述第一内外参。
在一种可能的实现方式中，所述获得模块，具体用于：
根据所述初始帧的内外参估计值中内参参数估计值，将所述待更新HD Map投影到对应的车辆视觉图像上，计算投影误差；
将所述投影误差作为损失函数，基于所述损失函数，对所述每一帧的内外参估计值进行优化，获得所述第一内外参。
第四方面，本申请实施例提供另一种地图更新装置，包括：
接收模块，用于接收车载终端发送的目标车辆的行车记录仪的第一内外参；
更新模块，用于根据所述第一内外参，对待更新HD Map进行更新，所述待更新高精地图与所述目标车辆对应；
其中，所述第一内外参是所述车载终端从所述目标车辆的CAN总线和所述行车记录仪，获取所述目标车辆的数据流后，根据所述行车记录仪的内参参数和所述数据流中的车辆轨迹数据，确定所述数据流中的车辆视觉图像与所述待更新高精地图的对应关系，并根据所述对应关系，获得的第一内外参，其中，所述数据流中的每一帧数据包括所述车辆轨迹数据，以及与所述车辆轨迹对应的所述车辆视觉图像。
在一种可能的实现方式中，所述更新模块，具体用于：
根据所述第一内外参，确定所述行车记录仪在HD Map坐标系下的位姿；
根据所述位姿，构建目标HD Map；
根据所述目标HD Map，对所述待更新HD Map进行更新。
在一种可能的实现方式中，所述更新模块，具体用于：
根据所述第一内外参中的内参参数，对所述行车记录仪的帧间基础矩阵进行分解，获得帧间位姿估计值；
根据所述帧间位姿估计值，对所述第一内外参中的外参参数进行优化，获得所述位姿。
在一种可能的实现方式中，所述更新模块，具体用于：
根据所述位姿，获得各对象特征点的三维空间坐标值；
根据所述各对象特征点的三维空间坐标值，构建所述目标HD Map。
第五方面，本申请实施例提供一种地图更新系统，包括：
车载终端，用于从目标车辆的控制器局域网络总线和行车记录仪，获取所述目标车辆的数据流，所述数据流中的每一帧数据包括车辆轨迹数据，以及与所述车辆轨迹对应的车辆视觉图像；根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新HD Map的对应关系，其中，所述待更新HD Map与所述目标车辆对应；根据所述对应关系，获得所述行车记录仪的第一内外参；将所述第一内外参发送至服务器；
所述服务器，用于根据所述第一内外参，对所述待更新HD Map进行更新。
第六方面，本申请实施例提供一种车载终端，包括：
发送装置、接收装置、处理器、存储器，以及计算机程序；
其中，所述发送装置和所述接收装置分别与所述处理器连接，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。
第七方面，本申请实施例提供一种服务器，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第二方面所述的方法的指令。
第八方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得车载终端执行第一方面所述的方法。
第九方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第二方面所述的方法。
第十方面，本申请实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行第一方面所述的方法。
第十一方面，本申请实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行第一方面所述的方法。
本申请实施例提供的地图更新方法、系统、车载终端、服务器及存储介质，该方法通过从目标车辆的CAN总线和行车记录仪，获取目标车辆的数据流，该数据流中的每一帧数据包括车辆轨迹数据，以及与车辆轨迹对应的车辆视觉图像，进而，根据上述行车记录仪的内参参数和车辆轨迹数据，确定上述车辆视觉图像与待更新HD Map的对应关系，该待更新HD Map与上述目标车辆对应，并根据上述对应关系，获得行车记录仪的第一内外参，从而，将该第一内外参发送至服务器，以使服务器根据该第一内外参，对上述待更新HD Map进行更新，即本申请实施例基于车辆的车辆轨迹数据，以及该车辆轨迹数据对应的车辆视觉图像，获得了上述车辆上行车记录仪的内外参，并将该行车记录仪的数据发送至服务器，使得服务器基于上述行车记录仪的数据对上述车辆的HD Map进行更新，解决了现有HD Map没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。而且，本申请实施例基于行车记录仪数据进行HD Map更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时降低了HD Map更新的成本，提高了时效性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的地图更新系统架构示意图；
图2为本申请实施例提供的一种地图更新方法的流程示意图；
图3为本申请实施例提供的另一种地图更新方法的流程示意图；
图4为本申请实施例提供的再一种地图更新方法的流程示意图；
图5为本申请实施例提供的又一种地图更新方法的流程示意图；
图6为本申请实施例提供的又一种地图更新方法的流程示意图；
图7为本申请实施例提供的一种地图更新的流程示意图；
图8为本申请实施例提供的一种地图更新装置的结构示意图；
图9为本申请实施例提供的另一种地图更新装置的结构示意图；
图10A为本申请提供的一种车载终端的基本硬件架构示意图；
图10B为本申请提供的一种服务器的基本硬件架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中，以自动驾驶为例，自动驾驶汽车需要先了解周围的环境。然后确定车辆的最优行驶轨迹，进而，控制车辆按照规划的行驶轨迹行驶。其中，自动驾驶汽车可以通过传感器(如相机、激光雷达等)获取车辆附近的环境信息。但是，由于传感器的感知范围和处理器性能的限制，会降低自动驾驶汽车对周围环境的感知能力。为了克服这一局限性，自动驾驶汽车可以利用预先构建的HD Map来获取环境信息。
然而，现实世界是不断变化的。如果HD Map没有及时更新，会导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大的问题，例如，自动驾驶汽车由于HDMap没有及时更新，导致定位失效。
为了解决上述问题，现有进行HD Map更新主要有两种方式：第一种：根据施工、道路养护等情报，确定地图变化的空间范围驱动测绘级移动采集车进行更新。第二种：采用专业的视觉采集设备(单目或双目)和定位设备，利用基于深度学习的深度估计方法完成地图构建。
但是，第一种方法由于采用情报驱动的方式，对非规划性变化，很难获取相应情报，容易造成更新范围不足的情况，严重影响HD Map更新的准确性。同时，移动采集车采集数据后续处理环节复杂、耗时严重，很难保证HD Map更新的时效性。第二种方法中视觉设备需要定期标定，会产生较大的维护费用，成本较高。
因此，本申请实施例提出一种地图更新方法，基于行车记录仪数据进行HD Map更新，解决了现有HD Map没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。而且，本申请实施例基于行车记录仪数据进行HD Map更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时相比于基于专业视觉采集设备和定位设备的HD Map更新方法，本申请实施例采用低成本的行车记录仪数据，大大降低了HD Map更新的成本，另外相比于基于测绘级移动采集车的HD Map更新方法，本申请实施例采用行车记录仪数据，大幅减少算力需求和后续点云处理流程，可以实现端上运算，提高了HD Map更新的时效性。
可选地，本发明实施例提供的地图更新方法，应用于HD Map成图过程中地图更新的处理，具体的，可以应用于通过车载终端与服务器进行信息交互，生成HD Map的系统中，图1为本发明实施例提供的地图更新系统的架构示意图，如图1所示，该系统中包括车载终端11和服务器12。这里，车载终端11可以包括发送装置和接收装置。示例性的，车载终端11具体是车辆上的哪些设备可以根据实际情况确定，例如在一些情况下，车载终端11可以为车辆上的导航终端，本申请实施例对此不做特别限制。
可以理解的是，本申请实施例示意的结构并不构成对地图更新系统架构的具体限定。在本申请另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图1所示的部件可以以硬件，软件，或软件与硬件的组合实现。
在具体实现过程中，车载终端11可以通过发送装置发送获取指令至行车记录仪，进而，基于该获取指令，通过接收装置从行车记录仪获取数据。其中，上述获取指令可以是车载终端11在获取车辆的位置，根据该位置确定此位置需要进行地图更新后发送的。这里，上述车辆上还搭载定位装置，车载终端11通过该定位装置获取车辆的位置。
车载终端11获取车辆上行车记录仪的内外参，并将该行车记录仪的数据发送至服务器12。服务器12基于上述行车记录仪的数据对上述车辆的HD Map进行更新解决了现有HDMap没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。而且，本申请实施例基于行车记录仪数据进行HD Map更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时降低了HD Map更新的成本，提高了时效性。
其中，车载终端11将车辆上行车记录仪的数据发送至服务器12后，服务器12基于该数据对上述车辆的HD Map进行更新，从而，可以将更新后的HD Map应用到自动驾驶、路径规划、导航定位等。
需要进行说明的是，在图1中，服务器12还可以发送需要进行地图更新的位置区域至车载终端11，从而，车载终端11在确定车辆的位置在上述位置区域时，发送获取指令至行车记录仪，从行车记录仪获取数据。
在本申请实施例中，上述各车载终端可以为手持设备、车载设备、可穿戴设备、计算设备，以及各种形式的用户设备(User Equipment，UE)等。
另外，本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面以几个实施例为例对本申请的技术方案进行描述，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供了一种地图更新方法的流程示意图，本实施例的执行主体可以为图1所示实施例中的车载终端，如图2所示，该方法可以包括：
S201：从目标车辆的CAN总线和行车记录仪，获取目标车辆的数据流，该数据流中的每一帧数据包括车辆轨迹数据，以及与车辆轨迹对应的车辆视觉图像。
其中，目标车辆为需要进行地图更新的车辆，可以根据实际情况确定。上述车载终端从目标车辆的CAN总线和行车记录仪，获取目标车辆的数据流。示例性的，上述车载终端可以发送获取指令至目标车辆的CAN总线和行车记录仪，进而，基于该获取指令，从CAN总线和行车记录仪获取数据。这里，上述获取指令可以是车载终端在获取目标车辆的位置，根据该位置确定此位置需要进行地图更新后发送的。
在本申请实施例中，上述数据流中的每一帧数据包括车辆轨迹数据，以及与车辆轨迹对应的车辆视觉图像，其中，对应可以理解为同一时间目标车辆的CAN总线获取的车辆轨迹和行车记录仪获取的车辆视觉图像。
S202：根据上述行车记录仪的内参参数和上述车辆轨迹数据，确定上述车辆视觉图像与待更新高精地图的对应关系，其中，该待更新HD Map与上述目标车辆对应。
这里，上述车载终端可以根据上述车辆轨迹数据，确定目标车辆对应的上述待更新HD Map。例如上述车载终端根据上述车辆轨迹数据，在目标车辆现有HD Map中获取一定范围的HD Map作为上述待更新HD Map。示例性的，上述车载终端可以根据上述车辆轨迹数据中的平面坐标值，在目标车辆现有HD Map中获取以目标车辆为中心，半径200m范围内的HD Map作为上述待更新HD Map。
上述车载终端在上述确定上述车辆视觉图像与待更新HD Map的对应关系时，可以根据上述行车记录仪的内参参数和上述车辆轨迹数据，确定上述行车记录仪的第二内外参，进而，根据该第二内外参，确定上述车辆视觉图像与上述待更新HD Map的对应关系。示例性的，上述车载终端可以根据上一帧和当前帧车辆轨迹数据的平面坐标值，计算两点间的航偏角，并以此作为当前帧的初始航向角，从而，确定目标车辆当前的外参参数(平面坐标值、初始航向角、俯仰和翻滚角设为0)，然后再结合行车记录仪的内参参数，确定行车记录仪的第二内外参。
S203：根据上述对应关系，获得上述行车记录仪的第一内外参。
在本申请实施例中，上述车载终端可以根据上述第二内外参，将上述待更新HDMap投影到对应的车辆视觉图像上，获得上述待更新HD Map中各要素的二维坐标，进而，将该二维坐标与上述对应的车辆视觉图像进行匹配，并根据匹配结果，确定上述车辆视觉图像与上述待更新HD Map的对应关系。
示例性的，上述车载终端可以将上述待更新HD Map投影到行车记录仪当前帧的车辆视觉图像上，将待更新HD Map中的三维坐标变换为图像上的二维坐标，完成待更新HDMap数据的降维，为车辆视觉图像和HD Map投影结果匹配提供可能性。在待更新HD Map重投影后，上述车载终端可以将待更新HD Map中各要素投影后的二维坐标(例如交通标牌和车道线)与车辆视觉图像根据各自的属性、位置和长宽比等规则进行匹配，获得车辆视觉图像和待更新HD Map的对应关系，完成车辆视觉图像与待更新HD Map的2D-3D初匹配。
为了提高后续处理结果的准确性，上述车载终端可以对上述车辆视觉图像和待更新HD Map的对应关系进行优化，即进一步优化车辆视觉图像与待更新HD Map的2D-3D特征匹配结果。示例性的，上述车载终端可以结合上述对应关系(特征匹配结果)，并使用光流法对前后帧图像进行对象级语义匹配，确定前后帧中要素的空间关联关系，并以此为约束，进一步上述车辆视觉图像和待更新HD Map的对应关系，即优化2D-3D特征匹配结果。
这里，上述车载终端在确定上述车辆视觉图像与上述待更新HD Map的对应关系后，可以根据该对应关系，获得上述行车记录仪的第一内外参。其中，上述车载终端在根据该对应关系，获得上述行车记录仪的第一内外参时，可以根据上述对应关系，获得上述行车记录仪每一帧的内外参估计值，对该内外参估计值进行优化，获得上述行车记录仪的第一内外参。
S204：将上述第一内外参发送至服务器，以使服务器根据上述第一内外参，对上述待更新HD Map进行更新。
这里，上述服务器在接收到上述车载终端发送的第一内外参后，可以先根据上述第一内外参构建目标HD Map，进而，根据该目标HD Map，对上述待更新HD Map进行更新。示例性的，上述服务器可以将上述目标HD Map与上述待更新HD Map进行差分，发现变化部分，从而对上述待更新HD Map进行更新。
本申请实施例，通过车载终端从目标车辆的CAN总线和行车记录仪，获取目标车辆的数据流，该数据流中的每一帧数据包括车辆轨迹数据，以及与车辆轨迹对应的车辆视觉图像，进而，根据上述行车记录仪的内参参数和车辆轨迹数据，确定上述车辆视觉图像与上述待更新HD Map的对应关系，该待更新HD Map与上述目标车辆对应，并根据上述对应关系，获得行车记录仪的第一内外参，从而，将该第一内外参发送至服务器，以使服务器根据该第一内外参，对上述待更新HD Map进行更新，即本申请实施例中车载终端基于车辆的车辆轨迹数据，以及该车辆轨迹数据对应的车辆视觉图像，获得了上述车辆上行车记录仪的内外参，并将该行车记录仪的数据发送至服务器，使得服务器基于上述行车记录仪的数据对上述车辆的HD Map进行更新，解决了现有HD Map没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。而且，本申请实施例基于行车记录仪数据进行HD Map更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时降低了HD Map更新的成本，提高了时效性。
另外，本申请实施例中上述车载终端在根据上述对应关系，获得上述行车记录仪的第一内外参时，可以根据上述对应关系，获得上述行车记录仪每一帧的投影矩阵，进而，根据该投影矩阵，获得上述行车记录仪每一帧的内外参估计值，根据上述行车记录仪初始帧的内外参估计值，对上述每一帧的内外参估计值进行优化，获得上述行车记录仪的第一内外参，解决了行车记录仪内、外参估计的问题，降低了行车记录仪内参标定产生的维护成本和高精定位模块的设备成本，适合应用。图3为本申请实施例提出的另一种地图更新方法的流程示意图。如图3所示，该方法包括：
S301：从目标车辆的CAN总线和行车记录仪，获取目标车辆的数据流，该数据流中的每一帧数据包括车辆轨迹数据，以及与上述车辆轨迹对应的车辆视觉图像。
S302：根据上述行车记录仪的内参参数和车辆轨迹数据，确定上述车辆视觉图像与待更新HD Map的对应关系，其中，该待更新HD Map与目标车辆对应。
其中，步骤S301-S302参见上述步骤S201-S202的相关描述，此处不再赘述。
S303：根据上述对应关系，获得上述行车记录仪每一帧的投影矩阵。
S304：根据上述投影矩阵，获得上述行车记录仪每一帧的内外参估计值。
这里，上述车载终端在确定上述车辆视觉图像与上述待更新HD Map的对应关系后，即在得到上述车辆视觉图像与待更新HD Map的各帧2D-3D特征匹配结果后，可以进行行车记录仪位姿求解，获取逐帧的投影矩阵，并解算得到内外参。
其中，上述车载终端可以根据每一帧2D-3D特征匹配结果，获取当前帧所有2D图像坐标和对应空间3D坐标的匹配关系对，并使用直接线性变换法(Direct LinearTransformation，DLT)计算每一帧的投影矩阵，即内参矩阵和旋转矩阵的乘积，然后使用RQ分解，将投影矩阵分解为内、外参矩阵两部分，完成逐帧内、外参估计，解决了行车记录仪内、外参估计的问题，降低了行车记录仪内参标定产生的维护成本和高精定位模块的设备成本。
S305：根据上述行车记录仪初始帧的内外参估计值，对上述每一帧的内外参估计值进行优化，获得上述行车记录仪的第一内外参。
在本申请实施例中，上述车载终端可以根据同一光学设备短时间内光学性质不变的假设(即上述行车记录仪短时间内内参不变)，根据一个序列中初始帧的内外参估计值，对上述每一帧的内外参估计值进行优化，获得上述第一内外参。
示例性的，上述车载终端可以根据上述初始帧的内外参估计值中内参参数估计值，将上述待更新HD Map投影到对应的车辆视觉图像上，计算投影误差，进而，将该投影误差作为损失函数，并基于该损失函数，对上述每一帧的内外参估计值进行优化，获得上述第一内外参。例如，上述车载终端可以根据上述初始帧的内外参估计值中内参参数估计值，将HD Map重投影到其余各帧上，并计算各帧重投影误差，以序列中各帧重投影误差的合作为损失函数，采用最小二乘法对相机内参进行估计，以使损失函数局部收敛，从而增量式地进行内参优化，然后再通过优化后的内参结果和逐帧的投影矩阵，逐帧重新计算外参，从而完成内、外参优化，获得上述第一内外参。
S306：将上述第一内外参发送至服务器，以使服务器根据上述第一内外参，对上述待更新HD Map进行更新。
其中，步骤S306参见上述步骤S204的相关描述，此处不再赘述。
本申请实施例利用待更新HD Map完成了行车记录仪的内、外参估计，解决了行车记录仪内、外参估计的问题，降低了行车记录仪内参标定产生的维护成本和高精定位模块的设备成本，适合应用。而且，本申请实施例中车载终端基于车辆的车辆轨迹数据，以及该车辆轨迹数据对应的车辆视觉图像，获得了上述车辆上行车记录仪的内外参，并将该行车记录仪的数据发送至服务器，使得服务器基于上述行车记录仪的数据对上述车辆的HD Map进行更新，解决了现有HD Map没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。另外，本申请实施例基于行车记录仪数据进行HD Map更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时降低了HD Map更新的成本，提高了时效性。
以上实施例从车载终端侧详细描述了根据本申请实施例的地图更新方法，下面将结合以下实施例从服务器侧详细描述根据本申请实施例提供的地图更新方法。应理解，服务器侧描述的某些概念、特性等与车载终端端侧的描述相应，为了简洁，适当省略重复的描述。
图4为本申请实施例提供的再一种地图更新方法的流程示意图，本实施例的执行主体可以为图1中的服务器，如图4所示，该方法可以包括如下步骤：
S401：接收车载终端发送的目标车辆的行车记录仪的第一内外参。
S402：根据上述第一内外参，对待更新HD Map进行更新，该待更新HD Map与上述目标车辆对应。
其中，上述第一内外参是车载终端从目标车辆的CAN总线和上述行车记录仪，获取目标车辆的数据流后，根据上述行车记录仪的内参参数和上述数据流中的车辆轨迹数据，确定上述数据流中的车辆视觉图像与上述待更新HD Map的对应关系，并根据该对应关系，获得的第一内外参，其中，上述数据流中的每一帧数据包括上述车辆轨迹数据，以及与上述车辆轨迹对应的上述车辆视觉图像。
本申请实施例中车载终端基于车辆的车辆轨迹数据，以及该车辆轨迹数据对应的车辆视觉图像，获得了上述车辆上行车记录仪的内外参，并将该行车记录仪的数据发送至服务器，使得服务器基于上述行车记录仪的数据对上述车辆的HD Map进行更新，解决了现有HD Map没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。而且，本申请实施例基于行车记录仪数据进行HD Map更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时降低了HD Map更新的成本，提高了时效性。
另外，本申请实施例中上述服务器在根据上述第一内外参，对上述待更新HD Map进行更新时，可以根据上述第一内外参，确定上述行车记录仪在HD Map坐标系下的位姿，进而，根据上述位姿，构建目标HD Map，使得构建的HD Map更准确，从而，根据该目标HD Map，对上述待更新HD Map进行更新，提高更新结果的准确性。图5为本申请实施例提出的又一种地图更新方法的流程示意图。如图5所示，该方法包括：
S501：接收车载终端发送的目标车辆的行车记录仪的第一内外参。
S502：根据上述第一内外参，确定上述行车记录仪在HD Map坐标系下的位姿。
这里，上述服务器可以根据上述第一内外参中的内参参数，对上述行车记录仪的帧间基础矩阵进行分解，获得帧间位姿估计值，进而，根据该帧间位姿估计值，对上述第二内外参中的外参参数进行优化，获得上述位姿。
示例性的，上述服务器可以对上述行车记录仪获取的连续帧车辆视觉图像，通过尺度不变特征变换(Scale-invariant feature transform，SIFT)和光流法进行帧间特征点匹配，并根据对极几何约束对帧间特征点匹配结果进行帧间基础矩阵求解。再通过上述第一内外参中的内参参数，对基础矩阵进行分解，完成帧间位姿估计。并以此为约束，对上述第一内外参中的外参进行优化，消除跳变等影响，得到优化后的绝对位姿，即上述行车记录仪在HD Map坐标系下的位姿，进而，根据该位姿，构建目标HD Map，使得构建的HD Map更准确。
S503：根据上述位姿，构建目标HD Map。
在本申请实施例中，上述服务器可以根据上述位姿，获得各对象特征点的三维空间坐标值，进而，根据该各对象特征点的三维空间坐标值，构建目标HD Map。
示例性的，上述服务器可以根据上述位姿，获取各对象特征点的三维空间坐标值，完成局部建图工作，并与上述待更新HD Map结果进行差分，发现变化部分，对上述待更新HDMap进行更新。
S504：根据上述目标HD Map，对待更新HD Map进行更新，该待更新HD Map与所述目标车辆对应。
其中，上述第一内外参是车载终端从目标车辆的CAN总线和上述行车记录仪，获取目标车辆的数据流后，根据上述行车记录仪的内参参数和上述数据流中的车辆轨迹数据，确定上述数据流中的车辆视觉图像与上述待更新HD Map的对应关系，并根据该对应关系，获得的第一内外参，其中，上述数据流中的每一帧数据包括上述车辆轨迹数据，以及与上述车辆轨迹对应的上述车辆视觉图像。
本申请实施例中上述服务器在根据上述第一内外参，对上述待更新HD Map进行更新时，可以根据上述第一内外参，确定上述行车记录仪在HD Map坐标系下的位姿，进而，根据上述位姿，构建目标HD Map，使得构建的HD Map更准确，从而，根据该目标HD Map，对上述待更新HD Map进行更新，提高更新结果的准确性。而且，本申请实施例中车载终端基于车辆的车辆轨迹数据，以及该车辆轨迹数据对应的车辆视觉图像，获得了上述车辆上行车记录仪的内外参，并将该行车记录仪的数据发送至服务器，使得服务器基于上述行车记录仪的数据对上述车辆的HD Map进行更新，解决了现有HD Map没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。而且，本申请实施例基于行车记录仪数据进行HD Map更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时降低了HD Map更新的成本，提高了时效性。
另外，本申请实施例还提供又一种地图更新方法，从车载终端和服务器交互进行说明，如图6所示，该方法可以包括：
S601：车载终端从目标车辆的CAN总线和行车记录仪，获取目标车辆的数据流，该数据流中的每一帧数据包括车辆轨迹数据，以及与车辆轨迹对应的车辆视觉图像。
示例性的，如图7所示，车载终端获取的上述数据流中的每一帧数据(单帧数据)包括车辆轨迹数据，以及与车辆轨迹对应的车辆视觉图像。上述车载终端可以根据上述车辆轨迹数据，在目标车辆现有HD Map中获取一定范围的HD Map作为上述待更新HD Map，还可以根据上一帧和当前帧车辆轨迹数据的平面坐标值，计算两点间的航偏角，并以此作为当前帧的初始航向角，从而，确定目标车辆当前的外参参数(平面坐标值、初始航向角、俯仰和翻滚角设为0)，然后再结合行车记录仪的内参参数，确定行车记录仪的第二内外参。
S602：车载终端根据上述行车记录仪的内参参数和上述车辆轨迹数据，确定上述车辆视觉图像与待更新高精地图的对应关系，其中，该待更新HD Map与上述目标车辆对应。
这里，车载终端可以根据上述第二内外参，将上述待更新HD Map投影到对应的车辆视觉图像上，获得上述待更新HD Map中各要素的二维坐标，进而，将该二维坐标与上述对应的车辆视觉图像进行匹配，并根据匹配结果，确定上述车辆视觉图像与上述待更新HDMap的对应关系。例如如图7所示，车载终端可以将上述待更新HD Map投影到行车记录仪当前帧的车辆视觉图像上，将待更新HD Map中的三维坐标变换为图像上的二维坐标，完成待更新HD Map数据的降维，为车辆视觉图像和HD Map投影结果匹配提供可能性。在待更新HDMap重投影后，上述车载终端可以将待更新HD Map中各要素投影后的二维坐标(例如交通标牌和车道线)与车辆视觉图像根据各自的属性、位置和长宽比等规则进行匹配，获得车辆视觉图像和待更新HD Map的对应关系，完成车辆视觉图像与待更新HD Map的2D-3D初匹配。
为了提高后续处理结果的准确性，上述车载终端可以对上述车辆视觉图像和待更新HD Map的对应关系进行优化，即进一步优化车辆视觉图像与待更新HD Map的2D-3D特征匹配结果。示例性的，上述车载终端可以结合上述对应关系(特征匹配结果)，并使用光流法对前后帧图像进行对象级语义匹配，确定前后帧中要素的空间关联关系，并以此为约束，进一步上述车辆视觉图像和待更新HD Map的对应关系，即优化2D-3D特征匹配结果。
S603：车载终端根据上述对应关系，获得上述行车记录仪的第一内外参。
这里，车载终端可以根据上述对应关系，获得上述行车记录仪每一帧的投影矩阵，根据上述投影矩阵，获得上述行车记录仪每一帧的内外参估计值，进而，根据上述行车记录仪初始帧的内外参估计值，对上述每一帧的内外参估计值进行优化，获得上述行车记录仪的第一内外参。
示例性的，如图7所示，车载终端可以根据每一帧2D-3D特征匹配结果，获取当前帧所有2D图像坐标和对应空间3D坐标的匹配关系对，并使用DLT计算每一帧的投影矩阵，即内参矩阵和旋转矩阵的乘积，然后使用RQ分解，将投影矩阵分解为内、外参矩阵两部分，完成逐帧内、外参估计。
基于同一光学设备短时间内光学性质不变的假设(即上述行车记录仪短时间内内参不变)，车载终端可以根据一个序列中初始帧的内外参估计值，对上述每一帧的内外参估计值进行优化，获得上述第一内外参。
S604：车载终端将上述第一内外参发送至服务器。
S605：服务器接收车载终端发送的上述第一内外参。
S606：服务器根据上述第一内外参，对上述待更新HD Map进行更新。
服务器可以根据上述第一内外参，确定上述行车记录仪在HD Map坐标系下的位姿，根据上述位姿，构建目标HD Map，进而，根据该目标HD Map，对上述待更新HD Map进行更新。
示例性的，如图7所示，服务器可以对上述行车记录仪获取的连续帧车辆视觉图像，通过SIFT和光流法进行帧间特征点匹配，并根据对极几何约束对帧间特征点匹配结果进行帧间基础矩阵求解。再通过上述第一内外参中的内参参数，对基础矩阵进行分解，完成帧间位姿估计。并以此为约束，对上述第一内外参中的外参进行优化，消除跳变等影响，得到优化后的绝对位姿，即上述行车记录仪在HD Map坐标系下的位姿，进而，根据该位姿，获取各对象特征点的三维空间坐标值，完成局部建图工作，并与上述待更新HD Map结果进行差分，发现变化部分，对上述待更新HD Map进行更新。
从上述描述可知，本申请实施例中车载终端基于车辆的车辆轨迹数据，以及该车辆轨迹数据对应的车辆视觉图像，获得了上述车辆上行车记录仪的内外参，并将该行车记录仪的数据发送至服务器，使得服务器基于上述行车记录仪的数据对上述车辆的HD Map进行更新，解决了现有HD Map没有及时更新，导致自动驾驶汽车对所处环境信息出现不正确的理解，给自动驾驶造成较大问题的问题。而且，本申请实施例基于行车记录仪数据进行HDMap更新，可以获取更大范围内的数据，提高了HD Map更新的准确性，同时降低了HD Map更新的成本，提高了时效性。
对应于上文实施例的地图更新方法，图8为本申请实施例提供的地图更新装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图8为本申请实施例提供的一种地图更新装置的结构示意图，该地图更新装置80包括：获取模块801、确定模块802、获得模块803以及发送模块804。这里的地图更新装置可以是上述车载终端本身，或者是实现上述车载终端的功能的芯片或者集成电路。这里需要说明的是，获取模块、确定模块、获得模块以及发送模块的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
其中，获取模块801，用于从目标车辆的CAN总线和行车记录仪，获取所述目标车辆的数据流，所述数据流中的每一帧数据包括车辆轨迹数据，以及与所述车辆轨迹对应的车辆视觉图像。
确定模块802，用于根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新HD Map的对应关系，其中，所述待更新HD Map与所述目标车辆对应。
获得模块803，用于根据所述对应关系，获得所述行车记录仪的第一内外参。
发送模块804，用于将所述第一内外参发送至服务器，以使所述服务器根据所述第一内外参，对所述待更新HD Map进行更新。
在一种可能的实现方式中，所述确定模块802，具体用于：
根据所述车辆轨迹数据，确定所述目标车辆对应的所述待更新HD Map，并根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述行车记录仪的第二内外参；
根据所述第二内外参，确定所述车辆视觉图像与所述待更新HD Map的对应关系。
在一种可能的实现方式中，所述确定模块802，具体用于：
根据所述第二内外参，将所述待更新HD Map投影到对应的车辆视觉图像上，获得所述待更新HD Map中各要素的二维坐标；
将所述二维坐标与所述对应的车辆视觉图像进行匹配；
根据所述二维坐标与所述对应的车辆视觉图像的匹配结果，确定所述对应关系。
在一种可能的实现方式中，所述获得模块803，具体用于：
根据所述对应关系，获得所述行车记录仪每一帧的投影矩阵；
根据所述投影矩阵，获得所述行车记录仪每一帧的内外参估计值；
根据所述行车记录仪初始帧的内外参估计值，对所述每一帧的内外参估计值进行优化，获得所述第一内外参。
在一种可能的实现方式中，所述获得模块803，具体用于：
根据所述初始帧的内外参估计值中内参参数估计值，将所述待更新HD Map投影到对应的车辆视觉图像上，计算投影误差；
将所述投影误差作为损失函数，基于所述损失函数，对所述每一帧的内外参估计值进行优化，获得所述第二内外参。
本申请实施例提供的装置，可用于执行上述图2或图3所述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
图9为本申请实施例提供的另一种地图更新装置的结构示意图，该地图更新装置90包括：接收模块901以及更新模块902。这里的地图更新装置可以是上述服务器本身，或者是实现上述服务器的功能的芯片或者集成电路。这里需要说明的是，接收模块以及更新模块的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
其中，接收模块901，用于接收车载终端发送的目标车辆的行车记录仪的第一内外参。
更新模块902，用于根据所述第一内外参，对待更新HD Map进行更新，所述待更新高精地图与所述目标车辆对应。
其中，所述第一内外参是所述车载终端从所述目标车辆的CAN总线和所述行车记录仪，获取所述目标车辆的数据流后，根据所述行车记录仪的内参参数和所述数据流中的车辆轨迹数据，确定所述数据流中的车辆视觉图像与所述待更新高精地图的对应关系，并根据所述对应关系，获得的第一内外参，其中，所述数据流中的每一帧数据包括所述车辆轨迹数据，以及与所述车辆轨迹对应的所述车辆视觉图像。
在一种可能的实现方式中，所述更新模块902，具体用于：
根据所述第一内外参，确定所述行车记录仪在HD Map坐标系下的位姿；
根据所述位姿，构建目标HD Map；
根据所述目标HD Map，对所述待更新HD Map进行更新。
在一种可能的实现方式中，所述更新模块902，具体用于：
根据所述第一内外参中的内参参数，对所述行车记录仪的帧间基础矩阵进行分解，获得帧间位姿估计值；
根据所述帧间位姿估计值，对所述第一内外参中的外参参数进行优化，获得所述位姿。
在一种可能的实现方式中，所述更新模块902，具体用于：
根据所述位姿，获得各对象特征点的三维空间坐标值；
根据所述各对象特征点的三维空间坐标值，构建所述目标HD Map。
本申请实施例提供的装置，可用于执行上述图4或图5所述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
可选地，图10A和10B示意性地分别提供本申请所述车载终端和服务器的一种可能的基本硬件架构。
参见图10A和10B，车载终端和服务器包括至少一个处理器1001以及通信接口1003。进一步可选的，还可以包括存储器1002和总线1004。其中，车载终端还包括发送装置和接收装置，该发送装置和接收装置分别与处理器1001连接。
其中，车载终端和服务器中，处理器1001的数量可以是一个或多个，图10A和10B仅示意了其中一个处理器1001。可选地，处理器1001，可以是中央处理器(centralprocessing unit，CPU)、图形处理器(graphics processing unit，GPU)或者数字信号处理器(digital signal processor，DSP)。如果车载终端和服务器具有多个处理器1001，多个处理器1001的类型可以不同，或者可以相同。可选地，车载终端和服务器的多个处理器1001还可以集成为多核处理器。
存储器1002存储计算机指令和数据；存储器1002可以存储实现本申请提供的上述地图更新方法所需的计算机指令和数据，例如，存储器1002存储用于实现上述地图更新方法的步骤的指令。存储器1002可以是以下存储介质的任一种或任一种组合：非易失性存储器(例如只读存储器(ROM)、固态硬盘(SSD)、硬盘(HDD)、光盘)，易失性存储器。
通信接口1003可以为所述至少一个处理器提供信息输入/输出。也可以包括以下器件的任一种或任一种组合：网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
可选的，通信接口1003还可以用于车载终端和服务器与其它计算设备或者车载终端进行数据通信。
进一步可选的，图10A和10B用一条粗线表示总线1004。总线1004可以将处理器1001与存储器1002和通信接口1003连接。这样，通过总线1004，处理器1001可以访问存储器1002，还可以利用通信接口1003与其它计算设备或者车载终端进行数据交互。
在本申请中，车载终端和服务器执行存储器1002中的计算机指令，使得车载终端和服务器实现本申请提供的上述地图更新方法，或者使得车载终端和服务器部署上述的地图更新装置。
从逻辑功能划分来看，示例性的，如图10A所示，存储器1002中可以包括获取模块801、确定模块802、获得模块803以及发送模块804。这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现获取模块、确定模块、获得模块以及发送模块的功能，而不限定是物理上的结构。
一种可能设计，如图10B所示，存储器1002中包括接收模块901以及更新模块902，这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现接收模块以及更新模块的功能，而不限定是物理上的结构。
另外，上述的地图更新装置除了可以像上述图10A和10B通过软件实现外，也可以作为硬件模块，或者作为电路单元，通过硬件实现。
本申请提供一种计算机可读存储介质，所述计算机程序产品包括计算机指令，所述计算机指令指示计算设备执行本申请提供的上述地图更新方法。
本申请提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行本申请提供的上述地图更新方法。
本申请提供一种芯片，包括至少一个处理器和通信接口，所述通信接口为所述至少一个处理器提供信息输入和/或输出。进一步，所述芯片还可以包含至少一个存储器，所述存储器用于存储计算机指令。所述至少一个处理器用于调用并运行该计算机指令，以执行本申请提供的上述地图更新方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
Claims (8)
1.一种地图更新方法，其特征在于，包括：
从目标车辆的控制器局域网络总线和行车记录仪，获取所述目标车辆的数据流，所述数据流中的每一帧数据包括车辆轨迹数据，以及与所述车辆轨迹对应的车辆视觉图像；
根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新高精地图的对应关系，其中，所述待更新高精地图与所述目标车辆对应；
根据所述对应关系，获得所述行车记录仪的第一内外参；
将所述第一内外参发送至服务器，以使所述服务器根据所述第一内外参构建目标高精地图，根据所述目标高精地图对所述待更新高精地图进行更新；
所述根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新高精地图的对应关系，包括：
根据所述车辆轨迹数据，确定所述目标车辆对应的所述待更新高精地图，并根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述行车记录仪的第二内外参；
根据所述第二内外参，将所述待更新高精地图投影到对应的车辆视觉图像上，获得所述待更新高精地图中各要素的二维坐标；
将所述二维坐标与所述对应的车辆视觉图像进行匹配；
根据所述二维坐标与所述对应的车辆视觉图像的匹配结果，确定所述对应关系。
2.根据权利要求1所述的方法，其特征在于，所述根据所述对应关系，获得所述行车记录仪的第一内外参，包括：
根据所述对应关系，获得所述行车记录仪每一帧的投影矩阵；
根据所述投影矩阵，获得所述行车记录仪每一帧的内外参估计值；
根据所述行车记录仪初始帧的内外参估计值，对所述每一帧的内外参估计值进行优化，获得所述第一内外参。
3.一种地图更新方法，其特征在于，包括：
接收车载终端发送的目标车辆的行车记录仪的第一内外参；
根据所述第一内外参构建目标高精地图，根据所述目标高精地图对待更新高精地图进行更新，所述待更新高精地图与所述目标车辆对应；
其中，所述第一内外参是所述车载终端从所述目标车辆的控制器局域网络总线和所述行车记录仪，获取所述目标车辆的数据流后，根据所述行车记录仪的内参参数和所述数据流中的车辆轨迹数据，确定所述数据流中的车辆视觉图像与所述待更新高精地图的对应关系，并根据所述对应关系，获得的第一内外参，其中，所述数据流中的每一帧数据包括所述车辆轨迹数据，以及与所述车辆轨迹对应的所述车辆视觉图像；
所述根据所述行车记录仪的内参参数和所述数据流中的车辆轨迹数据，确定所述数据流中的车辆视觉图像与所述待更新高精地图的对应关系，包括：
根据所述车辆轨迹数据，确定所述目标车辆对应的所述待更新高精地图，并根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述行车记录仪的第二内外参；
根据所述第二内外参，将所述待更新高精地图投影到对应的车辆视觉图像上，获得所述待更新高精地图中各要素的二维坐标；
将所述二维坐标与所述对应的车辆视觉图像进行匹配；
根据所述二维坐标与所述对应的车辆视觉图像的匹配结果，确定所述对应关系。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一内外参构建目标高精地图，根据所述目标高精地图对所述待更新高精地图进行更新，包括：
根据所述第一内外参，确定所述行车记录仪在高精地图坐标系下的位姿；
根据所述位姿，构建目标高精地图；
根据所述目标高精地图，对所述待更新高精地图进行更新。
5.一种地图更新系统，其特征在于，包括：
车载终端，用于从目标车辆的控制器局域网络总线和行车记录仪，获取所述目标车辆的数据流，所述数据流中的每一帧数据包括车辆轨迹数据，以及与所述车辆轨迹对应的车辆视觉图像；根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新高精地图的对应关系，其中，所述待更新高精地图与所述目标车辆对应；根据所述对应关系，获得所述行车记录仪的第一内外参；将所述第一内外参发送至服务器；
所述服务器，用于根据所述第一内外参构建目标高精地图，根据所述目标高精地图对所述待更新高精地图进行更新；
在根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述车辆视觉图像与待更新高精地图的对应关系时，所述车载终端具体用于：
根据所述车辆轨迹数据，确定所述目标车辆对应的所述待更新高精地图，并根据所述行车记录仪的内参参数和所述车辆轨迹数据，确定所述行车记录仪的第二内外参；
根据所述第二内外参，将所述待更新高精地图投影到对应的车辆视觉图像上，获得所述待更新高精地图中各要素的二维坐标；
将所述二维坐标与所述对应的车辆视觉图像进行匹配；
根据所述二维坐标与所述对应的车辆视觉图像的匹配结果，确定所述对应关系。
6.一种车载终端，其特征在于，包括：
发送装置、接收装置、处理器、存储器，以及计算机程序；
其中，所述发送装置和所述接收装置分别与所述处理器连接，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1或2所述的方法的指令。
7.一种服务器，其特征在于，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求3或4所述的方法的指令。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得车载终端执行权利要求1或2所述的方法，或者所述计算机程序使得服务器执行权利要求3或4所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110330793.3A CN113763504B (zh) | 2021-03-26 | 2021-03-26 | 地图更新方法、系统、车载终端、服务器及存储介质 |
| PCT/CN2021/143548 WO2022199195A1 (zh) | 2021-03-26 | 2021-12-31 | 地图更新方法、系统、车载终端、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110330793.3A CN113763504B (zh) | 2021-03-26 | 2021-03-26 | 地图更新方法、系统、车载终端、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763504A CN113763504A (zh) | 2021-12-07 |
| CN113763504B true CN113763504B (zh) | 2024-06-04 |
Family
ID=78786795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110330793.3A Active CN113763504B (zh) | 2021-03-26 | 2021-03-26 | 地图更新方法、系统、车载终端、服务器及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113763504B (zh) |
| WO (1) | WO2022199195A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763504B (zh) * | 2021-03-26 | 2024-06-04 | 北京四维图新科技股份有限公司 | 地图更新方法、系统、车载终端、服务器及存储介质 |
| CN114782911B (zh) * | 2022-06-20 | 2022-09-16 | 小米汽车科技有限公司 | 图像处理的方法、装置、设备、介质、芯片及车辆 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109783593A (zh) * | 2018-12-27 | 2019-05-21 | 驭势科技（北京）有限公司 | 一种可用于自动驾驶的地图更新系统与方法 |
| CN110751693A (zh) * | 2019-10-21 | 2020-02-04 | 北京百度网讯科技有限公司 | 用于相机标定的方法、装置、设备和存储介质 |
| CN111311742A (zh) * | 2020-03-27 | 2020-06-19 | 北京百度网讯科技有限公司 | 三维重建方法、三维重建装置和电子设备 |
| CN111982132A (zh) * | 2019-05-22 | 2020-11-24 | 合肥四维图新科技有限公司 | 数据处理方法、装置和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11340094B2 (en) * | 2018-12-12 | 2022-05-24 | Baidu Usa Llc | Updating map data for autonomous driving vehicles based on sensor data |
| CN112005079B (zh) * | 2019-01-03 | 2022-08-09 | 北京嘀嘀无限科技发展有限公司 | 用于更新高清地图的系统和方法 |
| CN111784784B (zh) * | 2020-09-07 | 2021-01-05 | 蘑菇车联信息科技有限公司 | Imu内参的标定方法、装置、电子设备仪及存储介质 |
| CN113763504B (zh) * | 2021-03-26 | 2024-06-04 | 北京四维图新科技股份有限公司 | 地图更新方法、系统、车载终端、服务器及存储介质 |
-
2021
- 2021-03-26 CN CN202110330793.3A patent/CN113763504B/zh active Active
- 2021-12-31 WO PCT/CN2021/143548 patent/WO2022199195A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109783593A (zh) * | 2018-12-27 | 2019-05-21 | 驭势科技（北京）有限公司 | 一种可用于自动驾驶的地图更新系统与方法 |
| CN111982132A (zh) * | 2019-05-22 | 2020-11-24 | 合肥四维图新科技有限公司 | 数据处理方法、装置和存储介质 |
| CN110751693A (zh) * | 2019-10-21 | 2020-02-04 | 北京百度网讯科技有限公司 | 用于相机标定的方法、装置、设备和存储介质 |
| CN111311742A (zh) * | 2020-03-27 | 2020-06-19 | 北京百度网讯科技有限公司 | 三维重建方法、三维重建装置和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 面向智能车定位的道路环境视觉地图构建;李承;胡钊政;王相龙;黄刚;蔡浩;;中国公路学报(11);142-150，217 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022199195A1 (zh) | 2022-09-29 |
| CN113763504A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419494B (zh) | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 | |
| CN114667437A (zh) | 用于自主驾驶应用的地图创建和定位 | |
| CN111462096A (zh) | 三维目标检测方法及装置 | |
| JP2021119507A (ja) | 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム | |
| US11282164B2 (en) | Depth-guided video inpainting for autonomous driving | |
| CN113763504B (zh) | 地图更新方法、系统、车载终端、服务器及存储介质 | |
| CN111652072A (zh) | 轨迹获取方法、轨迹获取装置、存储介质和电子设备 | |
| CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
| CN112146682B (zh) | 智能汽车的传感器标定方法、装置、电子设备及介质 | |
| CN113985405A (zh) | 障碍物检测方法、应用于车辆的障碍物检测设备 | |
| CN114299464A (zh) | 车道定位方法、装置及设备 | |
| CN112184914A (zh) | 目标对象三维位置的确定方法、装置和路侧设备 | |
| CN112362054A (zh) | 一种标定方法、装置、电子设备及存储介质 | |
| CN114973050A (zh) | 自动驾驶应用中深度神经网络感知的地面实况数据生成 | |
| CN114550116A (zh) | 一种对象识别方法和装置 | |
| CN110780325B (zh) | 运动对象的定位方法及装置、电子设备 | |
| CN114820769A (zh) | 车辆定位方法、装置、计算机设备、存储介质及车辆 | |
| CN115965961B (zh) | 局部到全局的多模态融合方法、系统、设备及存储介质 | |
| JP7425169B2 (ja) | 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| CN115638788A (zh) | 语义矢量地图的构建方法、计算机设备及存储介质 | |
| CN116105712A (zh) | 道路地图的生成方法、回注方法、计算机设备及介质 | |
| WO2023283929A1 (zh) | 双目相机外参标定的方法及装置 | |
| CN117635721A (zh) | 目标定位方法及相关系统、存储介质 | |
| CN113252061A (zh) | 车辆间关系信息确定方法、装置、电子设备以及存储介质 | |
| CN115294234B (zh) | 图像的生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |