CN117372632B - 二维图像的标注方法、装置、计算机设备及存储介质 - Google Patents
二维图像的标注方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117372632B CN117372632B CN202311678280.7A CN202311678280A CN117372632B CN 117372632 B CN117372632 B CN 117372632B CN 202311678280 A CN202311678280 A CN 202311678280A CN 117372632 B CN117372632 B CN 117372632B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- point cloud
- image
- initial
- cloud model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 142
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 27
- 238000013519 translation Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 238000011002 quantification Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 16
- 230000007547 defect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 229920001651 Cyanoacrylate Polymers 0.000 description 3
- 239000004830 Super Glue Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及智能驾驶、计算机视觉以及三维重建技术领域，公开了二维图像的标注方法、装置、计算机设备及存储介质，所述方法包括确定用于进行二维图像标注的三维点云模型；基于接收到的标注动作，确定三维点云模型上的待标注目标；从优化后相机位姿集合中选取利用待标注目标的二维图像对应的优化后相机位姿；获取二维图像对应的相机模型参数；根据二维图像对应的优化后相机位姿和相机模型参数，将三维点云模型中待标注目标的三维信息映射至二维图像中，二维图像为相机采集的初始轨迹图像序列中的任一张包括二维的待标注目标的图像。以通过三维点云模型高效准确的对二维图像进行三维信息的标注。
Description
技术领域
本申请涉及智能驾驶、计算机视觉以及三维重建技术领域，具体涉及二维图像的标注方法、装置、计算机设备及存储介质。
背景技术
近年来智能驾驶技术得到了快速发展，相关技术在汽车上得到越来越广泛的应用，以支撑智能汽车的自动驾驶。在自动驾驶场景中，基于深度学习的感知模块往往需要针对大量标注有三维信息的二维图片进行网络训练，以便于后续对自动驾驶进行指导。
传统的对二维图像的标注方法往往是通过在智能汽车中引入可以用于测量三维信息的传感器（如激光雷达或毫米波雷达等）获取三维信息，从而人工将三维信息标注到二维图像上。如果出于成本考虑不给智能汽配备车用于测量三维信息的传感器，就很难获取精确的三维信息以对二维图像进行标注，而且人工标注往往需要大量时间还会降低标注的准确性。
因此，如何高效准确的对二维图像进行三维信息的标注，已成为目前亟需解决的问题。
发明内容
有鉴于此，本申请提供了一种二维图像的标注方法、装置、计算机设备及存储介质，以解决如何高效准确的对二维图像进行三维信息的标注的问题。
第一方面，本申请提供了一种二维图像的标注方法，所述方法包括：
确定用于进行二维图像标注的三维点云模型，其中，三维点云模型是根据车辆上基于同一场景下的车载定位传感器以及相机采集的进行三维重建获得的，并在三维重建过程中得到优化后相机位姿集合；
基于接收到的标注动作，确定三维点云模型上的待标注目标；
从优化后相机位姿集合中选取利用待标注目标的二维图像对应的优化后相机位姿；
获取二维图像对应的相机模型参数；
根据二维图像对应的优化后相机位姿和相机模型参数，将三维点云模型中待标注目标的三维信息映射至二维图像中，二维图像为相机采集的初始轨迹图像序列中的任一张包括二维的待标注目标的图像。
上述技术方案中，确定用于进行二维图像标注的三维点云模型是基于车辆上基于同一场景下的车载定位传感器以及相机采集的初始轨迹图像序列进行三维重建得到的，结合了车载定位传感器本身尺度准确的特性，使得重建后的三维点云模块中的尺度准确，相比于利用纯视觉图像进行三维重建得到的三维点云模型，本申请的三维点云模型没有尺度漂移的问题，进而保证待标注目标的三维信息的准确性。另外，二维图像上标注的待标注目标的三维信息是从三维点云模型中映射而来的，不需要专门使用用于测量三维信息的传感器来获取三维信息，同时不需要人工一张张地标注二维图像，大大提高了标注的效率。实现高效准确的对二维图像进行三维信息的标注的目的。
在一种可选的实施方式中，通过以下步骤进行三维重建：
通过车载定位传感器，获取车辆在场景下的初始轨迹；
根据初始轨迹，从初始轨迹图像序列中提取关键帧图像序列，以及关键帧图像序列中的每一帧关键帧图像对应的车辆位姿；
将每一帧关键帧图像对应的车辆位姿转换为相机位姿；
根据关键帧图像序列以及车辆位姿进行三维重建，得到三维点云模型，并在三维重建的过程中利用光束法平差优化算法优化每一帧关键帧图像对应的相机位姿，得到三维点云模型对应的优化后相机位姿集合。
上述技术方案中，利用本身尺度精确的车载定位传感器来获取车辆在其运行场景下的尺度精确的初始轨迹，并根据尺度精确的初始轨迹和初始轨迹图像序列获取车辆位姿以及相机位姿，保证了车辆位姿以及相机位姿的尺度精确程度。避免使用仅通过初始轨迹图像序列来确定初始轨迹、车辆位姿以及相机位姿的传统方法，从而在后续三维重建过程中避免了尺度漂移的问题，保证了三维点云模型中三维信息的准确性。在三维重建时还将车辆位姿进入到三维重建中，不再仅依据初始轨迹图像序列来进行无先验（也即无初值）的三维重建，给三维重建输入了较好的初始值，可更快获得重建结果，大大降低了三维重建时的时间复杂度，加速三维重建，从而实现对二维图像进行高效准确地标注的目的。
在一种可选的实施方式中，当基于同一场景存在多个三维点云模型，且车载定位传感器中存在全球卫星导航系统传感器时，确定用于进行二维图像标注的三维点云模型，包括：
获取每一个三维点云模型对应的优化后相机位姿集合；
根据每一个优化后相机位姿集合中的优化后相机位姿，确定每一个三维点云模型对应的优化后相机轨迹；
获取多个三维点云模型对应的优化后相机轨迹两两之间的重叠轨迹；
若重叠轨迹的距离大于或等于第一阈值，将重叠轨迹对应的两个三维点云模型融合为一个新的三维点云模型，新的三维点云模型作为用于进行二维图像标注的三维点云模型；
若重叠轨迹的距离小于第一阈值，将重叠轨迹对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
上述技术方案中，当同一场景存在多个三维点云模型，且车载定位传感器中包括全球卫星导航系统传感器时，只有多个三维点云模型对应的优化后相机轨迹两两之间的重叠轨迹的距离小于第一阈值，才将重叠轨迹对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。当重叠轨迹的距离大于或等于第一阈值时，就将重叠轨迹对应的两个三维点云模型融合为一个用于进行二维图像标注的三维点云模型，这样在后续就可以实现仅在一个三维点云模型中确定待标注目标，并通过一个三维点云模型就将待标注目标的三维信息标注到同一相机不同时候采集的不同的初始轨迹图像序列中的二维图像中，无需在多个三维点云模型中的每一个三维点云模型中确定待标注目标进一步加快二维图像的三维信息的标注效率。
在一种可选的实施方式中，若重叠轨迹的距离大于或等于第一阈值，将重叠轨迹对应的两个三维点云模型融合为一个新的三维点云模型，新的三维点云模型作为用于进行二维图像标注的三维点云模型，包括：
在重叠轨迹中，按照预设位姿平移周期，分别从第一初始轨迹图像序列以及第二初始轨迹图像序列中提取关键帧图像，得到关键帧图像对序列，第一初始轨迹图像序列为两个三维点云模型中任一个三维点云模型对应的初始轨迹图像序列，第二初始轨迹图像序列为两个三维点云模型中另一个三维点云模型对应的初始轨迹图像序列；
对关键帧图像对序列中的每一对关键帧图像进行特征点提取以及特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系；
若待融合二维特征点集合中的待融合二维特征点已被三角化，则将待融合二维特征点分别在两个三维点云模型中对应的三维特征点融合，得到融合后三维特征点；
若待融合二维特征点未被三角化为三维特征点，则根据待融合特征点匹配关系三维重建并三角化待融合二维特征点，得到融合后三维特征点；
将两个三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合；
利用光束法平差优化算法对三维特征点集合进行优化，得到新的三维点云模型。
上述技术方案中，从两个三维点云模型分别对应的初始轨迹图像序列中提取关键帧图像对序列，以对关键帧图像对序列进行特征点提取以及匹配操作从而确定提取出的二维特征点是否被三角化，如果三角化就直接融合该二维特征点对应的三维特征点，否则就进行三维重建以及三角化操作得到三维特征点，并利用光束法平差优化算法对合并后得到的三维特征点集合进行优化以得到新的三维点云模型。通过对关键帧图像对序列进行特征点重确定与匹配的方法提高新的三维点云模型中特征的准确性，避免直接将两三维点云模型进行融合由于视觉等差异所导致的三维信息不准确的问题，从而在后续利用新的三维点云模型进行标注时不仅可以提高标注效率还可以提高三维信息的准确性。
在一种可选的实施方式中，当基于同一场景存在多个三维点云模型，且车载定位传感器中不存在全球卫星导航系统传感器时，确定用于进行二维图像标注的三维点云模型，包括：
利用图像检索算法，获取多个三维点云模型对应的初始轨迹图像序列两两之间的相似图像对集合；
若相似图像对集合中的相似图像对的个数大于或等于第二阈值，将相似图像对集合对应的两个三维点云模型融合为一个新的三维点云模型，新的三维点云模型作为用于进行二维图像标注的三维点云模型；
若个数小于第二阈值，将相似图像对集合对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
上述技术方案中，当同一场景存在多个三维点云模型，且车载定位传感器中不包括全球卫星导航系统传感器时，就利用图像检索算法获取多个三维点云模型对应的初始轨迹图像序列两两之间的相似图像对集合。只有相似图像对集合中的相似图像对的个数小于第二阈值时才将相似图像对集合对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。当个数大于或等于第二阈值时，就将相似图像对集合对应的两个三维点云模型融合为一个新的三维点云模型，这样在后续就可以实现仅在一个三维点云模型中确定待标注目标，并通过一个三维点云模型就将待标注目标的三维信息标注到同一相机不同时候采集的不同的初始轨迹图像序列中的二维图像中，无需在多个三维点云模型中的每一个三维点云模型中确定待标注目标进一步加快二维图像的三维信息的标注效率。
在一种可选的实施方式中，若相似图像对集合中的相似图像对的个数大于或等于第二阈值，将相似图像对集合对应的两个三维点云模型融合为一个新的三维点云模型，新的三维点云模型作为用于进行二维图像标注的三维点云模型，包括：
对相似图像对集合中的每一个相似图像对进行特征点提取以及特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系；
若待融合二维特征点集合中的待融合二维特征点已被三角化，则将待融合二维特征点分别在两个三维点云模型中对应的三维特征点融合；
若待融合二维特征点未被三角化为三维特征点，则根据待融合特征点匹配关系三维重建并三角化待融合二维特征点，得到融合后三维特征点；
将两个三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合；
利用光束法平差优化算法对三维特征点集合进行优化，得到新的三维点云模型。
上述技术方案中，当确定相似图像对集合中提取出的二维特征点是否被三角化，如果三角化就直接融合该二维特征点对应的三维特征点，否则就进行三维重建以及三角化操作得到三维特征点，并利用光束法平差优化算法对合并后得到的三维特征点集合进行优化以得到新的三维点云模型。通过对相似图像对集合中的相似图像对进行特征点重确定与匹配的方法提高新的三维点云模型中特征的准确性，避免直接将两三维点云模型进行融合由于视觉等差异所导致的三维信息不准确的问题，从而在后续利用新的三维点云模型进行标注时不仅可以提高标注效率还可以提高三维信息的准确性。
在一种可选的实施方式中，根据关键帧图像序列以及车辆位姿进行三维重建，得到三维点云模型，并在三维重建的过程中利用光束法平差优化算法优化每一帧关键帧图像对应的相机位姿，得到三维点云模型对应的优化后相机位姿集合，包括：
对每一帧关键帧图像进行特征点提取操作，得到二维特征点集合；
对关键帧图像序列中两两关键帧图像之间的特征点进行特征匹配操作，得到特征点匹配关系；
将每一帧关键帧图像对应的车辆位姿作为初值，根据特征点匹配关系三维重建并三角化二维特征点集合中的二维特征点，得到三维特征点集合；
利用光束法平差优化算法，分别优化三维特征点集合中的三维特征点以及每一帧关键帧图像对应的相机位姿，得到初始三维点云模型以及初始优化后相机位姿集合；
根据初始优化后相机位姿集合，从关键帧图像序列中选择待优化图像序列；
根据光束法平差优化算法、待优化图像序列以及初始优化后相机位姿集合，优化初始三维点云模型以及初始优化后相机位姿集合，得到三维点云模型以及初始优化后相机位姿集合。
上述技术方案中，在对关键帧图像序列中图像的特征点提取以及匹配操作之后，将每一帧关键帧图像对应的车辆位姿引入到三角化中，以在三角化二维特征点得到三维特征点集合时，对三角化过程输入了较好的初值，大大缩减了三角化时的搜索空间降低了时间复杂度，提高三角化的效率，进而提高三维重建的效率，从提高二维图像标注的效率。在对三维特征点集合中的三维特征点和相机位姿进行优化以克服前序步骤存在的缺陷后，会继续利用光束法平差优化算法、初始优化后相机位姿集合以及再次选择的待优化图像序列对初始三维点云模型和初始优化后相机位姿集合进行优化，进一步克服第一次三维重建过程中可能存在的误匹配的缺陷，以得到准确性更高的三维点云模块和优化后相机位姿集合，从而提高二维图像标注的准确性。
在一种可选的实施方式中，根据初始优化后相机位姿集合，从关键帧图像序列中选择待优化图像序列，包括：
根据初始优化后相机位姿集合中的初始优化后相机位姿，确定初始优化后相机轨迹；
在初始优化后相机轨迹中，将初始优化后相机位姿集合中的距离小于或等于第三阈值，且旋转角度差值小于预设相机视场角的两初始优化后相机位姿分别对应的关键帧图像确定为待优化图像序列中的待优化图像。
上述技术方案中，在初始优化后相机轨迹中，将初始优化后相机位姿集合中的距离小于或等于第三阈值，且旋转角度差值小于预设相机视场角的两初始优化后相机位姿分别对应的关键帧图像确定为待优化图像，从而得到待优化图像序列，以便于后续依据再次选择出的待优化图像序列进行特征匹配，从而对初始三维点云模型进行再优化，可以确保三维场景过程中有足够的特征匹配，并保证关键帧预图像序列中没有共视的关键帧图像之间不会进行匹配，避免误匹配的情况，从而提高三维点云模型的精确程度。
在一种可选的实施方式中，根据光束法平差优化算法、待优化图像序列以及初始优化后相机位姿集合，优化初始三维点云模型以及初始优化后相机位姿集合，得到三维点云模型以及初始优化后相机位姿集合，包括：
对待优化图像序列中两两待优化图像之间已提取的特征点进行特征匹配操作，得到新的特征点匹配关系；
将初始优化后相机位姿集合中的每一个初始优化后相机位姿设置为定量，并根据新的特征点匹配关系，重新三维重建并三角化每一帧待优化图像中已提取的二维特征点，以得到新的初始三维点云模型；
利用光束法平差优化算法，分别优化新的初始三维点云模型中的三维特征点以及初始优化后相机位姿集合，得到三维点云模型以及优化后相机位姿集合。
上述技术方案中，对新的初始三维点云模型中的三维特征点以及初始优化后相机位姿集合，得到准确性更高的三维点云模型以及优化后相机位姿集合，以便于后续得到准确性更高的待标注目标的三维信息对二维图像实现高准确性的标注。
在一种可选的实施方式中，当车辆搭载多个相机时，在利用光束法平差优化算法，分别优化三维特征点集合中的三维特征点以及每一帧关键帧图像对应的相机位姿，得到初始三维点云模型以及初始优化后相机位姿集合之前，方法还包括：
获取多个相机之间的外部参数；
将外部参数作为利用光束法平差优化算法进行优化操作时的优化约束条件。
上述技术方案中，当车辆搭载多个相机时就需要考虑多个相机构成的相机系统之间的外部参数，将外部参数作为利用光束法平差优化算法进行优化操作时的优化约束条件，在优化时考虑不同视角的相机之间的观测差异，以在后续得到更精确的三维点云模型。
在一种可选的实施方式中，根据初始轨迹，从初始轨迹图像序列中提取关键帧图像序列，以及关键帧图像序列中的每一帧关键帧图像对应的车辆位姿，包括：
根据初始轨迹以及插值算法，对初始轨迹图像序列进行插值处理，以得到初始轨迹图像序列中每一帧图像对应的待选车辆位姿；
确定初始轨迹图像序列中相邻两帧的图像对应待选车辆位姿在初始轨迹中的待选平移距离以及待选旋转角度差值；
将大于或等于第四阈值的待选平移距离对应的两帧图像确定为关键帧图像序列中的关键帧图像，或者将大于或等于第五阈值的待选旋转角度差值对应的两帧图像确定为关键帧图像序列中的关键帧图像；
从所有图像对应的待选车辆位姿中，提取关键帧图像序列中每一帧关键帧图像对应的车辆位姿。
上述技术方案中，基于初始轨迹利用插值算法对初始轨迹图像序列进行插值处理，使初始轨迹图像序列中每一帧图像都有对应的待选车辆位姿，解决了车载定位传感器与相机触发不同步可能导致的图像与车辆位姿不对应的问题。此外，将初始轨迹引入至关键帧图像序列的选取中，使两相邻关键帧图像之间的特征差别更明显，也更能表明两帧图像之间的位姿变换，在后续三维重建时可以得到更好的效果，进而提高基于三维点云模型标注二维图像时的标注准确性。
第二方面，本申请提供了一种二维图像的标注装置，所述装置包括：
第一确定模块，用于确定用于进行二维图像标注的三维点云模型，其中，三维点云模型是根据车辆上基于同一场景下的车载定位传感器以及相机采集的进行三维重建获得的，并在三维重建过程中得到优化后相机位姿集合；
第二确定模块，用于基于接收到的标注动作，确定三维点云模型上的待标注目标；
选取模块，用于从优化后相机位姿集合中选取利用待标注目标的二维图像对应的优化后相机位姿；
获取模块，用于获取二维图像对应的相机模型参数；
映射模块，用于根据二维图像对应的优化后相机位姿和相机模型参数，将三维点云模型中待标注目标的三维信息映射至二维图像中，二维图像为相机采集的初始轨迹图像序列中的任一张包括二维的待标注目标的图像。
第三方面，本申请提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的二维图像的标注方法。
第四方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令由处理器加载并执行以实现上述第一方面或其对应的任一实施方式的二维图像的标注方法。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的二维图像的标注方法的一种应用场景示意图；
图2是根据本申请实施例的一种二维图像的标注方法的流程示意图；
图3是根据本申请实施例的又一种二维图像的标注方法的流程示意图；
图4是根据本申请实施例的又一种应用场景中二维图像的标注方法的工作流程示意图；
图5是根据本申请实施例的再一种二维图像的标注方法的流程示意图；
图6是根据本申请实施例的二维图像的标注装置的结构框图；
图7是本申请实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是根据本申请实施例示出的二维图像的标注方法的一种应用场景示意图，该应用场景中可以包含车辆110以及服务器120，车辆110中可以包含数据处理设备、图像采集设备、车载定位传感器以及数据存储模块等模块。
车辆110中包含的图像采集设备可以在车辆110在运行过程中，对车辆110周围的环境进行图像采集，并将采集到的初始轨迹图像序列保存在数据存储模块中。数据处理设备可以通过车载定位传感器在车辆110的运行过程中采集车辆110的运动信息，并将采集到的运动信息保存在数据存储模块中。
车辆110可以通过传输网络（如无线通信网络）与服务器120实现通信连接，该车辆110可以通过无线通信网络，将数据存储模块中存储的各个数据（如采集到的初始轨迹图像序列以及运动信息）上传至服务器120，以便服务器120对采集到的初始轨迹图像序列和运动信息进行处理，得到智能车辆在其运行的场景中，场景的三维点云模型。进而将该场景的三维点云模型中被确定的待标注目标的三维信息映射到采集的初始轨迹图像序列的相关图像中，以对初始轨迹图像序列进行批量准确的标注。而后根据标注的图像，对应用于智能行驶等方面的深度学习的感知模块进行训练。
可选的，服务器120可以将车辆110上传的运动信息确定智能车辆运行时的初始轨迹，具体确定方法本申请实施例不做具体限制，可以自由选择目前的任一种根据车载定位传感器计算车辆轨迹的方法。
可选的，服务器120还可以通过无线通信网络向包括该车辆110在内的，与服务器120建立通信连接的各个可以实现自动驾驶功能的车辆（例如可以包括车辆110）进行无线通信连接，并向各个车辆发送对应的算法信息，例如服务器120可以将深度学习模型的模型参数，通过无线通信网络发送至车辆110中，此时车辆110中的智能行驶应用程序可以加载训练好的模型参数至感知模块，以实现对实时采集到的图像的实时处理，并判断此时智能车辆的行驶模式，从而实现智能驾驶。
可选的，上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。
可选的，该应用场景还可以包括管理设备，该管理设备用于对该应用场景中的各个设备进行管理（如管理各个模块与服务器之间的连接状态等），该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
根据本申请实施例，提供了一种二维图像的标注方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种二维图像的标注方法，可用于计算机设备，如图1所示的服务器120，或者是计算机等设备，图2是根据本申请实施例的一种二维图像的标注方法的流程图，如图2所示，该流程包括如下步骤：
步骤201，确定用于进行二维图像标注的三维点云模型。
其中，三维点云模型是根据车辆上基于同一场景下的车载定位传感器以及相机采集的检测数据进行三维重建获得的，并在三维重建过程中得到优化后相机位姿集合。场景可以是车辆行驶过程中经过任一种环境，例如，停车场、十字路口、街道、高速公路或盘山公路等。在需要对相机采集到的初始轨迹图像序列中的图像进行三维信息的标注时，可以从预先基于车载定位传感器以及相机采集的检测数据进行三维重建后得到的三维点云模型集合中找到该初始轨迹图像序列对应的三维点云模型，以便后续对图像进行标注。也可以在当前时刻根据车辆上基于同一场景下的车载定位传感器以及相机采集的检测数据进行三维重建得到该初始轨迹图像序列对应的三维点云模型，以便后续对图像进行标注。
当车辆上基于同一场景下的车载定位传感器以及同一相机采集了的多次检测数据时，就会得到关于同一场景的多个三维点云模型，同时还会得到多个初始轨迹图像序列。此时计算机设备会判断同一场景的多个三维点云模型是否需要融合为一个三维点云模型。当需要融合为一个三维点云模型时，计算机设备会利用融合后的三维点云模型对多个初始轨迹图像序列中的图像进行标注。具体三维点云模型的融合判断以及融合在后续实施例中进行介绍。
步骤202，基于接收到的标注动作，确定三维点云模型上的待标注目标。
操作人员可以在三维点云模型中框出的车辆、单车、行人以及锥桶等对象的三维框，计算机设备就接收到标注动作，在三维点云模型上将操作人员框出的对象确定为待标注目标并得到待标注目标的三维框。
步骤203，从优化后相机位姿集合中选取利用待标注目标的二维图像对应的优化后相机位姿。
在三维重建后初始轨迹图像序列中的每一张图像在优化后相机位姿集合中存在相对应的优化后相机位姿。计算机设备会从初始轨迹图像序列中找到包括待标注目标的二维形式的二维图像，并获取到该二维图像各自对应的优化后相机位姿。
步骤204，获取二维图像对应的相机模型参数。
计算机设备会判断采集该二维图像的相机，进而读取该相机的相机模型参数。当车辆上仅有一个相机时，相机模型参数中不包括外部参数，当车辆上有多个相机时，相机模型参数中包括外部参数。
步骤205，根据二维图像对应的优化后相机位姿和相机模型参数，将三维点云模型中待标注目标的三维信息映射至二维图像中。
其中，二维图像为所述相机采集的初始轨迹图像序列中的任一张包括二维的待标注目标的图像。三维信息包括三维框以及深度等信息，计算机设备会根据二维图像对应的优化后相机位姿和相机模型参数将待标注目标的三维框反投影到二维图像上，这样二维图像上二维的待标注目标的包围框就会记录三维框的信息。同时还会根据二维图像对应的优化后相机位姿和相机模型参数将三维点云模型中可以投影到二维图像上的点云也投影到二维图像上，这样就得到二维图像中对应像素在空间中的三维点，三维点到相机光心（即该二维图像对应的优化后相机位姿）的欧氏距离即为像素对应的深度值。这样就可以在二维图像上完成对待标注目标的三维信息的标注。重复上述步骤，直至三维点云模型中的所有待标注目标的三维信息均标注在对应的二维图像中。
可以理解的是，当存在多张包括二维的待标注目标的二维图像时，可以对每一张二维图像都进行标注，也可以选择至少一张二维图像进行标注。另外，根据相机位姿以及相机模型参数投影三维框或点云为目前成熟的技术在此不再赘述。
本申请实施例中，确定用于进行二维图像标注的三维点云模型是基于车辆上基于同一场景下的车载定位传感器以及相机采集的初始轨迹图像序列进行三维重建得到的，结合了车载定位传感器本身尺度准确的特性，使得重建后的三维点云模块中的尺度准确，相比于利用纯视觉图像进行三维重建得到的三维点云模型，本申请的三维点云模型没有尺度漂移的问题，进而保证待标注目标的三维信息的准确性。另外，二维图像上标注的待标注目标的三维信息是从三维点云模型中映射而来的，不需要专门使用用于测量三维信息的传感器来获取三维信息，同时不需要人工一张张地标注二维图像，大大提高了标注的效率。实现高效准确的对二维图像进行三维信息的标注的目的。
为了保证对二维图像进行标注时三维信息的准确性，需要对传统的基于纯视觉信息进行三维重建的方法（例如，基于运行恢复结构（Structure from Motion，SfM）的三维重建）做出改进，以避免传统的基于纯视觉信息进行三维重建的方法所导致的尺度漂移的问题，从而避免重建后的场景与真实的场景之间的尺度误差。基于上述目的本申请实施例中提供了又一种二维图像的标注方法，可用于计算机设备，如图1所示的服务器120，或者是计算机等设备，图3是根据本申请实施例的又一种二维图像的标注方法的流程图，如图3所示，该流程包括如下步骤：
步骤301，通过车载定位传感器，获取车辆在场景下的初始轨迹。
其中，车载定位传感器可以包含惯性测量单元（Inertial Measurement Unit，IMU）、全球卫星导航系统（Global Navigation Satellite System，GNSS）、轮速计以及轮脉冲等。车辆在场景中行驶时车载定位传感器会将采集的车辆的运动信息发送至计算机设备，计算机设备就可以依据运动信息来确定车辆在该场景下行驶时的初始位姿，进而将所有初始位姿组合得到车辆轨迹，这样就得到了车辆在该场景下的世界坐标系中的初始轨迹。运动信息可以包括车辆的车速、实时位置以及行驶方向等信息，具体依据运动信息来确定轨迹的方法为目前成熟的技术在此不做赘述。
可选的，为了进一步提高初始轨迹的精度，可以在获取车辆的初始轨迹之前对不同类型的车载定位传感器的精度高低，对不同类型的车载定位传感器采集到的数据进行权重分配，从而得到全面且高精度的运动信息以便获取高精度的初始轨迹，从而提高三维点云模型的精度以提高二维图像标注的准确性。
具体的，对于精度高的车载定位传感器就分别较高的权重，以保证精度高的车载定位传感器采集到的数据在所有车载定位传感器采集到的数据中占比较高。对于精度高的车载定位传感器就分别较低的权重甚至可以不分配权重。例如，轮速计的数据比较精确，则轮速计的数据的权重占比较高，而IMU与GNSS依据平台使用的具体传感器的精度而定，权重占比较小甚至可以不使用（如果精度不高）。
图4示出了本申请另一种应用场景中二维图像的标注方法的具体工作流程，如图4所示车载定位传感器包括GNSS、IMU以及使用控制器局域网（Controller Area Network，CAN）总线协议的轮速计与轮脉冲。通过GNSS、IMU、轮速计以及轮脉冲采集的数据就可以获取车辆在某场景下行驶时的初始轨迹（也即轨迹0），并且在车辆行驶过程中相机就会同步采集周围环境的图像得到初始轨迹图像序列（图4中以方框中的图像表示初始轨迹图像序列），车辆会将初始轨迹图像序列发送至计算机设备以进行后续处理。
步骤302，根据初始轨迹，从初始轨迹图像序列中提取关键帧图像序列，以及关键帧图像序列中的每一帧关键帧图像对应的车辆位姿。
计算机设备会根据初始轨迹估计初始轨迹图像序列中每一帧图像对应的车辆位姿，并从初始轨迹图像序列中选取关键帧图像从而得到关键帧图像序列以及每一帧关键帧图像对应的车辆位姿。
进一步的，步骤302可以包括如下步骤A1至步骤A4：
步骤A1，根据初始轨迹以及插值算法，对初始轨迹图像序列进行插值处理，以得到初始轨迹图像序列中每一帧图像对应的待选车辆位姿。
计算机设备会以初始轨迹中每个时刻的初始位姿为参照利用插值算法对初始轨迹图像序列中的每一帧图像进行插值处理，这样就可以得到每一帧图像对应的待选车辆位姿。对于插值算法，本申请实施例按常数假设，即每两个初始位姿之间的线速度和角速度均为常数。具体的插值处理方法为目前较为成熟的技术在此不做赘述。
步骤A2，确定初始轨迹图像序列中相邻两帧的图像对应待选车辆位姿在初始轨迹中的待选平移距离以及待选旋转角度差值。
在得到每一帧图像对应的待选车辆位姿后，就可以在世界坐标系中计算每相邻两帧的图像对应的待选车辆位姿之间的平移距离和旋转角度差值，这样就得到相邻两帧的图像在初始轨迹中的待选平移距离以及待选旋转角度差值。
步骤A3，将大于或等于第四阈值的待选平移距离对应的两帧图像确定为关键帧图像序列中的关键帧图像，或者将大于或等于第五阈值的待选旋转角度差值对应的两帧图像确定为关键帧图像序列中的关键帧图像。
其中，第四阈值以及第五阈值均可以依据具体场景设置不同的值（如特征较少的场景可增加关键帧的频率，即减少设定的平移距离和旋转角度差值），优选的，第四阈值可以为0.6米，第五阈值可以为0.5个弧度。
可选的，还可以根据时间设定关键帧的选取策略，每隔预设帧数（例如，10帧或15帧等）就从初始轨迹图像序列中抽取一帧图像作为关键帧图像。
步骤A4，从所有图像对应的待选车辆位姿中，提取关键帧图像序列中每一帧关键帧图像对应的车辆位姿。
在得到关键帧图像序列后，计算机设备就可以从所有图像对应的待选车辆位姿中找到每一帧关键帧图形对应的车辆位姿。
上述方案中，基于初始轨迹利用插值算法对初始轨迹图像序列进行插值处理，使初始轨迹图像序列中每一帧图像都有对应的待选车辆位姿，解决了车载定位传感器与相机触发不同步可能导致的图像与车辆位姿不对应的问题。此外，将初始轨迹引入至关键帧图像序列的选取中，使两相邻关键帧图像之间的特征差别更明显，也更能表明两帧图像之间的位姿变换，在后续三维重建时可以得到更好的效果，进而提高基于三维点云模型标注二维图像时的标注准确性。
步骤303，将每一帧关键帧图像对应的车辆位姿转换为相机位姿。
计算机设备可以利用目前的任一种车辆相机之间的位姿转换方法将车辆位姿转换为车辆上装载的相机的相机位姿。
步骤304，根据关键帧图像序列以及车辆位姿进行三维重建，得到三维点云模型，并在三维重建的过程中利用光束法平差优化算法优化每一帧关键帧图像对应的相机位姿，得到三维点云模型对应的优化后相机位姿集合。
计算机设备可以将车辆位姿引入至传统的SfM中，对关键帧图像序列中的图像进行特征点提取、特征点匹配、以车辆位姿为初值的三角化操作以重建三维特征点并用光束法平差优化（Global Bundle Adejustment，Global BA）算法进行优化得到三维点云模型，同时用Global BA算法优化每一帧关键帧图像对应的相机位姿，得到优化后相机位姿集合。
进一步的，步骤304可以包括如下步骤B1至步骤B6：
步骤B1，对每一帧关键帧图像进行特征点提取操作，得到二维特征点集合。
可以利用特征提取算法，例如SuperPoint（一种基于自监督训练的特征点检测和描述符提取方法）、SIFT（Scale-invariant feature transform，一种局部特征提取与描述方法）或ORB（Oriented FAST and Rotated BRIEF，一种快速特征点提取和描述的算法）等提取图像中的特征点。
步骤B2，对关键帧图像序列中两两关键帧图像之间的特征点进行特征匹配操作，得到特征点匹配关系。
可以利用特征匹配算法，例如SuperGlue（一种基于图卷积神经网络的特征匹配算法）、SIFT或ORB等对关键帧图像序列中的前后两关键帧图像之间进行特征点匹配。
步骤B3，将每一帧关键帧图像对应的车辆位姿作为初值，根据特征点匹配关系三维重建并三角化二维特征点集合中的二维特征点，得到三维特征点集合。
可以理解的是，三角化后得到的三维特征点集合中的各个三维特征点即为三维点云模型中的三维特征点，只不过三维特征点集合中各个三维特征构成的三维模型需要优化以克服三角化时的缺陷才可以成为能够被应用的三维点云模型。
步骤B4，利用光束法平差优化算法，分别优化三维特征点集合中的三维特征点以及每一帧关键帧图像对应的相机位姿，得到初始三维点云模型以及初始优化后相机位姿集合。
利用Global BA算法优化三维特征点集合中的每一个三维特征点以及每一帧关键帧图像对应的相机位姿来优化重投影误差这样就可以得到初始三维点云模型以及初始优化后相机位姿集合。
可选的，当车辆搭载多个相机时，在利用光束法平差优化算法，分别优化三维特征点集合中的三维特征点以及每一帧关键帧图像对应的相机位姿，得到初始三维点云模型以及初始优化后相机位姿集合之前，二维图像的标注方法还包括：
获取多个相机之间的外部参数；
将外部参数作为利用光束法平差优化算法进行优化操作时的优化约束条件。
当车辆搭载多个相机时就需要考虑多个相机构成的相机系统之间的外部参数，将外部参数作为利用光束法平差优化算法进行优化操作时的优化约束条件，以在后续利用光束法平差优化算法进行优化时进行约束外参的光束平差法优化（Rig BundleAdejustment），在优化时考虑不同视角的相机之间的观测差异，以在后续得到更精确的三维点云模型。
步骤B5，根据初始优化后相机位姿集合，从关键帧图像序列中选择待优化图像序列。
为了确保有足够的特征匹配且没有共视的关键帧之间不会进行匹配造成误匹配，需要在得到初始三维点云模型后继续以初始优化后相机位姿集合中的相机位姿为指导再次选择出待优化图像序列。
进一步的，步骤B5可以包括如下步骤：
根据初始优化后相机位姿集合中的初始优化后相机位姿，确定初始优化后相机轨迹；
在初始优化后相机轨迹中，将初始优化后相机位姿集合中的距离小于或等于第三阈值，且旋转角度差值小于预设相机视场角的两初始优化后相机位姿分别对应的关键帧图像确定为待优化图像序列中的待优化图像。
第三阈值可以依据具体场景设置不同的值，优选的，第三阈值可以是5米，预设相机视场角为车辆搭载的相机的相机视场角（field of view）。当车辆仅搭载一个相机时，计算机设备会初始优化后相机位姿集合中的所有初始优化后相机位姿进行组合得到相机的初始优化后相机轨迹。进而选择待优化图像得到待优化图像序列。
需要说明的是，当车辆搭载多个相机时，每一个相机都会采集到各自的初始轨迹图像序列，计算机设备会针对每一个相机采集的初始轨迹图像序列进行步骤301至步骤304的处理，得到每一个相机对应的三维点云模型，进而进行步骤305至步骤309以对每一个相机采集的初始轨迹图像序列中的图像进行标注。
在上述技术方案中，在初始优化后相机轨迹中，将初始优化后相机位姿集合中的距离小于或等于第三阈值，且旋转角度差值小于预设相机视场角的两初始优化后相机位姿分别对应的关键帧图像确定为待优化图像，从而得到待优化图像序列，以便于后续依据再次选择出的待优化图像序列进行特征匹配，从而对初始三维点云模型进行再优化，可以确保三维场景过程中有足够的特征匹配，并保证关键帧预图像序列中没有共视的关键帧图像之间不会进行匹配，避免误匹配的情况，从而提高三维点云模型的精确程度。
步骤B6，根据光束法平差优化算法、待优化图像序列以及初始优化后相机位姿集合，优化初始三维点云模型以及初始优化后相机位姿集合，得到三维点云模型以及初始优化后相机位姿集合。
在得到待优化图像序列后，计算机设备会继续对待优化图像序列中的图像中提取的特征点进行特征点匹配以及初始优化后相机位姿为定量的三角化操作，再次重建三维特征点并用Global BA算法进行优化得到三维点云模型，同时用Global BA算法优化每一帧关键帧图像对应的初始优化后相机位姿，得到优化后相机位姿集合。
进一步的，步骤B6包括如下步骤：
对待优化图像序列中两两待优化图像之间已提取的特征点进行特征匹配操作，得到新的特征点匹配关系。
将初始优化后相机位姿集合中的每一个初始优化后相机位姿设置为定量，并根据新的特征点匹配关系，重新三维重建并三角化每一帧待优化图像中已提取的二维特征点，以得到新的初始三维点云模型。
利用光束法平差优化算法，分别优化新的初始三维点云模型中的三维特征点以及初始优化后相机位姿集合，得到三维点云模型以及优化后相机位姿集合。
利用与步骤B3一致的特征匹配算法对待优化图像序列中前后两帧之间的待优化图像之间已提取的特征点进行特征匹配操作，得到新的特征点匹配关系。进而固定初始优化后相机位姿集合中的每一个初始优化后相机位姿（也即设置为定量），将待优化图像序列中已提取的特征点三维重建到初始三维点云模型中，并三角化该特征点三维重建后对应的三维特征点，以优化初始三维点云模型的重投影误差得到新的初始三维点云模型。并利用Global BA算法继续优化新的初始三维点云模型中的三维特征点以及初始优化后相机位姿集合，得到准确性更高的三维点云模型以及优化后相机位姿集合，以便于后续得到准确性更高的待标注目标的三维信息对二维图像实现高准确性的标注。
在上述技术方案中，在对关键帧图像序列中图像的特征点提取以及匹配操作之后，将每一帧关键帧图像对应的车辆位姿引入到三角化中，以在三角化二维特征点得到三维特征点集合时，对三角化过程输入了较好的初值，大大缩减了三角化时的搜索空间降低了时间复杂度，提高三角化的效率，进而提高三维重建的效率，从提高二维图像标注的效率。在对三维特征点集合中的三维特征点和相机位姿进行优化以克服前序步骤存在的缺陷后，会继续利用光束法平差优化算法、初始优化后相机位姿集合以及再次选择的待优化图像序列对初始三维点云模型和初始优化后相机位姿集合进行优化，进一步克服第一次三维重建过程中可能存在的误匹配的缺陷，以得到准确性更高的三维点云模块和优化后相机位姿集合，从而提高二维图像标注的准确性。
步骤305，确定用于进行二维图像标注的三维点云模型。
步骤306，基于接收到的标注动作，确定三维点云模型上的待标注目标。
步骤307，从优化后相机位姿集合中选取利用待标注目标的二维图像对应的优化后相机位姿。
步骤308，获取二维图像对应的相机模型参数。
步骤309，根据二维图像对应的优化后相机位姿和相机模型参数，将三维点云模型中待标注目标的三维信息映射至二维图像中。
步骤305至步骤309参见图2所示实施例的步骤201至步骤206，在此不再赘述。
本申请实施例中，在对二维图像进行标注之前，利用本身尺度精确的车载定位传感器来获取车辆在其运行场景下的尺度精确的初始轨迹，并根据尺度精确的初始轨迹和初始轨迹图像序列获取车辆位姿以及相机位姿，保证了车辆位姿以及相机位姿的尺度精确程度。避免使用仅通过初始轨迹图像序列来确定初始轨迹、车辆位姿以及相机位姿的传统方法，从而在后续三维重建过程中避免了尺度漂移的问题，保证了三维点云模型中三维信息的准确性。在三维重建时还将车辆位姿进入到三维重建中，不再仅依据初始轨迹图像序列来进行无先验（也即无初值）的三维重建，给三维重建输入了较好的初始值，可更快获得重建结果，大大降低了三维重建时的时间复杂度，加速三维重建，从而实现对二维图像进行高效准确地标注的目的。
为了进一步提高二维图像标注的效率，本申请实施例中提供了再一种二维图像的标注方法，可用于计算机设备，如图1所示的服务器120，或者是计算机等设备，图5是根据本申请实施例的再一种二维图像的标注方法的流程图，如图5所示，该流程包括如下步骤：
步骤501，确定用于进行二维图像标注的三维点云模型。
详细参见图3所示实施例的步骤305，在此不再赘述。
可选的，当车辆上基于同一场景下的车载定位传感器以及同一相机采集了的多次检测数据时，就会得到关于同一场景的多个三维点云模型以及多个初始轨迹图像序列，此时可以针对每一个三维点云模型都进行一次标注而后再将待标注目标的三维信息反投影到相关二维图像，这样相较于传统的标注方法仅需对每一个三维点云模型进行标注，无需对每一个初始轨迹图像序列中的图像进行标注大大加快了二维图像的三维信息的标注效率。
可选的，当同一场景存在多个三维点云模型（也即当车辆上基于同一场景下的车载定位传感器以及同一相机采集了的多次检测数据时），为了进一步加快二维图像的三维信息的标注效率，在车载定位传感器中存在全球卫星导航系统传感器时，步骤501可以包括如下步骤501C1至步骤501C5：
步骤501C1，获取每一个三维点云模型对应的优化后相机位姿集合。
当同一场景存在多个三维点云模型时，计算机设备会存储同一场景下每一个三维点云模型的所有有关数据，这样计算机设备就可以读取到每一个三维点云模型对应的优化后相机位姿集合。
步骤501C2，根据每一个优化后相机位姿集合中的优化后相机位姿，确定每一个三维点云模型对应的优化后相机轨迹。
计算机设备将每一个三维点云模型通过GNSS都注册到同一个世界坐标系中，并针对每一个优化后相机位姿集合，将优化后相机位姿集合中所有优化后相机位姿组合得到每一个三维点云模型在同一个世界坐标系下对应的优化后相机轨迹。
步骤501C3，获取多个三维点云模型对应的优化后相机轨迹两两之间的重叠轨迹。
计算机设备可以将步骤501C1的世界坐标系中确定每两个三维点云模型对应的优化后相机轨迹之间重叠的部分，得到多个三维点云模型两两之间的重叠轨迹。
步骤501C4，若重叠轨迹的距离大于或等于第一阈值，将重叠轨迹对应的两个三维点云模型融合为一个新的三维点云模型，新的三维点云模型作为用于进行二维图像标注的三维点云模型。
第一阈值可以自行设置，优选的第一阈值可以是10米。进一步的，计算机设备可以通过如下步骤将两个三维点云模型融合为一个新的三维点云模型：
在重叠轨迹中，按照预设位姿平移周期，分别从第一初始轨迹图像序列以及第二初始轨迹图像序列中提取关键帧图像，得到关键帧图像对序列；
对关键帧图像对序列中的每一对关键帧图像进行特征点提取以及特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系；
若待融合二维特征点集合中的待融合二维特征点已被三角化，则将待融合二维特征点分别在两个三维点云模型中对应的三维特征点融合，得到融合后三维特征点；
若待融合二维特征点未被三角化为三维特征点，则根据待融合特征点匹配关系三维重建并三角化待融合二维特征点，得到融合后三维特征点；
将两个三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合；
利用光束法平差优化算法对三维特征点集合进行优化，得到新的三维点云模型。
其中，第一初始轨迹图像序列为两个三维点云模型中任一个三维点云模型对应的初始轨迹图像序列，第二初始轨迹图像序列为两个三维点云模型中另一个三维点云模型对应的初始轨迹图像序列。预设位姿平移周期可以自行设置，优选的为0.5米。计算机设备会在两三维点云模型重叠轨迹内每0.5米就分别从两三维点云模型对应的初始轨迹图像序列中提取一次关键帧图像，得到一个关键帧图像，直至重叠轨迹遍历完成得到关键帧图像对序列。而后利用与步骤B2与B3中一致的特征提取与特征匹配算法进行特征点提取与特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系。
当待融合二维特征点集合中的待融合二维特征点是之前就提取过的特征点且三维重建后已被三角化时就将两三维点云模型内该待融合二维特征点对应的三维特征点融合。当待融合二维特征点集合中的待融合二维特征点三维重建后还没有被三角化时，就将其三角化得到融合后三维特征点。并将两个三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合，而后再次用Global BA对融合后三维特征点集合中的三维特征点进行优化得到一个新的三维点云模型。
在上述技术方案中，从两个三维点云模型分别对应的初始轨迹图像序列中提取关键帧图像对序列，以对关键帧图像对序列进行特征点提取以及匹配操作从而确定提取出的二维特征点是否被三角化，如果三角化就直接融合该二维特征点对应的三维特征点，否则就进行三维重建以及三角化操作得到三维特征点，并利用光束法平差优化算法对合并后得到的三维特征点集合进行优化以得到新的三维点云模型。通过对关键帧图像对序列进行特征点重确定与匹配的方法提高新的三维点云模型中特征的准确性，避免直接将两三维点云模型进行融合由于视觉等差异所导致的三维信息不准确的问题，从而在后续利用新的三维点云模型进行标注时不仅可以提高标注效率还可以提高三维信息的准确性。
步骤501C5，若重叠轨迹的距离小于第一阈值，将重叠轨迹对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
如果重叠轨迹的距离小于第一阈值，就意味着多个三维点云模型之间没有足够的重复场景没有必要进行融合，此时就将重叠轨迹对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
在上述技术方案中，当同一场景存在多个三维点云模型，且车载定位传感器中包括GNSS时，只有多个三维点云模型对应的优化后相机轨迹两两之间的重叠轨迹的距离小于第一阈值，才将重叠轨迹对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。当重叠轨迹的距离大于或等于第一阈值时，就将重叠轨迹对应的两个三维点云模型融合为一个用于进行二维图像标注的三维点云模型，这样在后续就可以实现仅在一个三维点云模型中确定待标注目标，并通过一个三维点云模型就将待标注目标的三维信息标注到同一相机不同时候采集的不同的初始轨迹图像序列中的二维图像中，无需在多个三维点云模型中的每一个三维点云模型中确定待标注目标进一步加快二维图像的三维信息的标注效率。
可选的，当同一场景存在多个三维点云模型（也即当车辆上基于同一场景下的车载定位传感器以及同一相机采集了的多次检测数据时），为了进一步加快二维图像的三维信息的标注效率，在车载定位传感器中不存在全球卫星导航系统传感器时，步骤501可以包括如下步骤501D1至步骤501D3：
步骤501D1，利用图像检索算法，获取多个三维点云模型对应的初始轨迹图像序列两两之间的相似图像对集合。
其中，图像检索算法可以是NetVLAD（Net Vector of Locally AggregatedDescriptors，图像局部特征聚合方法）等深度学习的图像检索算法。
步骤501D2，若相似图像对集合中的相似图像对的个数大于或等于第二阈值，将相似图像对集合对应的两个三维点云模型融合为一个新的三维点云模型，新的三维点云模型作为用于进行二维图像标注的三维点云模型。
第二阈值可以自行设置，可选的，第二阈值可以是100。进一步的，计算机设备可以通过如下步骤将两个三维点云模型融合为一个新的三维点云模型：
对相似图像对集合中的每一个相似图像对进行特征点提取以及特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系；
若待融合二维特征点集合中的待融合二维特征点已被三角化，则将待融合二维特征点分别在两个三维点云模型中对应的三维特征点融合；
若待融合二维特征点未被三角化为三维特征点，则根据待融合特征点匹配关系三维重建并三角化待融合二维特征点，得到融合后三维特征点；
将两个三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合；
利用光束法平差优化算法对三维特征点集合进行优化，得到新的三维点云模型。
上述步骤与步骤501C4中两个三维点云模型融合为一个新的三维点云模型的过程相类似，在此不做赘述。只不过步骤501C4中利用重叠轨迹来提取关键帧图像对序列，本方案中通过图像检索算法可以直接获取到相似图像对集合，并将相似图像对集合中的图像对确定为关键帧图像对。
在上述技术方案中，当确定相似图像对集合中提取出的二维特征点是否被三角化，如果三角化就直接融合该二维特征点对应的三维特征点，否则就进行三维重建以及三角化操作得到三维特征点，并利用光束法平差优化算法对合并后得到的三维特征点集合进行优化以得到新的三维点云模型。通过对相似图像对集合中的相似图像对进行特征点重确定与匹配的方法提高新的三维点云模型中特征的准确性，避免直接将两三维点云模型进行融合由于视觉等差异所导致的三维信息不准确的问题，从而在后续利用新的三维点云模型进行标注时不仅可以提高标注效率还可以提高三维信息的准确性。
步骤501D3，若个数小于第二阈值，将相似图像对集合对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
如果相似图像对集合中的相似图像对的个数小于第一阈值，就意味着多个三维点云模型之间没有足够的重复场景没有必要进行融合，此时就将重叠轨迹对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
在上述技术方案中，当同一场景存在多个三维点云模型，且车载定位传感器中不包括GNSS时，就利用图像检索算法获取多个三维点云模型对应的初始轨迹图像序列两两之间的相似图像对集合。只有相似图像对集合中的相似图像对的个数小于第二阈值时才将相似图像对集合对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。当个数大于或等于第二阈值时，就将相似图像对集合对应的两个三维点云模型融合为一个新的三维点云模型，这样在后续就可以实现仅在一个三维点云模型中确定待标注目标，并通过一个三维点云模型就将待标注目标的三维信息标注到同一相机不同时候采集的不同的初始轨迹图像序列中的二维图像中，无需在多个三维点云模型中的每一个三维点云模型中确定待标注目标进一步加快二维图像的三维信息的标注效率。
步骤502，基于接收到的标注动作，确定三维点云模型上的待标注目标。
步骤503，从优化后相机位姿集合中选取利用待标注目标的二维图像对应的优化后相机位姿。
步骤504，获取二维图像对应的相机模型参数。
步骤505，根据二维图像对应的优化后相机位姿和相机模型参数，将三维点云模型中待标注目标的三维信息映射至二维图像中。
步骤501至步骤505参见图3所示实施例的步骤305至步骤309，在此不再赘述。
在又一种应用场景中，以同一场景被采集了两次检测数据也即同一场景存在两个三维点云模型为例，继续结合图4，计算机设备在得到轨迹0后会根据轨迹0进行关键帧选取得到关键帧图像序列，进而利用SuperPoint算法进行特征提取与利用SuperGlue算法进行特征匹配，已进行第一次三维重建（图中未体现）得到初始三维点云模型和初始优化后相机位姿集合，初始优化后相机位姿集合中的初始优化后相机位姿组成的轨迹即为轨迹1。而后再次进行关键帧选取以对初始三维点云模型进行优化得到三维点云模型以及三维点云模型对应的优化后相机位姿集合（图中未体现）。进而在确定两个三维点云模型需要融合时就进行关键帧匹配对（也即关键帧图像对或相似图像对）选取操作。
而后再次利用SuperPoint算法进行特征提取与利用SuperGlue算法进行特征匹配，并三维重建特征点，而后对三维重建后的特征点进行三角化。如果三维重建后的特征点以被三角化则将两个三维点云模型对应的三维特征点（也即图中的3D点）融合，如果还未三角化，则将三角化三维特征点后通过Global BA优化重投影误差；最后对融合完成的新的三维点云模型再做一次Global BA。至此，完成了所有的重建流程，得到了该场景的三维点云模型。
本申请实施例中，当同一场景存在多个三维点云模型时，就将可以融合的三维点云模型融合为一个新的三维点云模型，这样可以仅在一个三维点云模型中确定待标注目标，并通过这一个三维点云模型将待标注目标的三维信息标注到同一相机不同时候采集的不同的初始轨迹图像序列中的二维图像中，无需在多个三维点云模型中的每一个三维点云模型中确定待标注目标进一步加快二维图像的三维信息的标注效率。
在本实施例中还提供了一种二维图像的标注装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种二维图像的标注装置，如图6所示，包括：
第一确定模块610，用于确定用于进行二维图像标注的三维点云模型，其中，三维点云模型是根据车辆上基于同一场景下的车载定位传感器以及相机采集的进行三维重建获得的，并在三维重建过程中得到优化后相机位姿集合；
第二确定模块620，用于基于接收到的标注动作，确定三维点云模型上的待标注目标；
选取模块630，用于从优化后相机位姿集合中选取利用待标注目标的二维图像对应的优化后相机位姿；
获取模块640，用于获取二维图像对应的相机模型参数；
映射模块650，用于根据二维图像对应的优化后相机位姿和相机模型参数，将三维点云模型中待标注目标的三维信息映射至二维图像中，二维图像为相机采集的初始轨迹图像序列中的任一张包括二维的待标注目标的图像。
在一些可选的实施方式中，该二维图像的标注装置还包括三维重建模块，三维重建模块通过以下步骤进行三维重建：
通过车载定位传感器，获取车辆在场景下的初始轨迹；
根据初始轨迹，从初始轨迹图像序列中提取关键帧图像序列，以及关键帧图像序列中的每一帧关键帧图像对应的车辆位姿；
将每一帧关键帧图像对应的车辆位姿转换为相机位姿；
根据关键帧图像序列以及车辆位姿进行三维重建，得到三维点云模型，并在三维重建的过程中利用光束法平差优化算法优化每一帧关键帧图像对应的相机位姿，得到三维点云模型对应的优化后相机位姿集合。
在一些可选的实施方式中，当基于同一场景存在多个三维点云模型，且车载定位传感器中存在全球卫星导航系统传感器时，第一确定模块包括：
第一获取单元，用于获取每一个三维点云模型对应的优化后相机位姿集合；
第一确定单元，用于根据每一个优化后相机位姿集合中的优化后相机位姿，确定每一个三维点云模型对应的优化后相机轨迹；
第一获取单元，用于获取多个三维点云模型对应的优化后相机轨迹两两之间的重叠轨迹；
第一融合单元，用于若重叠轨迹的距离大于或等于第一阈值，将重叠轨迹对应的两个三维点云模型融合为一个新的三维点云模型，新的三维点云模型作为用于进行二维图像标注的三维点云模型；
第二确定单元，用于若重叠轨迹的距离小于第一阈值，将重叠轨迹对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
在一些可选的实施方式中，第一融合单元包括：
提取子单元，用于在重叠轨迹中，按照预设位姿平移周期，分别从第一初始轨迹图像序列以及第二初始轨迹图像序列中提取关键帧图像，得到关键帧图像对序列，第一初始轨迹图像序列为两个三维点云模型中任一个三维点云模型对应的初始轨迹图像序列，第二初始轨迹图像序列为两个三维点云模型中另一个三维点云模型对应的初始轨迹图像序列；
对关键帧图像对序列中的每一对关键帧图像进行特征点提取以及特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系；
第一融合子单元，用于若待融合二维特征点集合中的待融合二维特征点已被三角化，则将待融合二维特征点分别在两个三维点云模型中对应的三维特征点融合，得到融合后三维特征点；
第一融合子单元，还用于若待融合二维特征点未被三角化为三维特征点，则根据待融合特征点匹配关系三维重建并三角化待融合二维特征点，得到融合后三维特征点；
第一合并子单元，用于将两个三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合；
第一优化子单元，用于利用光束法平差优化算法对三维特征点集合进行优化，得到新的三维点云模型。
在一些可选的实施方式中，当基于同一场景存在多个三维点云模型，且车载定位传感器中不存在全球卫星导航系统传感器时，第一确定模块包括：
第二获取单元，用于利用图像检索算法，获取多个三维点云模型对应的初始轨迹图像序列两两之间的相似图像对集合；
第二融合单元，用于若相似图像对集合中的相似图像对的个数大于或等于第二阈值，将相似图像对集合对应的两个三维点云模型融合为一个新的三维点云模型，新的三维点云模型作为用于进行二维图像标注的三维点云模型；
第三确定单元，用于若个数小于第二阈值，将相似图像对集合对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
在一些可选的实施方式中，第二融合单元包括：
第二特征处理子单元，用于对相似图像对集合中的每一个相似图像对进行特征点提取以及特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系；
第二融合子单元，用于若待融合二维特征点集合中的待融合二维特征点已被三角化，则将待融合二维特征点分别在两个三维点云模型中对应的三维特征点融合；
第二融合子单元，还用于若待融合二维特征点未被三角化为三维特征点，则根据待融合特征点匹配关系三维重建并三角化待融合二维特征点，得到融合后三维特征点；
第二合并子单元，用于将两个三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合；
第二优化子单元，用于利用光束法平差优化算法对三维特征点集合进行优化，得到新的三维点云模型。
在一些可选的实施方式中，三维重建模块包括：
第一提取单元，用于对每一帧关键帧图像进行特征点提取操作，得到二维特征点集合；
匹配单元，用于对关键帧图像序列中两两关键帧图像之间的特征点进行特征匹配操作，得到特征点匹配关系；
重建及三角化单元，用于将每一帧关键帧图像对应的车辆位姿作为初值，根据特征点匹配关系三维重建并三角化二维特征点集合中的二维特征点，得到三维特征点集合；
优化单元，用于利用光束法平差优化算法，分别优化三维特征点集合中的三维特征点以及每一帧关键帧图像对应的相机位姿，得到初始三维点云模型以及初始优化后相机位姿集合；
选择单元，用于根据初始优化后相机位姿集合，从关键帧图像序列中选择待优化图像序列；
优化单元，还用于根据光束法平差优化算法、待优化图像序列以及初始优化后相机位姿集合，优化初始三维点云模型以及初始优化后相机位姿集合，得到三维点云模型以及初始优化后相机位姿集合。
在一些可选的实施方式中，选择单元包括：
第四确定子单元，用于根据初始优化后相机位姿集合中的初始优化后相机位姿，确定初始优化后相机轨迹；
第五确定子单元，用于在初始优化后相机轨迹中，将初始优化后相机位姿集合中的距离小于或等于第三阈值，且旋转角度差值小于预设相机视场角的两初始优化后相机位姿分别对应的关键帧图像确定为待优化图像序列中的待优化图像。
在一些可选的实施方式中，其特征在于，优化单元包括：
匹配子单元，用于对待优化图像序列中两两待优化图像之间已提取的特征点进行特征匹配操作，得到新的特征点匹配关系；
重建及三角化子单元，用于将初始优化后相机位姿集合中的每一个初始优化后相机位姿设置为定量，并根据新的特征点匹配关系，重新三维重建并三角化每一帧待优化图像中已提取的二维特征点，以得到新的初始三维点云模型；
第三优化子单元，用于利用光束法平差优化算法，分别优化新的初始三维点云模型中的三维特征点以及初始优化后相机位姿集合，得到三维点云模型以及优化后相机位姿集合。
在一些可选的实施方式中，当车辆搭载多个相机时，优化单元，还用于：
获取多个相机之间的外部参数；
将外部参数作为利用光束法平差优化算法进行优化操作时的优化约束条件。
在一些可选的实施方式中，三维重建模块还包括：
插值单元，用于根据初始轨迹以及插值算法，对初始轨迹图像序列进行插值处理，以得到初始轨迹图像序列中每一帧图像对应的待选车辆位姿；
第四确定单元，用于确定初始轨迹图像序列中相邻两帧的图像对应待选车辆位姿在初始轨迹中的待选平移距离以及待选旋转角度差值；
第四确定单元，还用于将大于或等于第四阈值的待选平移距离对应的两帧图像确定为关键帧图像序列中的关键帧图像，或者将大于或等于第五阈值的待选旋转角度差值对应的两帧图像确定为关键帧图像序列中的关键帧图像；
第二提取单元，用于从所有图像对应的待选车辆位姿中，提取关键帧图像序列中每一帧关键帧图像对应的车辆位姿。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的二维图像的标注装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本申请实施例还提供一种计算机设备，具有上述图6所示的二维图像的标注装置。
请参阅图7，图7是本申请可选实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。
本申请实施例还提供了一种计算机可读存储介质，上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本申请的实施例，但是本领域技术人员可以在不脱离本申请的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (12)
1.一种二维图像的标注方法，其特征在于，所述方法包括：
确定用于进行二维图像标注的三维点云模型，其中，所述三维点云模型是根据车辆上基于同一场景下的车载定位传感器以及相机采集的检测数据进行三维重建获得的，并在三维重建过程中得到优化后相机位姿集合；
基于接收到的标注动作，确定所述三维点云模型上的待标注目标；
从所述优化后相机位姿集合中选取利用所述待标注目标的二维图像对应的优化后相机位姿；
获取所述二维图像对应的相机模型参数；
根据所述二维图像对应的优化后相机位姿和相机模型参数，将所述三维点云模型中所述待标注目标的三维信息映射至所述二维图像中，所述二维图像为所述相机采集的初始轨迹图像序列中的任一张包括二维的所述待标注目标的图像；
通过以下步骤进行三维重建：
通过所述车载定位传感器，获取所述车辆在所述场景下的初始轨迹；
根据所述初始轨迹，从所述初始轨迹图像序列中提取关键帧图像序列，以及所述关键帧图像序列中的每一帧关键帧图像对应的车辆位姿；
将每一帧所述关键帧图像对应的车辆位姿转换为相机位姿；
根据所述关键帧图像序列以及所述车辆位姿进行三维重建，得到所述三维点云模型，并在三维重建的过程中利用光束法平差优化算法优化每一帧所述关键帧图像对应的相机位姿，得到所述三维点云模型对应的优化后相机位姿集合；
所述根据所述初始轨迹，从所述初始轨迹图像序列中提取关键帧图像序列，以及所述关键帧图像序列中的每一帧关键帧图像对应的车辆位姿，包括：
根据所述初始轨迹以及插值算法，对所述初始轨迹图像序列进行插值处理，以得到所述初始轨迹图像序列中每一帧图像对应的待选车辆位姿；
确定所述初始轨迹图像序列中相邻两帧的图像对应待选车辆位姿在所述初始轨迹中的待选平移距离以及待选旋转角度差值；
将大于或等于第四阈值的所述待选平移距离对应的两帧图像确定为所述关键帧图像序列中的关键帧图像，或者将大于或等于第五阈值的所述待选旋转角度差值对应的两帧图像确定为所述关键帧图像序列中的关键帧图像；
从所有图像对应的待选车辆位姿中，提取所述关键帧图像序列中每一帧关键帧图像对应的车辆位姿。
2.根据权利要求1所述的方法，其特征在于，当基于同一场景存在多个三维点云模型，且所述车载定位传感器中存在全球卫星导航系统传感器时，所述确定用于进行二维图像标注的三维点云模型，包括：
获取每一个所述三维点云模型对应的优化后相机位姿集合；
根据每一个所述优化后相机位姿集合中的优化后相机位姿，确定每一个所述三维点云模型对应的优化后相机轨迹；
获取多个所述三维点云模型对应的优化后相机轨迹两两之间的重叠轨迹；
若所述重叠轨迹的距离大于或等于第一阈值，将所述重叠轨迹对应的两个三维点云模型融合为一个新的三维点云模型，所述新的三维点云模型作为用于进行二维图像标注的三维点云模型；
若所述重叠轨迹的距离小于所述第一阈值，将所述重叠轨迹对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
3.根据权利要求2所述的方法，其特征在于，若所述重叠轨迹的距离大于或等于第一阈值，将所述重叠轨迹对应的两个三维点云模型融合为一个新的三维点云模型，所述新的三维点云模型作为用于进行二维图像标注的三维点云模型，包括：
在所述重叠轨迹中，按照预设位姿平移周期，分别从第一初始轨迹图像序列以及第二初始轨迹图像序列中提取关键帧图像，得到关键帧图像对序列，所述第一初始轨迹图像序列为两个所述三维点云模型中任一个三维点云模型对应的初始轨迹图像序列，所述第二初始轨迹图像序列为两个所述三维点云模型中另一个三维点云模型对应的初始轨迹图像序列；
对所述关键帧图像对序列中的每一对关键帧图像进行特征点提取以及特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系；
若所述待融合二维特征点集合中的待融合二维特征点已被三角化，则将所述待融合二维特征点分别在两个所述三维点云模型中对应的三维特征点融合，得到融合后三维特征点；
若所述待融合二维特征点未被三角化为三维特征点，则根据所述待融合特征点匹配关系三维重建并三角化所述待融合二维特征点，得到融合后三维特征点；
将两个所述三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合；
利用光束法平差优化算法对所述三维特征点集合进行优化，得到所述新的三维点云模型。
4.根据权利要求1所述的方法，其特征在于，当基于同一场景存在多个三维点云模型，且所述车载定位传感器中不存在全球卫星导航系统传感器时，所述确定用于进行二维图像标注的三维点云模型，包括：
利用图像检索算法，获取多个所述三维点云模型对应的初始轨迹图像序列两两之间的相似图像对集合；
若所述相似图像对集合中的相似图像对的个数大于或等于第二阈值，将所述相似图像对集合对应的两个三维点云模型融合为一个新的三维点云模型，所述新的三维点云模型作为用于进行二维图像标注的三维点云模型；
若所述个数小于所述第二阈值，将所述相似图像对集合对应的两个三维点云模型分别确定为两个用于二维图像标注的三维点云模型。
5.根据权利要求4所述的方法，其特征在于，若所述相似图像对集合中的相似图像对的个数大于或等于第二阈值，将所述相似图像对集合对应的两个三维点云模型融合为一个新的三维点云模型，所述新的三维点云模型作为用于进行二维图像标注的三维点云模型，包括：
对相似图像对集合中的每一个相似图像对进行特征点提取以及特征点匹配操作，得到待融合二维特征点集合以及待融合特征点匹配关系；
若所述待融合二维特征点集合中的待融合二维特征点已被三角化，则将所述待融合二维特征点分别在两个所述三维点云模型中对应的三维特征点融合；
若所述待融合二维特征点未被三角化为三维特征点，则根据所述待融合特征点匹配关系三维重建并三角化所述待融合二维特征点，得到融合后三维特征点；
将两个所述三维点云模型中未融合的三维特征点以及融合后三维特征点合并得到融合后三维特征点集合；
利用光束法平差优化算法对所述三维特征点集合进行优化，得到所述新的三维点云模型。
6.根据权利要求1所述的方法，其特征在于，所述根据所述关键帧图像序列以及所述车辆位姿进行三维重建，得到所述三维点云模型，并在三维重建的过程中利用光束法平差优化算法优化每一帧所述关键帧图像对应的相机位姿，得到所述三维点云模型对应的优化后相机位姿集合，包括：
对每一帧所述关键帧图像进行特征点提取操作，得到二维特征点集合；
对所述关键帧图像序列中两两关键帧图像之间的特征点进行特征匹配操作，得到特征点匹配关系；
将每一帧所述关键帧图像对应的车辆位姿作为初值，根据所述特征点匹配关系三维重建并三角化所述二维特征点集合中的二维特征点，得到三维特征点集合；
利用光束法平差优化算法，分别优化所述三维特征点集合中的三维特征点以及每一帧所述关键帧图像对应的相机位姿，得到初始三维点云模型以及初始优化后相机位姿集合；
根据所述初始优化后相机位姿集合，从所述关键帧图像序列中选择待优化图像序列；
根据光束法平差优化算法、所述待优化图像序列以及所述初始优化后相机位姿集合，优化所述初始三维点云模型以及所述初始优化后相机位姿集合，得到所述三维点云模型以及所述初始优化后相机位姿集合。
7.根据权利要求6所述的方法，其特征在于，所述根据所述初始优化后相机位姿集合，从所述关键帧图像序列中选择待优化图像序列，包括：
根据初始优化后相机位姿集合中的初始优化后相机位姿，确定初始优化后相机轨迹；
在所述初始优化后相机轨迹中，将初始优化后相机位姿集合中的距离小于或等于第三阈值，且旋转角度差值小于预设相机视场角的两初始优化后相机位姿分别对应的关键帧图像确定为所述待优化图像序列中的待优化图像。
8.根据权利要求6所述的方法，其特征在于，所述根据光束法平差优化算法、所述待优化图像序列以及所述初始优化后相机位姿集合，优化所述初始三维点云模型以及所述初始优化后相机位姿集合，得到所述三维点云模型以及所述初始优化后相机位姿集合，包括：
对所述待优化图像序列中两两待优化图像之间已提取的特征点进行特征匹配操作，得到新的特征点匹配关系；
将所述初始优化后相机位姿集合中的每一个初始优化后相机位姿设置为定量，并根据所述新的特征点匹配关系，重新三维重建并三角化每一帧待优化图像中已提取的二维特征点，以得到新的初始三维点云模型；
利用所述光束法平差优化算法，分别优化所述新的初始三维点云模型中的三维特征点以及所述初始优化后相机位姿集合，得到所述三维点云模型以及所述优化后相机位姿集合。
9.根据权利要求6至8任一项所述的方法，其特征在于，当所述车辆搭载多个相机时，在利用光束法平差优化算法，分别优化所述三维特征点集合中的三维特征点以及每一帧所述关键帧图像对应的相机位姿，得到初始三维点云模型以及初始优化后相机位姿集合之前，所述方法还包括：
获取多个所述相机之间的外部参数；
将所述外部参数作为利用所述光束法平差优化算法进行优化操作时的优化约束条件。
10.一种二维图像的标注装置，其特征在于，所述装置包括：
第一确定模块，用于确定用于进行二维图像标注的三维点云模型，其中，所述三维点云模型是根据车辆上基于同一场景下的车载定位传感器以及相机采集的检测数据进行三维重建获得的，并在三维重建过程中得到优化后相机位姿集合；
第二确定模块，用于基于接收到的标注动作，确定所述三维点云模型上的待标注目标；
选取模块，用于从所述优化后相机位姿集合中选取利用所述待标注目标的二维图像对应的优化后相机位姿；
获取模块，用于获取所述二维图像对应的相机模型参数；
映射模块，用于根据所述二维图像对应的优化后相机位姿和相机模型参数，将所述三维点云模型中所述待标注目标的三维信息映射至所述二维图像中，所述二维图像为所述相机采集的初始轨迹图像序列中的任一张包括二维的所述待标注目标的图像；
三维重建模块，用于通过以下步骤进行三维重建：
通过所述车载定位传感器，获取所述车辆在所述场景下的初始轨迹；
根据所述初始轨迹，从所述初始轨迹图像序列中提取关键帧图像序列，以及所述关键帧图像序列中的每一帧关键帧图像对应的车辆位姿；
将每一帧所述关键帧图像对应的车辆位姿转换为相机位姿；
根据所述关键帧图像序列以及所述车辆位姿进行三维重建，得到所述三维点云模型，并在三维重建的过程中利用光束法平差优化算法优化每一帧所述关键帧图像对应的相机位姿，得到所述三维点云模型对应的优化后相机位姿集合；
所述三维重建模块还用于：
根据所述初始轨迹以及插值算法，对所述初始轨迹图像序列进行插值处理，以得到所述初始轨迹图像序列中每一帧图像对应的待选车辆位姿；
确定所述初始轨迹图像序列中相邻两帧的图像对应待选车辆位姿在所述初始轨迹中的待选平移距离以及待选旋转角度差值；
将大于或等于第四阈值的所述待选平移距离对应的两帧图像确定为所述关键帧图像序列中的关键帧图像，或者将大于或等于第五阈值的所述待选旋转角度差值对应的两帧图像确定为所述关键帧图像序列中的关键帧图像；
从所有图像对应的待选车辆位姿中，提取所述关键帧图像序列中每一帧关键帧图像对应的车辆位姿。
11.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至9中任一项所述的二维图像的标注方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令由处理器加载并执行以实现如权利要求1至9中任一项所述的二维图像的标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311678280.7A CN117372632B (zh) | 2023-12-08 | 2023-12-08 | 二维图像的标注方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311678280.7A CN117372632B (zh) | 2023-12-08 | 2023-12-08 | 二维图像的标注方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117372632A CN117372632A (zh) | 2024-01-09 |
| CN117372632B true CN117372632B (zh) | 2024-04-19 |
Family
ID=89400734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311678280.7A Active CN117372632B (zh) | 2023-12-08 | 2023-12-08 | 二维图像的标注方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372632B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205447A (zh) * | 2021-05-11 | 2021-08-03 | 北京车和家信息技术有限公司 | 用于车道线识别的道路图片标注方法和装置 |
| CN113643431A (zh) * | 2021-08-06 | 2021-11-12 | 舵敏智能科技(苏州)有限公司 | 一种用于视觉算法迭代优化的系统及方法 |
| CN114549738A (zh) * | 2022-01-07 | 2022-05-27 | 北京理工大学重庆创新中心 | 无人车室内实时稠密点云重建方法、系统、设备及介质 |
| WO2022170844A1 (zh) * | 2021-02-10 | 2022-08-18 | 中国科学院深圳先进技术研究院 | 一种视频标注方法、装置、设备及计算机可读存储介质 |
| CN114972490A (zh) * | 2022-07-29 | 2022-08-30 | 苏州魔视智能科技有限公司 | 一种数据自动标注方法、装置、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201804082D0 (en) * | 2018-03-14 | 2018-04-25 | Five Ai Ltd | Image annotation |
| US11741618B2 (en) * | 2021-03-22 | 2023-08-29 | Everypoint, Inc. | Performing object modeling by combining visual data from images with motion data of the image acquisition device |
| US20220366642A1 (en) * | 2021-05-11 | 2022-11-17 | Baker Hughes Holdings Llc | Generation of object annotations on 2d images |
| EP4141474A1 (en) * | 2021-08-25 | 2023-03-01 | Hexagon Geosystems Services AG | System for 3d surveying by an autonomous robotic vehicle using lidar-slam and an estimated point distribution map for path planning |
-
2023
- 2023-12-08 CN CN202311678280.7A patent/CN117372632B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022170844A1 (zh) * | 2021-02-10 | 2022-08-18 | 中国科学院深圳先进技术研究院 | 一种视频标注方法、装置、设备及计算机可读存储介质 |
| CN113205447A (zh) * | 2021-05-11 | 2021-08-03 | 北京车和家信息技术有限公司 | 用于车道线识别的道路图片标注方法和装置 |
| CN113643431A (zh) * | 2021-08-06 | 2021-11-12 | 舵敏智能科技(苏州)有限公司 | 一种用于视觉算法迭代优化的系统及方法 |
| CN114549738A (zh) * | 2022-01-07 | 2022-05-27 | 北京理工大学重庆创新中心 | 无人车室内实时稠密点云重建方法、系统、设备及介质 |
| CN114972490A (zh) * | 2022-07-29 | 2022-08-30 | 苏州魔视智能科技有限公司 | 一种数据自动标注方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Autonomous Unmanned Aerial Vehicles Filming in Dynamic Unstructured Outdoor Environments;Ioannis Mademlis et al;IEEE Signal Processing Magazine;第147-153页 * |
| 三阶段局部双目光束法平差视觉里程计;赵彤 等;光电工程;第45卷(第11期);第180244-1—180244-11页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117372632A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Patil et al. | The h3d dataset for full-surround 3d multi-object detection and tracking in crowded urban scenes | |
| CA3028653C (en) | Methods and systems for color point cloud generation | |
| JP2020525809A (ja) | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 | |
| CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN105674993A (zh) | 基于双目相机的高精度视觉定位地图生成系统及方法 | |
| US10872246B2 (en) | Vehicle lane detection system | |
| US20220051425A1 (en) | Scale-aware monocular localization and mapping | |
| CN113096003B (zh) | 针对多视频帧的标注方法、装置、设备和存储介质 | |
| CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| Zhou et al. | Developing and testing robust autonomy: The university of sydney campus data set | |
| US11069071B1 (en) | System and method for egomotion estimation | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
| Venator et al. | Robust camera pose estimation for unordered road scene images in varying viewing conditions | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| CN114549542A (zh) | 视觉语义分割方法、装置及设备 | |
| CN115409910A (zh) | 一种语义地图构建方法、视觉定位方法及相关设备 | |
| CN117372632B (zh) | 二维图像的标注方法、装置、计算机设备及存储介质 | |
| CN115761164A (zh) | 逆透视ipm图像生成的方法和装置 | |
| CN115790568A (zh) | 基于语义信息的地图生成方法及相关设备 | |
| WO2023283929A1 (zh) | 双目相机外参标定的方法及装置 | |
| CN110969875B (zh) | 一种用于道路交叉口交通管理的方法及系统 | |
| KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| CN113874681B (zh) | 点云地图质量的评估方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |