CN117612069A - 真值数据的构建方法和装置、存储介质 - Google Patents

Abstract

本申请公开了一种真值数据的构建方法和装置、存储介质。其中，该方法包括：基于已构建的第一真值数据识别出目标对象的对象检测框；在目标对象的对象检测框在第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与位置扩展条件匹配的目标图像帧内对目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；对被扩展后的对象检测框和图像帧内的对象检测结果进行匹配；根据匹配的结果对第一真值数据进行更新，得到第二真值数据。本申请解决了由于受到激光雷达自身的性能限制导致所构建的真值数据准确性较低的技术问题。

Description

真值数据的构建方法和装置、存储介质

技术领域

本申请涉及驾驶控制领域，具体而言，涉及一种真值数据的构建方法和装置、存储介质。

背景技术

在配置有自动驾驶功能的移动载具中，为了辅助驾驶员对其实现更加安全便捷的驾驶控制，其对应的驾驶系统往往需要依赖在行驶环境中获取到的真值数据来做出相应正确的驾驶决策。其中，这里的真值数据通常是基于移动载具内布设的现实传感器所采集到的图像、点云、车身位姿信息等内容，进一步结合应用真值算法计算推导出的与实际驾驶过程相关的真实数据。

目前针对驾驶领域的真值系统，相关技术中往往是通过激光雷达来构建真值数据。但由于受到激光雷达自身的性能限制，使得一些目标较为密集、目标距离较远或雨天、沙尘暴等情况下所构建的驾驶真值数据，难以保证构建质量，从而造成了所构建的真值数据的准确性较低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种真值数据的构建方法和装置、存储介质，以至少解决由于受到激光雷达自身的性能限制导致所构建的真值数据准确性较低的技术问题。

根据本申请实施例的一个方面，提供了一种真值数据的构建方法，包括：基于已构建的第一真值数据识别出目标对象的对象检测框；在上述目标对象的对象检测框在上述第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与上述位置扩展条件匹配的目标图像帧内对上述目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；对上述被扩展后的对象检测框和上述图像帧内的对象检测结果进行匹配；根据匹配的结果对上述第一真值数据进行更新，得到第二真值数据。

可选地，在本实施例中，在上述目标对象的对象检测框在上述第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与上述位置扩展条件匹配的目标图像帧内对上述目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框包括：在上述目标对象是处于运动状态的移动对象的情况下，从上述第一真值数据中获取包含上述目标对象的对象检测框的图像帧序列；基于上述图像帧序列中上述目标对象的对象检测框出现的显示位置，确定出上述目标对象的多段拟合移动轨迹；将每段上述拟合移动轨迹的轨迹边界端点各自对应的上述显示位置分别确定为满足第一类位置扩展条件的显示位置，并将与上述轨迹边界端点对应的图像帧相邻的外延图像帧确定为与上述第一类位置扩展条件匹配的第一目标图像帧；基于在上述轨迹边界端点处上述目标对象的运动数据，在上述第一目标图像帧内对上述目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框。

可选地，在本实施例中，基于在上述轨迹边界端点处上述目标对象的运动数据，在上述第一目标图像帧内对上述目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框包括：确定在上述轨迹边界端点处上述目标对象的运动向量；获取上述目标对象按照上述运动向量进行移动得到的运动位移；基于上述运动位移预测出上述目标对象的上述对象检测框在上述第一目标图像帧中出现的第一目标显示位置；在上述轨迹边界端点对应的上述显示位置上对象检测框内检测出的点云数据与上述第一目标显示位置上对象检测框内检测出的点云数据并未达到收敛条件的情况下，将上述第一目标显示位置确定为上述第一类被扩展后的对象检测框的显示位置；在上述轨迹边界端点对应的上述显示位置上对象检测框内检测出的点云数据与上述第一目标显示位置上对象检测框内检测出的点云数据达到收敛条件的情况下，确定上述目标对象的对象检测框已丢失。

可选地，在本实施例中，将与上述轨迹边界端点对应的图像帧相邻的外延图像帧确定为与上述第一类位置扩展条件匹配的第一目标图像帧包括：在上述轨迹边界端点为轨迹开始端点的情况下，将与上述轨迹边界端点对应的图像帧之前相邻的外延图像帧确定为上述第一目标图像帧；在上述轨迹边界端点为轨迹末尾端点的情况下，将与上述轨迹边界端点对应的图像帧之后相邻的外延图像帧确定为上述第一目标图像帧。

可选地，在本实施例中，在上述目标对象的对象检测框在上述第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与上述位置扩展条件匹配的目标图像帧内对上述目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框包括：在上述目标对象出现在上述第一真值数据中至少一个关键图像帧内的情况下，将上述目标对象的对象检测框在上述关键图像帧中所在的显示位置确定为满足第二类位置扩展条件的显示位置，并将与上述关键图像帧相邻且并未出现上述目标对象的对象检测框的图像帧确定为与上述第二类位置扩展条件匹配的第二目标图像帧；基于上述关键图像帧中上述目标对象的对象检测框所在的显示位置，在上述第二目标图像帧中对上述目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框。

可选地，在本实施例中，基于上述关键图像帧中上述目标对象的对象检测框所在的显示位置，在上述第二目标图像帧中对上述目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框包括：在上述第二目标图像帧中确定出映射关联显示位置，其中，上述映射关联显示位置用于指示与上述关键图像帧中上述目标对象的对象检测框所在的显示位置对应映射的显示位置；在基于上述映射关联显示位置确定出的预设搜索范围内，按照单位搜索间隔搜索潜在对象检测框，其中，上述潜在对象检测框的点云数据与上述目标对象的对象检测框的点云数据之间的相似度大于目标阈值；在上述潜在对象检测框所在的第二目标显示位置位于上述预设搜索范围内的情况下，将上述第二目标显示位置确定为上述第二类被扩展后的对象检测框的显示位置；在上述潜在对象检测框所在的第二目标显示位置位于上述预设搜索范围的搜索边界上的情况下，以上述搜索边界上的上述第二目标显示位置为中心，沿搜索外延方向按照上述单位搜索间隔继续搜索上述潜在对象检测框，得到更新后的搜索结果；在上述更新后的搜索结果指示并未搜索到更新后的上述潜在对象检测框的情况下，确定上述目标对象的对象检测框已丢失。

可选地，在本实施例中，对上述被扩展后的对象检测框和上述图像帧内的对象检测结果进行匹配包括：将上述被扩展后的对象检测框投影到上述图像帧内，得到对象检测框投影；在上述对象检测框投影与上述图像帧内的对象检测结果并未匹配的情况下，确定上述被扩展后的对象检测框为待标记对象检测框，其中，上述待标记检测框用于指示出现误检的对象检测框或出现遮挡的对象检测框。

根据本申请实施例的另一方面，还提供了一种真值数据的构建装置，包括：识别单元，用于基于已构建的第一真值数据识别出目标对象的对象检测框；扩展构建单元，用于在上述目标对象的对象检测框在上述第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与上述位置扩展条件匹配的目标图像帧内对上述目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；匹配单元，用于对上述被扩展后的对象检测框和上述图像帧内的对象检测结果进行匹配；更新单元，用于根据匹配的结果对上述第一真值数据进行更新，得到第二真值数据。

可选地，在本实施例中，上述扩展构建单元包括：获取模块，用于在上述目标对象是处于运动状态的移动对象的情况下，从上述第一真值数据中获取包含上述目标对象的对象检测框的图像帧序列；第一确定模块，用于基于上述图像帧序列中上述目标对象的对象检测框出现的显示位置，确定出上述目标对象的多段拟合移动轨迹；第二确定模块，用于将每段上述拟合移动轨迹的轨迹边界端点各自对应的上述显示位置分别确定为满足第一类位置扩展条件的显示位置，并将与上述轨迹边界端点对应的图像帧相邻的外延图像帧确定为与上述第一类位置扩展条件匹配的第一目标图像帧；第一扩展模块，用于基于在上述轨迹边界端点处上述目标对象的运动数据，在上述第一目标图像帧内对上述目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框。

可选地，在本实施例中，上述扩展模块包括：第一确定子模块，用于确定在上述轨迹边界端点处上述目标对象的运动向量；获取子模块，用于获取上述目标对象按照上述运动向量进行移动得到的运动位移；预测子模块，用于基于上述运动位移预测出上述目标对象的上述对象检测框在上述第一目标图像帧中出现的第一目标显示位置；第二确定子模块，用于在上述轨迹边界端点对应的上述显示位置上对象检测框内检测出的点云数据与上述第一目标显示位置上对象检测框内检测出的点云数据并未达到收敛条件的情况下，将上述第一目标显示位置确定为上述第一类被扩展后的对象检测框的显示位置；第三确定子模块，用于在上述轨迹边界端点对应的上述显示位置上对象检测框内检测出的点云数据与上述第一目标显示位置上对象检测框内检测出的点云数据达到收敛条件的情况下，确定上述目标对象的对象检测框已丢失。

可选地，在本实施例中，第二确定模块包括：第四确定子模块，用于在上述轨迹边界端点为轨迹开始端点的情况下，将与上述轨迹边界端点对应的图像帧之前相邻的外延图像帧确定为上述第一目标图像帧；第五确定子模块，用于在上述轨迹边界端点为轨迹末尾端点的情况下，将与上述轨迹边界端点对应的图像帧之后相邻的外延图像帧确定为上述第一目标图像帧。

可选地，在本实施例中，上述扩展构建单元包括：第三确定模块，用于在上述目标对象出现在上述第一真值数据中至少一个关键图像帧内的情况下，将上述目标对象的对象检测框在上述关键图像帧中所在的显示位置确定为满足第二类位置扩展条件的显示位置，并将与上述关键图像帧相邻且并未出现上述目标对象的对象检测框的图像帧确定为与上述第二类位置扩展条件匹配的第二目标图像帧；第二扩展模块，用于基于上述关键图像帧中上述目标对象的对象检测框所在的显示位置，在上述第二目标图像帧中对上述目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框。

可选地，在本实施例中，上述第二扩展模块包括：第六确定子模块，用于在上述第二目标图像帧中确定出映射关联显示位置，其中，上述映射关联显示位置用于指示与上述关键图像帧中上述目标对象的对象检测框所在的显示位置对应映射的显示位置；第一搜索子模块，用于在基于上述映射关联显示位置确定出的预设搜索范围内，按照单位搜索间隔搜索潜在对象检测框，其中，上述潜在对象检测框的点云数据与上述目标对象的对象检测框的点云数据之间的相似度大于目标阈值；第七确定子模块，用于在上述潜在对象检测框所在的第二目标显示位置位于上述预设搜索范围内的情况下，将上述第二目标显示位置确定为上述第二类被扩展后的对象检测框的显示位置；第二搜索子模块，用于在上述潜在对象检测框所在的第二目标显示位置位于上述预设搜索范围的搜索边界上的情况下，以上述搜索边界上的上述第二目标显示位置为中心，沿搜索外延方向按照上述单位搜索间隔继续搜索上述潜在对象检测框，得到更新后的搜索结果；第八确定子模块，用于在上述更新后的搜索结果指示并未搜索到更新后的上述潜在对象检测框的情况下，确定上述目标对象的对象检测框已丢失。

可选地，在本实施例中，上述匹配单元包括：投影模块，用于将上述被扩展后的对象检测框投影到上述图像帧内，得到对象检测框投影；第四确定模块，用于在上述对象检测框投影与上述图像帧内的对象检测结果并未匹配的情况下，确定上述被扩展后的对象检测框为待标记对象检测框，其中，上述待标记检测框用于指示出现误检的对象检测框或出现遮挡的对象检测框。

根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述真值数据的校正方法。

根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的真值数据的校正方法。

在本申请实施例中，基于已构建的第一真值数据识别出目标对象的对象检测框；在目标对象的对象检测框在第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与位置扩展条件匹配的目标图像帧内对目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；对被扩展后的对象检测框和图像帧内的对象检测结果进行匹配；根据匹配的结果对第一真值数据进行更新，得到第二真值数据。也就是说，通过对第一真值数据识别出的对象检测框进行位置扩展，从而实现了对真值模型未检测出的对象检测框进行补充完善，进而也就实现了第一真值数据的更新，提高了构建的真值数据的准确性，从而解决了现有技术中由于受到激光雷达自身的性能限制，导致构建的真值数据准确性较低的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种可选的真值数据的构建方法示意图；

图2是根据本申请实施例的另一种可选的真值数据的构建方法示意图；

图3是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图4是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图5是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图6是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图7是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图8是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图9是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图10是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图11是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图12是根据本申请实施例的又一种可选的真值数据的构建方法示意图；

图13是根据本申请实施例的一种可选的真值数据的构建装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可选地，作为一种可选的实施方式，如图1所示，上述真值数据的构建方法包括：

S102，基于已构建的第一真值数据识别出目标对象的对象检测框；

S104，在目标对象的对象检测框在第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与位置扩展条件匹配的目标图像帧内对目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；

S106，对被扩展后的对象检测框和图像帧内的对象检测结果进行匹配；

S108，根据匹配的结果对第一真值数据进行更新，得到第二真值数据。

可选地，在申请实施例中，该真值数据的构建方法可以但不限于应用于真值车传感器原始采集相关图像和点云真值数据，再通过云端系统筛选出高价值场景切片，针对切片数据基于云端的真值大模型进行真值构建，对构建后的真值进行更新的场景中。上述已构建的第一真值数据可以包括3D检测框的身份标识号（Identity Document，简称ID）、位置、尺寸和航向角等。

进一步举例说明，存在200帧的点云，其关键图像帧共有6帧，那么相邻两个关键图像帧构成一个真值数据片段，共计可以得到7个真值数据片段，其中，关键图像帧中的目标已经提前标注完成。通过真值模型对上述7个真值数据片段构建第一真值数据，在上述构建的第一真值数据中识别出动态目标对象A的对象检测框存在于第7-13帧中，基于第7-13帧进行动态目标对象A的轨迹拟合，基于拟合出的轨迹进行轨迹拓展，从而得到轨迹拓展框。当目标对象B存在于关键帧上，且关键帧的相邻帧并没有检测出目标对象B，则基于关键帧上目标对象B的真值信息进行跟踪递推，从而得到关键帧附近目标拓展框。将上述得到的轨迹拓展框和关键帧附近目标拓展框投影至图像帧中，并与图像帧内的对象检测结果进行匹配，根据匹配结果对第一真值数据更新，得到第二真值数据。

通过本申请实施例，基于已构建的第一真值数据识别出目标对象的对象检测框；在目标对象的对象检测框在第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与位置扩展条件匹配的目标图像帧内对目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；对被扩展后的对象检测框和图像帧内的对象检测结果进行匹配；根据匹配的结果对第一真值数据进行更新，得到第二真值数据。通过对第一真值数据识别出的对象检测框进行位置扩展，从而实现了对真值模型未检测出的对象检测框进行补充完善，进而实现了对真值模型能力边界之外的真值构建，提升真值系统的上限。

作为一种可选的方案，在目标对象的对象检测框在第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与位置扩展条件匹配的目标图像帧内对目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框包括：

S1，在目标对象是处于运动状态的移动对象的情况下，从第一真值数据中获取包含目标对象的对象检测框的图像帧序列；

S2，基于图像帧序列中目标对象的对象检测框出现的显示位置，确定出目标对象的多段拟合移动轨迹；

S3，将每段拟合移动轨迹的轨迹边界端点各自对应的显示位置分别确定为满足第一类位置扩展条件的显示位置，并将与轨迹边界端点对应的图像帧相邻的外延图像帧确定为与第一类位置扩展条件匹配的第一目标图像帧；

S4，基于在轨迹边界端点处目标对象的运动数据，在第一目标图像帧内对目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框。

可选地，在本申请实施例中，在目标对象是处于运动状态的移动对象的情况下，从第一真值数据中获取包含目标对象的对象检测框的图像帧序列，对图像帧序列中目标对象的对象检测框的中心点位置进行曲线拟合，从而得到目标对象的多段拟合移动轨迹；将每段拟合移动轨迹的轨迹边界端点各自所对应的中心点位置确定为满足轨迹扩展条件的中心点位置，并将与轨迹边界端点对应的图像帧相邻的外延图像帧确定为与轨迹扩展条件匹配的第一目标图像帧；基于轨迹边界端点处目标对象的运动数据，在第一目标图像帧内对目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框。

进一步举例说明，存在200帧的点云，其关键图像帧共有6帧，那么相邻两个关键图像帧构成一个真值数据片段，共计可以得到7个真值数据片段，在第2个和第4个真值数据片段中识别出汽车S处于运动状态，在第2个真值数据片段中出现汽车S的连续7帧图像帧序列，在汽车S的连续7帧图像帧序列中，检测出汽车S检测框的中心点位置为（x1，y1，0），（x2，y2，0），（x3，y3，0），（x4，y4，0），（x5，y5，0），（x6，y6，0），（x7，y7，0），对上述7个中心点位置进行曲线拟合，得到汽车S的一段拟合移动轨迹。同样在第4个真值数据片段中出现汽车S的连续5帧图像帧序列，在汽车S的连续5帧图像帧序列中，检测出汽车S检测框的中心点位置为（x1`，y1`，1），（x2`，y2`，1），（x3`，y3`，1），（x4`，y4`，1），（x5`，y5`，1），对上述5个中心点位置进行曲线拟合，得到汽车S的另一段拟合移动轨迹。

如图2所示，以第4个真值数据片段连续5帧图像帧序列中汽车S的拟合移动轨迹为例，将拟合移动轨迹的轨迹边界端点所对应的中心点位置，点a和点b，确定为满足轨迹扩展条件的中心点位置，并将与轨迹边界端点对应的图像帧（图中第t+4帧和第t帧）相邻的外延图像帧（图中第t+5帧和第t-1帧）确定为与轨迹扩展条件匹配的第一目标图像帧。基于轨迹边界端点a和b处汽车S的速度和时间，在第t+5帧和第t-1帧中对汽车S的目标检测框进行位置扩展，得到汽车S在第t+5帧和第t-1帧的目标检测框尺寸和中心点位置。

通过本申请实施例，在目标对象是处于运动状态的移动对象的情况下，从第一真值数据中获取包含目标对象的对象检测框的图像帧序列；基于图像帧序列中目标对象的对象检测框出现的显示位置，确定出目标对象的多段拟合移动轨迹；将每段拟合移动轨迹的轨迹边界端点各自对应的显示位置分别确定为满足第一类位置扩展条件的显示位置，并将与轨迹边界端点对应的图像帧相邻的外延图像帧确定为与第一类位置扩展条件匹配的第一目标图像帧；基于在轨迹边界端点处目标对象的运动数据，在第一目标图像帧内对目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框。从而可以将真值模型无法检测到的目标对象的对象检测框进行额外的补充，进一步提高了真值数据构建的准确性的效果。

作为一种可选的方案，基于在轨迹边界端点处目标对象的运动数据，在第一目标图像帧内对目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框包括：

S1，确定在轨迹边界端点处目标对象的运动向量；

S2，获取目标对象按照运动向量进行移动得到的运动位移；

S3，基于运动位移预测出目标对象的对象检测框在第一目标图像帧中出现的第一目标显示位置；

S4，在轨迹边界端点对应的显示位置上对象检测框内检测出的点云数据与第一目标显示位置上对象检测框内检测出的点云数据并未达到收敛条件的情况下，将第一目标显示位置确定为第一类被扩展后的对象检测框的显示位置；

S5，在轨迹边界端点对应的显示位置上对象检测框内检测出的点云数据与第一目标显示位置上对象检测框内检测出的点云数据达到收敛条件的情况下，确定目标对象的对象检测框已丢失。

可选地，在本申请实施例中，根据轨迹边界端点处目标对象的速度和时间可得到目标对象的运动位移，在轨迹边界端点所对应的中心点位置的基础上再基于上述求得的运动位移，可得到目标对象在第一目标图像帧中出现的目标检测框的中心点位置，其中，第一图像帧中目标对象的目标检测框尺寸和与第一图像帧相邻帧中目标对象的目标检测框尺寸一致。统计第一图像帧中目标对象的目标检测框内检测出的点云数量与轨迹边界端点所对应的中心点位置上目标对象的目标检测框检测出的点云数量的比值，当比值出现显著性变小，或第一图像帧中目标对象的目标检测框内没有检测出点云，则认为目标对象已丢失，则停止递推。否则，以第一图像帧中目标对象的目标检测框中心点位置为基础，继续进行相邻下一帧中目标对象的目标检测框的中心点位置递推，并统计相邻下一帧中目标对象的目标检测框内检测出的点云数量与第一图像帧中目标对象的目标检测框内检测出的点云数量比值，直到相邻两帧之间的点云数量比值出现显著性变小，才停止递推。

进一步举例说明，如图3所示为汽车S的某一段拟合移动轨迹，在轨迹边界端点a处汽车S的运动速度为v，因为采集车每隔0.1秒采集一帧数据，所以轨迹边界端点a所在的图像帧即t+4帧与外延帧即t+5帧相差0.1秒。假设汽车S的速度不变，那么汽车S从t+4帧中轨迹边界端点a所对应的中心点位置到t+5帧中汽车S目标检测框的中心点位置的运动位移为0.1v，基于轨迹边界端点a所对应的中心点位置和上述求得的运动位移可确定出汽车S在第t+5帧中所对应的目标检测框的中心点位置，其中，第t+5帧中汽车S的目标检测框的尺寸和第t+4帧中目标检测框的尺寸一致。统计第t+5帧中汽车S的目标检测框中检测出的点云数量与第t+4帧中汽车S的目标检测框中检测出的点云数量的比值，如果比值出现显著性变小，如点云数量相比上一帧减少50%，则认为第t+5帧中汽车S已丢失，则停止递推，或者在t+5帧中汽车S的目标检测中并没有检测出点云，也认为第t+5帧中汽车S已丢失，停止递推。如果比值变化不大，如点云数量相比上一帧只减少10%，则继续在t+5帧的基础上进行递推，具体来说，汽车S在第t+5帧中的目标检测框处的中心位置的速度为v，第t+5帧和第t+6帧相差0.1秒，假定速度不变，则第t+5帧中汽车S的目标检测框的中心点位置到第t+6帧中汽车S的目标检测框的中心点位置的运动位移为0.1v，基于第t+5帧中汽车S的目标检测框的中心点位置和上述求得的运动位移可确定出汽车S在第t+6帧中所对应的目标检测框的中心点位置，其中，第t+6帧中汽车S的目标检测框的尺寸和第t+5帧中目标检测框的尺寸一致。统计第t+6帧中汽车S的目标检测框中检测出的点云数量与第t+5帧中汽车S的目标检测框中检测出的点云数量的比值，如果比值出现显著性变小，如点云数量相比上一帧减少50%，则认为第t+6帧中汽车S已丢失，则停止递推，或者在t+6帧中汽车S的目标检测中并没有检测出点云，也认为第t+6帧中汽车S已丢失，停止递推。如果比值变化不大，如点云数量相比上一帧只减少10%。则继续在t+6帧的基础上进行递推，重复上述过程，直至满足停止递推的条件。

通过本申请实施例，确定在轨迹边界端点处目标对象的运动向量；获取目标对象按照运动向量进行移动得到的运动位移；基于运动位移预测出目标对象的对象检测框在第一目标图像帧中出现的第一目标显示位置；在轨迹边界端点对应的显示位置上对象检测框内检测出的点云数据与第一目标显示位置上对象检测框内检测出的点云数据并未达到收敛条件的情况下，将第一目标显示位置确定为第一类被扩展后的对象检测框的显示位置；在轨迹边界端点对应的显示位置上对象检测框内检测出的点云数据与第一目标显示位置上对象检测框内检测出的点云数据达到收敛条件的情况下，确定目标对象的对象检测框已丢失。从而实现提高目标对象的对象检测框数量的效果。

作为一种可选的方案，将与轨迹边界端点对应的图像帧相邻的外延图像帧确定为与第一类位置扩展条件匹配的第一目标图像帧包括：

S1，在轨迹边界端点为轨迹开始端点的情况下，将与轨迹边界端点对应的图像帧之前相邻的外延图像帧确定为第一目标图像帧；

S2，在轨迹边界端点为轨迹末尾端点的情况下，将与轨迹边界端点对应的图像帧之后相邻的外延图像帧确定为第一目标图像帧。

可选地，在轨迹边界端点为轨迹开始端点的情况下，将与轨迹边界端点对应的图像帧的前一帧确定为第一目标图像帧；在轨迹边界端点为轨迹末尾端点的情况下，将与轨迹边界端点对应的图像帧的后一帧确定为第一目标图像帧。

进一步举例说明，如图2所示，轨迹边界端点a为轨迹的开始端点，将与轨迹边界端点a对应的图像帧（第t帧）的前一帧（第t-1帧）确定为第一目标图像帧；轨迹边界端点b为轨迹的末尾端点，将与轨迹边界端点b对应的图像帧（第t+4帧）的后一帧（第t+5）帧确定为第一目标图像帧。

通过本申请实施例，在轨迹边界端点为轨迹开始端点的情况下，将与轨迹边界端点对应的图像帧之前相邻的外延图像帧确定为第一目标图像帧；在轨迹边界端点为轨迹末尾端点的情况下，将与轨迹边界端点对应的图像帧之后相邻的外延图像帧确定为第一目标图像帧。从而实现了提高检测出目标对象的图像帧的数量的效果。

作为一种可选的方案，在目标对象的对象检测框在第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与位置扩展条件匹配的目标图像帧内对目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框包括：

S1，在目标对象出现在第一真值数据中至少一个关键图像帧内的情况下，将目标对象的对象检测框在关键图像帧中所在的显示位置确定为满足第二类位置扩展条件的显示位置，并将与关键图像帧相邻且并未出现目标对象的对象检测框的图像帧确定为与第二类位置扩展条件匹配的第二目标图像帧；

S2，基于关键图像帧中目标对象的对象检测框所在的显示位置，在第二目标图像帧中对目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框。

可选地，在本申请实施例中，在目标对象出现在第一真值数据中至少一个关键图像帧内的情况下，将在关键图像帧中目标对象的对象检测框的中心点位置确定为满足超远距离目标扩展条件的中心点位置，并将与关键图像帧相邻且并未出现目标对象的对象检测框的图像帧确定为与超远距离目标扩展条件匹配的第二目标图像帧，基于关键图像帧中目标对象的对象检测框的中心点位置，在第二目标图像帧中对目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框。

进一步举例说明，如图4所示，存在20帧的点云，其关键图像帧共有2帧，分别为第7帧和第14帧，相邻两个关键图像帧构成一个真值数据片段，则共计可以得到3个真值数据片段，即第1-7帧为一个真值数据片段、第7-14帧为一个真值数据片段和第14-20帧为一个真值数据片段，假设第7帧关键帧上有提前已标注好的超远距离目标S，其中，超远距离目标可以表示为超过100米的目标，但是在第6帧和第8帧中并没有检测出超远距离目标S，那么将第7帧中超远距离目标S的检测框的中心点位置确定为满足超远距离目标扩展条件的中心点位置a，并将第6帧和第8帧确定为与超远距离目标扩展条件匹配的第二目标图像帧。基于第7帧关键帧中超远距离目标S的检测框的中心点位置a，扩展出超远距离目标S在第6帧和第8帧中的检测框中心点位置，且扩展后第6帧和第8帧上超远距离目标S的检测框尺寸和第7帧关键帧中超远距离目标S的检测框尺寸保持一致。将在第6帧和第8帧中扩展的超远距离目标S的检测框作为第二类被扩展后的对象检测框。

通过本申请实施例，在目标对象出现在第一真值数据中至少一个关键图像帧内的情况下，将目标对象的对象检测框在关键图像帧中所在的显示位置确定为满足第二类位置扩展条件的显示位置，并将与关键图像帧相邻且并未出现目标对象的对象检测框的图像帧确定为与第二类位置扩展条件匹配的第二目标图像帧；基于关键图像帧中目标对象的对象检测框所在的显示位置，在第二目标图像帧中对目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框。从而可以将真值模型无法检测到的目标对象的对象检测框进行额外的补充，进一步提高了真值数据构建的准确性的效果。

作为一种可选的方案，基于关键图像帧中目标对象的对象检测框所在的显示位置，在第二目标图像帧中对目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框包括：

S1，在第二目标图像帧中确定出映射关联显示位置，其中，映射关联显示位置用于指示与关键图像帧中目标对象的对象检测框所在的显示位置对应映射的显示位置；

S2，在基于映射关联显示位置确定出的预设搜索范围内，按照单位搜索间隔搜索潜在对象检测框，其中，潜在对象检测框的点云数据与目标对象的对象检测框的点云数据之间的相似度大于目标阈值；

S3，在潜在对象检测框所在的第二目标显示位置位于预设搜索范围内的情况下，将第二目标显示位置确定为第二类被扩展后的对象检测框的显示位置；

S4，在潜在对象检测框所在的第二目标显示位置位于预设搜索范围的搜索边界上的情况下，以搜索边界上的第二目标显示位置为中心，沿搜索外延方向按照单位搜索间隔继续搜索潜在对象检测框，得到更新后的搜索结果；

S5，在更新后的搜索结果指示并未搜索到更新后的潜在对象检测框的情况下，确定目标对象的对象检测框已丢失。

可选地，在本申请实施例中，将关键图像帧中目标对象的对象检测框的中心点位置映射到第二目标图像帧中，在第二目标图像帧中基于映射的中心点位置确定出预设搜索范围，按照单位搜索间隔搜索潜在对象检测框，其中，潜在对象检测框的点云数据与目标对象的对象检测框的点云数据之间的相似度大于目标阈值；当潜在对象检测框的中心点位置位于上述预设搜索范围内，那么将潜在对象检测框的中心点位置确定为第二类被扩展后的对象检测框的中心位置；当潜在对象检测框的中心点位置位于上述预设搜索范围内的搜索边界上时，以上述搜索边界上中心点位置为中心，沿搜索外延方向按照单位搜索间隔继续搜索潜在对象检测框，得到更新后的搜索结果；在更新后的搜索结果指示并未搜索到更新后的潜在对象检测框的情况下，确定目标对象的对象检测框已丢失。

进一步举例来说，如图5所示，第t帧为关键图像帧，并且第t帧上已经提前标注好超远距离目标S，但是在第t-1帧和第t+1帧中并没有检测出超远距离目标S，那么将第t帧中超远距离目标S的检测框的中心点位置a映射到第t-1帧得到点c，映射到第t+1帧得到点b，也就是说第t-1帧和第t+1帧中超远距离目标S的检测框尺寸和中心点位置和第t帧中超远距离目标S的检测框尺寸和中心点位置一致。以第t+1帧为例说明在t+1帧上确定出超远距离目标S的最终中心点位置的实现方式：以t+1帧中映射的中心点位置b为搜索原点，因为点云数据的频率为10hz，所以相邻帧的时间差为0.1秒，在城市道路中，车辆的形式速度一般不超过22m/s，则距离搜索原点的最远距离差为22*0.1=2.2m，又因为车辆在0.1秒内的转角一般不超过10度，所以可确定出搜索范围为搜索原点的前后距离2.2米，转角差左右10度。在上述确定出的搜索范围内，以搜索间距为0.1米，搜索角度差为0.1度进行潜在对象检测框的搜索。将t+1帧中确定出的搜索范围内的每一个搜索点确定出的检测框的点云特性与第t帧中超远目标S的检测框的点云特性进行相似度比较，其中，第t+1帧中搜索点确定出的检测框与第t帧中超远目标S的检测框的尺寸一致。将相似度最大且超过0.75的检测框M确定其潜在对象检测框。点云特性包括点云统计值和点云所在检测框的中心点位置，点云统计值就是检测框中点云与检测框中心点位置的方差。第t+1帧中搜索点确定出的检测框与第t帧中超远目标S的检测框的相似度就是计算两个检测框的点云方差距离和中心点位置距离的加权求和。如果确定出的潜在对象检测框的中心点位置在上述搜索范围的搜索边界上，如图5中的d点，则将d点确定为搜索原点，再向前0.1米，左右10度的边界上继续寻找是否存在比检测框M相似度更高的检测框，如果存在检测框N，其与第t帧中超远目标S的检测框的相似度大于，潜在对象检测框与第t帧中超远目标S的检测框的相似度，则将检测框N更新为潜在对象检测框，并继续以检测框N的中心点作为搜索原点，再向前0.1米，左右10度的边界上继续寻找是否存在比检测框N相似度更高的检测框。直到没有检测出比潜在对象检测框与第t帧中超远目标S的相似度高的检测框。

如图6所示，为超远距离目标S在第t帧关键帧上所标注的检测框，并且检测框中包含的点云数量为3。基于第t帧关键帧上超远距离目标S检测框进行前后帧递推，可得到第t+1帧和第t-1帧上超远距离目标S的检测框，从图中可以看出第t+1帧和第t-1帧上超远距离目标S的检测框的点云数量没有变化，则继续进行跟踪递推，可得到第t+2帧和第t-2帧上超远距离目标S的检测框，从图中可以看出第t+2帧上超远距离目标S的检测框的点云数量没有变化，第t-2帧上超远距离目标S的检测框的点云数量变为2，但点云数量变化不大，所以继续进行跟踪递推，在t-3帧中并没有检测到超远距离目标S的点云，所以第t帧关键帧左方向停止跟踪递推，但在第t+3帧上超远距离目标S的检测框点云数量变为2，点云数量变化不大，所以在第t帧关键帧右方向继续进行跟踪递推，在t+4帧中并没有检测到超远距离目标S的点云，所以第t帧关键帧右方向停止跟踪递推。

通过本申请实施例，在第二目标图像帧中确定出映射关联显示位置，其中，映射关联显示位置用于指示与关键图像帧中目标对象的对象检测框所在的显示位置对应映射的显示位置；在基于映射关联显示位置确定出的预设搜索范围内，按照单位搜索间隔搜索潜在对象检测框，其中，潜在对象检测框的点云数据与目标对象的对象检测框的点云数据之间的相似度大于目标阈值；在潜在对象检测框所在的第二目标显示位置位于预设搜索范围内的情况下，将第二目标显示位置确定为第二类被扩展后的对象检测框的显示位置；在潜在对象检测框所在的第二目标显示位置位于预设搜索范围的搜索边界上的情况下，以搜索边界上的第二目标显示位置为中心，沿搜索外延方向按照单位搜索间隔继续搜索潜在对象检测框，得到更新后的搜索结果；在更新后的搜索结果指示并未搜索到更新后的潜在对象检测框的情况下，确定目标对象的对象检测框已丢失。从而实现了提高检测出目标对象的对象检测框数量的效果。

作为一种可选的方案，对被扩展后的对象检测框和图像帧内的对象检测结果进行匹配包括：

S1，将被扩展后的对象检测框投影到图像帧内，得到对象检测框投影；

S2，在对象检测框投影与图像帧内的对象检测结果并未匹配的情况下，确定被扩展后的对象检测框为待标记对象检测框，其中，待标记检测框用于指示出现误检的对象检测框或出现遮挡的对象检测框。

可选地，在本实施例中，将上述得到的第一类被扩展后的3D对象检测框和第二类被扩展后的3D对象检测框投影到图像帧内，得到对象检测框投影；在对象检测框投影与图像帧内的对象检测结果并未匹配的情况下，确定被扩展后的对象检测框为待标记对象检测框，其中，待标记检测框表示检测框出现误检或出现完全遮挡的情况，图像帧内的对象检测结果是提前输入到深度学习模型中检测得到的结果。

进一步举例说明，如图7所示为被扩展的3D对象检测框，图中实心椭圆表示对象，对象周围是3D对象检测框。图8为3D对象检测框投影到图像帧内得到的对象检测框投影，图中实心圆表示对象，对象周围是对象检测框，图8中的对象已经提前经过深度学习模型进行目标检测，如果对象检测框投影和上述深度学习模型输出的目标检测结果未匹配上，那么将被扩展后的3D对象检测框确定为误检，或者处于完全遮挡状态，并打上相关标签交由后续的人工审核。

通过本申请实施例，将被扩展后的对象检测框投影到图像帧内，得到对象检测框投影；在对象检测框投影与图像帧内的对象检测结果并未匹配的情况下，确定被扩展后的对象检测框为待标记对象检测框，其中，待标记检测框用于指示出现误检的对象检测框或出现遮挡的对象检测框。从而可以保证扩展的对象检测框的准确性，提高了构建的真值数据的准确性。

可选地，作为一种可选的实施方式，由以下步骤对上述方法进行整体性的举例解释说明：

基于大片段以及真值帧，划分小片段，如存在200帧的点云，其关键图像帧共有6帧，那么相邻两个关键图像帧构成一个真值数据片段，共计可以得到7个真值数据片段，在第2个和第4个真值数据片段中识别出汽车S处于运动状态，在第2个真值数据片段中出现汽车S的连续7帧图像帧序列，在汽车S的连续7帧图像帧序列中，检测出汽车S检测框的中心点位置为（x1，y1，0），（x2，y2，0），（x3，y3，0），（x4，y4，0），（x5，y5，0），（x6，y6，0），（x7，y7，0），对上述7个中心点位置进行曲线拟合，得到汽车S的一段拟合移动轨迹。同样在第4个真值数据片段中出现汽车S的连续5帧图像帧序列，在汽车S的连续5帧图像帧序列中，检测出汽车S检测框的中心点位置为（x1`，y1`，1），（x2`，y2`，1），（x3`，y3`，1），（x4`，y4`，1），（x5`，y5`，1），对上述5个中心点位置进行曲线拟合，得到汽车S的另一段拟合移动轨迹。

分别针对上述拟合出的移动轨迹进行前后多帧的拓展。在这里，通过递推的方式，额外将轨迹前后进行轨迹拓展。具体推理方式为：利用原有移动轨迹曲线方程，在该轨迹的末端点外延的帧中，假定速度不变，计算其在采集车采集频率为10Hz（即0.1秒）下到外延帧的位移，从而得到新框的中心点，新框的尺寸和形状继承末端点帧中的汽车S的检测框。其中每次推理一帧的时候，需要统计检测框内的点云数量与前一帧点云数量的比值。如果比值出现显著性变小，或者框内没有点云，则认为目标已丢失，则停止递推。通过这种方式，可以将真值模型无法检测到的目标进行额外的补充。在后续的实际算法运行过程中，由于最后进行多传感器融合借助其他传感器信息进行辅助判断，因此，在此步骤，遵循的推理原则为尽可能多的递推，宁推错不少推。

由于真值模型受限于激光雷达的特性，在距离100米以上的目标由于点云较为稀疏，往往难以检测到目标。但人工标注关键帧的时候会基于图像信息，将标出该关键帧上的远距离目标。这些目标往往难以通过上述真值方式进行连续帧轨迹跟踪。所以这里会对关键帧中超过100米的标注的目标，且前后帧均无生成真值的目标，进行跟踪递推，直到点云数量相比于关键帧框住点云数量有显著性减少，或者无点云，则停止跟踪。具体来说，首先关键帧中的超远目标已被人工标注，将该帧该超远目标的点云取出，并计算其点云特性——点云统计值、位置等数据，在下一帧中，在一定范围内搜索上述超远目标，寻找点云特性与上帧点云特性距离最近的尺寸一样的框。其搜索的具体策略是根据物体运动的规律来定：首先点云数据的频率为10hz，相邻帧的时间差为0.1秒，在城市道路中，车辆的一般行驶速度不超过80kph，也即22m/s，则最远距离差为22*0.1=2.2米，车辆在0.1秒的转角一般不超过10度。因此，搜索范围如图9所示，在前后距离2.2米，转角差左右10度的范围内进行中心点搜索，搜索间距为0.1米，搜索角度差为0.1度，以每个中心点为新目标的中心点，尺寸与真值帧一致，计算该框与真值帧中框的点云特性相似度，相似度最大且超过0.75，则判断为该框存续，后帧以该帧中的新框中心点作为搜索原点，继续进行搜索。如果计算得到的相似度最大值的中心点在搜索边界，则顺着边界方向外延找到最大值，否则该框判定为消失。

上述基于移动轨迹拓展的框和基于关键帧中超远目标扩展的框为3D框，将上述得到的3D框的真值信息转换到每一帧的图像坐标系下，并将框投影至图像中得到2D框。通过每一帧图像的检测框和上述投影得到的2D框进性目标匹配，如果连续多帧图像未有目标框，而3D真值存在目标框，则认为该3D真值框属于误检，或者处于完全遮挡状态，则会对该部分真值打上相关标签，后续人工审核是会由人工进行判断。通过这种方式，可以将错误添加的3D真值框予以删除，从而保证构建的真值的准确性。

以下结合图10对构建的真值数据具体在场景识别中的应用进行说明：

S1002，获取车辆采集的道路图像及对应的点云信息作为片段数据。

S1004，对片段数据中的关键帧进行真值标注后输入检测跟踪模型中输出粗优化真值片段数据。具体来说，从片段数据中等时间间隔抽取一定帧数作为关键帧，并对关键帧进行真值标注，将标注真值后的关键帧插回原有片段数据中。对关键帧的真值标注可以为对关键帧上的静态障碍物和动态障碍物进行标注，其中，静态障碍物可以为路标、路牌、建筑物、树木、路边停放的车辆等，动态障碍物可以为行人、自行车、摩托车、动物和行驶的车辆等。粗优化真值片段数据可以包括静态障碍物和动态障碍物在每一帧上的位置、尺寸大小、航向角和ID等信息。

S1006，对粗优化真值片段数据中检测跟踪模型无法检测出的障碍物进行拓展，并对拓展后的真值信息进行筛选得到精优化真值片段数据，如图11（a）所示为得到的精优化真值片段数据。具体来说，对动态障碍物进行分段拟合，并对拟合出运动轨迹进行拓展，同时对关键帧附近帧中的超远距离障碍物进行拓展，依据2D图像检测信息对将上述拓展出的3D点云信息进行筛选。

S1008，将精优化真值片段数据输入场景识别模型进行各场景信息的识别，如图11（b）所示。识别的标签包括天气，道路类型，光照类型，道路拓扑结构等。该场景识别为基于深度学习的多任务分类模型，会对每一帧输出对应的类型结果。在这里，保留每一个任务输出结果的软标签，即每一种类型以及模型推理出来的概率值，此处以图11（c）的场景识别结果为例。

S1010，将精优化真值片段数据输入先验经验模型进行推断，此处以图11（d）的场景识别过程为例，动态场景真值中有行人、车、三轮车，静态场景真值中有交通灯、道路标识（限速牌）。

进一步地，该先验经验模型基于一些传统的经验，对一些场景内可能出现和不出现的动态/静态障碍物进行总结，并支持判断。比如该场景中出现了行人，则基本上不会是高速场景；出现红绿灯，则大概率是路口场景；如果出现车道线分离点，则可能是匝道场景。

S1012，判断得到的分类标签是否合理；具体地，基于先验经验模型，对上述软标签进行一次筛选，剔除不合理的分类结果，提升部分场景类型的分类的权重，此处示例判断结果为不可能出现高速场景，因此场景识别结果如图11（e）所示，即图11的（e）中显示的“高速：0.45”被删除（如图所示有删除线）。

作为一种可选的方式，先验模型基于GBDT方法，总体流程如下：

首先，对得到的道路对象进行数据转化，具体地，对于真实的场景标签进行独热编码，对于存在的标签组合设为正样本反之为负样本（1和0）。

接着，对先验经验模型进行训练，具体地，将行列化的数据输入GBDT中，得到优化后回归树，对于给定结果输出二分类标签结果，结果大于0.5即标签结果合理，反之为标签结果异常。

最后使用先验经验模型进行调用，具体地，精优化真值片段数据分类结果使用回归树判断精优化真值片段数据结果可用性，分数小于0.5则判定标记为问题数据，如图12所示，以场景为高速场景为例，将得到的分类标签输入先验经验模型中，得到有行人、40限速标牌的分数为0，即“行人”“40限速标牌”为问题数据，得到“有车”、“雨天”、“120限速牌”、“没有红绿灯”的分数为0.8，则说明标签符合高速场景，即数据合理。

若判断出的分类标签合理，执行S1014，针对不同的识别任务，将多帧结果进行统一计算（如图11中以“投票”代表计算过程），其中选择多帧权重之和（计算结果）最大的类别，作为该场景最后的标签，如图11（f）所示，由计算结果得到：天气类型对应的识别结果为晴天，光照类型对应的结果为白天，道路类型对应的结果为路口。

具体地，对于场景识别、天气识别等任务，抽取10秒视频片段的每一帧进行分类模型推理，对于每个任务，模型都会输出每一帧对应的该任务的标签以及其概率，然后这个概率乘以权重最为最后分数，对于每个任务的每个标签，进行求和，得到这个视频片段对应任务标签的分数，选取最高分的结果作为该视频片段该任务对应的标签。

否则，执行S1016，舍弃异常标签，如图11（e）所示，舍弃道路类型中“高速”标签。

通过上述实施方式，可以根据获取到的道路图像得到第一场景识别结果以及分类标签匹配概率，根据获取到的道路图像关联的道路对象集合，基于道路对象集合和分类标签间的先验关联关系对第一场景识别结果进行校验，通过先验关联关系能够进一步判断第一场景的场景识别结果的合理性、准确性，从而得到更准确的第二场景识别结果，将道路场景识别方法与复杂的道路行驶场景高度适配，使复杂环境中的场景识别结果更准确。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

根据本申请实施例的另一个方面，还提供了一种用于实施上述真值数据的构建方法的真值数据的构建装置。如图13所示，该装置包括：

识别单元1302，用于基于已构建的第一真值数据识别出目标对象的对象检测框；

扩展构建单元1304，用于在目标对象的对象检测框在第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与位置扩展条件匹配的目标图像帧内对目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；

匹配单元1306，用于对被扩展后的对象检测框和图像帧内的对象检测结果进行匹配；

更新单元1308，用于根据匹配的结果对第一真值数据进行更新，得到第二真值数据。

可选地，在申请实施例中，该真值数据的构建方法可以但不限于应用于真值车传感器原始采集相关图像和点云真值数据，再通过云端系统筛选出高价值场景切片，针对切片数据基于云端的真值大模型进行真值构建，对构建后的真值进行更新的场景中。上述已构建的第一真值数据可以包括3D检测框的ID、位置、尺寸和航向角等。

本方案中的实施例，可以但不限于参照上述方法实施例，本申请实施例中对此不作任何限定。

通过本申请实施例，基于已构建的第一真值数据识别出目标对象的对象检测框；在目标对象的对象检测框在第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与位置扩展条件匹配的目标图像帧内对目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；对被扩展后的对象检测框和图像帧内的对象检测结果进行匹配；根据匹配的结果对第一真值数据进行更新，得到第二真值数据。从而实现对真值模型能力边界之外的真值构建，提升真值系统的上限。

作为一种可选的方案，上述扩展构建单元1304包括：

获取模块，用于在上述目标对象是处于运动状态的移动对象的情况下，从上述第一真值数据中获取包含上述目标对象的对象检测框的图像帧序列；

第一确定模块，用于基于上述图像帧序列中上述目标对象的对象检测框出现的显示位置，确定出上述目标对象的多段拟合移动轨迹；

第二确定模块，用于将每段上述拟合移动轨迹的轨迹边界端点各自对应的上述显示位置分别确定为满足第一类位置扩展条件的显示位置，并将与上述轨迹边界端点对应的图像帧相邻的外延图像帧确定为与上述第一类位置扩展条件匹配的第一目标图像帧；

第一扩展模块，用于基于在上述轨迹边界端点处上述目标对象的运动数据，在上述第一目标图像帧内对上述目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框。

本方案中的实施例，可以但不限于参照上述方法实施例，本申请实施例中对此不作任何限定。

作为一种可选的方案，上述扩展模块包括：

第一确定子模块，用于确定在上述轨迹边界端点处上述目标对象的运动向量；

获取子模块，用于获取上述目标对象按照上述运动向量进行移动得到的运动位移；

预测子模块，用于基于上述运动位移预测出上述目标对象的上述对象检测框在上述第一目标图像帧中出现的第一目标显示位置；

第二确定子模块，用于在上述轨迹边界端点对应的上述显示位置上对象检测框内检测出的点云数据与上述第一目标显示位置上对象检测框内检测出的点云数据并未达到收敛条件的情况下，将上述第一目标显示位置确定为上述第一类被扩展后的对象检测框的显示位置；

第三确定子模块，用于在上述轨迹边界端点对应的上述显示位置上对象检测框内检测出的点云数据与上述第一目标显示位置上对象检测框内检测出的点云数据达到收敛条件的情况下，确定上述目标对象的对象检测框已丢失。

本方案中的实施例，可以但不限于参照上述方法实施例，本申请实施例中对此不作任何限定。

作为一种可选的方案，上述第二确定模块包括：

第四确定子模块，用于在上述轨迹边界端点为轨迹开始端点的情况下，将与上述轨迹边界端点对应的图像帧之前相邻的外延图像帧确定为上述第一目标图像帧；

第五确定子模块，用于在上述轨迹边界端点为轨迹末尾端点的情况下，将与上述轨迹边界端点对应的图像帧之后相邻的外延图像帧确定为上述第一目标图像帧。

本方案中的实施例，可以但不限于参照上述方法实施例，本申请实施例中对此不作任何限定。

作为一种可选的方案，上述扩展构建单元1304包括：

第三确定模块，用于在上述目标对象出现在上述第一真值数据中至少一个关键图像帧内的情况下，将上述目标对象的对象检测框在上述关键图像帧中所在的显示位置确定为满足第二类位置扩展条件的显示位置，并将与上述关键图像帧相邻且并未出现上述目标对象的对象检测框的图像帧确定为与上述第二类位置扩展条件匹配的第二目标图像帧；

第二扩展模块，用于基于上述关键图像帧中上述目标对象的对象检测框所在的显示位置，在上述第二目标图像帧中对上述目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框。

本方案中的实施例，可以但不限于参照上述方法实施例，本申请实施例中对此不作任何限定。

作为一种可选的方案，上述第二扩展模块包括：

第六确定子模块，用于在上述第二目标图像帧中确定出映射关联显示位置，其中，上述映射关联显示位置用于指示与上述关键图像帧中上述目标对象的对象检测框所在的显示位置对应映射的显示位置；

第一搜索子模块，用于在基于上述映射关联显示位置确定出的预设搜索范围内，按照单位搜索间隔搜索潜在对象检测框，其中，上述潜在对象检测框的点云数据与上述目标对象的对象检测框的点云数据之间的相似度大于目标阈值；

第七确定子模块，用于在上述潜在对象检测框所在的第二目标显示位置位于上述预设搜索范围内的情况下，将上述第二目标显示位置确定为上述第二类被扩展后的对象检测框的显示位置；

第二搜索子模块，用于在上述潜在对象检测框所在的第二目标显示位置位于上述预设搜索范围的搜索边界上的情况下，以上述搜索边界上的上述第二目标显示位置为中心，沿搜索外延方向按照上述单位搜索间隔继续搜索上述潜在对象检测框，得到更新后的搜索结果；

第八确定子模块，用于在上述更新后的搜索结果指示并未搜索到更新后的上述潜在对象检测框的情况下，确定上述目标对象的对象检测框已丢失。

本方案中的实施例，可以但不限于参照上述方法实施例，本申请实施例中对此不作任何限定。

作为一种可选的方案，上述匹配单元1306包括：

投影模块，用于将上述被扩展后的对象检测框投影到上述图像帧内，得到对象检测框投影；

第四确定模块，用于在上述对象检测框投影与上述图像帧内的对象检测结果并未匹配的情况下，确定上述被扩展后的对象检测框为待标记对象检测框，其中，上述待标记检测框用于指示出现误检的对象检测框或出现遮挡的对象检测框。

本方案中的实施例，可以但不限于参照上述方法实施例，本申请实施例中对此不作任何限定。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例上述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上上述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种真值数据的构建方法，其特征在于，包括：

基于已构建的第一真值数据识别出目标对象的对象检测框；

在所述目标对象的对象检测框在所述第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与所述位置扩展条件匹配的目标图像帧内对所述目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；

对所述被扩展后的对象检测框和所述图像帧内的对象检测结果进行匹配；

根据匹配的结果对所述第一真值数据进行更新，得到第二真值数据。

2.根据权利要求1所述的方法，其特征在于，在所述目标对象的对象检测框在所述第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与所述位置扩展条件匹配的目标图像帧内对所述目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框包括：

在所述目标对象是处于运动状态的移动对象的情况下，从所述第一真值数据中获取包含所述目标对象的对象检测框的图像帧序列；

基于所述图像帧序列中所述目标对象的对象检测框出现的显示位置，确定出所述目标对象的多段拟合移动轨迹；

将每段所述拟合移动轨迹的轨迹边界端点各自对应的所述显示位置分别确定为满足第一类位置扩展条件的显示位置，并将与所述轨迹边界端点对应的图像帧相邻的外延图像帧确定为与所述第一类位置扩展条件匹配的第一目标图像帧；

基于在所述轨迹边界端点处所述目标对象的运动数据，在所述第一目标图像帧内对所述目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框。

3.根据权利要求2所述的方法，其特征在于，所述基于在所述轨迹边界端点处所述目标对象的运动数据，在所述第一目标图像帧内对所述目标对象的对象检测框进行位置扩展，得到第一类被扩展后的对象检测框包括：

确定在所述轨迹边界端点处所述目标对象的运动向量；

获取所述目标对象按照所述运动向量进行移动得到的运动位移；

基于所述运动位移预测出所述目标对象的所述对象检测框在所述第一目标图像帧中出现的第一目标显示位置；

在所述轨迹边界端点对应的所述显示位置上所述对象检测框内检测出的点云数据与所述第一目标显示位置上所述对象检测框内检测出的点云数据并未达到收敛条件的情况下，将所述第一目标显示位置确定为所述第一类被扩展后的对象检测框的显示位置；

在所述轨迹边界端点对应的所述显示位置上所述对象检测框内检测出的点云数据与所述第一目标显示位置上所述对象检测框内检测出的点云数据达到收敛条件的情况下，确定所述目标对象的对象检测框已丢失。

4.根据权利要求2所述的方法，其特征在于，所述将与所述轨迹边界端点对应的图像帧相邻的外延图像帧确定为与所述第一类位置扩展条件匹配的第一目标图像帧包括：

在所述轨迹边界端点为轨迹开始端点的情况下，将与所述轨迹边界端点对应的图像帧之前相邻的外延图像帧确定为所述第一目标图像帧；

在所述轨迹边界端点为轨迹末尾端点的情况下，将与所述轨迹边界端点对应的图像帧之后相邻的外延图像帧确定为所述第一目标图像帧。

5.根据权利要求1所述的方法，其特征在于，在所述目标对象的对象检测框在所述第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与所述位置扩展条件匹配的目标图像帧内对所述目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框包括：

在所述目标对象出现在所述第一真值数据中至少一个关键图像帧内的情况下，将所述目标对象的对象检测框在所述关键图像帧中所在的显示位置确定为满足第二类位置扩展条件的显示位置，并将与所述关键图像帧相邻且并未出现所述目标对象的对象检测框的图像帧确定为与所述第二类位置扩展条件匹配的第二目标图像帧；

基于所述关键图像帧中所述目标对象的对象检测框所在的显示位置，在所述第二目标图像帧中对所述目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框。

6.根据权利要求5所述的方法，其特征在于，所述基于所述关键图像帧中所述目标对象的对象检测框所在的显示位置，在所述第二目标图像帧中对所述目标对象的对象检测框进行位置扩展，得到第二类被扩展后的对象检测框包括：

在所述第二目标图像帧中确定出映射关联显示位置，其中，所述映射关联显示位置用于指示与所述关键图像帧中所述目标对象的对象检测框所在的显示位置对应映射的显示位置；

在基于所述映射关联显示位置确定出的预设搜索范围内，按照单位搜索间隔搜索潜在对象检测框，其中，所述潜在对象检测框的点云数据与所述目标对象的对象检测框的点云数据之间的相似度大于目标阈值；

在所述潜在对象检测框所在的第二目标显示位置位于所述预设搜索范围内的情况下，将所述第二目标显示位置确定为所述第二类被扩展后的对象检测框的显示位置；

在所述潜在对象检测框所在的第二目标显示位置位于所述预设搜索范围的搜索边界上的情况下，以所述搜索边界上的所述第二目标显示位置为中心，沿搜索外延方向按照所述单位搜索间隔继续搜索所述潜在对象检测框，得到更新后的搜索结果；

在所述更新后的搜索结果指示并未搜索到更新后的所述潜在对象检测框的情况下，确定所述目标对象的对象检测框已丢失。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述被扩展后的对象检测框和所述图像帧内的对象检测结果进行匹配包括：

将所述被扩展后的对象检测框投影到所述图像帧内，得到对象检测框投影；

在所述对象检测框投影与所述图像帧内的对象检测结果并未匹配的情况下，确定所述被扩展后的对象检测框为待标记对象检测框，其中，所述待标记检测框用于指示出现误检的对象检测框或出现完全遮挡的对象检测框。

8.一种真值数据的构建装置，其特征在于，包括：

识别单元，用于基于已构建的第一真值数据识别出目标对象的对象检测框；

扩展构建单元，用于在所述目标对象的对象检测框在所述第一真值数据中至少一个图像帧内出现的显示位置满足位置扩展条件的情况下，在与所述位置扩展条件匹配的目标图像帧内对所述目标对象的对象检测框进行位置扩展，得到被扩展后的对象检测框；

匹配单元，用于对所述被扩展后的对象检测框和所述图像帧内的对象检测结果进行匹配；

更新单元，用于根据匹配的结果对所述第一真值数据进行更新，得到第二真值数据。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序被处理器运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。