CN116630978A - 长尾数据获取方法、装置、系统、设备和存储介质 - Google Patents

Abstract

本申请涉及一种长尾数据获取方法、装置、系统和设备，应用于云端服务器。该方法包括：获取车端设备发送的目标感知数据；通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果；根据云端侧感知结果在目标感知数据中确定长尾数据。采用本方法能够在海量数据中快速获取长尾数据。

Description

长尾数据获取方法、装置、系统、设备和存储介质

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种长尾数据获取方法、装置、系统、设备和存储介质。

背景技术

感知系统是自动驾驶技术的重要组成部分，自动驾驶技术通过感知系统获取周围环境信息，对周围环境信息进行分析计算和处理，从而执行车辆的驾驶动作。感知系统获取的周围环境信息包含静态信息和动态信息。静态信息包含车道线道、道路边界等，动态信息包含车辆、行人等的类型、大小、位置和速度等。自动驾驶的感知系统中，目前已经有基于图像数据的感知系统和基于雷达点云的感知系统。然而不管是哪种类型的感知系统，数据则是必不可少的部分，尤其是异常、出现概率低、不易采集、新出现以及存在潜在驾驶危险情况的数据，即长尾数据，且长尾数据对于感知系统中模型泛化能力的训练至关重要。

传统方式，是通过人工获取长尾数据。然而在面对海量数据时，无法快速获取长尾数据。

发明内容

基于此，有必要针对上述技术问题，提供一种能够在海量数据中快速获取长尾数据的长尾数据获取方法、装置、系统、设备和存储介质。

第一方面，本申请提供了一种长尾数据获取方法，应用于云端服务器。该方法包括：

获取车端设备发送的目标感知数据；

通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果；

根据云端侧感知结果在目标感知数据中确定长尾数据。

在其中一个实施例中，目标感知数据是车端设备通过车端侧感知模型从车端感知设备采集的待处理感知数据中所提取的；待处理感知数据包括待处理图像数据和待处理点云数据，车端侧感知模型包括第一图像感知模型和第一点云感知模型；

目标感知数据是车端设备在识别到车端侧图像感知结果和车端侧点云感知结果中，对象类别和对象重叠度满足设定条件时，从待处理感知数据中提取的满足设定条件的感知数据；

其中，车端侧图像感知结果是车端设备通过第一图像感知模型对待处理图像数据进行感知处理得到；车端侧点云感知结果是车端设备通过第一点云感知模型对待处理点云数据进行感知处理得到。

在其中一个实施例中，目标感知数据包括目标图像数据和目标点云数据，云端侧感知模型包括云端图像感知模型、云端点云感知模型、第二图像感知模型和第二点云感知模型；其中，第二图像感知模型与第一图像感知模型相同，或者第二图像感知模型的版本号高于第一图像感知模型的版本号；第二点云感知模型与第一点云感知模型相同，或者第二点云感知模型的版本号高于第一点云感知模型的版本号；

通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果，包括：

将目标图像数据分别输入至云端图像感知模型和第二图像感知模型中进行感知处理，得到第一图像感知结果和第二图像感知结果；

将目标点云数据输入至云端点云感知模型和第二点云感知模型中进行感知处理，得到第一点云感知结果和第二点云感知结果；

将第一图像感知结果、第二图像感知结果、第一点云感知结果和第二点云感知结果确定为云端侧感知结果。

在其中一个实施例中，根据云端侧感知结果在目标感知数据中确定长尾数据，包括：

将第一图像感知结果与第二图像感知结果进行比对，得到第一比对结果；

将第一点云感知结果与第二点云感知结果进行比对，得到第二比对结果；

将第一图像感知结果与第一点云感知结果进行比对，得到第三比对结果；

根据第一比对结果、第二比对结果和第三比对结果，在目标感知数据中确定长尾数据。

在其中一个实施例中，根据第一比对结果、第二比对结果和第三比对结果，在目标感知数据中确定长尾数据，包括：

在第一比对结果、第二比对结果和第三比对结果中确定比对不一致的目标比对结果；

根据目标比对结果在目标感知数据中确定长尾数据。

在其中一个实施例中，该方法还包括：

对长尾数据重新进行标注，得到标注数据；

根据标注数据对云端侧感知模型进行更新；

将更新后的云端侧感知模型中的第二图像感知模型和第二点云感知模型作为新的车端侧感知模型，并下发至车端设备。

第二方面，本申请还提供了一种长尾数据获取装置，配置于云端服务器中。该装置包括：

感知数据获取模块，用于获取车端设备发送的目标感知数据；

云端感知模块，用于通过云端侧感知模型，对将目标感知数据进行感知处理，得到云端侧感知结果；

长尾数据获取模块，用于根据云端侧感知结果在目标感知数据中确定长尾数据。

第三方面，本申请还提供了一种长尾数据获取系统。该系统包括：车端设备和云端服务器；

车端设备，用于通过车端侧感知模型，从车端感知设备采集的待处理感知数据中提取目标感知数据，并将所述目标感知数据发送至所述云端服务器；

云端服务器，用于获取车端设备发送的目标感知数据；通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果，并根据云端侧感知结果在目标感知数据中确定长尾数据。

第四方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：

获取车端设备发送的目标感知数据；目标感知数据是车端设备通过车端侧感知模型从车端感知设备采集的待处理感知数据中所提取的；

通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果；

根据云端侧感知结果在目标感知数据中确定长尾数据。

第五方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取车端设备发送的目标感知数据；

通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果；

根据云端侧感知结果在目标感知数据中确定长尾数据。

第六方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取车端设备发送的目标感知数据；

通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果；

根据云端侧感知结果在目标感知数据中确定长尾数据。

上述长尾数据获取方法、装置、系统、设备和存储介质，通过充分考虑云端服务器和车端设备，在计算资源、内存资源和能耗等多维度上的特性，以及考虑到需要处理的感知数据的数量，引入车端侧感知模型和云端侧感知模型，由车端设备基于车端侧感知模型对待处理感知数据进行初步感知，再由云端服务器基于云端侧感知模型针对车端设备初步感知得到的目标感知数据进行感知处理，即可快速且精准确定目标感知数据中的长尾数据。

附图说明

图1为一个实施例中长尾数据获取方法的应用环境图；

图2为一个实施例中长尾数据获取方法的流程示意图；

图3为一个实施例中获得云端侧感知结果的流程示意图；

图4为一个实施例中长尾数据获取装置的结构示意图；

图5为一个实施例中长尾数据获取系统的结构框图；

图6为另一个实施例中长尾数据获取系统的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的长尾数据获取方法，可以应用于如图1所示的应用环境中。其中，云端服务器102获取车端设备104发送的目标感知数据。目标感知数据是车端设备104通过车端侧感知模型从车辆感知设备106采集的待处理感知数据中所提取的。云端服务器102通过云端侧感知模型对目标感知数据进行感知处理，得到云端侧感知结果，进而根据云端侧感知结果在目标感知数据中确定长尾数据。其中，云端服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。车端设备104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和智能车载设备等。车辆感知设备106可以是预先安装在车辆上用于采集车辆周围环境数据的车载传感器。

在一个实施例中，如图2所示，提供了一种长尾数据获取方法，以该方法应用于图1中的云端服务器为例进行说明，包括以下步骤：

步骤202，获取车端设备发送的目标感知数据。

可选地，车端感知设备可以是预先安装在车辆上的车载传感器，可以包括但不限于点云传感器和图像传感器。例如，点云传感器可以是激光雷达、毫米波雷达等用于获取点云数据的传感器。图像传感器可以是摄像头、相机等用于获取图像数据的传感器。

待处理感知数据是指车端感知设备在车辆行驶过程中，所采集的车辆周围环境的感知对象，如行人、车辆、建筑物等的感知数据，可以包括待处理点云数据和待处理图像数据。目标感知数据是指在车端感知设备采集的原始的待处理感知数据中，获取的用于确定长尾数据的感知数据。

具体地，目标感知数据可以是车端设备在获取到车端感知设备采集的待处理感知数据后，调用车端侧感知模型，对待处理感知数据进行感知处理，得到车端侧感知结果，从而根据车端侧感知结果从待处理感知数据中提取的感知数据。其中，车端侧感知模型可以是预先存储在车端设备的神经网络模型，用于感知待处理感知数据中所包含的感知对象的相关信息(比如感知对象的类别、坐标等)。车端侧感知结果可以包括待处理感知数据对应的感知对象类别、感知对象坐标等数据。

步骤204，通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果。

其中，云端侧感知模型是指云端服务器中存储的AI(Artificial Intelligence，人工智能)模型，用于感知目标感知数据中所包含的感知对象的相关信息(比如感知对象的类别、坐标等)。可选的，云端侧感知模型的精度高于车端侧感知模型。

云端服务器在获取到目标感知数据后，将目标感知数据输入至云端侧感知模型中，由云端侧感知模型对目标感知数据进行感知处理，得到云端侧感知结果。

可选地，目标感知数据可以包括目标图像数据和目标点云数据。云端侧感知模型中也可以包括多个图像感知模型以及多个点云感知模型，通过各图像感知模型分别对目标图像数据进行感知处理，以及通过各点云感知模型分别对目标点云数据进行感知处理，得到各图像感知结果对应的图像感知结果，以及各点云感知模型对应的点云感知结果。进而根据各图像感知模型输出的图像感知结果和各点云感知模型输出的点云感知结果得到云端侧感知结果。

步骤206，根据云端侧感知结果在目标感知数据中确定长尾数据。

其中，长尾数据是指异常、出现概率低、不易采集、新出现、存在潜在驾驶危险情况等的数据。

云端服务器可以将云端侧感知结果中相同类型感知模型的感知结果进行比较，以及将不同类型感知模型的感知结果进行比较，得到差异结果。进而将差异结果对应的目标感知数据确定为长尾数据。

上述长尾数据获取方法中，通过充分考虑云端服务器和车端设备，在计算资源、内存资源和能耗等多维度上的特性，以及考虑到需要处理的感知数据的数量，引入车端侧感知模型和云端侧感知模型，由车端设备基于车端侧感知模型对待处理感知数据进行初步感知，再由云端服务器基于云端侧感知模型针对车端设备初步感知得到的目标感知数据进行感知处理，即可快速且精准确定目标感知数据中的长尾数据。

在一个实施例中，目标感知数据是车端设备通过车端侧感知模型从车端感知设备采集的待处理感知数据中所提取的；待处理感知数据包括待处理图像数据和待处理点云数据，车端侧感知模型包括第一图像感知模型和第一点云感知模型；目标感知数据是车端设备在识别到车端侧图像感知结果和车端侧点云感知结果中，对象类别和对象重叠度满足设定条件时，从待处理感知数据中提取的满足设定条件的感知数据；其中，车端侧图像感知结果是车端设备通过第一图像感知模型对待处理图像数据进行感知处理得到；车端侧点云感知结果是车端设备通过第一点云感知模型对待处理点云数据进行感知处理得到。

待处理图像数据是指图像传感器采集的原始图像数据。待处理点云数据是指点云传感器采集的原始点云数据。第一图像感知模型是指车端侧的图像感知模型。第一点云感知模型是指车端侧的点云感知模型。车端侧图像感知结果是指车端侧的图像感知结果。车端侧点云感知结果是指车端侧的点云感知结果。

具体地，车端设备调用车端侧感知模型，车端侧感知模型包括第一图像感知模型和第一点云感知模型。将待处理图像数据输入至第一图像感知模型中，预测待处理图像数据中感知对象的类别以及坐标等数据，得到车端侧图像感知结果。同时，将待处理点云数据输入至第一点云感知模型中，预测待处理点云数据对应的类别以及位置等数据，得到车端侧点云感知结果。

进而通过车端设备，将车端侧图像感知结果与车端侧点云感知结果进行比对，识别车端侧图像感知结果与车端侧点云感知结果中的感知对象的类别是否一致，若类别一致，则计算感知对象的坐标之间的IoU(Intersection over Union，重叠度)。若IoU超过IoU阈值，则该车端侧图像感知结果与车端侧点云感知结果所对应的感知数据满足设定条件，将满足设定条件的感知数据作为目标感知数据。车端设备中预先安装有数据采集程序，当存在满足设定条件的感知数据，即目标感知数据时，触发数据采集程序，对目标感知数据进行存储处理。之后，通过车端设备将存储的目标感知数据传输至云端服务器，通过云端服务器来获取长尾数据。

可选地，待处理图像数据以及待处理点云数据还包括相应的时空数据，时空数据可以包括时间数据以及时间数据对应的位置数据。例如，时间数据可以是时间戳，位置数据可以是相应时间戳对应的GPS(Global Positioning System，全球定位系统)等空间数据。对应地，目标感知数据也包括对应的时间数据。目标感知数据还可以包括第一图像感知模型以及第一点云感知模型的版本数据。

可选地，通过数据采集程序对目标感知数据进行存储处理包括：对目标感知数据进行压缩处理；对压缩后的目标感知数据进行脱敏处理；对脱敏后的目标感知数据进行加密处理，得到加密后的目标感知数据。其中，数据压缩方式、数据脱敏方式以及加密方式均可以是现有的任意一种数据处理方式。通过对目标感知数据进行压缩，可以节约车端设备的存储空间，对数据进行脱敏，能够实现隐私数据的可靠性保护，对数据进行加密，能够提高数据传输的安全性。

可选地，车端设备在进行数据传输前，可以检查当前网络状况，具体可以包括检查当前网络是否可用、网络速度是否满足传输要求等，在网络状况良好时，将目标感知数据传输至云端服务器，以提高数据传输的有效性。

在本实施例中，目标感知数据是车端设备在识别到车端侧图像感知结果以及车端侧点云感知结果中，对象类别和对象重叠度满足设定条件时，从待处理感知数据中提取的满足设定条件的感知数据，车端设备的模型参数较少，能够快速获取目标感知数据，以加快长尾数据的获取效率。

在一个实施例中，如图3所示，通过云端侧感知模型对目标感知数据进行感知处理，得到云端侧感知结果包括：

步骤302，将目标图像数据分别输入至云端图像感知模型和第二图像感知模型中进行感知处理，得到第一图像感知结果和第二图像感知结果。

步骤304，将目标点云数据输入至云端点云感知模型和第二点云感知模型中进行感知处理，得到第一点云感知结果和第二点云感知结果。

步骤306，将第一图像感知结果、第二图像感知结果、第一点云感知结果和第二点云感知结果确定为云端侧感知结果。

其中，目标感知数据包括目标图像数据和目标点云数据。云端侧感知模型包括云端图像感知模型、云端点云感知模型、第二图像感知模型和第二点云感知模型。第二图像感知模型与第一图像感知模型相同，或者第二图像感知模型的版本号高于第一图像感知模型的版本号；第二点云感知模型与第一点云感知模型相同，或者第二点云感知模型的版本号高于第一点云感知模型的版本号。

目标图像数据是指车端设备存储的图像数据，目标点云数据是指车端设备存储的点云数据。云端图像感知模型是指云端侧的图像感知模型。云端点云感知模型是指云端侧的点云感知模型。第二图像感知模型是指云端服务器中存储的车端图像感知模型。第二点云感知模型是指云端服务器中存储的车端点云感知模型。

云端服务器获取车端设备发送的目标感知数据，目标感知数据包括目标图像数据以及目标点云数据。云端服务器调用云端侧感知模型，云端侧感知模型包括云端图像感知模型、云端点云感知模型、第二图像感知模型和第二点云感知模型，四个感知模型。云端图像感知模型的精度高于第二点云感知模型，云端点云感知模型的精度高于第二图像感知模型。云端侧感知模型中的第二图像感知模型可以与车端侧感知模型中的第一图像感知模型相同，也可以是对第一图像感知模型进行优化后的模型。因此第二图像感知模型的版本号可以高于第一图像感知模型的版本号。云端侧感知模型中的第二点云感知模型可以与车端侧感知模型中的第一点云感知模型相同，也可以是对第一点云感知模型进行优化后的模型。因此第二点云感知模型的版本号可以高于第一点云感知模型的版本号。

进一步地，若云端侧感知模型中第二图像感知模型的版本号高于车端侧感知模型中第一图像感知模型的版本号，则第二图像感知模型的精度高于第一图像感知模型。若云端侧感知模型中第二点云感知模型的版本号高于车端侧感知模型中第一点云感知模型的版本号，则第二点云感知模型的精度高于第一点云感知模型。

对于目标图像数据，将目标图像数据分别输入至云端图像感知模型和第二图像感知模型中，进行图像感知处理，得到云端图像感知模型输出的第一图像感知结果和第二图像感知模型输出的第二图像感知结果。对于目标点云数据，将目标点云数据分别输入至云端点云感知模型和第二点云感知模型中，进行点云感知处理，得到云端点云感知模型输出的第一点云感知结果和第二点云感知模型输出的第二点云感知结果。第一图像感知结果、第二图像感知结果、第一点云感知结果和第二点云感知结果中分别包括相应感知数据中感知对象的类别以及坐标等数据。从而可以将第一图像感知结果、第二图像感知结果、第一点云感知结果和第二点云感知结果确定为云端侧感知结果。

在本实施例中，云端服务器通过云端图像感知模型、第二图像感知模型、云端点云感知模型和第二点云感知模型分别对相应的目标感知数据进行感知处理，得到云端侧感知结果。由于云端服务器的模型，使用的计算资源和内存资源以及能耗方面，限制较少，可以通过更强大的计算能力来实现相应的推理，能够对海量的感知数据进行处理。

进一步地，根据云端侧感知结果在目标感知数据中确定长尾数据，包括：将第一图像感知结果与第二图像感知结果进行比对，得到第一比对结果；将第一点云感知结果与第二点云感知结果进行比对，得到第二比对结果；将第一图像感知结果与第一点云感知结果进行比对，得到第三比对结果；根据第一比对结果、第二比对结果以及第三比对结果，在目标感知数据中确定长尾数据。

云端服务器可以分别将相同类型模型以及不同类型模型的感知结果进行比较，得到比对结果，将比对结果中比对不一致的感知结果对应的数据确定为长尾数据。具体地，云端服务器将相同类型模型的第一图像感知结果与第二图像感知结果进行比对，得到第一比对结果，以及将相同类型模型的第一点云感知结果与第二点云感知结果进行比对，得到第二比对结果，同时将不同类型模型的第一图像感知结果与第一点云感知结果进行比对，得到第三比对结果。将第一比对结果、第二比对结果以及第三比对结果中比对不一致的结果对应的感知数据确定为长尾数据。

在本实施例中，通过云端服务器相同类型模型和不同类型模型的感知结果比对，实现对现实物理世界采集到的图像数据和点云数据进行筛选，进而增加长尾数据的数据量和种类。

更进一步地，根据第一比对结果、第二比对结果以及第三比对结果，在目标感知数据中确定长尾数据，包括：在第一比对结果、第二比对结果以及第三比对结果中确定比对不一致的目标比对结果；根据目标比对结果在目标感知数据中确定长尾数据。

云端服务器可以在第一比对结果、第二比对结果以及第三比对结果中确定比对不一致的目标比对结果。从而将产生该目标比对结果的目标感知数据确定为长尾数据。云端服务器将比对结果不一致的结果对应的目标感知数据确定为长尾数据。

在本实施例中，只需要将相同类型模型和不同类型模型的感知结果进行比对，比对不一致，则为长尾数据，能够快速确定用于长尾数据。

在一个实施例中，上述方法还包括：对长尾数据重新进行标注，得到标注数据；根据标注数据对云端侧感知模型进行更新；将更新后的云端侧感知模型中的第二图像感知模型和第二点云感知模型作为新的车端侧感知模型，并下发至车端设备。

具体地，云端服务器对长尾数据重新进行标注，得到标注数据。将标注数据分别输入至云端侧感知模型的云端图像感知模型、云端点云感知模型、第二图像感知模型和第二点云感知模型中进行迭代优化，直至各个模型的感知结果达到预设阈值，停止模型更新，得到更新后的云端侧感知模型。

将更新后的云端侧感知模型中的第二图像感知模型和第二点云感知模型作为新的车端侧感知模型，下发至车端设备，替换掉车端设备中的第一图像感知模型和第一点云感知模型。

可选地，云端服务器可以通过现有的标注工具对长尾数据重新进行预标注，然后将预标注后的数据发送至审核终端，以指示审核终端对预标注后的数据进行调整、修改以及确认，以确保标注数据的准确性。

可选地，云端服务器可以将更新后的云端侧感知模型进行剪枝处理，将剪枝后的云端侧感知模型以及各模型对应的IoU阈值，通过空中下载技术(Over-the-AirTechnology，OTA)的方式部署到车端设备。

在本实施例中，通过对长尾数据进行标注，根据标注数据对云端侧感知模型进行更新，将更新后的云端侧感知模型作为新的车端侧感知模型，从而实现对车端侧感知模型进行升级和优化，促进车端设备的模型对已采集的感知数据的适应性。

在一个实施例中，在获取车端设备发送的目标感知数据之前，所述方法还包括训练云端侧感知模型的步骤，该步骤可以包括：获取样本感知数据，根据样本感知数据对原始云端侧模型进行训练，得到云端侧感知模型。

其中，样本感知数据可以为标注有真值数据的感知数据。样本感知数据包括样本图像数据和样本点云数据。原始云端侧模型包括第一原始图像感知模型、第一原始点云感知模型、第二原始图像感知模型和第二原始点云感知模型。

将样本图像数据分别输入至第一原始图像感知模型和第二原始图像感知模型中，进行感知处理，得到第一原始图像感知结果和第二原始图像感知结果；将样本点云数据输入至第一原始点云感知模型和第二原始点云感知模型中，进行感知处理，得到第一原始点云感知结果和第二原始点云感知结果；将第一原始图像感知结果、第二原始图像感知结果、第一原始点云感知结果和第二原始点云感知结果作为原始云端感知结果。

将相同类型模型的第一原始图像感知结果与第二原始图像感知结果进行比对，得到第一原始比对结果，以及将相同类型模型的第一原始点云感知结果与第二原始点云感知结果进行比对，得到第二原始比对结果，同时将不同类型模型的第一原始图像感知结果与第一原始点云感知结果进行比对，得到第三原始比对结果。将第一比对结果、第二比对结果以及第三比对结果中比对不一致的结果分别与对应的真值数据进行比对，得到评估结果。评估结果可以包括有改进的感知结果、保持不变的感知结果以及结果变差的感知结果。进而可以通过评估结果对原始云端侧模型进行参数调整，直至模型损失不再下降或达到预设迭代次数，得到云端侧感知模型。

可选地，云端服务器可以采用diff方法将原始云端感知结果进行比对。diff方法不依赖真值的标注。

在本实施例中，将相同类型模型和不同类型模型的感知结果比对，实现对现实物理世界采集到的图像数据和点云数据进行筛选，进而增加长尾数据的数据量和种类，能够用于提升模型的感知能力。通过将不同类型模型的感知结果比对，能够提升云端侧感知模型的泛化能力。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的长尾数据获取方法的长尾数据获取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个长尾数据获取装置实施例中的具体限定可以参见上文中对于长尾数据获取方法的限定，在此不再赘述。

在一个实施例中，如图4所示，提供了一种长尾数据获取装置，包括：感知数据获取模块402、云端感知模块404和长尾数据获取模块406，其中：

感知数据获取模块402，用于获取车端设备发送的目标感知数据。

云端感知模块404，用于通过云端侧感知模型，对将目标感知数据进行感知处理，得到云端侧感知结果。

长尾数据获取模块406，用于根据云端侧感知结果在目标感知数据中确定长尾数据。

在一个实施例中，目标感知数据是车端设备通过车端侧感知模型从车端感知设备采集的待处理感知数据中所提取的；待处理感知数据包括待处理图像数据和待处理点云数据，车端侧感知模型包括第一图像感知模型和第一点云感知模型；目标感知数据是车端设备在识别到车端侧图像感知结果和车端侧点云感知结果中，对象类别和对象重叠度满足设定条件时，从待处理感知数据中提取的满足设定条件的感知数据；其中，车端侧图像感知结果是所述车端设备通过第一图像感知模型对待处理图像数据进行感知处理得到；车端侧点云感知结果是所述车端设备通过第一点云感知模型对待处理点云数据进行感知处理得到。

在一个实施例中，目标感知数据包括目标图像数据和目标点云数据，云端侧感知模型包括云端图像感知模型、云端点云感知模型、第二图像感知模型和第二点云感知模型；其中，第二图像感知模型与第一图像感知模型相同，或者第二图像感知模型的版本号高于第一图像感知模型的版本号；第二点云感知模型与第一点云感知模型相同，或者第二点云感知模型的版本号高于第一点云感知模型的版本号；云端感知模块404还用于将目标图像数据分别输入至云端图像感知模型和第二图像感知模型中进行感知处理，得到第一图像感知结果和第二图像感知结果；将目标点云数据输入至云端点云感知模型和第二点云感知模型中进行感知处理，得到第一点云感知结果和第二点云感知结果；将第一图像感知结果、第二图像感知结果、第一点云感知结果和第二点云感知结果确定为云端侧感知结果。

在一个实施例中，云端感知模块404还用于将第一图像感知结果与第二图像感知结果进行比对，得到第一比对结果；将第一点云感知结果与第二点云感知结果进行比对，得到第二比对结果；将第一图像感知结果与第一点云感知结果进行比对，得到第三比对结果；根据第一比对结果、第二比对结果以及第三比对结果，在目标感知数据中确定长尾数据。

在一个实施例中，云端感知模块404还用于在第一比对结果、第二比对结果以及第三比对结果中确定比对不一致的目标比对结果；根据目标比对结果在目标感知数据中确定长尾数据。

在一个实施例中，该装置还包括：

模型更新模块，用于对长尾数据重新进行标注，得到标注数据；根据标注数据对云端侧感知模型进行更新；将更新后的云端侧感知模型中的第二图像感知模型和第二点云感知模型作为新的车端侧感知模型，并下发至车端设备。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的长尾数据获取方法的长尾数据获取系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个长尾数据获取系统实施例中的具体限定可以参见上文中对于长尾数据获取方法的限定，在此不再赘述。

在一个实施例中，如图5所示，提供了一种长尾数据获取系统，包括：车端设备502和云端服务器504，其中：

车端设备502，用于通过车端侧感知模型，从车端感知设备采集的待处理感知数据中提取目标感知数据，并将目标感知数据发送至云端服务器504。

云端服务器504，用于获取车端设备发送的目标感知数据；通过云端侧感知模型，对目标感知数据进行感知处理，得到云端侧感知结果；根据云端侧感知结果在目标感知数据中确定长尾数据。

在一个实施例中，待处理感知数据包括待处理图像数据和待处理点云数据，车端侧感知模型包括第一图像感知模型和第一点云感知模型；车端设备502还包括：

数据采集单元，用于通过第一图像感知模型对待处理图像数据进行感知处理，得到车端侧图像感知结果；通过第一点云感知模型对待处理点云数据进行感知处理，得到车端侧点云感知结果；在识别到车端侧图像感知结果和车端侧点云感知结果中，对象类别和对象重叠度满足设定条件时，从待处理感知数据中提取满足设定条件的感知数据，作为目标感知数据。

在一个实施例中，目标感知数据包括目标图像数据和目标点云数据，云端侧感知模型包括云端图像感知模型、云端点云感知模型、第二图像感知模型和第二点云感知模型；其中，第二图像感知模型与第一图像感知模型相同，或者第二图像感知模型的版本号高于第一图像感知模型的版本号；第二点云感知模型与第一点云感知模型相同，或者第二点云感知模型的版本号高于第一点云感知模型的版本号；云端服务器504还包括：

感知单元，用于将目标图像数据分别输入至云端图像感知模型和第二图像感知模型中进行感知处理，得到第一图像感知结果和第二图像感知结果；将目标点云数据输入至云端点云感知模型和第二点云感知模型中进行感知处理，得到第一点云感知结果和第二点云感知结果；将第一图像感知结果、第二图像感知结果、第一点云感知结果和第二点云感知结果确定为云端侧感知结果。

在一个实施例中，感知单元还用于还用于将第一图像感知结果与第二图像感知结果进行比对，得到第一比对结果；将第一点云感知结果与第二点云感知结果进行比对，得到第二比对结果；将第一图像感知结果与第一点云感知结果进行比对，得到第三比对结果；根据第一比对结果、第二比对结果以及第三比对结果，在目标感知数据中确定长尾数据。

在一个实施例中，感知单元还用于在第一比对结果、第二比对结果以及第三比对结果中确定比对不一致的目标比对结果；根据目标比对结果在目标感知数据中确定长尾数据。

在一个实施例中，云端服务器504还包括：

更新单元，用于对长尾数据重新进行标注，得到标注数据；根据标注数据对云端侧感知模型进行更新；

部署单元，用于将更新后的云端侧感知模型中的第二图像感知模型和第二点云感知模型作为新的车端侧感知模型，并下发至车端设备。

在另一个实施例中，如图6所示，提供了一种长尾数据获取系统，该系统包括车端设备602、云端服务器604以及部署单元606，车端设备602包括数据采集单元6022和数据传输单元6024，数据采集单元6022包括第一图像感知模型、第一点云感知模型、预设存储条件和数据采集程序。在第一图像感知模型和第一点云感知模型输出的车端侧感知结果中存在满足预设存储条件的目标感知结果时，触发数据采集程序，将待处理感知数据中目标感知结果对应的目标感知数据，进行存储处理。数据传输单元6024，用于传输目标点云数据和目标图像数据，目标点云数据和目标图像数据分别包括对应的时间数据以及模型版本数据。云端服务器604包括感知单元6042和更新单元6044，感知单元6042包括云端图像感知模型、云端点云感知模型、第二图像感知模型和第二点云感知模型。部署单元606，用于将更新后的云端侧感知模型中的第二图像感知模型和第二点云感知模型作为新的车端侧感知模型，并下发至车端设备，以此升级和优化车端侧感知模型，促进对已采集的数据的适应性。例如，部署单元可以采用OTA技术进行模型部署。

上述长尾数据获取系统中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标感知数据等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种长尾数据获取方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种长尾数据获取方法，其特征在于，应用于云端服务器，所述方法包括：

获取车端设备发送的目标感知数据；

通过云端侧感知模型，对将所述目标感知数据进行感知处理，得到云端侧感知结果；

根据所述云端侧感知结果在所述目标感知数据中确定长尾数据。

2.根据权利要求1所述的方法，其特征在于，所述目标感知数据是所述车端设备通过车端侧感知模型从车辆感知设备采集的待处理感知数据中所提取的；所述待处理感知数据包括待处理图像数据和待处理点云数据，所述车端侧感知模型包括第一图像感知模型和第一点云感知模型；

所述目标感知数据是所述车端设备在识别到车端侧图像感知结果和车端侧点云感知结果中，对象类别和对象重叠度满足设定条件时，从所述待处理感知数据中提取的满足所述设定条件的感知数据；

其中，所述车端侧图像感知结果是所述车端设备通过所述第一图像感知模型对所述待处理图像数据进行感知处理得到；所述车端侧点云感知结果是所述车端设备通过所述第一点云感知模型对所述待处理点云数据进行感知处理得到。

3.根据权利要求2所述的方法，其特征在于，所述目标感知数据包括目标图像数据和目标点云数据，所述云端侧感知模型包括云端图像感知模型、云端点云感知模型、第二图像感知模型和第二点云感知模型；其中，所述第二图像感知模型与所述第一图像感知模型相同，或者所述第二图像感知模型的版本号高于所述第一图像感知模型的版本号；所述第二点云感知模型与所述第一点云感知模型相同，或者所述第二点云感知模型的版本号高于所述第一点云感知模型的版本号；

所述通过云端侧感知模型，对将所述目标感知数据进行感知处理，得到云端侧感知结果，包括：

将所述目标图像数据分别输入至所述云端图像感知模型和所述第二图像感知模型中进行感知处理，得到第一图像感知结果和第二图像感知结果；

将所述目标点云数据输入至所述云端点云感知模型和所述第二点云感知模型中进行感知处理，得到第一点云感知结果和第二点云感知结果；

将所述第一图像感知结果、所述第二图像感知结果、所述第一点云感知结果和所述第二点云感知结果确定为云端侧感知结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述云端侧感知结果在所述目标感知数据中确定长尾数据，包括：

将所述第一图像感知结果与所述第二图像感知结果进行比对，得到第一比对结果；

将所述第一点云感知结果与所述第二点云感知结果进行比对，得到第二比对结果；

将所述第一图像感知结果与所述第一点云感知结果进行比对，得到第三比对结果；

根据所述第一比对结果、所述第二比对结果和所述第三比对结果，在所述目标感知数据中确定长尾数据。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一比对结果、所述第二比对结果和所述第三比对结果，在所述目标感知数据中确定长尾数据，包括：

在所述第一比对结果、所述第二比对结果和所述第三比对结果中确定比对不一致的目标比对结果；

根据所述目标比对结果在所述目标感知数据中确定长尾数据。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述长尾数据重新进行标注，得到标注数据；

根据所述标注数据对所述云端侧感知模型进行更新；

将更新后的云端侧感知模型中的第二图像感知模型和第二点云感知模型作为新的车端侧感知模型，并下发至所述车端设备。

7.一种长尾数据获取装置，其特征在于，配置于云端服务器中，所述装置包括：

感知数据获取模块，用于获取车端设备发送的目标感知数据；

云端感知模块，用于通过云端侧感知模型，对将所述目标感知数据进行感知处理，得到云端侧感知结果；

长尾数据获取模块，用于根据所述云端侧感知结果在所述目标感知数据中确定长尾数据。

8.一种长尾数据获取系统，其特征在于，所述系统包括：车端设备和云端服务器；

所述车端设备，用于通过车端侧感知模型，从车辆感知设备采集的待处理感知数据中提取目标感知数据，并将所述目标感知数据发送至所述云端服务器；

所述云端服务器，用于获取所述车端设备发送的目标感知数据；通过云端侧感知模型，对所述目标感知数据进行感知处理，得到云端侧感知结果，并根据所述云端侧感知结果在所述目标感知数据中确定长尾数据。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。