CN114972911A - 自动驾驶感知算法模型的输出数据收集处理方法及设备 - Google Patents

自动驾驶感知算法模型的输出数据收集处理方法及设备 Download PDF

Info

Publication number
CN114972911A
CN114972911A CN202210556973.8A CN202210556973A CN114972911A CN 114972911 A CN114972911 A CN 114972911A CN 202210556973 A CN202210556973 A CN 202210556973A CN 114972911 A CN114972911 A CN 114972911A
Authority
CN
China
Prior art keywords
data
frame data
algorithm model
result
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210556973.8A
Other languages
English (en)
Inventor
陈伟骏
刘国翌
佘晓丽
任少卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202210556973.8A priority Critical patent/CN114972911A/zh
Publication of CN114972911A publication Critical patent/CN114972911A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及自动驾驶技术领域，具体提供一种自动驾驶感知算法模型的输出数据收集处理方法、电子设备、存储介质及车辆，解决如何实现预设场景的补充训练集的有效收集，以提升感知算法模型的性能的问题。为此目的，本发明将感知算法模型输出的目标感知结果时序化以获得多个感知帧数据，针对每帧感知帧数据进行是否符合预设场景的判断，并将符合预设场景的感知帧数据所在的时间窗内的车载传感器采集的数据作为感知算法模型的补充训练集，以对感知算法模型进行训练，能够更为有效的提升感知算法模型的性能。

Description

自动驾驶感知算法模型的输出数据收集处理方法及设备
技术领域
本发明涉及自动驾驶技术领域，具体提供一种自动驾驶感知算法模型的输出数据收集处理方法、电子设备、存储介质及车辆。
背景技术
在自动驾驶场景中，一般是通过感知算法对相机获取的数据、雷达获取的数据以及各种传感器获得的数据进行预测后，进行特征融合，以实现对周围目标的感知。感知算法一般是通过基于深度学习和神经网络的模型来实现的，通过应用训练集对模型进行训练以实现模型的功能。但是由于训练集覆盖的数据有限，很可能存在一些训练集中没有出现的场景，这样就会导致模型在进行预测时容易出现异常的输出结果，即bad case，而这些异常的输出结果往往对提升模型的性能有很大的价值。另外，还有一些在训练过程中输出的目标检测人员感兴趣的场景的数据同样对提升模型的性能存在价值。如何有效的利用这些的输出结果以提升模型的性能是本领域需要解决的问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何实现预设场景的补充训练集的有效收集，以提升感知算法模型的性能的问题。
在第一方面，本发明提供一种自动驾驶感知算法模型的输出数据收集处理方法，包括：
将多个车载传感器采集的数据进行数据融合，将融合结果输入至所述感知算法模型，获取所述感知算法模型输出的目标感知结果；
将所述目标感知结果时序化为多个感知帧数据；
对当前感知帧数据是否符合预设场景进行判断；
收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集；
将所述补充训练集应用于所述感知算法模型的再训练，以优化所述感知算法模型的性能。
在上述方法的一个技术方案中，所述对当前感知帧数据是否符合预设场景进行判断包括：
对不同的预设场景设置不同的评分器，其中每个评分器基于对应的预设场景设置各自的评分标准以及各自的评分权重；
将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果；
根据每个评分器的评分权重，对所有评分器的评分结果进行加权平均，获得对当前感知帧数据的评价分数；以及
若所述评价分数超过预定阈值，则判断当前感知帧数据符合预设场景。
在上述方法的一个技术方案中，所述预设场景包括目标感知过程中出现的异常场景；
所述将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果，包括：
基于所述评分标准，通过所述当前感知帧数据和当前帧之前的感知帧数据的比较来获得对当前感知帧数据的评分结果。
在上述方法的一个技术方案中，所述预设场景包括目标感知过程中出现的感兴趣场景；
所述将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果，包括：基于所述评分标准，通过对所述当前感知帧数据进行分析获得对当前感知帧数据的评分结果。
在上述方法的一个技术方案中，所述对不同的预设场景设置不同的评分器，其中每个评分器基于对应的预设场景设置各自的评分标准以及各自的评分权重，包括：对感兴趣场景对应的评分器设置的评分权重大于对异常场景对应的评分器设置的评分权重。
在上述方法的一个技术方案中，所述方法还包括：
将所述车载传感器采集的数据经过不同于所述感知算法模型的其它感知算法模型后进行时序化，得到多个传感器帧数据；
对当前传感器帧数据是否符合所述预设场景进行判断；
收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集。
在上述方法的一个技术方案中，所述收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集，包括：
当当前感知帧数据符合预设场景时，将感知帧数据所在的预设长度的时间窗内的车载传感器采集的数据进行数据回传，以作为所述感知算法模型的补充训练集。
在上述方法的一个技术方案中，所述车载传感器包括车载相机和车载激光雷达；
所述将多个车载传感器采集的数据进行数据融合，将融合结果输入至所述感知算法模型，获取所述感知算法模型输出的目标感知结果，包括：
从车载相机获取二维视觉数据；
从车载激光雷达获取三维点云数据；
将所述二维视觉数据从图像坐标系投影至相机坐标系中，获得第一投影结果；
根据所述相机坐标系与世界坐标系的转换关系，将所述第一投影结果投影至所述世界坐标系中，获得第二投影结果；
将所述第二投影结果去畸变，获得第三投影结果；
将所述三维点云数据投影到世界坐标系，获得第四投影结果；
将所述第三投影结果和第四投影结果进行数据融合，并投影至二维空间，得到融合结果；
将所述融合结果输入所述感知算法模型，得到所述目标感知结果。
在第二方面，提供一种电子设备，该电子设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述自动驾驶感知算法模型的输出数据收集处理方法的技术方案中任一项技术方案所述的自动驾驶感知算法模型的输出数据收集处理方法。
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述自动驾驶感知算法模型的输出数据收集处理方法的技术方案中任一项技术方案所述的自动驾驶感知算法模型的输出数据收集处理方法。
在第四方面，提供一种车辆，所述车辆包括经上述电子设备技术方案中所述的电子设备。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，可以将根据车载传感器采集的数据进行数据融合后输入至感知算法模型后获得目标感知结果，将目标感知结果时序化以获得多个感知帧数据，针对每帧感知帧数据进行是否符合预设场景的判断，并将符合预设场景的感知帧数据所在的时间窗内的车载传感器采集的数据作为感知算法模型的补充训练集，以应用补充训练集对感知算法模型进行再训练，能够实现感知算法模型针对预设场景的更为有效的训练，更好地优化和提升感知算法模型的性能。
方案1.一种自动驾驶感知算法模型的输出数据收集处理方法，其特征在于，包括：
将多个车载传感器采集的数据进行数据融合，将融合结果输入至所述感知算法模型，获取所述感知算法模型输出的目标感知结果；
将所述目标感知结果时序化为多个感知帧数据；
对当前感知帧数据是否符合预设场景进行判断；
收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集；
将所述补充训练集应用于所述感知算法模型的再训练，以优化所述感知算法模型的性能。
方案2.根据方案1所述的方法，其特征在于，所述对当前感知帧数据是否符合预设场景进行判断包括：
对不同的预设场景设置不同的评分器，其中每个评分器基于对应的预设场景设置各自的评分标准以及各自的评分权重；
将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果；
根据每个评分器的评分权重，对所有评分器的评分结果进行加权平均，获得对当前感知帧数据的评价分数；以及
若所述评价分数超过预定阈值，则判断当前感知帧数据符合预设场景。
方案3.根据方案2所述的方法，其特征在于，
所述预设场景包括目标感知过程中出现的异常场景；
所述将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果，包括：
基于所述评分标准，通过所述当前感知帧数据和当前帧之前的感知帧数据的比较来获得对当前感知帧数据的评分结果。
方案4.根据方案3所述的方法，其特征在于，
所述预设场景包括目标感知过程中出现的感兴趣场景；
所述将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果，包括：
基于所述评分标准，通过对所述当前感知帧数据进行分析获得对当前感知帧数据的评分结果。
方案5.根据方案4所述的方法，其特征在于，所述对不同的预设场景设置不同的评分器，其中每个评分器基于对应的预设场景设置各自的评分标准以及各自的评分权重，包括：对感兴趣场景对应的评分器设置的评分权重大于对异常场景对应的评分器设置的评分权重。
方案6.根据方案1所述的方法，其特征在于，还包括：
将所述车载传感器采集的数据经过不同于所述感知算法模型的其它感知算法模型后进行时序化，得到多个传感器帧数据；
对当前传感器帧数据是否符合所述预设场景进行判断；
收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集。
方案7.根据方案1所述的方法，其特征在于，
所述收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集，包括：
当当前感知帧数据符合预设场景时，将感知帧数据所在的预设长度的时间窗内的车载传感器采集的数据进行数据回传，以作为所述感知算法模型的补充训练集。
方案8.根据方案1-6中任一项所述的方法，其特征在于，所述车载传感器包括车载相机和车载激光雷达；
所述将多个车载传感器采集的数据进行数据融合，将融合结果输入至所述感知算法模型，获取所述感知算法模型输出的目标感知结果，包括：
从车载相机获取二维视觉数据；
从车载激光雷达获取三维点云数据；
将所述二维视觉数据从图像坐标系投影至相机坐标系中，获得第一投影结果；
根据所述相机坐标系与世界坐标系的转换关系，将所述第一投影结果投影至所述世界坐标系中，获得第二投影结果；
将所述第二投影结果去畸变，获得第三投影结果；
将所述三维点云数据投影到世界坐标系，获得第四投影结果；
将所述第三投影结果和第四投影结果进行数据融合，并投影至二维空间，得到融合结果；
将所述融合结果输入所述感知算法模型，得到所述目标感知结果。
方案9.一种电子设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行方案1至8中任一项所述的方法。
方案10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行方案1至8中任一项所述的方法。
方案11.一种车辆，其特征在于，所述车辆包括方案9所述的电子设备。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
图1是根据本发明的一个实施例的自动驾驶感知算法模型的输出数据收集处理方法的主要步骤流程示意图；
图2是根据本发明实施例的一个示例的目标感知结果示意图；
图3是根据本发明实施例的是一个实施方式的获取目标感知结果的主要步骤流程示意图；
图4是根据本发明实施例的是一个实施方式的判断当前感知帧数据是否符合预设场景的主要步骤流程示意图；
图5是根据本发明实施例的一个实施方式的根据传感器帧数据获取感知算法模型的补充训练集的主要步骤流程示意图；
图6是根据本发明的一个实施例的自动驾驶感知算法模型的训练方法的主要步骤流程示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
在自动驾驶领域一般通过感知算法模型来对周围环境进行感知，以辅助车辆来实现自动驾驶功能。因而感知算法模型输出感知结果的准确程度对于车辆的自动驾驶功能是至关重要的。但是现有技术中，感知算法模型输出的感知结果，一般会存在一定程度的异常，需要进一步提升感知算法模型的性能。
参阅附图1，图1是根据本发明的一个实施例的自动驾驶感知算法模型的输出数据收集处理方法的主要步骤流程示意图。
如图1所示，本发明实施例中的自动驾驶感知算法模型的输出数据收集处理方法主要包括下列步骤S101-步骤S105。
步骤S101：将多个车载传感器采集的数据进行数据融合，将融合结果输入至感知算法模型，获取感知算法模型输出的目标感知结果。
在本实施例中，可以将多个车载传感器采集的数据进行数据融合，将融合结果输入至感知算法模型中，感知算法模型的输出是目标感知结果。其中，车载传感器例如是车载相机和激光雷达，对应地，采集的数据可以是图像数据和点云数据。目标感知结果中可以包括车辆周围环境中的其他车辆、障碍线、车道线、交通灯等目标的分类和位置信息。可以参阅附图2，图2是根据本发明实施例的一个示例的目标感知结果示意图，如图2所示，目标感知结果中可以分类出不同的车辆，包括本车1和前方的其他车辆2。
步骤S102：将目标感知结果时序化为多个感知帧数据。
在本实施例中，可以对目标感知结果进行时序化操作，以获取多个感知帧数据。
一个实施方式中，可以根据预设的时间间隔对目标感知结果进行抽帧，并进行时序化，以获取多个感知帧数据。在一个具体示例中，采集200帧数据。
步骤S103：对当前感知帧数据是否符合预设场景进行判断。
在本实施例中，针对每个感知帧数据，可以对当前感知帧数据进行判断，确定当前感知帧数据是否符合预设场景。
一个实施方式中，预设场景可以为目标感知过程中出现的异常场景，即，感知算法模型获得的目标感知结果出现错误的情况，即bad case。
例如，在当前感知帧数据(例如第5帧)的前1帧数据中，在直行道路上本车前方10-15米范围内存在一辆车，但在当前帧数据中，该车消失了，则视为一类异常场景，这一类异常场景称为“帧间结果目标消失”。
进一步，在目标数量较多的情况下，可能存在多目标相互重叠的情况，在这种情况下，仅有个别目标在不同的帧中出现消失，并不一定定义为“帧间结果目标消失”，该规则可以根据目标检测人员根据经验(例如目标个数、重叠度等)而设定。
又例如，在感知过程中，会为识别出的各个目标赋予不同的id，对于同一id的目标，在不同的帧上id值是不变的，使得在某一段时间内不会有重复的编号。然而，由于模型本身或环境因素的影响，导致某一目标消失(第一类异常场景)的帧数比较多时，该目标再出现时，感知算法模型会认为其为一个新的目标，从而给其分配一个新的id，就会出现不同帧之间id跳变的情形，则视为一类异常场景，这一类异常场景称为“帧间同目标track_id跳变”。在这种异常场景下，优选地，设置当前帧与尽量多的在前帧进行比较。
又例如，在某一帧中，目标在本车的前方5米，在下一帧，在前方5.5米，再下一帧，在前方6米，这是正常的场景。然而，如果感知结果是下一帧目标出现在前方10米，这也会视为一类异常场景，这一类异常场景称为“近距离目标位置突变”。在这种异常场景下，由于存在该目标停车而本车继续行驶，则上述10米的情形却又可能是正常的，仅比较相邻两帧可能存在误判，因此，优选地，在这种情形中可以设置当前帧与尽量多的在前帧进行比较。
又例如，在某一帧中，检测的两个目标一个在前方4米，一个在前方5米，但考虑到车本身的长度(例如4米)，这两个目标重合度很高，则视为一类异常场景，这一类异常场景称为“目标间相交面积过大”。
以上这些异常场景统则反映感知结果异常。
在另一个实施方式中，预设场景也可以为在目标感知过程中出现的感兴趣场景。例如所使用的感知算法模型对于一些场景(例如车辆密集场景)的数据的感知结果不太好，那目标检测人员对于目标数量比较多的场景感兴趣(称为感兴趣场景)，则其可以设置数量规则，对满足规则的数据进行针对性回收。类似地，可以对目标感知结果中出现某一类型的目标感兴趣，则可以设置规则来对此类数据进行回收。本领域技术人员可以根据实际应用的需要对感兴趣场景进行设置。
步骤S104：收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为感知算法模型的补充训练集。
在本实施例中，当当前感知帧数据符合预设场景时，可以将当前感知帧数据所在的时间窗内的车载传感器采集的数据作为感知算法模型的补充训练集。
例如以当前帧为中心前后5秒钟的时间窗内的传感器采集的数据作为感知算法模型的补充训练集。本领域技术人员可以根据实际应用的需要设定时间窗的取值。
步骤S105：将补充训练集应用于感知算法模型的再训练，以优化感知算法模型的性能。
在本实施例中，可以应用补充训练集对感知算法模型进行再训练，以实现对感知算法模型的性能的优化。
基于上述步骤S101-步骤S105，本发明实施例可以将根据车载传感器采集的数据进行数据融合后输入至感知算法模型后获得目标感知结果，将目标感知结果时序化以获得多个感知帧数据，针对每帧感知帧数据进行是否符合预设场景的判断，并将符合预设场景的感知帧数据所在的时间窗内的车载传感器采集的数据作为感知算法模型的补充训练集，以应用补充训练集对感知算法模型进行再训练，能够实现感知算法模型针对预设场景的更为有效的训练，更好地优化和提升感知算法模型的性能。
下面对步骤S101、步骤S103和步骤S104作进一步地说明。
在本发明实施例的一个实施方式中，参阅附图3，图3是根据本发明实施例的是一个实施方式的获取目标感知结果的主要步骤流程示意图。
如图3所示，步骤S101可以包括以下步骤S1011至步骤S1018:
步骤S1011：从车载相机获取二维视觉数据。
步骤S1012：从车载激光雷达获取三维点云数据。
步骤S1013：将二维视觉数据从图像坐标系投影至相机坐标系中，获得第一投影结果。
步骤S1014：根据相机坐标系与世界坐标系的转换关系，将第一投影结果投影至世界坐标系中，获得第二投影结果。
步骤S1015：将第二投影结果去畸变，获得第三投影结果。
步骤S1016：将三维点云数据投影到世界坐标系，获得第四投影结果。
步骤S1017：将第三投影结果和第四投影结果进行数据融合，并投影至二维空间，得到融合结果。
步骤S1018：将融合结果输入感知算法模型，得到目标感知结果。
在本实施方式中，车载传感器为车载相机和车载激光雷达，将车载相机获取的二维视觉数据从图像坐标系中投影至相机坐标系中，再从相机坐标系投影至世界坐标系中，并去畸变以获得第三投影结果。将车载激光雷达获取的三维点云数据投影至世界坐标系中，以获得第四投影结果。这样第三投影结果和第四投影结果都处于世界坐标系下，对第三投影结果和第四投影结果进行数据融合，并投影至二维空间，即可获得二维视觉数据和三维点云数据的融合结果，将融合结果输入至感知算法模型，就能够获得目标感知结果。
在本发明实施例的一个实施方式中，参阅附图4，图4是根据本发明实施例的是一个实施方式的判断当前感知帧数据是否符合预设场景的主要步骤流程示意图。如图4所示，步骤S103可以包括以下步骤S1031至步骤S1034:
步骤S1031：对不同的预设场景设置不同的评分器，其中每个评分器基于对应的预设场景设置各自的评分标准以及各自的评分权重。
在本实施方式中，可以根据实际应用的需要，根据不同的预设场景设置不同的评分器。其中，评分器可以为按照不同的评价标准进行训练的评分模型。如预设场景可以包括目标感知过程中出现的异常场景以及目标感知过程中出现的感兴趣场景。
本领域技术人员能够理解，对于各种预设场景下的评价标准是可以根据实际需要/经验来设置的，本发明并不在于对评价标准的如何设定，而是利用预设的评价标准筛选出异常场景数据或感兴趣场景的数据进行回收。
一个实施方式中，步骤S1031可以进一步包括：对感兴趣场景对应的评分器设置的评分权重大于对异常场景对应的评分器设置的评分权重。
在本实施方式中，当需要针对感兴趣的场景对应的车载传感器采集的数据作为感知算法模型的补充训练集时，由于异常场景出现的概率较大，因而，可以将感兴趣的场景对应的评分器设置较高的评分权重，而异常场景对应的评分器设置较低的权重，以便于感兴趣场景对应的车载传感器采集的数据的收集，目标检测人员可以根据需要回收的类型数据，灵活配置该权重，例如仅需要回收某些特殊场景对应的数据，则可以将其他场景的评分器的权重设为0。
步骤S1032：将多个感知帧数据分别输入至不同的评分器中，基于评分标准获得每个评分器对当前感知帧数据的评分结果。
在本实施方式中，可以将步骤S102中获取的感知帧数据分别输入至不同的评分器中，通过评分器对每帧感知帧数据进行评分，获得每帧感知帧数据的评分结果。
一个实施方式中，预设场景为目标感知过程中出现的异常场景。步骤S1032可以包括以下步骤：
基于评分标准，通过当前感知帧数据和当前帧之前的感知帧数据的比较来获得对当前感知帧数据的评分结果。
在本实施方式中，当预设场景为目标感知过程中出现的异常场景时，可以将当前感知帧数据与当前感知帧数据之前的感知帧数据进行比较，来获取当前感知帧数据的评分结果。
一个实施方式中，预设场景为目标感知过程中出现的感兴趣场景。
步骤S1032可以包括以下步骤：
基于评分标准，通过对当前感知帧数据进行分析获得对当前感知帧数据的评分结果。
在本实施方式中，当预设场景为目标感知过程中出现的感兴趣场景时，可以基于评分标准来分析当前感知帧数据，来获取评分结果。
下面通过举例，对步骤S1032进行说明：
当预设场景为目标感知过程中出现的异常场景时，评分标准可以包括关于“帧间结果目标消失”、“帧间同目标track_id跳变”、“近距离目标位置突变”、“目标间相交面积过大”等的评分规则。每个评分标准均对应一个评分器，将感知帧数据送入不同的评分器中，以获取感知帧数据的评分结果。
具体地，将感知帧数据送入“帧间结果目标消失”对应的评分器中，根据感知帧数据中目标的总数和消失的目标的数量来对当前感知帧数据进行评价。如，当前感知帧数据中目标的总数较大，考虑目标之间的遮挡情况，当存在一个目标消失时，则可以认为是正常的情况，那么评分器就会给出一个较低的评分结果；如果当前感知帧数据中目标的总数较小，且存在目标消失的情况，那么评分器就会给出以一个较高的评分结果，即当前感知帧数据为异常场景。
将感知帧数据送入“帧间同目标track_id跳变”对应的评分器中，根据当前感知帧数据中目标的track_id和当前感知帧数据之前的感知帧数据中的目标的track_id进行比较，当同一个目标的track_id出现变化时，那么评分器就会给出以一个较高的评分结果，即当前感知帧数据为异常场景。
将感知帧数据送入“近距离目标位置突变”对应的评分器中，根据当前感知帧数据中目标之间的距离情况与当前感知帧数据之前的感知帧数据中目标之间的距离情况进行比较，当相邻帧间的目标的距离变化较大时，那么评分器就会给出以一个较高的评分结果，即当前感知帧数据为异常场景。
将感知帧数据送入“目标间相交面积过大”对应的评分器中，根据当前感知帧数据中目标之间的相交面积来判断当前感知帧数据是否为异常场景。如在当前感知帧数据中，目标1和目标2均为车辆，而目标1和目标2之间的相交面积大于预设的阈值时，那么评分器就会给出以一个较高的评分结果，即当前感知帧数据为异常场景。
当预设场景为目标感知过程中出现的感兴趣场景时，评分标准可以为“车辆的数量特别密集”。具体地，可以感知帧数据送入至“车辆的数量特别密集”对应的评分器中，如果当前感知帧数据中车辆的数量超过预设的数量阈值，那么评分器就会给出以一个较高的评分结果，即当前感知帧数据为感兴趣场景。
本领域技术人员可以根据实际应用的需要设置不同的评分标准，并根据评分标准设置对应的评分器以及评分器内部的评分结果计算逻辑。
步骤S1033：根据每个评分器的评分权重，对所有评分器的评分结果进行加权平均，获得对当前感知帧数据的评价分数。
在本实施方式中，可以将每个评分器的评分结果进行加权平均，以获得当前感知帧数据的评价分数。
一个实施方式中，评价分数的取值范围可以为0到1之间。评价分数越高则说明当前感知帧数据越符合预设场景。
步骤S1034：若评价分数超过预定阈值，则判断当前感知帧数据符合预设场景。
在本实施方式中，可以将步骤S1033获得的评价分数与预定阈值进行比较，以判断当前感知帧数据是否符合预设场景。本领域技术人员可以根据实际应用的需要来设置预定阈值的取值。
在本发明实施例的一个实施方式中，步骤S104可以进一步包括以下步骤：
当当前感知帧数据符合预设场景时，将感知帧数据所在的预设长度的时间窗内的车载传感器采集的数据进行数据回传，以作为感知算法模型的补充训练集。
在本实施方式中，可以当当前感知帧数据符合预设场景时，可以触发感知帧数据所在的预设长度的时间窗内的车载传感器采集的数据的数据回传，以便于将这些回传的数据作为感知算法模型的补充训练集。
通常情况下，为了保证计算的实时性和速度，车载感知算法模型在构建时需要在实时性和速度方面做取舍，例如构建轻量级的模型，这可能会导致计算精度受限，从而使得由于模型本身原因而出现目标感知结果异常。
为了能够筛选出这种情况，在本发明实施例的一个实施方式中，本发明除了可以包括上述步骤S101至步骤S104外，还可以包括以下步骤S105至步骤S107，下面参阅附图5对步骤S105至步骤S107进行说明，图5是根据本发明实施例的一个实施方式的根据传感器帧数据获取感知算法模型的补充训练集的主要步骤流程示意图，如图5所示，本发明还可以包括：
步骤S105：将车载传感器采集的数据经过不同于感知算法模型的其它感知算法模型后进行时序化，得到多个传感器帧数据。
步骤S106：对当前传感器帧数据是否符合预设场景进行判断。
步骤S107：将符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为感知算法模型的补充训练集。
在本实施方式中，重新设置一个不同于步骤S101中的感知算法模型的其他感知算法模型，该其他感知算法模型仅用于进行补充训练集的采集，因此不必考虑实时性(例如步骤S101中的感知算法模型需要实时运算，而该其他感知算法模型则不必，其可以对间隔时间的数据进行运算)，为此其可以采用比步骤S101中的感知算法模型精度更高、算法逻辑更复杂的模型，从而来判断精度低的感知算法模型是否存在问题。例如，经过步骤S101的感知算法模型后评分器评分结果为目标感知结果异常，而经过该其他感知算法模型后评分器评分结果为目标感知结果正常，则可以判断步骤S101的感知算法模型本身出问题。
将车载传感器采集的数据输入至其他感知算法模型后进行时序化，其输出即为多个传感器帧数据。可以对传感器帧数据进行是否符合预设场景的判断，若符合预设场景，则可以将当前感知帧数据所在的时间窗内的车载传感器采集的数据作为感知算法模型的补充训练集。
一个实施方式中，可以将多个传感器帧数据依次输入至根据不同的预设场景设置的不同的评分器中，基于评分标准对每帧传感器帧数据进行评分，获取评分结果，对所有评分器的评分结果进行加权平均，以获取当前传感器帧数据的评价分数，若评价分数高于预定阈值，则判断当前传感器帧数据符合预设场景，并将符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为感知算法模型的补充训练集。
进一步，本发明还提供了一种自动驾驶感知算法模型的训练方法。
参阅附图6，图6是根据本发明的一个实施例的自动驾驶感知算法模型的训练方法的主要步骤流程示意图。如图6所示，本发明实施例中的自动驾驶感知算法模型的训练方法主要包括下列步骤S301和步骤S302。
步骤S301：通过上述自动驾驶感知算法模型的输出数据收集处理方法实施例获取补充训练集。
在本实施例中，可以通过上述自动驾驶感知算法模型的输出数据收集处理方法实施例所述的方法来获取模型的补充训练集。
步骤S302：利用训练集训练感知算法模型，其中补充训练集至少作为训练集的一部分。
在本实施例中，可以利用训练集来训练感知算法模型，其中训练集包括步骤S301中获取的补充训练集。
一个实施方式中，可以只利用补充训练集对感知算法模型进行训练。
一个实施方式中，可以将补充训练集添加至训练集中，使用训练集对感知算法模型进行训练。
一个实施方式中，可以使用本领域常用的模型训练方法利用训练集对感知算法模型进行训练。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种电子设备。在根据本发明的一个电子设备实施例中，电子设备包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的自动驾驶感知算法模型的输出数据收集处理方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的自动驾驶感知算法模型的输出数据收集处理方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的自动驾驶感知算法模型的输出数据收集处理方法的程序，该程序可以由处理器加载并运行以实现上述自动驾驶感知算法模型的输出数据收集处理方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本发明还提供一种车辆。在根据本发明的一个车辆实施例中，车辆可以包括上述电子设备实施例中的电子设备。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种自动驾驶感知算法模型的输出数据收集处理方法，其特征在于，包括：
将多个车载传感器采集的数据进行数据融合，将融合结果输入至所述感知算法模型，获取所述感知算法模型输出的目标感知结果；
将所述目标感知结果时序化为多个感知帧数据；
对当前感知帧数据是否符合预设场景进行判断；
收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集；
将所述补充训练集应用于所述感知算法模型的再训练，以优化所述感知算法模型的性能。
2.根据权利要求1所述的方法，其特征在于，所述对当前感知帧数据是否符合预设场景进行判断包括：
对不同的预设场景设置不同的评分器，其中每个评分器基于对应的预设场景设置各自的评分标准以及各自的评分权重；
将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果；
根据每个评分器的评分权重，对所有评分器的评分结果进行加权平均，获得对当前感知帧数据的评价分数；以及
若所述评价分数超过预定阈值，则判断当前感知帧数据符合预设场景。
3.根据权利要求2所述的方法，其特征在于，
所述预设场景包括目标感知过程中出现的异常场景；
所述将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果，包括：
基于所述评分标准，通过所述当前感知帧数据和当前帧之前的感知帧数据的比较来获得对当前感知帧数据的评分结果。
4.根据权利要求3所述的方法，其特征在于，
所述预设场景包括目标感知过程中出现的感兴趣场景；
所述将所述多个感知帧数据分别输入至所述不同的评分器中，基于所述评分标准获得每个评分器对当前感知帧数据的评分结果，包括：
基于所述评分标准，通过对所述当前感知帧数据进行分析获得对当前感知帧数据的评分结果。
5.根据权利要求4所述的方法，其特征在于，所述对不同的预设场景设置不同的评分器，其中每个评分器基于对应的预设场景设置各自的评分标准以及各自的评分权重，包括：对感兴趣场景对应的评分器设置的评分权重大于对异常场景对应的评分器设置的评分权重。
6.根据权利要求1所述的方法，其特征在于，还包括：
将所述车载传感器采集的数据经过不同于所述感知算法模型的其它感知算法模型后进行时序化，得到多个传感器帧数据；
对当前传感器帧数据是否符合所述预设场景进行判断；
收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集。
7.根据权利要求1所述的方法，其特征在于，
所述收集符合预设场景的当前帧所在的预设长度的时间窗内的车载传感器采集的数据作为所述感知算法模型的补充训练集，包括：
当当前感知帧数据符合预设场景时，将感知帧数据所在的预设长度的时间窗内的车载传感器采集的数据进行数据回传，以作为所述感知算法模型的补充训练集。
8.根据权利要求1-6中任一项所述的方法，其特征在于，所述车载传感器包括车载相机和车载激光雷达；
所述将多个车载传感器采集的数据进行数据融合，将融合结果输入至所述感知算法模型，获取所述感知算法模型输出的目标感知结果，包括：
从车载相机获取二维视觉数据；
从车载激光雷达获取三维点云数据；
将所述二维视觉数据从图像坐标系投影至相机坐标系中，获得第一投影结果；
根据所述相机坐标系与世界坐标系的转换关系，将所述第一投影结果投影至所述世界坐标系中，获得第二投影结果；
将所述第二投影结果去畸变，获得第三投影结果；
将所述三维点云数据投影到世界坐标系，获得第四投影结果；
将所述第三投影结果和第四投影结果进行数据融合，并投影至二维空间，得到融合结果；
将所述融合结果输入所述感知算法模型，得到所述目标感知结果。
9.一种电子设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的方法。
CN202210556973.8A 2022-05-19 2022-05-19 自动驾驶感知算法模型的输出数据收集处理方法及设备 Pending CN114972911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210556973.8A CN114972911A (zh) 2022-05-19 2022-05-19 自动驾驶感知算法模型的输出数据收集处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210556973.8A CN114972911A (zh) 2022-05-19 2022-05-19 自动驾驶感知算法模型的输出数据收集处理方法及设备

Publications (1)

Publication Number Publication Date
CN114972911A true CN114972911A (zh) 2022-08-30

Family

ID=82985061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210556973.8A Pending CN114972911A (zh) 2022-05-19 2022-05-19 自动驾驶感知算法模型的输出数据收集处理方法及设备

Country Status (1)

Country Link
CN (1) CN114972911A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115878681A (zh) * 2023-02-23 2023-03-31 禾多科技（北京）有限公司 自动驾驶数据的获取方法及装置、存储介质及电子装置
CN116434041A (zh) * 2022-12-05 2023-07-14 北京百度网讯科技有限公司 错误感知数据的挖掘方法、装置、设备及自动驾驶车辆
CN116664964A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据筛选方法、装置、车载设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434041A (zh) * 2022-12-05 2023-07-14 北京百度网讯科技有限公司 错误感知数据的挖掘方法、装置、设备及自动驾驶车辆
CN115878681A (zh) * 2023-02-23 2023-03-31 禾多科技（北京）有限公司 自动驾驶数据的获取方法及装置、存储介质及电子装置
CN116664964A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据筛选方法、装置、车载设备和存储介质
CN116664964B (zh) * 2023-07-31 2023-10-20 福思(杭州)智能科技有限公司 数据筛选方法、装置、车载设备和存储介质

Similar Documents

Publication Publication Date Title
CN108725440B (zh) 前向碰撞控制方法和装置、电子设备、程序和介质
EP3217332B1 (en) Risk prediction method
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
CN110188482B (zh) 一种基于智能驾驶的测试场景创建方法及装置
CN111860155A (zh) 一种车道线的检测方法及相关设备
CN112767644B (zh) 一种基于视频识别的公路隧道内火灾预警方法及装置
CN112700470A (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN113343461A (zh) 自动驾驶车辆的仿真方法、装置、电子设备及存储介质
CN110827326B (zh) 模拟人车冲突场景模型生成方法、装置、设备和存储介质
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
CN113052159A (zh) 一种图像识别方法、装置、设备及计算机存储介质
CN115635961A (zh) 样本数据生成方法及应用其的轨迹预测方法、装置
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN113392793A (zh) 用于识别车道线的方法、装置、设备、存储介质以及无人车
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117237475A (zh) 一种基于扩散生成模型的车辆交通轨迹生成方法及装置
Sanberg et al. Asteroids: A stixel tracking extrapolation-based relevant obstacle impact detection system
CN114445787A (zh) 非机动车重识别方法及相关设备
CN112180913A (zh) 特种车辆识别方法
CN111881121A (zh) 一种自动驾驶数据填充方法和装置
CN117495847B (zh) 路口检测方法、可读存储介质及智能设备
CN117113281B (zh) 多模态数据的处理方法、设备、智能体和介质
WO2023178510A1 (zh) 图像处理方法、装置和系统、可移动平台
CN112825193B (zh) 目标跟踪方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination