CN114495055A - 一种评估街道模型保真度的多指标评估方法 - Google Patents

一种评估街道模型保真度的多指标评估方法 Download PDF

Info

Publication number
CN114495055A
CN114495055A CN202210021697.5A CN202210021697A CN114495055A CN 114495055 A CN114495055 A CN 114495055A CN 202210021697 A CN202210021697 A CN 202210021697A CN 114495055 A CN114495055 A CN 114495055A
Authority
CN
China
Prior art keywords
index
consistency
picture
simulated
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210021697.5A
Other languages
English (en)
Inventor
孟康
曹阳
刘瑜平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Tsinghua Pearl River Delta
Original Assignee
Research Institute Of Tsinghua Pearl River Delta
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Tsinghua Pearl River Delta filed Critical Research Institute Of Tsinghua Pearl River Delta
Priority to CN202210021697.5A priority Critical patent/CN114495055A/zh
Publication of CN114495055A publication Critical patent/CN114495055A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Geometry (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种评估街道模型保真度的多指标评价方法，包括：基于真实图像和仿真图片训练图片分类模型，基于训练好的图片分类模型对待评价的仿真图片进行分类，基于分类结果获得深度评价指标；在模拟街道中，通过比较模拟跟踪轨迹和真实轨迹之间的一致性获得一致性指标；将深度评价指标和一致性指标的单位进行统一，并将数值映射在0‑1空间中，基于映射结果获得评估结果。本发明在图像层通过预测置信度进行评价，在感知层面通过目标跟踪的指标OSPA对街道模型进行保真度评价，本发明结构非常灵活，能够根据实际需求比如感知方法的不同进行结构调整，能够高效地评估街道模型的效果，具有经济社会效益。

Description

一种评估街道模型保真度的多指标评估方法
技术领域
本发明属于仿真评估领域，特别是涉及一种评估街道模型保真度的多指标评价方法。
背景技术
随着自动驾驶技术的发展，自动驾驶仿真技术越来越不可或缺。仿真通过软件模拟来发现和复现问题，而不需要真实的环境和硬件，可以极大地节省成本和时间。自动驾驶仿真平台通过仿真采集数据，可以把训练时间大大提高，加快模型迭代速度。对环境街道进行仿真就是要模拟车所在的环境，例如需要模拟真实世界的房子、车辆、树木、行人、交通信号灯等。同时真实世界的物理规律也需要进行模拟，比如天气、阳光、云层遮挡等。目前主流的仿真软件都是根据游戏引擎开发的。因此需要对仿真软件的街道模型与真实世界的差距进行评估，本方法提出了一种评估街道模型保真度的多指标评价方法。
发明内容
本发明的目的是提供一种评估街道模型保真度的多指标评价方法，用来对街道模型的保真度进行整体定量评估，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种评估街道模型保真度的多指标评价方法，包括：
基于真实图像和仿真图片训练图片分类模型，基于训练好的所述图片分类模型对待评价的所述仿真图片进行分类，基于分类结果获得深度评价指标；
在模拟街道中，通过比较模拟跟踪轨迹和真实轨迹之间的一致性获得一致性指标；
将所述深度评价指标和所述一致性指标的单位进行统一，并将数值映射在0-1空间中，基于映射结果获得评估结果。
可选的，基于真实图像和仿真图片训练图片分类模型之前，所述方法还包括：
设定测试场景，所述测试场景包括跟随前车的交通场景；
基于所述测试场景生成包括街道、信号灯和天气的模拟环境；
对模拟环境进行截图，获得所述仿真图片；
其中所述真实图像为真实自动驾驶环境图片。
可选的，基于所述测试场景生成包括街道、信号灯和天气的模拟环境的过程中包括：
根据所述测试场景，通过自动驾驶仿真软件的街道模型生成模拟环境，其中，所述模拟环境是指高保真的驾驶场景，适用于对感知算法的测试，所述自动驾驶仿真软件的街道模型通常采用Epic Games开发的虚拟引擎Unreal Engine进行构建。
可选的，基于真实图像和仿真图片训练图片分类模型的过程中，所述图片分类模型用卷积神经网络，所述卷积神经网络的结构采用了深度残差网络ResNet，训练过程包括：
将所述真实图像和所述仿真图片进行混合，作为训练集输入所述图片分类模型；
待所述图片分类模型的训练准确率达到预设值后，结束训练。
可选的，基于训练好的所述图片分类模型对待评价的所述仿真图片进行分类，基于分类结果获得深度评价指标的过程中包括：
基于训练好的所述图片分类模型对所述待评价的所述仿真图片进行分类，获得预测置信度分数，将所述预测置信度分数作为所述深度评价指标。
可选的，在模拟街道中，通过比较模拟跟踪轨迹和真实轨迹之间的一致性获得一致性指标的过程中包括：
构建所述跟随前车的交通场景和待跟踪车辆；
所述待跟踪车辆在预先设置的路径上进行运动，获取所述待跟踪车辆的运动轨迹作为真实轨迹；
使用跟踪算法跟踪所述待跟踪车辆，生成跟踪轨迹，将所述跟踪轨迹作为所述模拟跟踪轨迹；
比较所述真实轨迹和所述模拟跟踪轨迹的一致性，获得所述一致性指标。
可选的，比较所述真实轨迹和所述模拟跟踪轨迹的一致性，获得所述一致性指标的过程中包括：
基于最优子模式分配距离计算所述真实轨迹和所述模拟跟踪轨迹的一致性，将获得的OSPA指标作为所述一致性指标。
可选的，将所述深度评价指标和所述一致性指标的单位进行统一的过程中包括：
对所述深度评价指标和所述一致性指标进行z-score标准化，进行单位统一。
可选的，将数值映射在0-1空间中，基于映射结果获得评估结果的过程中还包括：
根据需要分别调整所述一致性指标和所述深度评价指标的权重。
本发明的技术效果为：
本方法是一种用来评估街道模型保真度的多指标评价方法，在图像层通过预测置信度进行评价，在感知层面通过目标跟踪的指标OSPA对街道模型进行保真度评价。此方法结构非常灵活，能够根据实际需求比如感知方法的不同进行结构调整。能够高效地评估街道模型的效果，具有很高的经济社会效益。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的深度评价度量结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了确定街道模型的可靠性,需要检测模拟到现实的差距是否应用于目的。本方法不仅从仿真效果进行比较，还从感知层面对街道模型的保真度进行评价。
仿真效果是指仿真出的直观图像效果，对比对象是自动驾驶的真实数据集,比如kitti公开数据集。用真实图片和仿真图片混合训练图片分类网络模型，然后用训练好的分类模型对待评价街道模型图片进行分类，以“真实图像”类的预测置信度分数作为深度评价度量(DEM，Deep evaluation metric)。
通过感知层面评估是将真实的街道场景通过感知模块，比如进行目标跟踪(object tracking)，通过比较跟踪轨迹和真实轨迹之间的一致性来对街道模型的质量进行评估，评估指标为最优子模式分配距离(OSPA,optimal subpattern assignment),这是一种常用的评价目标跟踪系统整体性能一致性度量方法。p是距离敏感性参数，c是水平调节数，
Figure BDA0003462894940000054
是估计值。
Figure BDA0003462894940000051
Figure BDA0003462894940000052
Figure BDA0003462894940000053
如图1所示，本实施例中提供一种评估街道模型保真度的多指标评价方法，包括：
步骤一：选择测试场景，比如跟随前车的交通场景。
步骤二：根据测试场景，使用自动驾驶仿真软件的街道模型自动生成街道、信号灯、天气等模拟环境，如roadrunner、blender等场景生成软件。
步骤三：将模拟环境进行按帧截图后的图片和真实自动驾驶环境图片混合训练图像分类模型。将训练好的分类模型对待测试街道模型生成的环境截图图片进行分类，以“真实图像”类的预测置信度分数作为深度评价度量DEM。
步骤四：使用仿真软件的街道模型生成相应测试环境。目标车辆作为待跟踪车辆在预先设置的路径上(真实轨迹)进行运动。使用跟踪算法进行跟踪，生成跟踪轨迹，与真实轨迹相比计算OSPA指标，在本实施例中，跟踪算法采用例如GOTURN算法。
步骤五：各度量结果标准化。直接计算出来的深度指标和OSPA指标的单位不同，需要进行缩放，将结果进行z-score标准化后，将数值映射在0-1空间内，也可以根据需要调整传统指标和深度指标的重要性系数。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种评估街道模型保真度的多指标评价方法，其特征在于，包括以下步骤：
基于真实图像和仿真图片训练图片分类模型，基于训练好的所述图片分类模型对待评价的所述仿真图片进行分类，基于分类结果获得深度评价指标；
在模拟街道中，通过比较模拟跟踪轨迹和真实轨迹之间的一致性获得一致性指标；
将所述深度评价指标和所述一致性指标的单位进行统一，并将数值映射在0-1空间中，基于映射结果获得评估结果。
2.根据权利要求1所述的方法，其特征在于，基于真实图像和仿真图片训练图片分类模型之前，所述方法还包括：
设定测试场景，所述测试场景包括跟随前车的交通场景；
基于所述测试场景生成包括街道、信号灯和天气的模拟环境；
对模拟环境进行截图，获得所述仿真图片；
其中所述真实图像为真实自动驾驶环境图片。
3.根据权利要求2所述的方法，其特征在于，基于所述测试场景生成包括街道、信号灯和天气的模拟环境的过程中包括：
根据所述测试场景，通过自动驾驶仿真软件的街道模型生成模拟环境，其中，所述模拟环境是指高保真的驾驶场景，适用于对感知算法的测试，所述自动驾驶仿真软件的街道模型通常采用Epic Games开发的虚拟引擎Unreal Engine进行构建。
4.根据权利要求1所述的方法，其特征在于，基于真实图像和仿真场景图片训练图片分类模型的过程中，所述图片分类模型采用卷积神经网络，所述卷积神经网络的结构采用了深度残差网络ResNet，训练过程包括：
将所述真实图像和所述仿真图片进行混合，作为训练集输入所述图片分类模型；
待所述图片分类模型的训练准确率达到预设值后，结束训练。
5.根据权利要求1所述的方法，其特征在于，基于训练好的所述图片分类模型对待评价的所述仿真图片进行分类，基于分类结果获得深度评价指标的过程中包括：
基于训练好的所述图片分类模型对所述待评价的所述仿真图片进行分类，获得预测置信度分数，将所述预测置信度分数作为所述深度评价指标。
6.根据权利要求2所述的方法，其特征在于，在模拟街道中，通过比较模拟跟踪轨迹和真实轨迹之间的一致性获得一致性指标的过程中包括：
构建所述跟随前车的交通场景和待跟踪车辆；
所述待跟踪车辆在预先设置的路径上进行运动，获取所述待跟踪车辆的运动轨迹作为真实轨迹；
使用跟踪算法跟踪所述待跟踪车辆，生成跟踪轨迹，将所述跟踪轨迹作为所述模拟跟踪轨迹；
比较所述真实轨迹和所述模拟跟踪轨迹的一致性，获得所述一致性指标。
7.根据权利要求6所述的方法，其特征在于，比较所述真实轨迹和所述模拟跟踪轨迹的一致性，获得所述一致性指标的过程中包括：
基于最优子模式分配距离计算所述真实轨迹和所述模拟跟踪轨迹的一致性，将获得的OSPA指标作为所述一致性指标。
8.根据权利要求1所述的方法，其特征在于，将所述深度评价指标和所述一致性指标的单位进行统一的过程中包括：
对所述深度评价指标和所述一致性指标进行z-score标准化，进行单位统一。
9.根据权利要求8所述的方法，其特征在于，将数值映射在0-1空间中，基于映射结果获得评估结果的过程中还包括：
根据需要分别调整所述一致性指标和所述深度评价指标的权重。
CN202210021697.5A 2022-01-10 2022-01-10 一种评估街道模型保真度的多指标评估方法 Pending CN114495055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210021697.5A CN114495055A (zh) 2022-01-10 2022-01-10 一种评估街道模型保真度的多指标评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210021697.5A CN114495055A (zh) 2022-01-10 2022-01-10 一种评估街道模型保真度的多指标评估方法

Publications (1)

Publication Number Publication Date
CN114495055A true CN114495055A (zh) 2022-05-13

Family

ID=81510819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210021697.5A Pending CN114495055A (zh) 2022-01-10 2022-01-10 一种评估街道模型保真度的多指标评估方法

Country Status (1)

Country Link
CN (1) CN114495055A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095239A (zh) * 2023-10-16 2023-11-21 光轮智能(北京)科技有限公司 仿真资产真实度评价方法、控制装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095239A (zh) * 2023-10-16 2023-11-21 光轮智能(北京)科技有限公司 仿真资产真实度评价方法、控制装置及存储介质
CN117095239B (zh) * 2023-10-16 2023-12-15 光轮智能(北京)科技有限公司 仿真资产真实度评价方法、控制装置及存储介质

Similar Documents

Publication Publication Date Title
CN111489301B (zh) 一种基于迁移学习用图像深度信息引导的图像去雾方法
Hanke et al. Generation and validation of virtual point cloud data for automated driving systems
CN106228125B (zh) 基于集成学习级联分类器的车道线检测方法
Cai et al. Analyzing infrastructure lidar placement with realistic lidar simulation library
US8242948B1 (en) High fidelity simulation of synthetic aperture radar
CN111859674A (zh) 一种基于语义的自动驾驶测试图像场景构建方法
CN111881029A (zh) 一种面向自动驾驶的多场景自动化点云扩增方法
CN114495055A (zh) 一种评估街道模型保真度的多指标评估方法
CN114384547A (zh) 一种基于雷达传感器模型的保真度检测的评估方法及系统
WO2021146905A1 (zh) 基于深度学习的场景模拟器构建方法、装置和计算机设备
WO2023123130A1 (zh) 用于自动驾驶系统的方法、装置、电子设备和介质
CN117521389A (zh) 一种基于车路协同感知仿真平台的车辆感知测试方法
CN116740274A (zh) 一种面向自动驾驶视觉感知系统的对抗场景生成方法
Li et al. A novel traffic simulation framework for testing autonomous vehicles using sumo and carla
CN112329830B (zh) 一种基于卷积神经网络和迁移学习的无源定位轨迹数据识别方法及系统
JP2020109602A (ja) モデル生成装置、車両シミュレーションシステム、モデル生成方法およびコンピュータプログラム
Laux et al. Build Your Own Training Data--Synthetic Data for Object Detection in Aerial Images
Kesury et al. Radar modeling for autonomous vehicle simulation environment with open-source utilities
CN116449807B (zh) 一种物联网汽车操控系统仿真测试方法及系统
Hsiang et al. Development of Simulation-Based Testing Scenario Generator for Robustness Verification of Autonomous Vehicles
CN112883785A (zh) 基于平行视觉理论的铁路运行环境安全图像检测系统
CN114384483B (zh) 一种基于深度学习的雷达传感器模型保真度的评估方法
CN113435538B (zh) 一种无线通信设备部署方法及装置
CN114008683B (zh) 用于运行车辆的驾驶员辅助系统的方法和车辆的驾驶员辅助系统
US20240177457A1 (en) Generating Training Samples via 3D Modeling for Greenhouse Gas Emission Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination