CN117730289A - 测试方法及装置 - Google Patents

测试方法及装置 Download PDF

Info

Publication number
CN117730289A
CN117730289A CN202280050537.1A CN202280050537A CN117730289A CN 117730289 A CN117730289 A CN 117730289A CN 202280050537 A CN202280050537 A CN 202280050537A CN 117730289 A CN117730289 A CN 117730289A
Authority
CN
China
Prior art keywords
scene
test
driving system
intelligent driving
testing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280050537.1A
Other languages
English (en)
Inventor
罗达新
马莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN117730289A publication Critical patent/CN117730289A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Abstract

本申请涉及一种测试方法及装置，本申请涉及智能交通和智能驾驶技术领域。所述方法包括获取第一场景；根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。智能驾驶系统可以应用于车辆中，本申请实施例提供的测试方法及装置能够提高智能驾驶系统在场景下的性能测试的准确性，以提高车辆行驶的安全性。

Description

测试方法及装置 技术领域
本申请涉及智能交通和智能驾驶技术领域，尤其涉及一种测试方法及装置。
背景技术
近年来，自动驾驶技术迅速发展。汽车作为一种交通工具，在给人来带来方便的同时，也带来了很多安全隐患。交通事故经常出现在人类生活中，威胁着人们的生命、健康以及财产安全。因此，安全成为了自动驾驶系统(Autonomous Driving System，ADS)或者智能驾驶系统的最关键因素，自动驾驶汽车需要在确保安全的前提条件下进行控制和行驶。
预期功能安全(Safety of The Intended Functionality，SOTIF)的定义为：没有不合理的危险，危险都是由于预期行为的性能限制或者用户合理可预见的滥用造成的。其中，性能限制是指自动驾驶系统自身功能不完善；滥用是指人位未按照制造商涉及系统的要求使用自动驾驶系统。
在SOTIF中，驾驶场景分为四类：已知安全场景(Known Safe Scenarios)、已知非安全场景(Known Unsafe Scenarios)、未知非安全场景((Unknown Unsafe Scenarios))和未知安全场景(Unknown Safe Scenarios)。图1示出了驾驶场景的示例性示意图。如图1所示，区域1代表已知安全场景、区域2代表已知非安全场景、区域3代表未知非安全场景、区域4代表未知安全场景。智能驾驶系统在场景下的测试性能是否安全非常重要。因此，如何准确地测试智能驾驶系统在场景下的性能是当前亟待解决的问题。
发明内容
有鉴于此，提出了一种测试方法，能够提高智能驾驶系统在场景下的性能测试的准确性。
第一方面，本申请的实施例提供了一种测试方法，所述方法包括：获取第一场景；根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
在本申请实施例中，根据需要进行测试的场景，确定对智能驾驶系统进行性能测试的测试方法，提高了测试方法与需要进行测试的场景的适配度，从而提高了智能驾驶系统在场景下的性能测试的准确性。
根据第一方面，在所述方法的第一种可能的实现方式中，所述方法还包括：基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
在本申请实施例中，通过采用与场景适配的测试方法进行性能测试，可以有效提高智能驾驶系统在场景下的性能测试的准确性。
根据第一方面的第一种可能的实现方式，在所述方法的第二种可能的实现方式中， 所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果，包括：基于所述第一测试方式，模拟所述第一场景；在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
根据第一方面的第一种可能的实现方式或者第二种可能的实现方式，在所述方法的第三种可能的实现方式中，所述方法还包括：
在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
这样，在智能驾驶系统再次遇到第一场景时，可以按照第一场景对应的感知能力和驾驶策略进行运行，以实现安全驾驶。
根据第一方面的第一中可能的实现方式至第三种可能的实现方式中的任意一种，在所述方法的第四种可能的实现方式中，所述方法还包括：
在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
根据第一方面的第四种可能的实现方式，在所述方法的第五种可能的实现方式中，所述根据所述原因，更新所述智能驾驶系统包括：
在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
和/或，
在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
在本申请实施例中，可以分析导致所述智能驾驶系统在第一场景下测试未通过的原因，进而更新智能驾驶系统，从而使智能驾驶系统在第一场景下的测试结果变更为测试通过，也就是说，将第一场景由非安全场景变换为安全场景。
根据第一方面的第二种可能的实现方式至第五种可能的实现方式中的任意一种，在所述方法的第六种可能的实现方式中，所述方法还包括：
在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
根据第一方面的第二种可能的实现方式至第六种可能的实现方式中的任意一种，在所述方法的第七种可能的实现方式中，所述方法还包括：
在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所 述第一场景下的性能进行测试。
根据第一方面的第二种可能的实现方式至第七种可能的实现方式中的任意一种，在所述方法的第八种可能的实现方式中，
所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；
所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；
所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
根据第一方面，或者以上第一方面的任意一种可能的实现方式，在所述方法的第九种可能的实现方式中，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
所述获取第一场景包括：
在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
根据第一方面的第九种可能的实现方式，在所述方法的第十种可能的实现方式中，所述根据所述第一场景，确定第一测试方法包括：
根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
第二方面，本申请的实施例提供了一种测试装置，所述装置包括：获取模块，用于获取第一场景；确定模块，用于根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
根据第二方面，在所述装置的第一种可能的实现方式中，所述装置还包括：
测试模块，用于基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
根据第二方面的第一种可能的实现方式，在所述装置的第二种可能的实现方式中，所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述测试模块还用于：
基于所述第一测试方式，模拟所述第一场景；
在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；
根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
根据第二方面的第一种可能的实现方式或者第二种可能的实现方式，在所述装置的第三种可能的实现方式中，所述装置还包括：
记录模块，用于在所述测试结果为测试通过的情况下，将所述第一场景添加至所 述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
根据第二方面的第一中可能的实现方式至第三种可能的实现方式中的任意一种，在所述装置的第四种可能的实现方式中，所述装置还包括：
分析模块，用于在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
更新模块，用于基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
根据第二方面的第四种可能的实现方式，在所述装置的第五种可能的实现方式中，所述根据所述原因，所述更新模块还用于：
在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
和/或，
在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
根据第二方面的第二种可能的实现方式至第五种可能的实现方式中的任意一种，在所述装置的第六种可能的实现方式中，所述装置还包括：
第一发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
根据第二方面的第二种可能的实现方式至第六种可能的实现方式中的任意一种，在所述装置的第七种可能的实现方式中，所述装置还包括：
第二发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
根据第二方面的第二种可能的实现方式至第七种可能的实现方式中的任意一种，在所述装置的第八种可能的实现方式中，所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
根据第二方面，或者以上第二方面的任意一种可能的实现方式，在所述装置的第九种可能的实现方式中，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
所述获取模块还用于：
在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
根据第二方面的第九种可能的实现方式，在所述装置的第十种可能的实现方式中， 所述确定模块还用于：
根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
第三方面，本申请的实施例提供了一种测试装置，该测试装置可以执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的测试方法。
第四方面，本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的测试方法。
第五方面，本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的测试方法。
本申请的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出了驾驶场景的示例性示意图；
图2示出了区域的演进示意图；
图3示出本申请实施例提供的测试系统的结构示意图；
图4示出本申请实施例提供的测试方法的流程图；
图5示出本申请实施例提供的测试方法的流程图；
图6示出本申请实施例提供的测试方法的交互流程图；
图7示出本申请实施例提供的测试装置的结构示意图；
图8示出本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
图3示出本申请实施例提供的测试系统的结构示意图。该系统包括智能驾驶装置 101和测试装置102。其中，智能驾驶装置101和测试装置102可以通过网络通信。智能驾驶装置101可以在场景中运行，并向测试装置102发送运行数据。测试装置102可以对智能驾驶装置101中配置的智能驾驶系统的性能进行测试。
在一种可能的实现方式中，智能驾驶装置101可以是具有智能驾驶能力和数据收发能力的电子设备。例如，智能驾驶装置101可以是装备有激光雷达、摄像头、全球导航卫星系统(GlobalNavigation Satellite System，GNSS)、惯性测量单元(Inertial Measurement Unit，IMU)等一个或多种传感器的实际车辆。在另一种可能的实现方式中，智能驾驶装置101可以是由仿真系统外接的智能驾驶系统控制的仿真车辆。
在一种可能的实现方式中，测试装置102可以是具有数据处理能力和数据收发能力的电子设备，可以是实体设备如主机、框架式服务器、刀片式服务器等，也可以是虚拟设备如虚拟机、容器等。测试装置102可以部署在云端，也可以部署在实际车辆中，对此本申请实施例不做限制。
智能驾驶装置101运行的场景可能是安全场景，也可能是非安全场景，测试装置102可以通过对智能驾驶装置101中配置的智能驾驶系统的性能进行测试。
在本申请实施例中，智能驾驶指的是机器帮助人进行驾驶，以及在特殊情况下完全取代人进行驾驶的技术。智能驾驶主要包括网络导航、自主驾驶和人工干预三个环节。智能驾驶的网络导航，解决我们在哪里、到哪里、走哪条道路中的哪条车道等问题；自主驾驶是在智能系统控制下，完成车道保持、超车并道、红灯停绿灯行、灯语笛语交互等驾驶行为；人工干预就是说驾驶员在智能系统的一系列提示下，对实际的道路情况作出的反应。智能驾驶系统是指用于实现智能驾驶技术的系统。在本申请实施例中，智能驾驶系统包括且不限于辅助驾驶系统和自动驾驶系统。部署了智能驾驶系统的汽车(即智能汽车)可以运用计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，实现环境感知、规划决策以及多等级辅助驾驶功能，从而提高安全性。
本申请实施例提供一种测试方法，该方法可以应用于诸如图3所示的测试装置102等的电子设备中。本申请实施例提供的测试方法可以根据需要进行测试的场景，确定对智能驾驶系统进行性能测试的测试方法，提高了测试方法与需要进行测试的场景的适配度，从而提高了智能驾驶系统在场景下的性能测试的准确性。
图4示出本申请实施例提供的测试方法的流程图。如图4所示，该测试方法可以包括：
步骤S401，获取第一场景。
其中，第一场景可以用于表示当前要进行测试的场景。在一种可能的实现方式中，第一场景可以包括已知非安全场景(即但智能驾驶系统出错的场景)，以及未在设计运行区域(Operational Design Domain，ODD)内的场景。
在一种可能的实现方式中，第一场景可以用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者。其中，时间信息可以用于指示第一场景出现的时间，举例来说，时间信息可以为上午、下午或者晚上，时间信息也可以为季节或者月份。天气信息可以用于指示出现的第一场景时的天气，举例来说，天气信息可以为晴天、阴天、雾天、雨天、雪天等，天气信息还可以进行更 细粒度的划分，例如大雾、暴雨等。地形信息可以用于指示第一场景涉及的地形，举例来说，地形信息可以为平坦和坑洼等。道路信息可以用于指示第一场景中道路的情况，举例来说，道路信息可以为城市道路、乡村道路、山区道路、单车道、多车道和单行道等。交通参与者的运动状态信息可以用于指示出现在第一场景中的交通参与者的运动状态，举例来说，交通参与者包括但不限于行人、非机动车辆、机动车辆、绿化带、交通信号灯以及街边建筑物等，交通参与者的运动状态信息包括但不限于位置、行驶方向、速度、加速度以及交通信号灯的状态信息(红灯、绿灯、黄灯、闪烁)等。在一个示例中，第一场景A可以用于指示：夜晚、雨天、山区、国道；第一场景B可以用于指示：白天、晴天、郊区、高速。
在一种可能的实现方式中，对于任意一个已知非安全场景，可以根据该非安全场景出现时的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者，从而得到第一场景。在本申请实施例中，可以为已知非安全场景重新适配测试方法重新进行测试，以将已知非安全场景变更为已知安全场景。
在一种可能的实现方式中，对于任意一个未在ODD内的场景，可以根据当前的信息，获得第一场景。在一个示例中，在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。在本申请实施例中，遇到未出现过的场景时，若智能驾驶系统运行出现了错误(例如，进入弯道无法提前限速；驾驶员对方向盘操控后，系统出现强烈对抗或者极易退出两种极端；横向控制过程中，出现控制超调，导致急速偏离车道等等)或者提示危险(例如，提示追尾危险、提示横向漂移危险等等)，表明当前场景可能是非安全的场景，因此，可以获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者，得到第一场景，进而对第一场景进行测试，使得该未知的场景变更为已知安全场景。
步骤S402，根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
其中，第一测试方法可以用于指示与第一场景对应的测试方法。第一测试方法与第一场景的适配度较高，采用第一测试方法对智能驾驶系统在第一场景下的性能进行测试时，得到的测试结果的准确性较高。
在一种可能的实现方式中，所述第一测试方法可以用于指示第一测试方式、第一测试内容和第一测试指标。其中，第一测试方式可以用于指示第一测试场景适用的测试方式。举例来说，第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者。第一测试内容可以用于指示对智能驾驶系统在第一场景的性能进行测试时需要测试的测试内容。举例来说，第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者。第一测试指标可以用于指示对智能驾驶系统在第一场景的性能进行测试时对运行数据进行评判的测试指标。举例来说，第一测试指标至少包括安全距离和/或交通规则中的一者或多者。需要说明的是，以上为第一测试方式、第一测试内容和第一测试指标的示例性说明，并不用于限制。
在一种可能的实现方式中，步骤S402可以包括：根据所述第一场景的实际场景构 造难度，确定所述第一场景适用的测试方式；根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
在一个示例中，在第一场景的实际场景构造难度比较大时，可以将仿真评估确定为第一场景适用的测试方式。例如，雨天场景、雾天场景、山区场景等场景的实际场景构造难度比较大，可以将仿真评估确定相应的测试方式。在第一场景的实际场景构造难度比较小时，可以将封闭场地测试或者实际道路测试确定为第一场景适用的测试方式。例如，停车场场景、城市道路场景、晴天场景等场景的实际场景构造难度比较小，可以将封闭场地测试或者实际道路测试确定为第一场景适用的测试方式。在一种可能的实现方式中，可以第一场景对应的第一测试方式可以有多个。也就是说，可以采用多种测试方式对智能驾驶系统在第一场景下的性能进行测试，例如既采用仿真方式，又采用封闭场地测试。
在一个示例中，在第一场景对安全距离有需求时，第一测试内容需要包括安全距离，第一测试指标需要包括最小安全距离。在第一场景对交通规则有需求时，第一测试内容需要包括合规遵从性，第一测试指标需要包括交通规则。在第一场景对舒适度有需求时，第一测试内容需要包括行驶平稳度，第一测试指标需要包括紧急刹车次数或者紧急加速次数等。
根据第一场景适用的测试方式(即第一测试方式)、第一场景适用的测试内容(即第一测试内容)以及第一场景适用的测试指标(即第一测试指标)，额可以确定与第一场景相对应的第一测试方法。举例来说，第一场景A用于指示：夜晚、雨天、山区、国道。出于实际场景构造难度的考虑，第一场景A的测试方式可以选择仿真评估的方式，测试内容可以包括合规遵从性、危险程度、行驶平稳性，测试指标可选择较大的安全距离(如10秒)、一般的行驶平稳度、并严格遵守限速和不得超车等交通规则。第一场景B可以指示：白天、晴天、郊区、高速。出于实际场景构造难度的考虑，第一场景B的测试方式选择仿真评估的方式，测试内容可以包括合规遵从性、危险程度、行驶平稳性，测试指标可以选择常用安全距离(如5秒)、较高的行驶平稳度、并严格遵守限速和不得跟车过近等交通规则。
在一种可能的实现方式中，可以预设测试方法与场景的对应关系，查找与时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者匹配的对应关系，并将查找到的对应关系中的测试方法指示的测试方式、测试内容和测试指标确定为第一场景指示的第一测试方式、第一测试内容和第一测试指标。
在本申请实施例中，根据需要进行测试的场景，确定对智能驾驶系统进行性能测试的测试方法，提高了测试方法与需要进行测试的场景的适配度，从而提高了智能驾驶系统在场景下的性能测试的准确性。
图5示出本申请实施例提供的测试方法的流程图。如图5所示，在图4的基础上，所述测试方法还可以包括：
步骤S403，基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
测试结果为测试通过或者测试未通过。测试通过表明智能驾驶系统可以在第一场 景下正常运行，第一场景为安全场景，测试未通过表明智能驾驶系统在第一场景下无法正常运行，第一场景为非安全场景。
在一种可能的实现方式中，步骤S403可以包括：基于所述第一测试方式，模拟所述第一场景；在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
其中，运行数据包括但不限于位置、速度、加速度、行驶方向等。可以理解的是，运行数据基于第一测试内容获得，运行数据以第一测试指标作为评判标准。在运行数据满足第一测试指标的情况下，可以确定测试结果为测试通过；在运行数据不满足第一测试指标的情况下，可以确定测试结果为测试未通过。
在本申请实施例中，采用与第一场景适配的第一测试方法对智能驾驶系统在所述第一场景下的性能进行测试，提高了智能驾驶系统在场景下的性能测试的准确性。
在一种可能的实现方式，所述方法还包括：在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
其中，感知能力指的智能驾驶系统对车辆周边环境(例如行人、车辆、车道、交通指示灯、障碍物、绿化带或者街边建筑物等)的感知能力。感知能力与车辆的传感器相关。可以理解的是，在车速较快时，需要较强的感知能力；在拥堵路段，需要较强的感知能力。在感知能力不足时，智能驾驶系统可以调配一部分计算资源到感知上以提高感知能力。驾驶策略指的是智能驾驶系统的驾驶规划算法。例如，雨天或者雾天的驾驶策略可以包括较大的安全距离，降低的车速等。雾天的驾驶策略还可以包括打开雾灯和鸣笛等。
在测试结果为测试通过的情况下，表明智能驾驶系统可以在第一场景下正常运行，第一场景为安全场景，因此，可以将第一场景添加至智能驾驶系统支持的场景库中，并记录智能驾驶系统在第一场景下运行时的感知能力和驾驶策略。这样，智能驾驶系统再次遇到第一场景时，可以基于支持的场景库，确定第一场景是安全场景，可以应用第一场景对应的感知能力和驾驶策略，从而实现安全驾驶。
在一个示例中，智能驾驶系统可以基于当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，确定当前场景是否为智能驾驶系统支持的场景，即安全场景。在当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个与智能驾驶系统支持的场景库中第一场景指示的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者相匹配的情况下，可以将第一场景确定为智能驾驶系统当前所在场景，并且按照智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略运行，以实现安全驾驶。
在本申请实施例中，通过存储测试通过的第一场景以及第一场景对应的感知能力和驾驶策略，可以使车辆再次遇到第一场景下时可以实现安全驾驶。
在一种可能的实现方式中，所述方法还包括：在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；基于所述原 因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
测试未通过表明智能驾驶系统在第一场景下无法正常运行，第一场景为非安全场景，为了使智能驾驶系统可以在第一场景下实现安全驾驶，在本申请实施例中，可以分析导致所述智能驾驶系统在第一场景下测试未通过的原因，进而更新智能驾驶系统，从而使智能驾驶系统在第一场景下的测试结果变更为测试通过，也就是说，将第一场景由非安全场景变换为安全场景。可以理解的是，在智能驾驶系统在第一场景下的测试结果变更为测试通过之后，可以将第一场景添加至所述智能驾驶系统支持的场景库中，并记录更新后的智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略，这样可以使车辆再次遇到第一场景下时可以实现安全驾驶。
在一种可能的实现方式中，所述根据所述原因，更新所述智能驾驶系统可以包括：在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力。
在一种可能的实现方式中，所述根据所述原因，更新所述智能驾驶系统可以包括：在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
其中，驾驶策略的参数包括但不限于速度、安全距离、加速度等。
在一种可能的实现方式中，所述根据所述原因，更新所述智能驾驶系统可以包括：在所述原因为传感器感知错误以及驾驶策略的参数错误时，提升所述智能驾驶系统在所述第一场景下的感知能力，并调整所述智能驾驶系统在所述第一场景下的驾驶策略。
需要说明的是，以上仅为导致智能驾驶系统在所述第一场景下测试未通过的原因的示例，导致测试未通过的原因还可以有其他原因，以及，以上仅为更新智能驾驶系统的方式的示例，基于其他原因还可以有其他的更新智能驾驶系统的方式，对此本申请实施例不做限制。
在一种可能的实现方式中，所述方法还包括：在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
在本申请实施例中，通过将测试通过的第一场景和第一场景对应的感知能力和驾驶策略发送至云端和/或他车，可以实现其他车辆的智能驾驶系统在第一场景下的安全驾驶。
在一种可能的实现方式中，所述方法还包括：在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
在本申请实施例中，通过将测试通过的第一场景对应的第一测试方法发送至云端和/或他车，可以使云端和/或他车对第一场景下智能驾驶系统的性能进行准确的测试，从而有利于他车在第一场景下进行安全驾驶。
在一种可能的实现方式中，可以通过空中下载技术(Over-the-Air Technology，OTA)发送上述测试通过的第一场景和第一场景对应的感知能力和驾驶策略，以及上述第一 测试方法。
图6示出本申请实施例提供的测试方法的交互流程图。如图6所示，所述方法包括：
步骤S601，第一车辆根据第一场景，确定第一测试方法。
步骤S602，第一车辆基于第一测试方法对智能驾驶系统在第一场景下的性能进行测试，得到测试结果。
步骤S603，在测试通过的情况下，第一车辆将第一场景添加至智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
步骤S604，在测试通过的情况下，第一车辆将第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端。
步骤S605，云端将接收到的第一场景，以及第一场景对应的感知能力和驾驶策略发送至第二车辆。
这样，第二车辆在遇到第一场景时可以实现安全驾驶。
步骤S606，在测试通过的情况下，第一车辆将第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至第三车辆。
这样，第三车辆在遇到第一场景时可以实现安全驾驶。
需要说明的是，上述第一车辆可以为任意车辆，第二车辆和第三车辆可以表示与第一车辆的智能驾驶系统相同的车辆，上述步骤S604和步骤S606是可选的。在一个示例中，上述步骤S601至步骤S606中的第一车辆可以变更为云端，此时无需执行步骤S604和步骤S605。在另一个示例中，上述步骤S601至步骤S606中的第一车辆还可以变更为其他具备第一场景测试能力的电子设备，对此本申请实施例不做限制。
图7示出本申请实施例提供的测试装置的结构示意图。如图7所示，该装置700可以包括：
获取模块701，用于获取第一场景；
确定模块702，用于根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
在本申请实施例中，根据需要进行测试的场景，确定对智能驾驶系统进行性能测试的测试方法，提高了测试方法与需要进行测试的场景的适配度，从而提高了智能驾驶系统在场景下的性能测试的准确性。
在一种可能的实现方式中，所述装置还包括：
测试模块，用于基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
在一种可能的实现方式中，所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述测试模块还用于：
基于所述第一测试方式，模拟所述第一场景；
在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；
根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
在一种可能的实现方式中，所述装置还包括：
记录模块，用于在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
在一种可能的实现方式中，所述装置还包括：
分析模块，用于在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
更新模块，用于基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
在一种可能的实现方式中，所述根据所述原因，所述更新模块还用于：
在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
和/或，
在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
在一种可能的实现方式中，所述装置还包括：
第一发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
在一种可能的实现方式中，所述装置还包括：
第二发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
在一种可能的实现方式中，
所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；
所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；
所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
在一种可能的实现方式中，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
所述获取模块还用于：
在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
在一种可能的实现方式中，所述确定模块还用于：
根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
图8示出本申请实施例提供的测试装置的结构示意图。该测试装置可以部署在车辆等终端设备中，也可以部署在云端服务器中。
如图8所示，测试装置可以包括至少一个处理器301，存储器302、输入输出设备303以及总线304。下面结合图8对测试装置的各个构成部件进行具体的介绍：
处理器301是测试装置的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器301是一个中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本公开实施例的一个或多个集成电路，例如：一个或多个微处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。
其中，处理器301可以通过运行或执行存储在存储器302内的软件程序，以及调用存储在存储器302内的数据，执行测试装置的各种功能。
在具体的实现中，作为一种实施例，处理器301可以包括一个或多个CPU，例如图中所示的CPU 0和CPU 1。
在具体实现中，作为一种实施例，测试装置可以包括多个处理器，例如图8中所示的处理器301和处理器305。这些处理器中的每一个可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储器302可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器302可以是独立存在，通过总线304与处理器301相连接。存储器302也可以和处理器301集成在一起。
输入输出设备303，用于与其他设备或通信网络通信。如用于与以太网，无线接入网(Radio access network，RAN)，无线局域网(Wireless Local Area Networks，WLAN)等通信网络通信。输入输出设备303可以包括基带处理器的全部或部分，以及还可选择性地包括无线射频(Radio Frequency，RF)处理器。RF处理器用于收发RF信号，基带处理器则用于实现由RF信号转换的基带信号或即将转换为RF信号的基带信号的处理。
在具体实现中，作为一种实施例，输入输出设备303可以包括发射器和接收器。其中，发射器用于向其他设备或通信网络发送信号，接收器用于接收其他设备或通信 网络发送的信号。发射器和接收器可以独立存在，也可以集成在一起。
总线304，可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
图8中示出的设备结构并不构成对测试装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请的实施例提供了一种测试装置，包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述方法。
本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory，EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网 (Local Area Network，LAN)或广域网(Wide Area Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application Specific Integrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (25)

  1. 一种测试方法，其特征在于，所述方法包括：
    获取第一场景；
    根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
  3. 根据权利要求2所述的方法，其特征在于，所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果，包括：
    基于所述第一测试方式，模拟所述第一场景；
    在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；
    根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
  4. 根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
    在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
  5. 根据权利要求2至4中任意一项所述的方法，其特征在于，所述方法还包括：
    在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
    基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
  6. 根据权利要求5所述的方法，其特征在于，所述根据所述原因，更新所述智能驾驶系统包括：
    在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
    和/或，
    在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
  7. 根据权利要求3至6中任意一项所述的方法，其特征在于，所述方法还包括：
    在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
  8. 根据权利要求3至7中任意一项所述的方法，其特征在于，所述方法还包括：
    在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送 至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
  9. 根据权利要求3至8中任意一项所述的方法，其特征在于，
    所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；
    所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；
    所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
  10. 根据权利要求1至9中任意一项所述的方法，其特征在于，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
    所述获取第一场景包括：
    在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
  11. 根据权利要求10所述的方法，其特征在于，所述根据所述第一场景，确定第一测试方法包括：
    根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
    根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
    根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
  12. 一种测试装置，其特征在于，所述装置包括：
    获取模块，用于获取第一场景；
    确定模块，用于根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
  13. 根据权利要求12所述的装置，其特征在于，所述装置还包括：
    测试模块，用于基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
  14. 根据权利要求13所述的装置，其特征在于，所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述测试模块还用于：
    基于所述第一测试方式，模拟所述第一场景；
    在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；
    根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
  15. 根据权利要求13或14所述的装置，其特征在于，所述装置还包括：
    记录模块，用于在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时 的感知能力和驾驶策略。
  16. 根据权利要求13至15中任意一项所述的装置，其特征在于，所述装置还包括：
    分析模块，用于在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
    更新模块，用于基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
  17. 根据权利要求16所述的装置，其特征在于，所述根据所述原因，所述更新模块还用于：
    在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
    和/或，
    在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
  18. 根据权利要求14至17中任意一项所述的装置，其特征在于，所述装置还包括：
    第一发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
  19. 根据权利要求14至18中任意一项所述的装置，其特征在于，所述装置还包括：
    第二发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
  20. 根据权利要求14至19中任意一项所述的装置，其特征在于，
    所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；
    所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；
    所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
  21. 根据权利要求14至20中任意一项所述的装置，其特征在于，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
    所述获取模块还用于：
    在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
  22. 根据权利要求21所述的装置，其特征在于，所述确定模块还用于：
    根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
    根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
    根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与 所述第一场景相对应的第一测试方法。
  23. 一种测试装置，其特征在于，包括：
    处理器；
    用于存储处理器可执行指令的存储器；
    其中，所述处理器被配置为执行所述指令时实现权利要求1至11中任意一项所述的方法。
  24. 一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至11中任意一项所述的方法。
  25. 一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行权利要求1至11中任意一项所述的方法。
CN202280050537.1A 2022-01-13 2022-01-13 测试方法及装置 Pending CN117730289A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/071826 WO2023133758A1 (zh) 2022-01-13 2022-01-13 测试方法及装置

Publications (1)

Publication Number Publication Date
CN117730289A true CN117730289A (zh) 2024-03-19

Family

ID=87280024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280050537.1A Pending CN117730289A (zh) 2022-01-13 2022-01-13 测试方法及装置

Country Status (2)

Country Link
CN (1) CN117730289A (zh)
WO (1) WO2023133758A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116680932B (zh) * 2023-07-27 2023-11-21 安徽深信科创信息技术有限公司 一种自动驾驶仿真测试场景的评估方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525872A (en) * 2014-05-06 2015-11-11 Samuel Vaughan A system for preparing a user for driving test
CN108829087B (zh) * 2018-07-19 2019-09-10 山东省科学院自动化研究所 一种自动驾驶汽车的智能测试系统
CN109324539A (zh) * 2018-08-28 2019-02-12 山东省科学院自动化研究所 一种自动驾驶封闭测试场的智能控制平台及方法
CN112465395A (zh) * 2020-12-15 2021-03-09 同济大学 一种面向自动驾驶汽车的多维度综合评价方法及装置
WO2022221979A1 (zh) * 2021-04-19 2022-10-27 华为技术有限公司 一种自动驾驶场景的生成方法、装置及系统

Also Published As

Publication number Publication date
WO2023133758A1 (zh) 2023-07-20

Similar Documents

Publication Publication Date Title
US11157008B2 (en) Autonomous vehicle routing using annotated maps
CN109520744B (zh) 自动驾驶车辆的驾驶性能测试方法和装置
US10429841B2 (en) Vehicle control method and apparatus and method and apparatus for acquiring decision-making model
CN109213134B (zh) 生成自动驾驶策略的方法和装置
CN111781855B (zh) 一种交通在环自动驾驶仿真系统
US20190146508A1 (en) Dynamic vehicle routing using annotated maps and profiles
US20180267538A1 (en) Log-Based Vehicle Control System Verification
US20190354643A1 (en) Mixed reality simulation system for testing vehicle control system designs
US10635117B2 (en) Traffic navigation for a lead vehicle and associated following vehicles
CN110796007B (zh) 场景识别的方法与计算设备
US11315428B2 (en) Management of mobile objects
CN110562258A (zh) 一种车辆自动换道决策的方法、车载设备和存储介质
US11587366B1 (en) Systems and methods for selecting locations to validate automated vehicle data transmission
CN109729489B (zh) 用于车辆网状网的基于psm消息的设备发现
US11260876B2 (en) Inter-vehicle sensor validation using senso-fusion network
US10745010B2 (en) Detecting anomalous vehicle behavior through automatic voting
US11531349B2 (en) Corner case detection and collection for a path planning system
CN117730289A (zh) 测试方法及装置
US20220350338A1 (en) Platform for path planning system development for automated driving system
US20220196839A1 (en) Procedurally generated three-dimensional environment for use in autonomous vehicle simulations
CN114407915A (zh) 运行设计域odd的处理方法、装置及存储介质
US20230243952A1 (en) Unified radar perception architecture
US20240060788A1 (en) Map simulation services
US20240092375A1 (en) Autonomous vehicle sensor calibration algorithm evaluation
US11907050B1 (en) Automated event analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination