CN112347568B - 一种仿真测试的方法、相关装置、设备及存储介质 - Google Patents
一种仿真测试的方法、相关装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112347568B CN112347568B CN202011362104.9A CN202011362104A CN112347568B CN 112347568 B CN112347568 B CN 112347568B CN 202011362104 A CN202011362104 A CN 202011362104A CN 112347568 B CN112347568 B CN 112347568B
- Authority
- CN
- China
- Prior art keywords
- information
- algorithm
- time
- initial
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种基于人工智能技术实现的仿真测试方法,可用于自动驾驶领域,本申请包括:获取第一初始信息;获取异常配置信息,异常配置信息与第一初始信息属于相同类型的信息;根据第一初始信息以及异常配置信息,生成第一合成信息;若存在针对于目标对象的第一待检测算法,则基于第一合成信息,通过第一待检测算法获取仿真测试结果。本申请实施例还提供了相关装置、设备及存储介质。本申请可根据异常配置信息构建异常情况,使得自动驾驶仿真系统能够模拟出更多复杂且异常的场景,由此,对于自动驾驶算法的测试更加充分,从而有利于提升自动驾驶算法的适应能力。
Description
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种仿真测试的方法、相关装置、设备及存储介质。
背景技术
随着计算机技术的迅速发展,自动驾驶受到了人们的广泛关注,为了提高自动驾驶系统的安全性和可靠性,可通过自动驾驶系统对自动驾驶过程进行仿真。仿真作为一种低风险,快速迭代,且可复现的测试方法,为自动驾驶奠定了坚实的基础。
目前,在自动驾驶仿真运行之前,需要先搭建出仿真的交通环境。例如,在测试车辆的周边设置背景车辆,并设置背景车辆的驾驶行为。在自动驾驶仿真运行时,背景车辆按照预先定义的驾驶行为在道路上行驶,以此验证测试车辆的自动驾驶算法。
然而,自动驾驶车辆在真实环境下行驶的过程中,难以验证自动驾驶车辆在异常场景下的应对能力,导致自动驾驶算法的适应能力较差。
发明内容
本申请实施例提供了一种仿真测试的方法、相关装置、设备及存储介质,可根据异常配置信息构建异常情况,使得自动驾驶仿真系统能够模拟出更多复杂且异常的场景,由此,对于自动驾驶算法的测试更加充分,从而有利于提升自动驾驶算法的适应能力。
有鉴于此,本申请一方面提供一种仿真测试的方法,包括:
获取第一初始信息,其中,第一初始信息与目标对象具有关联关系;
获取异常配置信息,其中,异常配置信息与目标对象具有关联关系,且异常配置信息与第一初始信息属于相同类型的信息;
根据第一初始信息以及异常配置信息,生成第一合成信息;
若存在针对于目标对象的第一待检测算法,则基于第一合成信息,通过第一待检测算法获取仿真测试结果。
本申请另一方面提供一种仿真测试装置,包括:
获取模块,用于获取第一初始信息,其中,第一初始信息与目标对象具有关联关系;
获取模块,还用于获取异常配置信息,其中,异常配置信息与目标对象具有关联关系,且异常配置信息与第一初始信息属于相同类型的信息;
生成模块,用于根据第一初始信息以及异常配置信息,生成第一合成信息;
获取模块,还用于若存在针对于目标对象的第一待检测算法,则基于第一合成信息,通过第一待检测算法获取仿真测试结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,具体用于获取初始时间信息;
获取模块,具体用于通过人机交互界面接收针对于时间信息的第一配置指令,其中,第一配置指令携带目标对象的对象标识;
响应于第一配置指令,获取异常时间信息,其中,异常时间信息包括第一待检测算法的标识、信息名称、时间偏移量、注入起始时间以及注入结束时间中至少一项;
生成模块,具体用于根据初始时间信息以及异常时间信息,生成时间合成信息。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
生成模块,具体用于根据注入起始时间以及注入结束时间,确定注入时间范围;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入时间范围之内,则将初始时间信息与时间偏移量进行加和处理,得到时间合成信息;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取时间合成信息。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,具体用于获取初始空间信息;
获取模块,具体用于通过人机交互界面接收针对于空间信息的第二配置指令,其中,第二配置指令携带目标对象的对象标识;
响应于第二配置指令,获取异常空间信息,其中,异常空间信息包括第一待检测算法的标识、信息名称、位置偏移对象标识、位置偏移量、注入起始时间以及注入结束时间中至少一项;
生成模块,具体用于根据初始空间信息以及异常空间信息,生成空间合成信息。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
生成模块,具体用于根据注入起始时间以及注入结束时间,确定注入时间范围;
获取初始时间信息;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入时间范围之内,则根据位置偏移对象标识确定待偏移对象,并将待偏移对象所对应的初始空间信息与位置偏移量进行加和处理,得到空间合成信息;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取空间合成信息。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,具体用于获取初始载重信息;
获取模块,具体用于通过人机交互界面接收针对于载重信息的第三配置指令,其中,第三配置指令携带目标对象的对象标识;
响应于第三配置指令,获取目标对象所对应的异常载重信息,其中,第一异常载重信息包括第一待检测算法的标识、信息名称、载重偏移量、注入起始时间以及注入结束时间中的至少一种;
生成模块,具体用于根据初始载重信息以及异常载重信息,生成载重合成信息。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
生成模块,具体用于根据注入起始时间以及注入结束时间,确定注入时间范围;
获取初始时间信息;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入时间范围之内,则将初始载重信息与载重偏移量进行加和处理,得到载重合成信息,其中,初始载重信息包括目标对象的初始载重量;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取载重合成信息。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,具体用于若第一合成信息包括时间合成信息,则基于时间合成信息,通过第一待检测算法获取目标对象所对应的第一仿真测试结果,其中,第一仿真测试结果包括行驶评分以及行驶通过结果中的至少一种;和/或
若第一合成信息包括空间合成信息,则基于空间合成信息,通过第一待检测算法获取目标对象所对应的第二仿真测试结果,其中,第二仿真测试结果包括行驶评分以及行驶通过结果中的至少一种;和/或
若第一合成信息包括载重合成信息,则基于载重合成信息,通过第一待检测算法获取目标对象所对应的第三仿真测试结果,其中,第三仿真测试结果包括行驶评分以及行驶通过结果中的至少一种。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,仿真测试装置还包括确定模块以及更新模块;
确定模块,用于在获取模块基于第一合成信息,通过第一待检测算法获取仿真测试结果之后,若仿真测试结果满足仿真测试条件,则将第一待检测算法确定为目标对象的自动驾驶算法;
更新模块,用于在获取模块基于第一合成信息,通过第一待检测算法获取仿真测试结果之后,若仿真测试结果未满足仿真测试条件,则更新第一待检测算法,得到更新后的第一待检测算法,其中,更新后的第一待检测算法用于执行下一轮仿真测试。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,具体用于通过第一待检测算法获取第一初始信息;
获取模块,还用于在生成模块根据第一初始信息以及异常配置信息,生成第一合成信息之后,若存在第一待检测算法以及第二待检测算法,则基于第一合成信息,通过第二待检测算法获取仿真测试结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,仿真测试装置还包括确定模块以及更新模块;
确定模块,用于在获取模块基于第一合成信息,通过第二待检测算法获取仿真测试结果之后,若仿真测试结果满足仿真测试条件,则将第一待检测算法以及第二待检测算法确定为目标对象的自动驾驶算法;
更新模块,用于在获取模块基于第一合成信息,通过第二待检测算法获取仿真测试结果之后,若仿真测试结果未满足仿真测试条件,则更新第一待检测算法和第二待检测算法中的至少一种,得到更新后的待检测算法,其中,更新后的待检测算法用于执行下一轮仿真测试。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,具体用于通过第一待检测算法获取第一初始信息;
获取模块,还用于在生成模块根据第一初始信息以及异常配置信息,生成第一合成信息之后,若存在第一待检测算法、第二待检测算法以及第三待检测算法,则基于第一合成信息,通过第二待检测算法获取第二初始信息,其中,第二初始信息与目标对象具有关联关系;
生成模块,还用于根据第二初始信息以及异常配置信息,生成第二合成信息;
获取模块,还用于基于第二合成信息,通过第三待检测算法获取仿真测试结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,仿真测试装置还包括确定模块以及更新模块;
确定模块,用于在获取模块基于第二合成信息,通过第三待检测算法获取仿真测试结果之后,若仿真测试结果满足仿真测试条件,则将第一待检测算法、第二待检测算法以及第三待检测算法确定为目标对象的自动驾驶算法;
更新模块,用于在获取模块基于第二合成信息,通过第三待检测算法获取仿真测试结果之后,若仿真测试结果未满足仿真测试条件,则更新第一待检测算法、第二待检测算法和第三待检测算法中的至少一种,得到更新后的待检测算法,其中,更新后的待检测算法用于执行下一轮仿真测试。
本申请另一方面提供一种计算机设备,包括:存储器、处理器以及总线系统;
其中,存储器用于存储程序;
处理器用于执行存储器中的程序,处理器用于根据程序代码中的指令执行上述各方面的方法;
总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请的另一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
本申请的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方面所提供的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种仿真测试的方法,获取第一初始信息以及异常配置信息,然后根据第一初始信息以及异常配置信息,生成第一合成信息,如果存在针对于目标对象的第一待检测算法,则基于第一合成信息,通过第一待检测算法获取仿真测试结果。通过上述方式,实现了在自动驾驶仿真系统中,可根据异常配置信息构建异常情况,使得自动驾驶仿真系统能够模拟出更多复杂且异常的场景,由此,对于自动驾驶算法的测试更加充分,从而有利于提升自动驾驶算法的适应能力。
附图说明
图1为本申请实施例中自动驾驶仿真系统的一个环境示意图;
图2为本申请实施例中仿真测试方法的一个整体流程示意图;
图3为本申请实施例中仿真测试方法的一个实施例示意图;
图4为本申请实施例中算法添加界面的一个示意图;
图5为本申请实施例中时间信息配置界面的一个示意图;
图6为本申请实施例中空间信息配置界面的一个示意图;
图7为本申请实施例中载重信息配置界面的一个示意图;
图8为本申请实施例中输出第一仿真测试结果的一个人机交互界面示意图;
图9为本申请实施例中输出第二仿真测试结果的一个人机交互界面示意图;
图10为本申请实施例中输出第三仿真测试结果的一个人机交互界面示意图;
图11为本申请实施例中注入异常配置信息的一个交互示意图;
图12为本申请实施例中注入异常配置信息的另一个交互示意图;
图13为本申请实施例中注入异常配置信息的另一个交互示意图;
图14为本申请实施例中仿真测试装置的一个实施例示意图;
图15为本申请实施例中终端设备的一个结构示意图;
图16为本申请实施例中服务器的一个结构示意图。
具体实施方式
本申请实施例提供了一种仿真测试的方法、相关装置、设备及存储介质,可根据异常配置信息构建异常情况,使得自动驾驶仿真系统能够模拟出更多复杂且异常的场景,由此,对于自动驾驶算法的测试更加充分,从而有利于提升自动驾驶算法的适应能力。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使自动驾驶算法的测试结果真实可靠,自动驾驶仿真系统需要尽可能接近真实。在自动驾驶仿真系统中可以还原某个现实场景,例如,还原真实场景中建筑、障碍物、道路元素以及车辆的高度、宽度以及彼此之间的相对距离等,这一步通常依赖于前期的数据采集、标定以及三维重建技术。在自动驾驶仿真系统中还可以还原物理规律,例如,还原车辆在运行的过程中会受到路面摩擦系数和风阻系数的影响,以及还原踩油门加速,踩刹车会减速等,借助传感器模型以及车辆动力学模型等组件,使得物体元素的运行规律与真实世界保持一致。
在自动驾驶过程中,可能会出现一些时间、空间以及载重上的异常,例如,上游模块和下游模块之间出现消息发送延迟的情况,消息时间不同,定位信息异常,感知的障碍物位置异常,主车的载重系统出现异常等,这些异常情况都可能导致自动驾驶算法不准确。基于此,本申请实施例提出一种仿真测试的方法,能够在自动驾驶仿真系统中,模拟现实中所遇到的时间异常,空间异常以及载重异常等情况,解决了在实际测试时几乎无法可控地构造时间异常,空间异常以及载重异常等问题。
本申请实施例提出的一种仿真测试的方法,适用于自动驾驶领域,其中,自动驾驶领域涉及自动驾驶技术,自动驾驶技术属于人工智能(Artificial Intelligence,AI)的一部分,自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术,自定驾驶技术有着广泛的应用前景。
AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,AI是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。AI也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。AI技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。AI基础技术一般包括如传感器、专用AI芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。AI软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及ML/深度学习等几大方向。
随着AI技术研究和进步,AI技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,AI技术将在更多的领域得到应用,并发挥越来越重要的价值。
为了便于说明,请参阅图1,图1为本申请实施例中自动驾驶仿真系统的一个环境示意图,如图所示,自动驾驶仿真系统可包括服务器和终端设备,或者,自动驾驶仿真系统包括终端设备,人机交互界面部署于终端设备上。本申请涉及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、掌上电脑、个人电脑、智能电视、智能手表、车载终端等,但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。服务器和终端设备的数量也不做限制。
具体地,测试人员可通过自动驾驶仿真系统所包括的终端设备,输入相关的异常配置信息,例如,输入异常时间信息、异常空间信息以及异常载重信息中的至少一种,终端设备将异常配置信息传输至服务器,由服务器结合异常配置信息以及初始信息生成合成信息,该合成信息即为注入异常信息后得到的信息。可选地,如果自动驾驶仿真系统只包括终端设备,那么测试人员可通过自动驾驶仿真系统所包括的终端设备,输入相关的异常配置信息,终端设备结合异常配置信息以及初始信息生成合成信息。最后,利用合成信息构建异常情况,用于验证和评估自动驾驶算法在测试场景中的行为表现,从而达到不断优化改进自动驾驶算法处理时间和空间异常的能力。
结合图1所示的自动驾驶仿真系统,下面将对本申请提出的仿真测试流程进行介绍,请参阅图2,图2为本申请实施例中仿真测试方法的一个整体流程示意图,如图所示,具体地:
在步骤S1中,测试人员可通过终端设备提供的人机交互界面,提交至少一个待检测算法至自动驾驶仿真系统。
在步骤S2中,自动驾驶仿真系统获取异常注入配置模块,其中,异常注入配置模块是一个功能性模块,相当于提供了一个输入异常配置信息的入口。
在步骤S3中,自动驾驶仿真系统判断是否存在输入的异常配置信息,如果存在异常配置信息,则执行步骤S4,反之,如果不存在异常配置信息,则跳转至步骤S5。
在步骤S4中,如果存在异常配置信息,那么自动驾驶仿真系统可基于异常配置信息,注册对应的异常注入模块,其中,异常配置信息可以包括异常时间信息、异常空间信息以及异常载重信息,不同类型的信息通常由不同异常注入模块进行控制。例如,异常注入模块A用于将异常时间信息注入至正常时间信息中,异常注入模块B用于将异常空间信息注入至正常空间信息中,异常注入模块C用于将异常载重信息注入至正常载重信息中。
在步骤S5中,如果不存在异常配置信息,那么自动驾驶仿真系统直接运行算法调度模块(coordinator)。如果存在异常配置信息,那么自动驾驶仿真系统在注册对应的异常注入模块之后,再运行算法调度模块。其中,算法调度模块用于调度待检测算法。
在步骤S6中,生成相应的仿真测试结果,其中,该仿真测试结果具体可以是仿真测试报告。
在步骤S7中,基于仿真测试结果,判断待检测算法是否达标,如果已经达标,则执行步骤S8,如果未达标,则执行步骤S8。
在步骤S8中,如果待检测算法已达标,则结束算法的验证和优化。
在步骤S9中,如果待检测算法未达标,则继续优化并改进该待检测算法,然后执行下一轮仿真测试。
结合上述介绍,下面将对本申请中仿真测试的方法进行介绍,请参阅图3,本申请实施例中仿真测试方法的一个实施例包括:
101、获取第一初始信息,其中,第一初始信息与目标对象具有关联关系;
本实施例中,仿真测试装置获取第一初始信息,其中,第一初始信息包含但不仅限于初始时间信息、初始空间信息以及初始载重信息中的一种或多种,这里的第一初始信息表示与目标对象相关的初始信息,例如,第一初始信息所包括的初始时间信息表示目标对象的计时,又例如,第一初始信息所包括的空间时间信息表示目标对象以及其他对象在仿真环境中的位置,又例如,第一初始信息所包括的初始载重信息表示目标对象的载重量。
目标对象可以是自动驾驶车辆、辅助驾驶车辆、自动驾驶飞行器或者辅助驾驶飞行器等,本申请以自动驾驶车辆为例进行介绍,然而这不应理解为对本申请的限定。
需要说明的是,仿真测试装置可部署于计算机设备,该计算机设备可以是服务器,或者可以是终端设备,又或者是由服务器和终端设备组成的自动驾驶仿真系统,本申请不做限定。
102、获取异常配置信息,其中,异常配置信息与目标对象具有关联关系,且异常配置信息与第一初始信息属于相同类型的信息;
本实施例中,仿真测试装置判断是否存在异常配置信息,如果存在异常配置信息,则获取该异常配置信息。其中,该异常配置信息表示与目标对象相关的异常信息,异常配置信息包含但不仅限于异常时间信息、异常空间信息以及异常载重信息中的一种或多种,这里的异常配置信息表示与目标对象相关的配置信息,例如,异常配置信息所包括的异常时间信息表示对于目标对象引入异常时间的配置信息,又例如,异常配置信息所包括的异常空间信息表示对与目标对象关联的其他对象在仿真环境中引入异常位置间的配置信息,又例如,异常配置信息所包括的异常载重信息表示对与目标对象引入异常载重的配置信息。
可以理解的是,异常配置信息与第一初始信息属于相同类型的信息,也即是说,异常配置信息与第一初始信息之间,应存在如表1所示的关联关系。
表1
由此可见,第一初始信息与异常配置信息之间是具有对应关系的。
103、根据第一初始信息以及异常配置信息,生成第一合成信息;
本实施例中,仿真测试装置将异常配置信息中的相关信息注入至第一初始信息中,由此得到新的信息,即第一合成信息。其中,第一合成信息表示在自动驾驶仿真系统中引入的用于构造异常场景的信息。
104、若存在针对于目标对象的第一待检测算法,则基于第一合成信息,通过第一待检测算法获取仿真测试结果。
本实施例中,仿真测试装置还需要获取本轮仿真测试的算法,如果本轮仿真测试的算法为针对于目标对象设计的第一待检测算法,则仿真测试装置可以将第一合成信息作为第一待检测算法的输入,由第一待检测算法经过仿真测试后,生成对应的仿真测试结果。其中,仿真测试结果可以以报告形式、邮件形式、短信信息或者其他形式反馈给测试人员,
为了便于理解,请参阅图4,图4为本申请实施例中算法添加界面的一个示意图,如图所示,测试人员可通过算法添加界面导入准备进行仿真测试的待检测算法,图4示出了三个已导入的待检测算法,分别定义为第一待检测算法、第二待检测算法以及第三待检测算法。示例性地,第一待检测算法的算法编号为“001”,算法名称为“traffic_algorithm”,导入时间为“2020/11/18 21:04:52”。示例性地,第二待检测算法的算法编号为“002”,算法名称为“planning_algorithm”,导入时间为“2020/11/18 21:21:11”。示例性地,第三待检测算法的算法编号为“003”,算法名称为“control_algorithm”,导入时间为“2020/11/18 22:16:01”。在实际仿真测试中,测试人员还可以删除已导入的算法,又或者是添加新的算法。设置完成之后,点击“添加完成”按钮,即可进入后续的仿真测试,或者,进入其他相关的界面。
本申请实施例中,提供了一种仿真测试的方法,获取第一初始信息以及异常配置信息,然后根据第一初始信息以及异常配置信息,生成第一合成信息,如果存在针对于目标对象的第一待检测算法,则基于第一合成信息,通过第一待检测算法获取仿真测试结果。通过上述方式,实现了在自动驾驶仿真系统中,可根据异常配置信息构建异常情况,使得自动驾驶仿真系统能够模拟出更多复杂且异常的场景,由此,对于自动驾驶算法的测试更加充分,从而有利于提升自动驾驶算法的适应能力。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,获取第一初始信息,具体包括:
获取初始时间信息;
获取异常配置信息,具体包括:
通过人机交互界面接收针对于时间信息的第一配置指令,其中,第一配置指令携带目标对象的对象标识;
响应于第一配置指令,获取异常时间信息,其中,异常时间信息包括第一待检测算法的标识、信息名称、时间偏移量、注入起始时间以及注入结束时间中至少一项;
根据第一初始信息以及异常配置信息,生成第一合成信息,具体包括:
根据初始时间信息以及异常时间信息,生成时间合成信息。
本实施例中,介绍了一种基于人机交互界面配置异常时间信息的方式。仿真测试装置获取第一初始信息所包括的初始时间信息,初始时间信息可表示为时间戳(timestamp),或者表示为一个时刻点。其中,时间戳的主要目的在于通过一定的技术手段,对数据产生的时间进行认证,从而验证这段数据在产生后是否经过篡改,例如,当前时刻为“2020-11-18 22:50:38”,其对应的时间戳为“1605711038”,相应地,基于时间戳也可以确定当前时刻。而时刻点表示在自动驾驶仿真系统中的某个时刻点,例如,当前时刻点为“6000毫秒”,即自动驾驶仿真系统启动的第6000毫秒。由此可见,时刻点的参考时间是自动驾驶仿真系统中的时间,而时间戳的参考时间是真实时间中的时间。
仿真测试装置通过终端设备提供的人机交互界面,获取针对于时间信息的第一配置指令,该第一配置指令携带目标对象的对象标识。需要说明的是,人机交互界面可以是用户界面(user interface,UI)、人机界面(human machine interface,HMI)、网页UI界面或者命令行接口(command line interface,CLI)等,人机交互界面用于提供自动驾驶系统对外的结构,用于接收和处理用户与自动驾驶仿真系统之间的消息交互,例如,提交待检测算法到自动驾驶仿真系统中。
具体地,为了便于理解,请参阅图5,图5为本申请实施例中时间信息配置界面的一个示意图,如图所示,在时间信息配置界面上,可输入测试对象、算法标识、时间偏移量、注入起始时间以及注入结束时间。其中,测试对象表示待检测算法的作用对象,即指目标对象,每个对象分别具有唯一的对象标识,例如,目标对象为“车辆003号”的对象表示为“003”。算法标识为待检测算法的标识,例如,第一待检测算法的算法标识为“traffic-001”,可选地,测试人员还可以通过点击“添加”按钮来添加更多被导入的待检测算法,可以理解的是,导入待检测算法的方式如前述实施例所描述的内容,故此处不做赘述。时间偏移量表示对初始时间信息进行更改的偏移量。注入起始时间表示对初始时间信息加入时间偏移量的开始时间,注入结束时间表示对初始时间信息加入时间偏移量的结束时间。
当测试人员完成针对于时间信息的配置之后,还可以点击“配置完成”按钮,由此触发第一配置指令,仿真测试装置响应于第一配置指令,并且获取异常时间信息,其中,异常时间信息不但可以包括测试人员输入的信息,还可以包括信息名称。信息名称表示异常时间信息中各个信息的名称,例如,“测试对象”以及“时间偏移量”等,通常情况下,通过信息名称即可了解信息所表示的内容。
基于此,仿真测试装置根据初始时间信息以及异常时间信息,生成时间合成信息。
需要说明的是,图5所示的时间信息配置界面仅为一个示意,在实际应用中,还可以增加或删减一些其他可配置项,此处不做限定。
其次,本申请实施例中,提供了一种基于人机交互界面配置异常时间信息的方式,通过上述方式,基于用户输入的异常时间信息,由算法调度模块自动将异常时间信息注入至初始时间信息,即可得到时间合成信息,一方面提升了信息配置的灵活性和多样性,另一方面,能够提升仿真测试的便利性,降低异常时间信息的注入难度。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,根据初始时间信息以及异常时间信息,生成时间合成信息,具体包括:
根据注入起始时间以及注入结束时间,确定注入时间范围;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入时间范围之内,则将初始时间信息与时间偏移量进行加和处理,得到时间合成信息;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取时间合成信息。
本实施例中,介绍了一种生成时间合成信息的方式。结合前述实施例的介绍,仿真测试装置可获取异常时间信息,其中,异常配置信息的消息结构如下:
{Exception_Type,Config_Data}
其中,“Exception_Type”表示异常类型,例如,“time”表示异常时间信息,“space”表示异常空间信息,“load”表示异常载重信息。“Config_Data”表示配置的具体内容。对于异常时间信息而言,“Config_Data”包含但不仅限于第一待检测算法的标识、信息名称、时间偏移量、注入起始时间以及注入结束时间。
具体地,仿真测试装置可以根据注入起始时间以及注入结束时间,确定注入时间范围,例如,注入起始时间为自动驾驶仿真系统启动的第5000毫秒,注入结束时间为自动驾驶仿真系统启动的第20000毫秒,基于此,注入时间范围为5000毫秒至20000毫秒。仿真测试装置根据初始时间信息确定当前时刻点,可以判断当前时刻点是否在注入时间范围,下面将结合三种情况分别进行介绍。
情况一,初始时间信息出现在注入时间范围之内;
假设根据初始时间信息确定当前时刻点为6000毫秒,则确定初始时间信息出现在注入时间范围之内,于是,可以将初始时间信息与时间偏移量进行加和处理,例如,时间偏移量为120毫秒,当前时刻点加上这个时间偏移量之后,即得到时间合成信息为6120毫秒。可以理解的是,在实际应用中,时间偏移量也可以是负数,例如,时间偏移量为-200毫秒,当前时刻点加上这个时间偏移量之后,即得到时间合成信息为5800毫秒。
情况二,初始时间信息出现在注入起始时间之前;
假设根据初始时间信息确定当前时刻点为2000毫秒,则确定初始时间信息出现在注入起始时间之前,于是,仿真测试装置需要继续等待,直至进入注入时间范围。
情况三,初始时间信息出现在注入结束时间之后;
假设根据初始时间信息确定当前时刻点为30000毫秒,则确定初始时间信息出现在注入起始时间之后,于是,仿真测试装置确定当前已经获取到时间合成信息,本轮仿真测试已经完成,如有需要,可等待进入下一轮的仿真测试。
需要说明的是,如果异常时间信息不包括注入起始时间以及注入结束时间,则可以默认注入时间范围为自动驾驶仿真系统启动的时刻点至关闭的时刻点。
再次,本申请实施例中,提供了一种生成时间合成信息的方式,通过上述方式,自动驾驶仿真系统结合用户配置的异常时间信息,将异常时间信息中相关的内容注入到初始时间信息中,由此得到时间合成信息,从而实现了在自动驾驶仿真系统中,根据配置信息任意构造时间异常情况,使得自动驾驶仿真系统能够模拟更多复杂的异常路况场景,此外,由于是在自动驾驶仿真系统中可控地构造时间异常,因此,易于重复测试且成本低,测试安全性高。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,获取第一初始信息,具体包括:
获取初始空间信息;
获取异常配置信息,具体包括:
通过人机交互界面接收针对于空间信息的第二配置指令,其中,第二配置指令携带目标对象的对象标识;
响应于第二配置指令,获取异常空间信息,其中,异常空间信息包括第一待检测算法的标识、信息名称、位置偏移对象标识、位置偏移量、注入起始时间以及注入结束时间中至少一项;
根据第一初始信息以及异常配置信息,生成第一合成信息,具体包括:
根据初始空间信息以及异常空间信息,生成空间合成信息。
本实施例中,介绍了一种基于人机交互界面配置异常空间信息的方式,仿真测试装置获取第一初始信息所包括的初始空间信息,初始空间信息表示为三维坐标。初始空间信息可包括目标对象的位置坐标,以及非目标对象(例如,其他车辆、树木、路障或者模拟人等)的位置坐标。本申请以三维笛卡尔坐标进行介绍,三维笛卡尔坐标(X,Y,Z)与二维笛卡尔坐标(X,Y)相似,即在X轴和Y轴的基础上增加Z轴,同样还可以使用基于当前坐标系原点的绝对坐标值或基于上个输入点的相对坐标值。
仿真测试装置通过终端设备提供的人机交互界面,获取针对于空间信息的第二配置指令,该第二配置指令携带目标对象的对象标识。需要说明的是,如前述实施例所描述的内容,人机交互界面可以是UI、HMI、网页UI界面或者CLI等。
具体地,为了便于理解,请参阅图6,图6为本申请实施例中空间信息配置界面的一个示意图,如图所示,在空间信息配置界面上,可输入测试对象、算法标识、位置偏移对象标识、位置偏移量、注入起始时间以及注入结束时间。其中,测试对象表示待检测算法的作用对象,即指目标对象,每个对象分别具有唯一的对象标识,例如,目标对象为“车辆003号”的对象表示为“003”。算法标识为待检测算法的标识,例如,第一待检测算法的算法标识为“traffic-001”,可选地,测试人员还可以通过点击“添加”按钮来添加更多被导入的待检测算法,可以理解的是,导入待检测算法的方式如前述实施例所描述的内容,故此处不做赘述。位置偏移对象标识用于指示位置偏移对象,由于每个对象分别具有唯一的对象标识,因此,位置偏移对象标识即为某一个或多个对象标识,例如,位置偏移对象标识为“005”可指示待偏移对象“路障A”,即在仿真过程中,对“路障A”进行偏移处理。位置偏移量表示对初始空间信息进行更改的偏移量。注入起始时间表示对初始空间信息加入位置偏移量的开始时间,注入结束时间表示对初始空间信息加入位置偏移量的结束时间。
当测试人员完成针对于空间信息的配置之后,还可以点击“配置完成”按钮,由此触发第二配置指令,仿真测试装置响应于第二配置指令,并且获取异常空间信息,其中,异常空间信息不但可以包括测试人员输入的信息,还可以包括信息名称。信息名称表示异常空间信息中各个信息的名称,例如,“测试对象”以及“位置偏移量”等,通常情况下,通过信息名称即可了解信息所表示的内容。
基于此,仿真测试装置根据初始空间信息以及异常空间信息,生成空间合成信息。
需要说明的是,图6所示的空间信息配置界面仅为一个示意,在实际应用中,还可以增加或删减一些其他可配置项,例如,增加角度偏移量等,此处不做限定。
其次,本申请实施例中,提供了一种基于人机交互界面配置异常空间信息的方式,通过上述方式,基于用户输入的异常空间信息,由算法调度模块自动将异常空间信息注入至初始空间信息,即可得到空间合成信息,一方面提升了信息配置的灵活性和多样性,另一方面,能够提升仿真测试的便利性,降低异常空间信息的注入难度。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,根据初始空间信息以及异常空间信息,生成空间合成信息,具体包括:
根据注入起始时间以及注入结束时间,确定注入时间范围;
获取初始时间信息;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入时间范围之内,则根据位置偏移对象标识确定待偏移对象,并将待偏移对象所对应的初始空间信息与位置偏移量进行加和处理,得到空间合成信息;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取空间合成信息。
本实施例中,介绍了一种生成空间合成信息的方式。结合前述实施例的介绍,仿真测试装置可获取异常空间信息,即在异常配置信息的消息结构中,“Config_Data”包含但不仅限于第一待检测算法的标识、信息名称、位置偏移对象标识、位置偏移量、注入起始时间以及注入结束时间。
具体地,仿真测试装置可以根据注入起始时间以及注入结束时间,确定注入时间范围,例如,注入起始时间为自动驾驶仿真系统启动的第5000毫秒,注入结束时间为自动驾驶仿真系统启动的第20000毫秒,基于此,注入时间范围为5000毫秒至20000毫秒。仿真测试装置还需要获取初始时间信息,然后根据初始时间信息确定当前时刻点,可以判断当前时刻点是否在注入时间范围,下面将结合三种情况分别进行介绍。
情况一,初始时间信息出现在注入时间范围之内;
假设根据初始时间信息确定当前时刻点为6000毫秒,则确定初始时间信息出现在注入时间范围之内,于是,先根据位置偏移对象标识确定待偏移对象,例如,位置偏移对象标识为“005”,由此确定待偏移对象为“路障A”。然后将待偏移对象所对应的初始空间信息与位置偏移量进行加和处理,例如,待偏移对象所对应的初始空间信息为(x,y,z),位置偏移量为(offset1,offset2,offset3),初始空间信息加上位置偏移量之后,即得到空间合成信息为(x+offset1,y+offset2,z+offset3)。可以理解的是,在实际应用中,位置偏移量也可以是负数,例如,位置偏移量为(-20,70,15)。
需要说明的是,利用位置偏移对象标识,还可增加或减少任意的物体信息,实现灵活地空间异常注入。
情况二,初始时间信息出现在注入起始时间之前;
假设根据初始时间信息确定当前时刻点为2000毫秒,则确定初始时间信息出现在注入起始时间之前,于是,仿真测试装置需要继续等待,直至进入注入时间范围。
情况三,初始时间信息出现在注入结束时间之后;
假设根据初始时间信息确定当前时刻点为30000毫秒,则确定初始时间信息出现在注入起始时间之后,于是,仿真测试装置确定当前已经获取到空间合成信息,本轮仿真测试已经完成,如有需要,可等待进入下一轮的仿真测试。
需要说明的是,如果异常空间信息不包括注入起始时间以及注入结束时间,则可以默认注入时间范围为自动驾驶仿真系统启动的时刻点至关闭的时刻点。
再次,本申请实施例中,提供了一种生成空间合成信息的方式,通过上述方式,自动驾驶仿真系统结合用户配置的异常空间信息,将异常空间信息中相关的内容注入到初始空间信息中,由此得到空间合成信息,从而实现了在自动驾驶仿真系统中,根据配置信息任意构造空间异常情况,使得自动驾驶仿真系统能够模拟更多复杂的异常路况场景,此外,由于是在自动驾驶仿真系统中可控地构造空间异常,因此,易于重复测试且成本低,测试安全性高。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,获取第一初始信息,具体包括:
获取初始载重信息;
获取异常配置信息,具体包括:
通过人机交互界面接收针对于载重信息的第三配置指令,其中,第三配置指令携带目标对象的对象标识;
响应于第三配置指令,获取目标对象所对应的异常载重信息,其中,第一异常载重信息包括第一待检测算法的标识、信息名称、载重偏移量、注入起始时间以及注入结束时间中的至少一种;
根据第一初始信息以及异常配置信息,生成第一合成信息,具体包括:
根据初始载重信息以及异常载重信息,生成载重合成信息。
本实施例中,介绍了一种基于人机交互界面配置异常载重信息的方式。仿真测试装置获取第一初始信息所包括的初始载重信息,初始载重信息表示目标对象的载重量。不同类型的车辆或者不同品牌的车辆的载重量也可能不同,这里的初始载重信息可以是目标对象在满载情况下的载重量,或者在非满载情况下的载重量,此处不做限定。
仿真测试装置通过终端设备提供的人机交互界面,获取针对于载重信息的第三配置指令,该第三配置指令携带目标对象的对象标识。需要说明的是,人机交互界面可以是UI、HMI、网页UI界面或者CLI等。
具体地,为了便于理解,请参阅图7,图7为本申请实施例中载重信息配置界面的一个示意图,如图所示,在载重信息配置界面上,可输入测试对象、算法标识、载重偏移量、注入起始时间以及注入结束时间。其中,测试对象表示待检测算法的作用对象,即指目标对象,每个对象分别具有唯一的对象标识,例如,目标对象为“车辆003号”的对象表示为“003”。算法标识为待检测算法的标识,例如,第一待检测算法的算法标识为“traffic-001”,可选地,测试人员还可以通过点击“添加”按钮来添加更多被导入的待检测算法,可以理解的是,导入待检测算法的方式如前述实施例所描述的内容,故此处不做赘述。载重偏移量表示对初始载重信息进行更改的偏移量。注入起始时间表示对初始载重信息加入载重偏移量的开始时间,注入结束时间表示对初始载重信息加入载重偏移量的结束时间。
当测试人员完成针对于载重信息的配置之后,还可以点击“配置完成”按钮,由此触发第三配置指令,仿真测试装置响应于第三配置指令,并且获取异常载重信息,其中,异常载重信息不但可以包括测试人员输入的信息,还可以包括信息名称。信息名称表示异常载重信息中各个信息的名称,例如,“测试对象”以及“载重偏移量”等,通常情况下,通过信息名称即可了解信息所表示的内容。
基于此,仿真测试装置根据初始载重信息以及异常载重信息,生成载重合成信息。
需要说明的是,图7所示的载重信息配置界面仅为一个示意,在实际应用中,还可以增加或删减一些其他可配置项,此处不做限定。
其次,本申请实施例中,提供了一种基于人机交互界面配置异常载重信息的方式,通过上述方式,基于用户输入的异常载重信息,由算法调度模块自动将异常载重信息注入至初始载重信息,即可得到载重合成信息,一方面提升了信息配置的灵活性和多样性,另一方面,能够提升仿真测试的便利性,降低异常载重信息的注入难度。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,根据初始载重信息以及第一异常载重信息,生成载重合成信息,具体包括:
根据注入起始时间以及注入结束时间,确定注入时间范围;
获取初始时间信息;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入时间范围之内,则将初始载重信息与载重偏移量进行加和处理,得到载重合成信息,其中,初始载重信息包括目标对象的初始载重量;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取载重合成信息。
本实施例中,介绍了一种生成载重合成信息的方式。结合前述实施例的介绍,仿真测试装置可获取异常时间信息,即在异常配置信息的消息结构中,“Config_Data”包含但不仅限于第一待检测算法的标识、信息名称、载重偏移量、注入起始时间以及注入结束时间。
具体地,仿真测试装置可以根据注入起始时间以及注入结束时间,确定注入时间范围,例如,注入起始时间为自动驾驶仿真系统启动的第5000毫秒,注入结束时间为自动驾驶仿真系统启动的第20000毫秒,基于此,注入时间范围为5000毫秒至20000毫秒。仿真测试装置还需要获取初始时间信息,然后根据初始时间信息确定当前时刻点,可以判断当前时刻点是否在注入时间范围,下面将结合三种情况分别进行介绍。
情况一,初始时间信息出现在注入时间范围之内;
假设根据初始时间信息确定当前时刻点为6000毫秒,则确定初始时间信息出现在注入时间范围之内,于是,可以将初始载重信息与载重偏移量进行加和处理,例如,初始载重信息为1000千克,载重偏移量为50千克,初始载重信息加上这个载重偏移量之后,即得到载重合成信息为1050千克。可以理解的是,在实际应用中,载重偏移量也可以是负数,例如,载重偏移量为-200千克,初始载重信息加上这个载重偏移量之后,即得到载重合成信息为800千克。
情况二,初始时间信息出现在注入起始时间之前;
假设根据初始时间信息确定当前时刻点为2000毫秒,则确定初始时间信息出现在注入起始时间之前,于是,仿真测试装置需要继续等待,直至进入注入时间范围。
情况三,初始时间信息出现在注入结束时间之后;
假设根据初始时间信息确定当前时刻点为30000毫秒,则确定初始时间信息出现在注入起始时间之后,于是,仿真测试装置确定当前已经获取到载重合成信息,本轮仿真测试已经完成,如有需要,可等待进入下一轮的仿真测试。
需要说明的是,如果异常载重信息不包括注入起始时间以及注入结束时间,则可以默认注入时间范围为自动驾驶仿真系统启动的时刻点至关闭的时刻点。
再次,本申请实施例中,提供了一种生成载重合成信息的方式,通过上述方式,自动驾驶仿真系统结合用户配置的异常载重信息,将异常载重信息中相关的内容注入到初始载重信息中,由此得到载重合成信息,从而实现了在自动驾驶仿真系统中,根据配置信息任意构造载重异常情况,使得自动驾驶仿真系统能够模拟更多复杂的异常路况场景,此外,由于是在自动驾驶仿真系统中可控地构造载重异常,因此,易于重复测试且成本低,测试安全性高。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,基于第一合成信息,通过第一待检测算法获取仿真测试结果,具体包括:
若第一合成信息包括时间合成信息,则基于时间合成信息,通过第一待检测算法获取目标对象所对应的第一仿真测试结果,其中,第一仿真测试结果包括行驶评分以及行驶通过结果中的至少一种;和/或
若第一合成信息包括空间合成信息,则基于空间合成信息,通过第一待检测算法获取目标对象所对应的第二仿真测试结果,其中,第二仿真测试结果包括行驶评分以及行驶通过结果中的至少一种;和/或
若第一合成信息包括载重合成信息,则基于载重合成信息,通过第一待检测算法获取目标对象所对应的第三仿真测试结果,其中,第三仿真测试结果包括行驶评分以及行驶通过结果中的至少一种。
本实施例中,介绍了一种生成仿真测试结果的方式。由前述实施例可知,在仿真测试过程中涉及到不同的异常配置信息,为了便于说明,下面将分别针对第一仿真测试结果、第二仿真测试结果以及第三仿真测试结果中进行描述,需要说明的是,在实际应用中,在仿真测试结果可包括第一仿真测试结果、第二仿真测试结果以及第三仿真测试结果中的至少一项。
一、第一仿真测试结果;
如果第一合成信息包括时间合成信息,则生成第一仿真测试结果,其中,第一仿真测试结果属于仿真测试结果,且第一仿真测试结果可包括一轮或多轮测试的结果。为了便于理解,请参阅图8,图8为本申请实施例中输出第一仿真测试结果的一个人机交互界面示意图,如图所示,以5个轮次的测试为例,对于目标对象“车辆003号”而言,在第5次的仿真测试中达标。可以理解的是,行驶评分越高,表示目标对象行驶的舒适度、安全性以及稳定性越好,行驶通过结果表示目标对象是否出现碰撞等情况。
如有需要,还可以触发“打印”按钮,直接打印该仿真测试结果。
二、第二仿真测试结果;
如果第一合成信息包括空间合成信息,则生成第二仿真测试结果,其中,第二仿真测试结果属于仿真测试结果,且第二仿真测试结果可包括一轮或多轮测试的结果。为了便于理解,请参阅图9,图9为本申请实施例中输出第二仿真测试结果的一个人机交互界面示意图,如图所示,以5个轮次的测试为例,对于目标对象“车辆003号”而言,在第5次的仿真测试中达标。
三、第三仿真测试结果;
如果第一合成信息包括载重合成信息,则生成第三仿真测试结果,其中,第三仿真测试结果属于仿真测试结果,且第三仿真测试结果可包括一轮或多轮测试的结果。为了便于理解,请参阅图10,图10为本申请实施例中输出第三仿真测试结果的一个人机交互界面示意图,如图所示,以5个轮次的测试为例,对于目标对象“车辆003号”而言,在第5次的仿真测试中达标。
其次,本申请实施例中,提供了一种生成仿真测试结果的方式,通过上述方式,可以对非异常注入的测试结果与异常测试的结果进行对比分析,产生两者的对比报告和异常测试报告,达到自动仿真测试的目的。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,基于第一合成信息,通过第一待检测算法获取仿真测试结果之后,还可以包括:
若仿真测试结果满足仿真测试条件,则将第一待检测算法确定为目标对象的自动驾驶算法;
若仿真测试结果未满足仿真测试条件,则更新第一待检测算法,得到更新后的第一待检测算法,其中,更新后的第一待检测算法用于执行下一轮仿真测试。
本实施例中,介绍了一种对第一待检测算法进行迭代优化的方式。结合前述实施例可知,在得到仿真测试结果之后,还需要判断本轮仿真测试是否满足仿真测试条件。示例性地,如果仿真测试结果中的行驶评分大于或等于评分阈值,则表示仿真测试结果满足仿真测试条件,反之,如果仿真测试结果中的行驶评分小于评分阈值,则表示仿真测试结果未满足仿真测试条件。示例性地,如果仿真测试结果中的行驶通过结果均为“已通过”,则表示仿真测试结果满足仿真测试条件,反之,如果仿真测试结果中的行驶通过结果中存在“未通过”,则表示仿真测试结果未满足仿真测试条件。需要说明的是,在实际应用中,还可以采用其他方式评判仿真测试结果是否满足仿真测试条件,上述两种评判方式仅为一个示意,不应理解为对本申请的限定。
具体地,如果本次提交的第一待检测算法不满足仿真测试条件,则自动将本轮仿真测试的第一初始信息和异常配置信息记录下来,并将这些信息作为优化第一待检测算法的依据,由此得到更新后的第一待检测算法,基于此,重复执行下一轮仿真测试,以此验证被测算法的异常应对能力。
为了便于介绍,请参阅图11,图11为本申请实施例中注入异常配置信息的一个交互示意图,如图所示,交互过程中涉及三个模块,分别为算法调度模块、异常注入模块以及第一待检测算法模块,需要说明的是,这里的“模块”表示封装了相应内容的功能模块。其中,算法调度模块用于解析运行配置,并对各个模块进行调度以及消息的转发。在自动驾驶仿真系统中,可采用类似于机器人操作系统(Robot Operating System,ROS)中的主题(topic)机制,即某种类型的消息对应于一个指定的topic,各个模块之间通过对topic的订阅和发布来确定消息的流转路径。为了满足可复现性和确定性,不允许多个模块发布同一个topic,此外,为了支持模块之间依赖关系(例如,有些模块必须要依赖其他模块)的解耦,允许一个模块订阅一个不存在的topic,即没有模块发布这个topic。
异常注入模块可以是针对于时间信息的异常注入模块,针对于空间信息的异常注入模块以及针对载重信息的异常注入模块,采用异常注入模块的注册机制,对其他模块进行了解耦,方便扩展和维护。异常注入模块根据时间、空间或载重等异常配置信息,对返回给算法调度模块的消息进行截获和修改,然后再返回给算法调度模块。如果下游模块需要上游模块的消息时,算法调度模块直接从消息队列中,将被异常注入模块修改的信息返回给下游模块使用,从而模拟时间、空间或者载重异常的情况。
步骤A1中,如图2所描述的内容,异常注入配置模块用于根据用户输入的异常配置信息,将对应的异常注入模块注册到算法调度模块的流水线中。
在步骤A2中,注册成功之后,相应信息所对应的异常注入模块可以向算法调度模块反馈注册成功的通知。
在步骤A3中,异常注入模块可基于第一初始信息以及异常配置信息,生成第一合成信息,例如,针对于时间信息的异常注入模块根据初始时间信息以及异常时间信息,生成时间合成信息。
在步骤A4中,第一待检测算法模块向算法调度模块请求第一合成信息。
在步骤A5中,算法调度模块向第一待检测算法模块发送第一合成信息,由此,将第一合成信息作为第一待检测算法的输入,由此得到仿真测试结果。
其次,本申请实施例中,提供了一种对第一待检测算法进行迭代优化的方式,通过上述方式,在自动驾驶仿真系统获取到仿真测试结果之后,可根据仿真测试结果自动判断待检测算法是否达标,如果待检测算法已达标,则将该待检测算法作为目标对象使用的自动驾驶算法,反之,如果待检测算法还未达标,则对待检测算法进行调优之后,自动进入下一轮的仿真测试,由此可见,本申请能够实现自动优化待检测算法的目的,从而得到适合目标对象使用的自动驾驶算法。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,获取第一初始信息,具体包括:
通过第一待检测算法获取第一初始信息;
根据第一初始信息以及异常配置信息,生成第一合成信息之后,还可以包括:
若存在第一待检测算法以及第二待检测算法,则基于第一合成信息,通过第二待检测算法获取仿真测试结果。
本实施例中,介绍了一种基于多个待检测算法进行仿真测试的方式。下面将以仿真测试过程中,引入第一待检测算法和第二待检测算法为例进行介绍。
为了便于介绍,请参阅图12,图12为本申请实施例中注入异常配置信息的另一个交互示意图,如图所示,交互过程中涉及四个模块,分别为算法调度模块、异常注入模块、第一待检测算法模块和第二待检测算法模块,这些模块的功能与前述实施例类似,故此处不做赘述。其中,假设第二待检测算法模块需要订阅第一待检测算法模块发布的消息,例如,第一待检测算法模块使用的算法为交通流(traffic)算法,第二待检测算法模块为规划(planning)算法。
在步骤B1中,如图2所描述的内容,异常注入配置模块用于根据用户输入的异常配置信息,将对应的异常注入模块注册到算法调度模块的流水线中。
在步骤B2中,注册成功之后,相应信息所对应的异常注入模块可以向算法调度模块反馈注册成功的通知。
在步骤B3中,算法调度模块向异常注入模块发送调用第一待检测算法的请求,由异常注入模块将该请求转发至第一待检测算法模块。
在步骤B4中,第一待检测算法模块向异常注入模块反馈第一初始消息。
在步骤B5中,异常注入模块可基于第一初始信息以及异常配置信息,生成第一合成信息,例如,针对于时间信息的异常注入模块根据初始时间信息以及异常时间信息,生成时间合成信息。
在步骤B6中,算法调度模块向第二待检测算法模块发送调用第二待检测算法的请求。
在步骤B7中,第二待检测算法模块向算法调度模块请求输入信息。
在步骤B8中,算法调度模块向第二待检测算法模块发送第一合成信息,由此,将第一合成信息作为第二待检测算法的输入,由此得到仿真测试结果。
其次,本申请实施例中,提供了一种基于多个待检测算法进行仿真测试的方式,通过上述方式,能够实现多个待检测算法之间的调用,从而可以对多个待检测算法进行仿真测试,提升了仿真测试的效率,并且增加了测试的多样性。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,基于第一合成信息,通过第二待检测算法获取仿真测试结果之后,还可以包括:
若仿真测试结果满足仿真测试条件,则将第一待检测算法以及第二待检测算法确定为目标对象的自动驾驶算法;
若仿真测试结果未满足仿真测试条件,则更新第一待检测算法和第二待检测算法中的至少一种,得到更新后的待检测算法,其中,更新后的待检测算法用于执行下一轮仿真测试。
本实施例中,介绍了一种对第一待检测算法和第二待检测算中的至少一项进行迭代优化的方式。结合前述实施例可知,在得到仿真测试结果之后,还需要判断本轮仿真测试是否满足仿真测试条件,判定是否仿真测试条件的方式如前述实施例中所描述的内容,故此处不做赘述。
具体地,如果本次提交的第一待检测算法和第二待检测算法中的至少一项不满足仿真测试条件,则自动将本轮仿真测试的相关数据记录下来,并将这些信息作为优化第一待检测算法和第二待检测算法的依据,由此得到更新后的待检测算法(例如,更新后的第一待检测算法和更新后的第二待检测算法中至少一种),基于此,重复执行下一轮仿真测试,以此验证被测算法的异常应对能力。
再次,本申请实施例中,提供了一种对第一待检测算法和第二待检测算中的至少一项进行迭代优化的方式,通过上述方式,在自动驾驶仿真系统获取到仿真测试结果之后,可根据仿真测试结果自动判断待检测算法是否达标,如果待检测算法已达标,则将该待检测算法作为目标对象使用的自动驾驶算法,反之,如果待检测算法还未达标,则对待检测算法进行调优之后,自动进入下一轮的仿真测试,由此可见,本申请能够实现自动优化待检测算法的目的,从而得到适合目标对象使用的自动驾驶算法。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,获取第一初始信息,具体包括:
通过第一待检测算法获取第一初始信息;
根据第一初始信息以及异常配置信息,生成第一合成信息之后,方法还包括:
若存在第一待检测算法、第二待检测算法以及第三待检测算法,则基于第一合成信息,通过第二待检测算法获取第二初始信息,其中,第二初始信息与目标对象具有关联关系;
根据第二初始信息以及异常配置信息,生成第二合成信息;
基于第二合成信息,通过第三待检测算法获取仿真测试结果。
本实施例中,介绍了一种基于多个待检测算法进行仿真测试的方式。下面将以仿真测试过程中,引入第一待检测算法、第二待检测算法和第三待检测算法为例进行介绍。
为了便于介绍,请参阅图13,图13为本申请实施例中注入异常配置信息的另一个交互示意图,如图所示,交互过程中涉及五个模块,分别为算法调度模块、异常注入模块、第一待检测算法模块、第二待检测算法模块和第三待检测算法模块,这些模块的功能与前述实施例类似,故此处不做赘述。其中,假设第二待检测算法模块需要订阅第一待检测算法模块发布的消息,第三待检测算法模块需要订阅第二待检测算法模块发布的消息,即在业务逻辑上,第一待检测算法模块发布的信息是第二待检测算法模块的输入数据,第二待检测算法模块发布的信息是第三待检测算法模块的输入数据。例如,第一待检测算法模块使用的算法为交通流(traffic)算法,第二待检测算法模块为规划(planning)算法,第三待检测算法模块为控制(control)算法。
在步骤C1中,如图2所描述的内容,异常注入配置模块用于根据用户输入的异常配置信息,将对应的异常注入模块注册到算法调度模块的流水线中。
在步骤C2中,注册成功之后,相应信息所对应的异常注入模块可以向算法调度模块反馈注册成功的通知。
在步骤C3中,算法调度模块向异常注入模块发送调用第一待检测算法的请求,由异常注入模块将该请求转发至第一待检测算法模块。
在步骤C4中,第一待检测算法模块向异常注入模块反馈第一初始消息。
在步骤C5中,异常注入模块可基于第一初始信息以及异常配置信息,生成第一合成信息,例如,针对于时间信息的异常注入模块根据初始时间信息以及异常时间信息,生成时间合成信息。
在步骤C6中,算法调度模块向第二待检测算法模块发送调用第二待检测算法的请求。
在步骤C7中,第二待检测算法模块向算法调度模块请求输入信息。
在步骤C8中,算法调度模块向第二待检测算法模块发送第一合成信息,由此,将第一合成信息作为第二待检测算法的输入。
在步骤C9中,第二待检测算法模块向异常注入模块反馈第二初始消息。
在步骤C10中,异常注入模块可基于第二初始信息以及异常配置信息,生成第二合成信息。
在步骤C11中,算法调度模块向第三待检测算法模块发送调用第三待检测算法的请求。
在步骤C12中,第三待检测算法模块向算法调度模块请求输入信息。
在步骤C13中,算法调度模块向第三待检测算法模块发送第二合成信息,由此,将第二合成信息作为第三待检测算法的输入,由此得到仿真测试结果。
其次,本申请实施例中,提供了一种基于多个待检测算法进行仿真测试的方式,通过上述方式,能够实现多个待检测算法之间的调用,从而可以对多个待检测算法进行仿真测试,提升了仿真测试的效率,并且增加了测试的多样性。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的仿真测试方法的一个可选实施例中,基于第二合成信息,通过第三待检测算法获取仿真测试结果之后,还可以包括:
若仿真测试结果满足仿真测试条件,则将第一待检测算法、第二待检测算法以及第三待检测算法确定为目标对象的自动驾驶算法;
若仿真测试结果未满足仿真测试条件,则更新第一待检测算法、第二待检测算法和第三待检测算法中的至少一种,得到更新后的待检测算法,其中,更新后的待检测算法用于执行下一轮仿真测试。
本实施例中,介绍提供了一种对第一待检测算法、第二待检测算和第三待检测算法中的至少一项进行迭代优化的方式。结合前述实施例可知,在得到仿真测试结果之后,还需要判断本轮仿真测试是否满足仿真测试条件,判定是否仿真测试条件的方式如前述实施例中所描述的内容,故此处不做赘述。
具体地,如果本次提交的第一待检测算法、第二待检测算法和第三待检测算法中的至少一项不满足仿真测试条件,则自动将本轮仿真测试的相关数据记录下来,并将这些信息作为优化第一待检测算法、第二待检测算法和第三待检测算法的依据,由此得到更新后的待检测算法(例如,更新后的第一待检测算法、更新后的第二待检测算法和新后的第三待检测算法中至少一种),基于此,重复执行下一轮仿真测试,以此验证被测算法的异常应对能力。
再次,本申请实施例中,提供了一种对第一待检测算法、第二待检测算和第三待检测算法中的至少一项进行迭代优化的方式,通过上述方式,在自动驾驶仿真系统获取到仿真测试结果之后,可根据仿真测试结果自动判断待检测算法是否达标,如果待检测算法已达标,则将该待检测算法作为目标对象使用的自动驾驶算法,反之,如果待检测算法还未达标,则对待检测算法进行调优之后,自动进入下一轮的仿真测试,由此可见,本申请能够实现自动优化待检测算法的目的,从而得到适合目标对象使用的自动驾驶算法。
下面对本申请中的仿真测试装置进行详细描述,请参阅图14,图14为本申请实施例中仿真测试装置的一个实施例示意图,仿真测试装置20包括:
获取模块201,用于获取第一初始信息,其中,第一初始信息与目标对象具有关联关系;
获取模块201,还用于获取异常配置信息,其中,异常配置信息与目标对象具有关联关系,且异常配置信息与第一初始信息属于相同类型的信息;
生成模块202,用于根据第一初始信息以及异常配置信息,生成第一合成信息;
获取模块201,还用于若存在针对于目标对象的第一待检测算法,则基于第一合成信息,通过第一待检测算法获取仿真测试结果。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
获取模块201,具体用于获取初始时间信息;
获取模块201,具体用于通过人机交互界面接收针对于时间信息的第一配置指令,其中,第一配置指令携带目标对象的对象标识;
响应于第一配置指令,获取异常时间信息,其中,异常时间信息包括第一待检测算法的标识、信息名称、时间偏移量、注入起始时间以及注入结束时间中至少一项;
生成模块202,具体用于根据初始时间信息以及异常时间信息,生成时间合成信息。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
生成模块202,具体用于根据注入起始时间以及注入结束时间,确定注入时间范围;
若初始时间信息出现在注入时间范围之内,则将初始时间信息与时间偏移量进行加和处理,得到时间合成信息;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取时间合成信息。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
获取模块201,具体用于获取初始空间信息;
获取模块201,具体用于通过人机交互界面接收针对于空间信息的第二配置指令,其中,第二配置指令携带目标对象的对象标识;
响应于第二配置指令,获取异常空间信息,其中,异常空间信息包括第一待检测算法的标识、信息名称、位置偏移对象标识、位置偏移量、注入起始时间以及注入结束时间中至少一项;
生成模块202,具体用于根据初始空间信息以及异常空间信息,生成空间合成信息。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
生成模块202,具体用于根据注入起始时间以及注入结束时间,确定注入时间范围;
获取初始时间信息;
若初始时间信息出现在注入时间范围之内,则根据位置偏移对象标识确定待偏移对象,并将待偏移对象所对应的初始空间信息与位置偏移量进行加和处理,得到空间合成信息;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取空间合成信息。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
获取模块201,具体用于获取初始载重信息;
获取模块201,具体用于通过人机交互界面接收针对于载重信息的第三配置指令,其中,第三配置指令携带目标对象的对象标识;
响应于第三配置指令,获取目标对象所对应的异常载重信息,其中,第一异常载重信息包括第一待检测算法的标识、信息名称、载重偏移量、注入起始时间以及注入结束时间中的至少一种;
生成模块202,具体用于根据初始载重信息以及异常载重信息,生成载重合成信息。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
生成模块202,具体用于根据注入起始时间以及注入结束时间,确定注入时间范围;
获取初始时间信息;
若初始时间信息出现在注入时间范围之内,则将初始载重信息与载重偏移量进行加和处理,得到载重合成信息,其中,初始载重信息包括目标对象的初始载重量;
若初始时间信息出现在注入起始时间之前,则等待进入注入时间范围;
若初始时间信息出现在注入结束时间之后,则确定已在注入时间范围之内获取载重合成信息。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
获取模块201,具体用于若第一合成信息包括时间合成信息,则基于时间合成信息,通过第一待检测算法获取目标对象所对应的第一仿真测试结果,其中,第一仿真测试结果包括行驶评分以及行驶通过结果中的至少一种;和/或
若第一合成信息包括空间合成信息,则基于空间合成信息,通过第一待检测算法获取目标对象所对应的第二仿真测试结果,其中,第二仿真测试结果包括行驶评分以及行驶通过结果中的至少一种;和/或
若第一合成信息包括载重合成信息,则基于载重合成信息,通过第一待检测算法获取目标对象所对应的第三仿真测试结果,其中,第三仿真测试结果包括行驶评分以及行驶通过结果中的至少一种。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,仿真测试装置20还包括确定模块203以及更新模块204;
确定模块203,用于在获取模块201基于第一合成信息,通过第一待检测算法获取仿真测试结果之后,若仿真测试结果满足仿真测试条件,则将第一待检测算法确定为目标对象的自动驾驶算法;
更新模块204,用于在获取模块201基于第一合成信息,通过第一待检测算法获取仿真测试结果之后,若仿真测试结果未满足仿真测试条件,则更新第一待检测算法,得到更新后的第一待检测算法,其中,更新后的第一待检测算法用于执行下一轮仿真测试。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
获取模块201,具体用于通过第一待检测算法获取第一初始信息;
获取模块201,还用于在生成模块根据第一初始信息以及异常配置信息,生成第一合成信息之后,若存在第一待检测算法以及第二待检测算法,则基于第一合成信息,通过第二待检测算法获取仿真测试结果。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,仿真测试装置20还包括确定模块203以及更新模块204;
确定模块203,用于在获取模块201基于第一合成信息,通过第二待检测算法获取仿真测试结果之后,若仿真测试结果满足仿真测试条件,则将第一待检测算法以及第二待检测算法确定为目标对象的自动驾驶算法;
更新模块204,用于在获取模块2001基于第一合成信息,通过第二待检测算法获取仿真测试结果之后,若仿真测试结果未满足仿真测试条件,则更新第一待检测算法和第二待检测算法中的至少一种,得到更新后的待检测算法,其中,更新后的待检测算法用于执行下一轮仿真测试。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,
获取模块201,具体用于通过第一待检测算法获取第一初始信息;
获取模块201,还用于在生成模块根据第一初始信息以及异常配置信息,生成第一合成信息之后,若存在第一待检测算法、第二待检测算法以及第三待检测算法,则基于第一合成信息,通过第二待检测算法获取第二初始信息,其中,第二初始信息与目标对象具有关联关系;
生成模块202,还用于根据第二初始信息以及异常配置信息,生成第二合成信息;
获取模块201,还用于基于第二合成信息,通过第三待检测算法获取仿真测试结果。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真测试装置20的另一实施例中,仿真测试装置20还包括确定模块203以及更新模块204;
确定模块203,用于在获取模块201基于第二合成信息,通过第三待检测算法获取仿真测试结果之后,若仿真测试结果满足仿真测试条件,则将第一待检测算法、第二待检测算法以及第三待检测算法确定为目标对象的自动驾驶算法;
更新模块204,用于在获取模块201基于第二合成信息,通过第三待检测算法获取仿真测试结果之后,若仿真测试结果未满足仿真测试条件,则更新第一待检测算法、第二待检测算法和第三待检测算法中的至少一种,得到更新后的待检测算法,其中,更新后的待检测算法用于执行下一轮仿真测试。
本申请实施例还提供了另一种仿真测试装置,该仿真测试装置可部署于终端设备,如图15所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。图15示出的是与本申请实施例提供的终端设备相关的部分结构的框图。参考图15,终端设备包括:射频(radio frequency,RF)电路310、存储器320、输入单元330、显示单元340、传感器350、音频电路360、无线保真(wireless fidelity,WiFi)模块370、处理器380、以及电源390等部件。本领域技术人员可以理解,图15中示出的终端设备结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图15对终端设备的各个构成部件进行具体的介绍:
RF电路310可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器380处理;另外,将设计上行的数据发送给基站。通常,RF电路310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器320可用于存储软件程序以及模块,处理器380通过运行存储在存储器320的软件程序以及模块,从而执行终端设备的各种功能应用以及数据处理。存储器320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元330可用于接收输入的数字或字符信息,以及产生与终端设备的用户设置以及功能控制有关的键信号输入。具体地,输入单元330可包括触控面板331以及其他输入设备332。触控面板331,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板331上或在触控面板331附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板331可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器380,并能接收处理器380发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板331。除了触控面板331,输入单元330还可以包括其他输入设备332。具体地,其他输入设备332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元340可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元340可包括显示面板341,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板341。进一步的,触控面板331可覆盖显示面板341,当触控面板331检测到在其上或附近的触摸操作后,传送给处理器380以确定触摸事件的类型,随后处理器380根据触摸事件的类型在显示面板341上提供相应的视觉输出。虽然在图15中,触控面板331与显示面板341是作为两个独立的部件来实现终端设备的输入和输入功能,但是在某些实施例中,可以将触控面板331与显示面板341集成而实现终端设备的输入和输出功能。
终端设备还可包括至少一种传感器350,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板341的亮度,接近传感器可在终端设备移动到耳边时,关闭显示面板341和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路360、扬声器361,传声器362可提供用户与终端设备之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号,传输到扬声器361,由扬声器361转换为声音信号输出;另一方面,传声器362将收集的声音信号转换为电信号,由音频电路360接收后转换为音频数据,再将音频数据输出处理器380处理后,经RF电路310以发送给比如另一终端设备,或者将音频数据输出至存储器320以便进一步处理。
WiFi属于短距离无线传输技术,终端设备通过WiFi模块370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图15示出了WiFi模块370,但是可以理解的是,其并不属于终端设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器380是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分,通过运行或执行存储在存储器320内的软件程序和/或模块,以及调用存储在存储器320内的数据,执行终端设备的各种功能和处理数据,从而对终端设备进行整体监控。可选的,处理器380可包括一个或多个处理单元;可选的,处理器380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器380中。
终端设备还包括给各个部件供电的电源390(比如电池),可选的,电源可以通过电源管理系统与处理器380逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,终端设备还可以包括摄像头、蓝牙模块等,在此不再赘述。
上述实施例中由终端设备所执行的步骤可以基于该图15所示的终端设备结构。
图16是本申请实施例提供的一种服务器结构示意图,该服务器400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)422(例如,一个或一个以上处理器)和存储器432,一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中,存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器422可以设置为与存储介质430通信,在服务器400上执行存储介质430中的一系列指令操作。
服务器400还可以包括一个或一个以上电源426,一个或一个以上有线或无线网络接口450,一个或一个以上输入输出接口458,和/或,一个或一个以上操作系统441,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图16所示的服务器结构。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如前述各个实施例描述的方法。
本申请实施例中还提供一种包括程序的计算机程序产品,当其在计算机上运行时,使得计算机执行前述各个实施例描述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种仿真测试的方法,其特征在于,包括:
获取第一初始信息,其中,所述第一初始信息与目标对象具有关联关系;
获取异常配置信息,其中,所述异常配置信息与所述目标对象具有关联关系,且所述异常配置信息与所述第一初始信息属于相同类型的信息;
根据所述第一初始信息以及所述异常配置信息,生成第一合成信息;
若存在针对于所述目标对象的第一待检测算法,则基于所述第一合成信息,通过所述第一待检测算法获取仿真测试结果;
所述获取第一初始信息,包括:获取初始时间信息;
所述获取异常配置信息,包括:通过人机交互界面接收针对于时间信息的第一配置指令,其中,所述第一配置指令携带所述目标对象的对象标识;响应于所述第一配置指令,获取异常时间信息,其中,所述异常时间信息包括所述第一待检测算法的标识、信息名称、时间偏移量、注入起始时间以及注入结束时间中至少一项;
所述根据所述第一初始信息以及所述异常配置信息,生成第一合成信息,包括:根据所述初始时间信息以及所述异常时间信息,生成时间合成信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述初始时间信息以及所述异常时间信息,生成时间合成信息,包括:
根据所述注入起始时间以及所述注入结束时间,确定注入时间范围;
若所述初始时间信息出现在所述注入起始时间之前,则等待进入所述注入时间范围;若所述初始时间信息出现在所述注入时间范围之内,则将所述初始时间信息与所述时间偏移量进行加和处理,得到所述时间合成信息;
若所述初始时间信息出现在所述注入结束时间之后,则确定已在所述注入时间范围之内获取所述时间合成信息。
3.根据权利要求1所述的方法,其特征在于,所述获取第一初始信息,包括:
获取初始空间信息;
所述获取异常配置信息,包括:
通过人机交互界面接收针对于空间信息的第二配置指令,其中,所述第二配置指令携带所述目标对象的对象标识;
响应于所述第二配置指令,获取异常空间信息,其中,所述异常空间信息包括所述第一待检测算法的标识、信息名称、位置偏移对象标识、位置偏移量、注入起始时间以及注入结束时间中至少一项;
所述根据所述第一初始信息以及所述异常配置信息,生成第一合成信息,包括:
根据所述初始空间信息以及所述异常空间信息,生成空间合成信息。
4.根据权利要求3所述的方法,其特征在于,所述根据所述初始空间信息以及所述异常空间信息,生成空间合成信息,包括:
根据注入起始时间以及注入结束时间,确定注入时间范围;
获取初始时间信息;
若所述初始时间信息出现在所述注入起始时间之前,则等待进入所述注入时间范围;
若所述初始时间信息出现在所述注入时间范围之内,则根据所述位置偏移对象标识确定待偏移对象,并将所述待偏移对象所对应的所述初始空间信息与所述位置偏移量进行加和处理,得到所述空间合成信息;
若所述初始时间信息出现在所述注入结束时间之后,则确定已在所述注入时间范围之内获取所述空间合成信息。
5.根据权利要求1所述的方法,其特征在于,所述获取第一初始信息,包括:
获取初始载重信息;
所述获取异常配置信息,包括:
通过人机交互界面接收针对于载重信息的第三配置指令,其中,所述第三配置指令携带所述目标对象的对象标识;
响应于所述第三配置指令,获取所述目标对象所对应的第一异常载重信息,其中,所述第一异常载重信息包括所述第一待检测算法的标识、信息名称、载重偏移量、注入起始时间以及注入结束时间中的至少一种;
所述根据所述第一初始信息以及所述异常配置信息,生成第一合成信息,包括:
根据所述初始载重信息以及所述异常载重信息,生成载重合成信息。
6.根据权利要求5所述的方法,其特征在于,所述根据所述初始载重信息以及所述第一异常载重信息,生成所述载重合成信息,包括:
根据所述注入起始时间以及所述注入结束时间,确定注入时间范围;
获取初始时间信息;
若所述初始时间信息出现在所述注入起始时间之前,则等待进入所述注入时间范围;
若初始时间信息出现在所述注入时间范围之内,则将所述初始载重信息与所述载重偏移量进行加和处理,得到所述载重合成信息,其中,所述初始载重信息包括所述目标对象的初始载重量;
若所述初始时间信息出现在所述注入结束时间之后,则确定已在所述注入时间范围之内获取所述载重合成信息。
7.根据权利要求1所述的方法,其特征在于,所述基于所述第一合成信息,通过所述第一待检测算法获取仿真测试结果,包括:
若所述第一合成信息包括时间合成信息,则基于所述时间合成信息,通过所述第一待检测算法获取所述目标对象所对应的第一仿真测试结果,其中,所述第一仿真测试结果包括行驶评分以及行驶通过结果中的至少一种;和/或
若所述第一合成信息包括空间合成信息,则基于所述空间合成信息,通过所述第一待检测算法获取所述目标对象所对应的第二仿真测试结果,其中,所述第二仿真测试结果包括行驶评分以及行驶通过结果中的至少一种;和/或
若所述第一合成信息包括载重合成信息,则基于所述载重合成信息,通过所述第一待检测算法获取所述目标对象所对应的第三仿真测试结果,其中,所述第三仿真测试结果包括行驶评分以及行驶通过结果中的至少一种。
8.根据权利要求1所述的方法,其特征在于,所述基于所述第一合成信息,通过所述第一待检测算法获取仿真测试结果之后,所述方法还包括:
若所述仿真测试结果满足仿真测试条件,则将所述第一待检测算法确定为所述目标对象的自动驾驶算法;
若所述仿真测试结果未满足所述仿真测试条件,则更新所述第一待检测算法,得到更新后的第一待检测算法,其中,所述更新后的第一待检测算法用于执行下一轮仿真测试。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述获取第一初始信息,包括:
通过所述第一待检测算法获取所述第一初始信息;
所述根据所述第一初始信息以及所述异常配置信息,生成第一合成信息之后,所述方法还包括:
若存在所述第一待检测算法以及第二待检测算法,则基于所述第一合成信息,通过所述第二待检测算法获取仿真测试结果。
10.根据权利要求9所述的方法,其特征在于,所述基于所述第一合成信息,通过所述第二待检测算法获取仿真测试结果之后,所述方法还包括:
若所述仿真测试结果满足仿真测试条件,则将所述第一待检测算法以及所述第二待检测算法确定为所述目标对象的自动驾驶算法;
若所述仿真测试结果未满足所述仿真测试条件,则更新所述第一待检测算法和所述第二待检测算法中的至少一种,得到更新后的待检测算法,其中,所述更新后的待检测算法用于执行下一轮仿真测试。
11.根据权利要求1至8中任一项所述的方法,其特征在于,所述获取第一初始信息,包括:
通过所述第一待检测算法获取所述第一初始信息;
所述根据所述第一初始信息以及所述异常配置信息,生成第一合成信息之后,所述方法还包括:
若存在所述第一待检测算法、第二待检测算法以及第三待检测算法,则基于所述第一合成信息,通过所述第二待检测算法获取第二初始信息,其中,所述第二初始信息与所述目标对象具有关联关系;
根据所述第二初始信息以及所述异常配置信息,生成第二合成信息;
基于所述第二合成信息,通过所述第三待检测算法获取仿真测试结果。
12.根据权利要求11所述的方法,其特征在于,所述基于所述第二合成信息,通过所述第三待检测算法获取仿真测试结果之后,所述方法还包括:
若所述仿真测试结果满足仿真测试条件,则将所述第一待检测算法、所述第二待检测算法以及所述第三待检测算法确定为所述目标对象的自动驾驶算法;
若所述仿真测试结果未满足所述仿真测试条件,则更新所述第一待检测算法、所述第二待检测算法和所述第三待检测算法中的至少一种,得到更新后的待检测算法,其中,所述更新后的待检测算法用于执行下一轮仿真测试。
13.一种仿真测试装置,其特征在于,包括:
获取模块,用于获取第一初始信息,其中,所述第一初始信息与目标对象具有关联关系;所述获取第一初始信息,包括:获取初始时间信息;
所述获取模块,还用于获取异常配置信息,其中,所述异常配置信息与所述目标对象具有关联关系,且所述异常配置信息与所述第一初始信息属于相同类型的信息;所述获取异常配置信息,包括:通过人机交互界面接收针对于时间信息的第一配置指令,其中,所述第一配置指令携带所述目标对象的对象标识;响应于所述第一配置指令,获取异常时间信息,其中,所述异常时间信息包括第一待检测算法的标识、信息名称、时间偏移量、注入起始时间以及注入结束时间中至少一项;
生成模块,用于根据所述第一初始信息以及所述异常配置信息,生成第一合成信息;所述根据所述第一初始信息以及所述异常配置信息,生成第一合成信息,包括:根据所述初始时间信息以及所述异常时间信息,生成时间合成信息;
所述获取模块,还用于若存在针对于所述目标对象的第一待检测算法,则基于所述第一合成信息,通过所述第一待检测算法获取仿真测试结果。
14.一种计算机设备,其特征在于,包括:存储器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,所述处理器用于根据程序代码中的指令执行权利要求1至12中任一项所述的方法;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011362104.9A CN112347568B (zh) | 2020-11-27 | 2020-11-27 | 一种仿真测试的方法、相关装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011362104.9A CN112347568B (zh) | 2020-11-27 | 2020-11-27 | 一种仿真测试的方法、相关装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112347568A CN112347568A (zh) | 2021-02-09 |
CN112347568B true CN112347568B (zh) | 2021-12-14 |
Family
ID=74366043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011362104.9A Active CN112347568B (zh) | 2020-11-27 | 2020-11-27 | 一种仿真测试的方法、相关装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112347568B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117309433B (zh) * | 2023-11-30 | 2024-02-27 | 锦图计算技术(深圳)有限公司 | 基于智能座舱的车载智能硬件功能安全检测方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109085620A (zh) * | 2017-06-13 | 2018-12-25 | 百度在线网络技术(北京)有限公司 | 无人驾驶车辆定位异常校准方法、装置、设备及存储介质 |
US20190101924A1 (en) * | 2017-10-03 | 2019-04-04 | Uber Technologies, Inc. | Anomaly Detection Systems and Methods for Autonomous Vehicles |
EP3690852A1 (en) * | 2019-01-29 | 2020-08-05 | Volkswagen Aktiengesellschaft | System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component |
CN111859597B (zh) * | 2019-04-18 | 2024-04-05 | 北京京东乾石科技有限公司 | 一种自动驾驶算法的评估方法和系统 |
CN111753300B (zh) * | 2020-06-29 | 2024-03-19 | 浙江工业大学 | 面向强化学习的检测防御异常数据方法和装置 |
-
2020
- 2020-11-27 CN CN202011362104.9A patent/CN112347568B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112347568A (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10326861B2 (en) | Method for controlling cooperation of multiple intelligent devices and apparatus thereof | |
US11798107B2 (en) | Scenario-based application recommendation method and apparatus | |
CN105630685A (zh) | 程序接口测试方法及装置 | |
CN110457214B (zh) | 应用测试方法及装置、电子设备 | |
CN111078556B (zh) | 应用测试方法及装置 | |
CN110673770B (zh) | 消息展示方法及终端设备 | |
CN111420399A (zh) | 一种虚拟人物的换装方法、装置、终端及存储介质 | |
CN109993234B (zh) | 一种无人驾驶训练数据分类方法、装置及电子设备 | |
CN112148579B (zh) | 一种用户界面的测试方法和装置 | |
CN109451130B (zh) | 移动终端测试方法、装置、移动终端及存储介质 | |
CN115588131B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
CN115239941B (zh) | 对抗图像生成方法、相关装置及存储介质 | |
CN112199246A (zh) | 终端测试方法、装置、存储介质及移动终端 | |
CN112347568B (zh) | 一种仿真测试的方法、相关装置、设备及存储介质 | |
CN112486567B (zh) | 代码的合并请求发送方法、装置、电子设备及存储介质 | |
CN110782530B (zh) | 自动驾驶仿真系统中车辆信息的展示方法及装置 | |
CN111177612B (zh) | 一种页面登录鉴权的方法及相关装置 | |
CN115526055B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
CN107741895B (zh) | 服务器管理方法、装置及设备 | |
CN115061939B (zh) | 数据集安全测试方法、装置及存储介质 | |
CN114444338B (zh) | Ai模型组合快速轻量级验证的方法、装置及存储介质 | |
CN115328770A (zh) | 应用程序的测试方法、装置、电子设备及存储介质 | |
CN108363609B (zh) | 模拟传感器的方法、装置和存储介质 | |
CN115909020B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
CN108959073B (zh) | 算法库的测试方法、装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40038321 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |