CN116783462A - 一种自动驾驶系统的性能测试方法 - Google Patents

一种自动驾驶系统的性能测试方法 Download PDF

Info

Publication number
CN116783462A
CN116783462A CN202180087985.4A CN202180087985A CN116783462A CN 116783462 A CN116783462 A CN 116783462A CN 202180087985 A CN202180087985 A CN 202180087985A CN 116783462 A CN116783462 A CN 116783462A
Authority
CN
China
Prior art keywords
test
tested
vehicle
parameter item
test parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180087985.4A
Other languages
English (en)
Inventor
张玉新
杜昕一
李鹏飞
马海涛
成泉岳
章新杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoyu Technology Co ltd
Jilin University
Original Assignee
Jilin University
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University, SZ DJI Technology Co Ltd filed Critical Jilin University
Publication of CN116783462A publication Critical patent/CN116783462A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车辆测试方法,包括:获取被测车辆(200,610)的待测试功能对应的测试参数项集合和测试参数项集合中每一测试参数项的待测取值范围(S101);在待测取值范围内确定每一测试参数项的多个取值(S102);根据测试参数项集合和每一测试参数项的多个取值生成多个测试指令(S103);将测试指令发送至测试场景中的测试设备(S104);获取被测车辆(200,610)在实现待测试功能时的行驶状态(S105);基于行驶状态和测试指令生成测试结果(S106)。可以提高测试准确性。

Description

一种自动驾驶系统的性能测试方法 技术领域
本申请涉及自动驾驶测试领域,尤其涉及一种自动驾驶系统的性能测试方法。
背景技术
自动驾驶是指无需驾驶员对车辆进行操作,而是通过车辆上的传感器自动采集环境信息,并根据环境信息进行自动行驶。在研究开发自动驾驶车辆的过程中,需要对自动驾驶车辆进行安全测试,以确定自动驾驶车辆的性能边界,并根据确定的性能边界来确定是否需要优化自动驾驶系统。
发明内容
基于此,本申请实施例提供了一种自动驾驶系统的性能测试方法,具体的,提高一种车辆测试方法、装置、系统及存储介质,旨在提高自动驾驶车辆的性能边界的测试准确性。
第一方面,本申请实施例提供了一种车辆测试方法,包括:
获取被测车辆的待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围,其中,所述被测车辆能够根据对测试场景的交通元素的观测数据和预设的自动驾驶算法在所述测试场景中实现所述待测试功能;
在所述待测取值范围内确定每一所述测试参数项的多个取值;
根据所述测试参数项集合和所述取值生成多个测试指令,其中,每一所述测试指令包括所述测试参数项集合中每一所述测试参数项的一个取值,任意两个所述测试指令中的部分或全部同一所述测试参数项的取值不同;
将所述测试指令发送至所述测试场景中的测试设备,其中,所述测试指令用于指示所述测试设备根据所述测试参数项在所述测试场景执行对应的操作,所述操作用于调整所述测试场景中的所述交通元素的状态参数;
获取所述被测车辆在实现所述待测试功能时的行驶状态;
基于所述行驶状态和所述测试指令生成测试结果,所述测试结果用于指示所述待测试功能对应的所述测试参数项的实际取值范围。
第二方面,本申请实施例还提供了一种自动驾驶测试装置,包括一个或多 个处理器,单独地或共同地工作,用于执行如上所述的车辆测试方法的步骤。
第三方面,本申请实施例还提供了一种自动驾驶测试系统,包括:
被测车辆,用于根据对测试场景的交通元素的观测数据和预设的自动驾驶算法在测试场景中实现所述被测车辆的待测试功能;
如上所述的自动驾驶测试装置,用于生成测试指令;
测试设备,用于根据所述测试指令,在所述测试场景中执行对应的操作,所述操作用于调整所述测试场景中的所述交通元素的状态参数。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上所述的车辆测试方法的步骤。
本申请实施例提供了一种自动驾驶系统的性能测试方法,具体的,提供一种车辆测试方法,通过生成多个测试指令,且每一测试指令包括待测试功能对应的测试参数项集合中每一测试参数项的一个取值,任意两个测试指令中至少包括一个测试参数项的取值不同,使得测试设备能够基于不同的测试指令,在测试场景中执行对应的操作,以调整测试场景中的交通元素的状态参数,从而使得被测车辆能够基于对测试场景的交通元素的观测数据和预设的自动驾驶算法在测试场景中实现待测试功能的测试,最后能够基于被测车辆在实现待测试功能时的行驶状态和多个测试指令,确定待测试功能对应的测试参数项的实际取值范围,也即可以确定被测车辆的性能边界,极大的提高自动驾驶车辆的性能边界的测试准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的车辆测试方法的一场景示意图;
图2是实施本申请实施例提供的车辆测试方法的另一场景示意图;
图3是本申请实施例提供的一种车辆测试方法的步骤示意流程图;
图4是本申请实施例中的车辆测试方法的一流程示意图;
图5是本申请实施例提供的一种自动驾驶测试装置的结构示意性框图;
图6是本申请实施例提供的一种自动驾驶测试系统的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
目前,主要通过模拟自动驾驶车辆在设定行驶场景下按照设定的行驶动作信息行驶,得到行驶场景对应的指标项的模拟值,并基于该指标项的模拟值和预期值,确定自动驾驶车辆的性能边界。但上述方法存在无法真实模拟车辆行驶的问题,导致确定的自动驾驶车辆的性能边界不准确。
为解决上述问题,本申请实施例提供了一种自动驾驶系统的性能测试方法,具体的,提供一种车辆测试方法,通过生成多个测试指令,且每一测试指令包括待测试功能对应的测试参数项集合中每一测试参数项的一个取值,任意两个测试指令中至少包括一个测试参数项的取值不同,使得测试设备能够基于不同的测试指令,在测试场景中执行对应的操作,以调整测试场景中的交通元素的状态参数,从而使得被测车辆能够基于对测试场景的交通元素的观测数据和预设的自动驾驶算法在测试场景中实现待测试功能的测试,最后能够基于被测车辆在实现待测试功能时的行驶状态和多个测试指令,确定待测试功能对应的测试参数项的实际取值范围,也即可以确定被测车辆的性能边界,极大的提高自动驾驶车辆的性能边界的测试准确性。
请参阅图1,图1是实施本申请实施例提供的车辆测试方法的一场景示意图。如图1所示,该场景包括自动驾驶测试装置100、被测车辆200和测试用车300。其中,自动驾驶测试装置100,用于生成测试被测车辆200的待测试功能的多个测试指令,并向测试用车300发送测试指令,被测车辆200用于基于对测试场景的交通元素的观测数据和预设的自动驾驶算法在该测试场景中实现 该待测试功能,测试用车300用于根据该测试指令中的测试参数项和测试参数项的取值,在该测试场景执行对应的操作,以调整该测试场景中的交通元素的状态参数。
示例性的,测试用车300与自动驾驶测试装置100通信连接,测试用车300与被测车辆200通信连接。可以理解的是,测试用车300可以作为该测试场景中的一个交通元素。其中,测试用车300基于自动驾驶测试装置100下发的测试指令,调整自身的位置、速度和/或运动轨迹,使得被测车辆200基于对测试用车300的观测数据和预设的自动驾驶算法在该测试场景下自主行驶,以实现待测试功能。
在一实施例中,测试用车300包括车辆平台和搭载在该车辆平台上的交通参与者模型,交通参与者模型随测试用车300运动,该交通参与者模型可以作为该测试场景中的交通元素,交通参与者模型可以包括行人模型、车辆模型、自行车模型、摩托车模型等。
其中,测试用车300基于自动驾驶测试装置100下发的测试指令,调整自身的位置、速度和/或运动轨迹,从而调整搭载在该车辆平台上的交通参与者模型的位置、速度和/或运动轨迹,使得被测车辆200基于对交通参与者模型的观测数据和预设的自动驾驶算法在该测试场景下自主行驶,以实现待测试功能。
请参阅图2,图2是实施本申请实施例提供的车辆测试方法的另一场景示意图。如图2所示,该场景包括自动驾驶测试装置100、被测车辆200和无人机400。其中,无人机400与自动驾驶测试装置100通信连接,无人机400包括机体410和动力系统420,动力系统420设于机体410上,用于为无人机400提供飞行动力。无人机400上还搭载有交通参与者模型,交通参与者模型随无人机400运动,该交通参与者模型可以作为测试场景中的交通元素。
在一实施例中,无人机400基于自动驾驶测试装置100下发的测试指令,调整自身的位置、速度和/或运动轨迹,从而调整搭载在该无人机400的交通参与者模型的位置、速度和/或运动轨迹,使得被测车辆200基于对交通参与者模型的观测数据和预设的自动驾驶算法在该测试场景下自主行驶,以实现待测试功能。
以下,将结合图1或图2中的场景对本申请的实施例提供的车辆测试方法进行详细介绍。需知,图1或图2中的场景仅用于解释本申请实施例提供的车辆测试方法,但并不构成对本申请实施例提供的车辆测试方法应用场景的限定。
请参阅图3,图3是本申请实施例提供的一种车辆测试方法的步骤示意流 程图。
如图3所示,该车辆测试方法可以包括步骤S101至步骤S106。
步骤S101、获取被测车辆的待测试功能对应的测试参数项集合和测试参数项集合中每一测试参数项的待测取值范围。
其中,被测车辆能够根据对测试场景的交通元素的观测数据和预设的自动驾驶算法在测试场景中实现待测试功能,测试场景的交通元素与待测试功能相匹配。交通元素可以包括在该测试场景中的其他交通参与者和/或静态场景元素,静态场景元素包括以下一种或者多种:车道线、路标、指示灯。其他交通参与者包括以下一种或者多种:人、车辆、摩托车、自行车,其他交通参与者包括真实的交通参与者或者交通参与者模型。例如,交通参与者模型可以包括行人模型、车辆模型、自行车模型、摩托车模型等。
其中,被测车辆的待测试功能可以包括车道线保持、基于车道的限速进行行驶、基于指示灯的指示状态进行行驶、避让本车道前方的减速车辆、避让切入本车道的车辆、碰撞交通参与者前进行刹车急停等。例如,对于车道线保持的功能的测试,被测车辆基于对测试场景中的车道线的观测数据和预设的自动驾驶算法在测试场景中实现车道线保持。
又例如,对于基于指示灯的指示状态进行行驶的测试,被测车辆基于对测试场景中的指示灯的观测数据和预设的自动驾驶算法在测试场景中进行行驶。再例如,对于碰撞交通参与者前进行刹车急停的测试,被测车辆基于对测试场景中的其余交通参与者的观测数据和预设的自动驾驶算法在测试场景中实现碰撞交通参与者前进行刹车急停的功能。
在一实施例中,在获取待测试功能对应的测试参数项集合之前,需要先确定被测车辆的待测试功能,被测车辆的待测试功能是根据用户在人机交互页面中的操作确定的。示例性的,显示被测车辆的待测功能选择页面;根据用户在待测功能选择页面中的操作,确定被测车辆的待测试功能。
其中,待测功能选择页面包括被测车辆的待测功能列表,待测功能列表与被测车辆中的自动驾驶算法的等级、设计要求信息和/或运行设计域相关。示例性的,根据用户在待测功能列表中的选择操作,从待测功能列表中确定待测系统的待测试功能。
在一实施例中,获取预存的功能标识信息与测试参数项集合之间的映射关系;根据被测车辆的待测试功能的功能标识信息和映射关系,确定被测车辆的待测试功能对应的测试参数项集合;从测试参数项集合的多个预设取值范围中 选择测试参数项集合中每一所述测试参数项的待测取值范围。其中,预存的功能标识信息与测试参数项集合之间的映射关系是根据自动驾驶算法的等级和设计要求信息确定的,多个预设取值范围是根据用户在人机交互页面中的操作确定的,或者多个预设取值范围是由用户基于已有交通数据和自动驾驶算法的运行设计域进行设置的。
示例性的,从多个预设取值范围中选择测试参数项集合中每一所述测试参数项的待测取值范围的方式可以为:从多个预设取值范围中选择测试参数项集合中选择任一预设取值范围作为测试参数项集合中每一所述测试参数项的待测取值范围。或者,从多个预设取值范围中选择测试参数项集合中选择最大的预设取值范围作为测试参数项集合中每一测试参数项的待测取值范围。
在一实施例中,从预设的多个测试参数项模板中获取被测车辆的待测试功能对应的目标测试参数项模板;从目标测试参数项模板中获取待测试功能对应的测试参数项集合和测试参数项集合中每一测试参数项的待测取值范围。通过预设多个测试参数项模板,可以方便快速的确定待测试功能对应的测试参数项模板,从而可以便利的确定测试参数项集合和测试参数项集合中每一所述测试参数项的待测取值范围。
其中,预设的多个测试参数项模板是根据自动驾驶算法的等级、设计要求信息和运行设计域确定的,不同的待测试功能对应不同的测试参数项模板,预设的测试参数项模板包括一个待测试功能对应的测试参数项集合和测试参数项集合中每一测试参数项的待测取值范围。
在一实施例中,显示模板编辑页面,其中,该模板编辑页面显示有目标测试参数项模板和确认按键;根据用户对该目标测试参数项模板的编辑操作,编辑目标测试参数项模板中的测试参数项的取值范围;响应于用户对该确认按键的触发操作,从编辑后的目标测试参数项模板中获取该待测试功能对应的测试参数项集合和测试参数项集合中每一测试参数项的待测取值范围。通过提供测试参数项模板,可以方便用户进行编辑,可以便利的确定测试参数项集合和测试参数项集合中每一所述测试参数项的待测取值范围。
步骤S102、在待测取值范围内确定每一测试参数项的多个取值。
示例性的,在待测取值范围内对每一测试参数项的取值进行离散化,得到每一测试参数项的多个取值。通过对每一测试参数项的取值进行离散化,可以快速的得到每一测试参数项的多个取值,整个过程不需要用户参与就可以得到测试所需的数据,可以提高测试效率。
示例性的,在待测取值范围内,对每一测试参数项的取值进行等步长和/或变步长的离散化。其中,每一测试参数项的离散步长不同或相同。通过等步长法,对测试参数项的取值进行离散化,可以保证测试参数项的多个取值中的相邻取值之间的间隔值相同,使得生成的测试指令更平滑,能够平滑的调整测试场景中的交通元素的状态参数,可以提高测试效果。通过变步长法对测试参数项的取值进行离散化,可以保证测试参数项的多个取值中的相邻取值之间的间隔值不同,使得生成的测试指令可以涵盖更多的情况,进而可以更好的调整测试场景中的交通元素的状态参数,可以提高测试效果。
步骤S103、根据测试参数项集合和每一测试参数项的多个取值生成多个测试指令。
其中,每一测试指令包括测试参数项集合中每一测试参数项的一个取值,任意两个测试指令中的部分或全部同一测试参数项的取值不同。或者,任意两个测试指令中的部分同一测试参数项的取值相同。
示例性的,在生成测试指令时,确定测试参数项集合中的部分测试参数项的取值保持不变,而改变测试参数项集合中的另一部分测试参数项的取值来生成多个测试指令,之后进行轮换,这样可以生成更多的测试指令,使得生成的测试指令可以涵盖更多的情况。
例如,测试参数项集合包括测试参数项A、测试参数项B和测试参数项C,测试参数项A的取值包括A1和A2,测试参数项B的取值包括B1和B2,测试参数项C的取值包括C1和C2,这样组合得到包含测试参数项A、测试参数项B和测试参数项C的取值的取值组合为[A1 B1 C1]、[A1 B1 C2]、[A1 B2 C1]、[A1 B2 C2]、[A2 B1 C1]、[A2 B1 C2]、[A2 B2 C1]、[A2 B2 C2],则可以生成8个测试指令。
步骤S104、将测试指令发送至测试场景中的测试设备;
其中,测试设备基于测试指令中的每一测试参数项和每一测试参数项的取值在该测试场景执行对应的操作,该操作用于调整测试场景中的交通元素的状态参数。调整测试场景中的交通元素的状态参数可以包括:调整测试场景中的其他交通参与者的位置信息、速度信息、运行轨迹。或者,调整测试场景中的交通元素的状态参数可以包括:调整测试场景中的车道线的缺失程度、路标的限速信息和/或指示灯的指示状态。
在一实施例中,测试设备还用于修改被测车辆的运行参数。其中,该运行参数包括被测车辆的硬件运行参数和/或软件运行参数,软件运行参数包括自动 驾驶算法的运行参数。自动驾驶算法包括的软件模块可以为识别模块、感知模块、决策规划模块和控制模块,自动驾驶算法的运行参数可以包括识别模块的运行参数、感知模块的运行参数、决策规划模块的运行参数和控制模块的运行参数。
示例性的,被测车辆的硬件可以包括视觉传感器、雷达装置、控制芯片等,视觉传感器可以包括以下至少一种:双目摄像头、广角摄像头、红外摄像头等,视觉传感器的硬件运行参数可以包括拍摄朝向、视场角、分辨率、曝光参数等。雷达装置可以包括以下至少一种:激光雷达、超声波雷达、毫米波雷达等,雷达装置的的硬件运行参数可以包括探测范围、探测方向、距离探测精度等。
步骤S105、获取被测车辆在实现待测试功能时的行驶状态。
示例性的,通过与被测车辆的通信连接,获取被测车辆发送的在实现待测试功能时的行驶状态。或者,通过与测试设备的通信连接,获取测试设备发送的被测车辆在实现待测试功能时的行驶状态。或者通过与路侧设备的通信连接,获取路侧设备发送的被测车辆在实现待测试功能时的行驶状态。
其中,被测车辆、测试设备和/或路侧设备包括环境传感器,通过环境传感器,可以获取被测车辆在实现待测试功能时的观测数据,根据被测车辆在实现待测试功能时的观测数据,确定被测车辆在实现待测试功能时的行驶状态。例如,环境传感器包括雷达和/或视觉传感器,其中雷达例如包括以下至少一种:激光雷达、超声波雷达、毫米波雷达等,视觉传感器例如包括以下至少一种:双目摄像头、广角摄像头、红外摄像头等。
在一实施例中,多个测试指令包括第一测试指令和第二测试指令,第二测试指令中的每一测试参数项的取值是根据每一测试参数项的待测取值范围和被测车辆的目标行驶状态确定的,被测车辆的目标行驶状态是在测试设备执行第一测试指令对应的操作后所确定的。其中,第一测试指令先于第二测试指令发送给测试设备。
通过被测车辆在实现待测试功能时的行驶状态和每一测试参数项的待测取值范围,来重新确定每一测试参数项的取值,并基于重新确定的每一测试参数项的取值来生成测试指令,可以更快的测试得到待测试功能对应的测试参数项的实际取值范围,可以减少测试次数,从而提高测试效率。
示例性的,在获取到被测车辆在实现待测试功能时的行驶状态后,基于获取到的行驶状态和每一测试参数项的待测取值范围来重新确定每一测试参数项的多个取值,并根据测试参数项集合和重新确定的每一测试参数项的多个取值 生成多个测试指令。
例如,若获取到的行驶状态不满足预设的行驶状态条件,则缩小测试参数项的取值的离散步长,并按照缩小后的离散步长,在待测取值范围内对每一测试参数项的取值进行离散化,得到重新确定的每一测试参数项的多个取值。其中,可以按照二分法来缩小测试参数项的取值的离散步长,当然也可以按照其余的方法来缩小测试参数项的取值的离散步长,本实施例对此不做具体限定。
例如,若获取到的行驶状态满足预设的行驶状态条件,则增大测试参数项的取值的离散步长,并按照增大后的离散步长,在待测取值范围内对每一测试参数项的取值进行离散化,得到重新确定的每一测试参数项的多个取值。其中,可以按照二分法来增大测试参数项的取值的离散步长,当然也可以按照其余的方法来增大测试参数项的取值的离散步长,本实施例对此不做具体限定。
步骤S106、基于行驶状态和测试指令生成测试结果。
其中,该测试结果用于指示待测试功能对应的测试参数项集合中的每一测试参数项的实际取值范围,该实际取值范围用于表示被测车辆实现待测试功能时,待测试功能对应的测试参数项的取值边界。示例性的,显示该测试结果。
示例性的,若待测试功能对应的测试参数项集合包括一个测试参数项,则该实际取值范围可以表示为一个线段,若待测试功能对应的测试参数项集合包括两个测试参数项,则该实际取值范围可以表示为一个平面,若待测试功能对应的测试参数项集合包括三个测试参数项,则该实际取值范围可以表示为一个球面。
在一实施例中,获取满足预设的行驶状态条件的行驶状态对应的测试指令;根据获取到的多个测试指令中的每一测试参数项的取值,确定待测试功能对应的测试参数项中的每一测试参数项的实际取值范围。其中,被测车辆在实现待测试功能时的行驶状态包括第一行驶状态和第二行驶状态,第一行驶状态满足预设的行驶状态条件,第二行驶状态不满足预设的行驶状态条件,预设的行驶状态条件与被测车辆的待测试功能相关,实际取值范围包括第一行驶状态对应的测试指令中的每一测试参数项的取值。
在一实施例中,获取待测试功能的测试评价标准信息;根据测试评价标准信息和被测车辆的待测试功能对应的测试参数项集合中每一测试参数项的待测取值范围,确定待测试功能的预期评价指数。其中,该测试评价标准信息可以基于预存的功能标识与测试评价标准信息之间的映射关系以及待测试功能的功能标识确定,功能标识与测试评价标准信息之间的映射关系可基于实际情况进 行设置,本申请实施例对此不做具体限定。
示例性的,测试评价标准信息包括待测试功能对应的测试参数项的标准取值范围,待测试功能的预期评价指数的确定方式可以为:确定该待测取值范围与标准取值范围之间的偏差值,并根据该偏差值确定待测试功能的预期评价指数。其中,预期评价指数越高,则表示待测试功能越好,预期评价指数越低,则表示待测试功能越差,预期评价指数与该偏差值呈负相关关系,即该偏差值越大,则预期评价指数越小,该偏差值越小,则预期评价指数越大。
在一实施例中,根据被测车辆的全部待测试功能的预期评价指数,确定被测车辆的预期评价指数。示例性的,累加被测车辆的全部待测试功能的预期评价指数,得到被测车辆的预期评价指数。其中,被测车辆的预期评价指数越高,则被测车辆的性能越好,而被测车辆的预期评价指数越低,则被测车辆的性能越差。
请参阅图4,图4是本申请实施例中的车辆测试方法的一流程示意图。如图4所示,用户输入被测车辆中的自动驾驶算法的等级、设计要求信息和运行设计域,从而基于自动驾驶算法的等级、设计要求信息和运行设计域,生成待测功能列表,用户从待测功能列表中选择待测试功能;在选择待测试功能后,可以确定待测试功能对应的测试参数项集合和测试参数项集合中的每一测试参数项的待测取值范围;之后生成多个测试指令,该测试指令是基于测试参数项集合和每一测试参数项的多个取值生成的,每一测试参数项的多个取值是从待测取值范围内确定的;然后将测试指令发送给测试设备,测试设备执行测试指令,最后获取被测车辆的行驶状态,并基于被测车辆的行驶状态和该测试指令,输出测试结果。
上述实施例提供的车辆测试方法,通过生成多个测试指令,且每一测试指令包括待测试功能对应的测试参数项集合中每一测试参数项的一个取值,任意两个测试指令中至少包括一个测试参数项的取值不同,使得测试设备能够基于不同的测试指令,在测试场景中执行对应的操作,以调整测试场景中的交通元素的状态参数,从而使得被测车辆能够基于对测试场景的交通元素的观测数据和预设的自动驾驶算法在测试场景中实现待测试功能的测试,最后能够基于被测车辆在实现待测试功能时的行驶状态和多个测试指令,确定待测试功能对应的测试参数项的实际取值范围,也即可以确定被测车辆的性能边界,极大的提高自动驾驶车辆的性能边界的测试准确性。
请参阅图5,图5是本申请实施例提供的一种自动驾驶测试装置的结构示 意性框图。
如图5所示,自动驾驶测试装置500可以包括一个或多个处理器510,一个或多个处理器510单独地或共同地工作,用于执行前述的车辆测试方法。
示例性的,自动驾驶测试装置500还包括存储器520。
示例性的,处理器510和存储器520通过总线530连接,该总线530比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器510可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器520可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器510用于运行存储在存储器520中的计算机程序,并在执行所述计算机程序时实现以下步骤:
获取被测车辆的待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围,其中,所述被测车辆能够根据对测试场景的交通元素的观测数据和预设的自动驾驶算法在所述测试场景中实现所述待测试功能;
在所述待测取值范围内确定每一所述测试参数项的多个取值;
根据所述测试参数项集合和所述取值生成多个测试指令,其中,每一所述测试指令包括所述测试参数项集合中每一所述测试参数项的一个取值,任意两个所述测试指令中的部分或全部同一所述测试参数项的取值不同;
将所述测试指令发送至所述测试场景中的测试设备,其中,所述测试指令用于指示所述测试设备根据所述测试参数项在所述测试场景执行对应的操作,所述操作用于调整所述测试场景中的所述交通元素的状态参数;
获取所述被测车辆在实现所述待测试功能时的行驶状态;
基于所述行驶状态和所述测试指令生成测试结果,所述测试结果用于指示所述待测试功能对应的所述测试参数项的实际取值范围。
可选的,所述交通元素包括在所述测试场景中的其他交通参与者,所述其他交通参与者包括以下一种或者多种:人、车辆、摩托车、自行车。
可选的,所述其他交通参与者包括真实的交通参与者或者交通参与者模型。
可选的,所述调整所述测试场景中的所述交通元素的状态参数包括:调整所述测试场景中的所述其他交通参与者的位置信息、速度信息、运行轨迹。
可选的,所述交通元素包括静态场景元素,所述静态场景元素包括以下一种或者多种:车道线、路标、指示灯。
可选的,所述调整所述测试场景中的所述交通元素的状态参数包括:调整所述测试场景中的所述车道线的缺失程度、所述路标的限速信息和/或所述指示灯的指示状态。
可选的,所述测试设备还用于修改所述被测车辆的运行参数。
可选的,所述运行参数包括所述被测车辆的硬件运行参数和/或软件运行参数。
可选的,所述软件运行参数包括所述自动驾驶算法的运行参数。
可选的,多个所述测试指令包括第一测试指令和第二测试指令,所述第二测试指令中的每一所述测试参数项的取值是根据所述待测取值范围和所述被测车辆的目标行驶状态确定的,所述被测车辆的目标行驶状态是在所述测试设备执行所述第一测试指令对应的操作后所确定的。
可选的,所述处理器510在实现所述待测取值范围内确定每一所述测试参数项的多个取值时,用于实现:
在所述待测取值范围内对每一所述测试参数项的取值进行离散化,得到每一所述测试参数项的多个取值。
可选的,所述处理器510在实现在所述待测取值范围内,对每一所述测试参数项的取值进行离散化时,用于实现:
在所述待测取值范围内,对每一所述测试参数项的取值进行等步长和/或变步长的离散化。
可选的,每一所述测试参数项的离散步长不同或相同。
可选的,所述被测车辆的待测试功能是根据用户在人机交互页面中的操作确定的。
可选的,所述处理器510还用于实现以下步骤:
根据用户对显示的待测功能选择页面中的操作,确定所述被测车辆的待测试功能。
可选的,所述待测功能选择页面包括待测功能列表,所述处理器510在实现根据用户对显示的待测功能选择页面中的操作,确定所述被测车辆的待测试功能时,用于实现:
根据用户在所述待测功能列表中的选择操作,从所述待测功能列表中确定所述被测车辆的待测试功能。
可选的,所述待测功能列表是根据所述自动驾驶算法的等级、设计要求信息和/或运行设计域相关。
可选的,所述处理器510在实现获取被测车辆的待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围时,用于实现:
获取预存的功能标识信息与测试参数项集合之间的映射关系;
根据所述被测车辆的待测试功能的功能标识信息和所述映射关系,确定被测车辆的待测试功能对应的测试参数项集合;
从所述测试参数项集合的多个预设取值范围中选择所述测试参数项集合中每一所述测试参数项的待测取值范围。
可选的,预存的功能标识信息与测试参数项集合之间的映射关系是根据所述自动驾驶算法的等级和设计要求信息确定的。
可选的,多个预设取值范围是根据用户在人机交互页面中的操作确定的。
可选的,多个预设取值范围是根据根据所述自动驾驶算法的运行设计域确定的。
可选的,所述处理器510在实现获取被测车辆的待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围时,用于实现:
从预设的多个测试参数项模板中获取所述被测车辆的待测试功能对应的目标测试参数项模板;
从所述目标测试参数项模板中获取所述待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围。
可选的,预设的多个测试参数项模板是根据所述自动驾驶算法的等级、设计要求信息和运行设计域确定的。
可选的,所述处理器510还用于实现以下步骤:
根据用户对显示的模板编辑页面中目标测试参数项模板的编辑操作,编辑所述目标测试参数项模板中的测试参数项的取值范围;
响应于用户对所述模板编辑页面中确认按键的触发操作,从编辑后的目标测试参数项模板中获取所述待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围。
可选的,所述处理器510在实现基于所述行驶状态和所述测试指令生成测试结果时,用于实现:
获取满足预设的行驶状态条件的所述行驶状态对应的所述测试指令;
根据获取到的多个测试指令中的每一所述测试参数项的取值,确定所述待测试功能对应的测试参数项中的每一所述测试参数项的实际取值范围。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的自动驾驶测试装置的具体工作过程,可以参考前述车辆测试方法实施例中的对应过程,在此不再赘述。
请参阅图6,图6是本申请实施例提供的一种自动驾驶测试系统的结构示意性框图。
如图6所示,自动驾驶测试系统600可以包括:
被测车辆610,用于根据对测试场景的交通元素的观测数据和预设的自动驾驶算法在测试场景中实现所述被测车辆的待测试功能;
自动驾驶测试装置620,用于生成测试指令;
测试设备630,用于根据所述测试指令,在所述测试场景中执行对应的操作,所述操作用于调整所述测试场景中的所述交通元素的状态参数。
其中,自动驾驶测试装置620与测试设备630通信连接。示例性的,自动驾驶测试装置620与被测车辆610通信连接。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的自动驾驶测试系统的具体工作过程,可以参考前述车辆测试方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现上述实施例提供的车辆测试方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的控制终端或无人飞行器的内部存储单元,例如所述控制终端或无人飞行器的硬盘或内存。所述计算机可读存储介质也可以是所述控制终端或无人飞行器的外部存储设备,例如所述控制终端或无人飞行器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是 指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (29)

  1. 一种车辆测试方法,其特征在于,包括:
    获取被测车辆的待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围,其中,所述被测车辆能够根据对测试场景的交通元素的观测数据和预设的自动驾驶算法在所述测试场景中实现所述待测试功能;
    在所述待测取值范围内确定每一所述测试参数项的多个取值;
    根据所述测试参数项集合和所述取值生成多个测试指令,其中,每一所述测试指令包括所述测试参数项集合中每一所述测试参数项的一个取值,任意两个所述测试指令中的部分或全部同一所述测试参数项的取值不同;
    将所述测试指令发送至所述测试场景中的测试设备,其中,所述测试指令用于指示所述测试设备根据所述测试参数项在所述测试场景执行对应的操作,所述操作用于调整所述测试场景中的所述交通元素的状态参数;
    获取所述被测车辆在实现所述待测试功能时的行驶状态;
    基于所述行驶状态和所述测试指令生成测试结果,所述测试结果用于指示所述待测试功能对应的所述测试参数项的实际取值范围。
  2. 根据权利要求1所述的车辆测试方法,其特征在于,所述交通元素包括在所述测试场景中的其他交通参与者,所述其他交通参与者包括以下一种或者多种:人、车辆、摩托车、自行车。
  3. 根据权利要求2所述的车辆测试方法,其特征在于,所述其他交通参与者包括真实的交通参与者或者交通参与者模型。
  4. 根据权利要求2所述的车辆测试方法,其特征在于,所述调整所述测试场景中的所述交通元素的状态参数包括:调整所述测试场景中的所述其他交通参与者的位置信息、速度信息、运行轨迹。
  5. 根据权利要求1所述的车辆测试方法,其特征在于,所述交通元素包括静态场景元素,所述静态场景元素包括以下一种或者多种:车道线、路标、指示灯。
  6. 根据权利要求5所述的车辆测试方法,其特征在于,所述调整所述测试场景中的所述交通元素的状态参数包括:调整所述测试场景中的所述车道线的缺失程度、所述路标的限速信息和/或所述指示灯的指示状态。
  7. 根据权利要求1所述的车辆测试方法,其特征在于,所述测试设备还用 于修改所述被测车辆的运行参数。
  8. 根据权利要求7所述的车辆测试方法,其特征在于,所述运行参数包括所述被测车辆的硬件运行参数和/或软件运行参数。
  9. 根据权利要求8所述的车辆测试方法,其特征在于,所述软件运行参数包括所述自动驾驶算法的运行参数。
  10. 根据权利要求1所述的车辆测试方法,其特征在于,多个所述测试指令包括第一测试指令和第二测试指令,所述第二测试指令中的每一所述测试参数项的取值是根据所述待测取值范围和所述被测车辆的目标行驶状态确定的,所述被测车辆的目标行驶状态是在所述测试设备执行所述第一测试指令对应的操作后所确定的。
  11. 根据权利要求1-10中任一项所述的车辆测试方法,其特征在于,所述在所述待测取值范围内确定每一所述测试参数项的多个取值,包括:
    在所述待测取值范围内对每一所述测试参数项的取值进行离散化,得到每一所述测试参数项的多个取值。
  12. 根据权利要求11所述的车辆测试方法,其特征在于,所述在所述待测取值范围内,对每一所述测试参数项的取值进行离散化,包括:
    在所述待测取值范围内,对每一所述测试参数项的取值进行等步长和/或变步长的离散化。
  13. 根据权利要求12所述的车辆测试方法,其特征在于,每一所述测试参数项的离散步长不同或相同。
  14. 根据权利要求1-10中任一项所述的车辆测试方法,其特征在于,所述被测车辆的待测试功能是根据用户在人机交互页面中的操作确定的。
  15. 根据权利要求14所述的车辆测试方法,其特征在于,所述方法还包括:
    显示所述被测车辆的待测功能选择页面;
    根据用户在所述待测功能选择页面中的操作,确定所述被测车辆的待测试功能。
  16. 根据权利要求15所述的车辆测试方法,其特征在于,所述待测功能选择页面包括待测功能列表,所述根据用户在所述待测功能选择页面中的操作,确定所述自动驾驶系统的待测试功能,包括:
    根据用户在所述待测功能列表中的选择操作,从所述待测功能列表中确定所述被测车辆的待测试功能。
  17. 根据权利要求16所述的车辆测试方法,其特征在于,所述待测功能列 表是根据所述自动驾驶算法的等级、设计要求信息和/或运行设计域相关。
  18. 根据权利要求1-10中任一项所述的车辆测试方法,其特征在于,所述获取被测车辆的待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围,包括:
    获取预存的功能标识信息与测试参数项集合之间的映射关系;
    根据所述被测车辆的待测试功能的功能标识信息和所述映射关系,确定被测车辆的待测试功能对应的测试参数项集合;
    从所述测试参数项集合的多个预设取值范围中选择所述测试参数项集合中每一所述测试参数项的待测取值范围。
  19. 根据权利要求18所述的车辆测试方法,其特征在于,预存的功能标识信息与测试参数项集合之间的映射关系是根据所述自动驾驶算法的等级和设计要求信息确定的。
  20. 根据权利要求18所述的车辆测试方法,其特征在于,多个预设取值范围是根据用户在人机交互页面中的操作确定的。
  21. 根据权利要求18所述的车辆测试方法,其特征在于,多个预设取值范围是根据根据所述自动驾驶算法的运行设计域确定的。
  22. 根据权利要求1-10中任一项所述的车辆测试方法,其特征在于,所述获取被测车辆的待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围,包括:
    从预设的多个测试参数项模板中获取所述被测车辆的待测试功能对应的目标测试参数项模板;
    从所述目标测试参数项模板中获取所述待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围。
  23. 根据权利要求22所述的车辆测试方法,其特征在于,预设的多个测试参数项模板是根据所述自动驾驶算法的等级、设计要求信息和运行设计域确定的。
  24. 根据权利要求22所述的车辆测试方法,其特征在于,所述方法还包括:
    显示模板编辑页面,其中,所述模板编辑页面显示有所述目标测试参数项模板和确认按键;
    根据用户对所述目标测试参数项模板的编辑操作,编辑所述目标测试参数项模板中的测试参数项的取值范围;
    响应于用户对所述确认按键的触发操作,从编辑后的目标测试参数项模板 中获取所述待测试功能对应的测试参数项集合和所述测试参数项集合中每一所述测试参数项的待测取值范围。
  25. 根据权利要求1-10中任一项所述的车辆测试方法,其特征在于,所述基于所述行驶状态和所述测试指令生成测试结果,包括:
    获取满足预设的行驶状态条件的所述行驶状态对应的所述测试指令;
    根据获取到的多个测试指令中的每一所述测试参数项的取值,确定所述待测试功能对应的测试参数项中的每一所述测试参数项的实际取值范围。
  26. 一种自动驾驶测试装置,其特征在于,包括一个或多个处理器,单独地或共同地工作,用于执行权利要求1-25中任一项所述的车辆测试方法的步骤。
  27. 一种自动驾驶测试系统,其特征在于,包括:
    被测车辆,用于根据对测试场景的交通元素的观测数据和预设的自动驾驶算法在测试场景中实现所述被测车辆的待测试功能;
    权利要求26所述的自动驾驶测试装置,用于生成测试指令;
    测试设备,用于根据所述测试指令,在所述测试场景中执行对应的操作,所述操作用于调整所述测试场景中的所述交通元素的状态参数。
  28. 根据权利要求27所述的自动驾驶测试系统,其特征在于,所述测试设备包括测试用车或无人机,所述无人机搭载有所述场景元素的模型,所述场景元素的模型随所述无人机在所述测试场景中运动。
  29. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1-25中任一项所述的车辆测试方法。
CN202180087985.4A 2021-05-28 2021-05-28 一种自动驾驶系统的性能测试方法 Pending CN116783462A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/097008 WO2022246860A1 (zh) 2021-05-28 2021-05-28 一种自动驾驶系统的性能测试方法

Publications (1)

Publication Number Publication Date
CN116783462A true CN116783462A (zh) 2023-09-19

Family

ID=84229472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180087985.4A Pending CN116783462A (zh) 2021-05-28 2021-05-28 一种自动驾驶系统的性能测试方法

Country Status (2)

Country Link
CN (1) CN116783462A (zh)
WO (1) WO2022246860A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116223056B (zh) * 2022-12-14 2024-03-12 清华大学 虚拟碰撞测试方法、装置、设备、存储介质和程序产品
CN115979673A (zh) * 2023-02-02 2023-04-18 吉林大学 基于可变更路面标线的车辆测试方法、设备、系统及介质
CN116737592A (zh) * 2023-07-26 2023-09-12 小米汽车科技有限公司 程序测试方法、装置、电子设备及存储介质
CN117369407B (zh) * 2023-10-30 2024-05-10 载合汽车科技(苏州)有限公司 一种汽车电气性能测试系统、方法、装置及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107843440B (zh) * 2017-10-30 2019-12-13 青岛慧拓智能机器有限公司 一种自动驾驶车辆性能测试系统及方法
CN107782564B (zh) * 2017-10-30 2019-12-13 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评系统及方法
CN109543245B (zh) * 2018-10-31 2021-08-10 百度在线网络技术(北京)有限公司 无人车应对能力边界信息确定方法、装置和电子设备
JP7213704B2 (ja) * 2019-01-31 2023-01-27 株式会社日立ソリューションズ 自動運転プログラム評価システム、及び自動運転プログラム評価方法
CN110597711B (zh) * 2019-08-26 2023-02-10 湖南大学 一种基于场景和任务的自动驾驶测试用例生成方法
CN111811833A (zh) * 2020-07-08 2020-10-23 上海汽车集团股份有限公司 智能驾驶汽车实车测试系统
CN112181698A (zh) * 2020-09-21 2021-01-05 东风柳州汽车有限公司 自动驾驶极限性能的测试方法、装置、设备及存储介质
CN112665875A (zh) * 2020-12-25 2021-04-16 北京智能车联产业创新中心有限公司 自动驾驶车辆可靠性测试方法、装置、电子设备以及存储介质
CN112345272A (zh) * 2021-01-11 2021-02-09 北京赛目科技有限公司 一种场景库的自动驾驶仿真测试方法及装置

Also Published As

Publication number Publication date
WO2022246860A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
CN116783462A (zh) 一种自动驾驶系统的性能测试方法
CN107063713B (zh) 应用于无人驾驶汽车的测试方法和装置
CN110796007B (zh) 场景识别的方法与计算设备
CN107571864B (zh) 无人驾驶车辆的数据采集方法和装置
CN110782657A (zh) 使用自动驾驶车辆的子系统进行警车巡逻
KR102399130B1 (ko) 차량의 주행 환경 인식 장치, 방법 및 시스템
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN109064763A (zh) 自动驾驶车辆的测试方法、装置、测试设备和存储介质
CN111386563B (zh) 教师数据生成装置
JP2002083297A (ja) 物体認識方法および物体認識装置
CN111683840B (zh) 可移动平台的交互方法、系统、可移动平台及存储介质
KR102631964B1 (ko) 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
DE112018004691T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und bewegter körper
CN116829919A (zh) 基于航测数据的自动驾驶系统测试方法、测试系统及存储介质
US20220073104A1 (en) Traffic accident management device and traffic accident management method
CN106080397A (zh) 自适应巡航系统及车载设备
KR20220142590A (ko) 차량 외관의 검출을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체
DE112021002953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
EP4105820A1 (en) Method and device for acquiring 3d information of vehicle
CN117008574A (zh) 一种智能网联汽车高级辅助驾驶系统和自动驾驶系统测试平台
CN110263602A (zh) Ubi数据收集方法、装置、设备及介质
CN114511834A (zh) 一种确定提示信息的方法、装置、电子设备及存储介质
CN110364023A (zh) 驾驶辅助系统和方法
WO2023021755A1 (ja) 情報処理装置、情報処理システム、モデル及びモデルの生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240527

Address after: Building 3, Xunmei Science and Technology Plaza, No. 8 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518057, 1634

Applicant after: Shenzhen Zhuoyu Technology Co.,Ltd.

Country or region after: China

Applicant after: Jilin University

Address before: 518057 Shenzhen Nanshan District, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao District, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SZ DJI TECHNOLOGY Co.,Ltd.

Country or region before: China

Applicant before: Jilin University