CN111090242A - 自动驾驶测试系统精度验证方法、装置、设备及存储介质 - Google Patents

自动驾驶测试系统精度验证方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111090242A
CN111090242A CN201911180325.1A CN201911180325A CN111090242A CN 111090242 A CN111090242 A CN 111090242A CN 201911180325 A CN201911180325 A CN 201911180325A CN 111090242 A CN111090242 A CN 111090242A
Authority
CN
China
Prior art keywords
value
verification
sub
automatic driving
test system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911180325.1A
Other languages
English (en)
Other versions
CN111090242B (zh
Inventor
姜建满
徐毅林
吴琼
袁宁
丁钊
范贤根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Jianghuai Automobile Group Corp
Original Assignee
Anhui Jianghuai Automobile Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Jianghuai Automobile Group Corp filed Critical Anhui Jianghuai Automobile Group Corp
Priority to CN201911180325.1A priority Critical patent/CN111090242B/zh
Publication of CN111090242A publication Critical patent/CN111090242A/zh
Application granted granted Critical
Publication of CN111090242B publication Critical patent/CN111090242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)

Abstract

本发明涉及数据处理技术领域,公开了一种自动驾驶测试系统精度验证方法、装置、设备及存储介质,所述方法包括:获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据,根据测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值,根据物理设备获得设备校验值及设备验证值,根据自动驾驶试验数据获得数据分析值,将这些数值作为子指标,根据子指标计算自动驾驶测试系统的可信度数值,根据可信度数值对自动驾驶测试系统进行精度验证,从而通过对自动驾驶测试系统各模块分别进行验证,将得到的数值作为子指标,根据子指标计算自动驾驶测试系统的可信度数值来进行精度验证,解决了如何对自动驾驶仿真测试系进行精度验证的技术问题。

Description

自动驾驶测试系统精度验证方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种自动驾驶测试系统精度验证方法、装置、设备及存储介质。
背景技术
自动驾驶车辆仿真测试与验证是整个系统开发过程中不可缺少的流程,相比较传统汽车自动驾驶汽车的仿真、测试、验证手段更加重要,但是缺少合适的对自动驾驶仿真测试系统的精度进行验证的方法。
所以,本质上存在着如何对自动驾驶仿真测试系进行精度验证的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提出一种自动驾驶测试系统精度验证方法、装置、设备及存储介质,旨在解决如何对自动驾驶仿真测试系进行精度验证的技术问题。
为实现上述目的,本发明提供一种自动驾驶测试系统精度验证方法,所述自动驾驶测试系统精度验证方法包括以下步骤:
获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据;
根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值;
根据所述物理设备获得设备校验值及设备验证值;
根据所述自动驾驶试验数据获得数据分析值;
将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标;
根据所述子指标计算所述自动驾驶测试系统的可信度数值;
根据所述可信度数值对所述自动驾驶测试系统进行精度验证。
优选地,所述根据所述子指标计算所述自动驾驶测试系统的可信度数值,具体包括:
根据所述子指标构造判断矩阵;
根据预设模糊综合程度值公式及所述判断矩阵计算各子指标的综合程度值;
根据所述综合程度值计算所述自动驾驶测试系统的可信度数值。
优选地,所述子指标包括第一子指标、第二子指标及第三子指标,所述第一子指标包括所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值,所述第二子指标包括所述设备校验值、所述设备验证值,所述第三子指标包括数据分析值;
所述根据所述子指标构造判断矩阵,具体包括:
根据所述第一子指标、所述第二子指标及所述第三子指标构造主指标判断矩阵;
获取所述第一子指标的第一子指标测试数据、所述第二子指标的第二子指标测试数据及所述第三子指标的第三子指标测试数据;
根据所述第一子指标测试数据构造第一子指标判断矩阵;
根据所述第二子指标测试数据构造第二子指标判断矩阵;
根据所述第三子指标测试数据构造第三子指标判断矩阵;
将所述主指标判断矩阵、所述第一子指标判断矩阵、所述第二子指标判断矩阵及所述第三子指标判断矩阵作为判断矩阵。
优选地,所述根据所述综合程度值计算所述自动驾驶测试系统的可信度数值,具体包括:
根据所述综合程度值确定三角模糊数;
根据所述三角模糊数计算权重向量值;
根据所述权重向量值计算所述自动驾驶测试系统的可信度数值。
优选地,所述根据所述权重向量值计算所述自动驾驶测试系统的可信度数值,具体包括:
对所述权重向量值进行归一化处理,获得目标权重向量值;
对各子指标的目标权重向量值进行加权计算,获得所述自动驾驶测试系统的可信度数值。
优选地,所述根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值,具体包括:
对所述测试模型进行数字模型校核,获得数字校核值;
对所述测试模型进行数字模型验证,获得数字验证值;
对所述测试模型进行仿真模型校核,获得仿真校核值;
对所述测试模型进行仿真模型验证,获得仿真验证值;
相应地,所述根据所述物理设备获得设备校验值及设备验证值,包括:
对所述物理设备进行设备校验,获得设备校验值;
对所述物理设备进行设备验证,获得设备验证值;
相应地,所述根据所述自动驾驶试验数据获得数据分析值,包括:
对所述自动驾驶试验数据进行评估分析,获得数据分析值。
优选地,所述根据所述可信度数值对所述自动驾驶测试系统进行精度验证,具体包括:
查找与所述可信度数值对应的精度等级,将查找到的精度等级作为目标精度等级;
根据所述目标精度等级对所述自动驾驶测试系统进行精度验证。
此外,为实现上述目的,本发明还提出一种自动驾驶测试系统精度验证装置,所述自动驾驶测试系统精度验证装置包括:
数据获取模块,用于获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据;
模型数值模块,用于根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值;
设备数值模块,用于根据所述物理设备获得设备校验值及设备验证值;
试验数值模块,用于根据所述自动驾驶试验数据获得数据分析值;
子指标模块,用于将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标;
可信度计算模块,用于根据所述子指标计算所述自动驾驶测试系统的可信度数值;
精度验证模块,用于根据所述可信度数值对所述自动驾驶测试系统进行精度验证。
此外,为实现上述目的,本发明还提出一种自动驾驶测试系统精度验证设备,所述自动驾驶测试系统精度验证设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自动驾驶测试系统精度验证程序,所述自动驾驶测试系统精度验证程序配置有实现如上所述的自动驾驶测试系统精度验证方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有自动驾驶测试系统精度验证程序,所述自动驾驶测试系统精度验证程序被处理器执行时实现如上文所述的自动驾驶测试系统精度验证方法的步骤。
本发明提出的自动驾驶测试系统精度验证方法,通过获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据,根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值,根据所述物理设备获得设备校验值及设备验证值,根据所述自动驾驶试验数据获得数据分析值,将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标,根据所述子指标计算所述自动驾驶测试系统的可信度数值,根据所述可信度数值对所述自动驾驶测试系统进行精度验证,从而通过对自动驾驶测试系统的各个模块分别进行验证,将得到的数值作为子指标,根据子指标计算自动驾驶测试系统的可信度数值来进行精度验证,解决了如何对自动驾驶仿真测试系进行精度验证的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的自动驾驶测试系统精度验证设备结构示意图;
图2为本发明自动驾驶测试系统精度验证方法第一实施例的流程示意图;
图3为本发明自动驾驶测试系统精度验证方法第二实施例的流程示意图;
图4为本发明自动驾驶测试系统精度验证方法第二实施例的数值关系示意图;
图5为本发明自动驾驶测试系统精度验证方法第三实施例的流程示意图;
图6为本发明自动驾驶测试系统精度验证装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的自动驾驶测试系统精度验证设备结构示意图。
如图1所示,该自动驾驶测试系统精度验证设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory,RAM)存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对自动驾驶测试系统精度验证设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及自动驾驶测试系统精度验证程序。
在图1所示的自动驾驶测试系统精度验证设备中,网络接口1004主要用于连接外网,与其他网络设备进行数据通信;用户接口1003主要用于连接用户设备,与所述用户设备进行数据通信;本发明设备通过处理器1001调用存储器1005中存储的自动驾驶测试系统精度验证程序,并执行以下操作:
获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据;
根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值;
根据所述物理设备获得设备校验值及设备验证值;
根据所述自动驾驶试验数据获得数据分析值;
将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标;
根据所述子指标计算所述自动驾驶测试系统的可信度数值;
根据所述可信度数值对所述自动驾驶测试系统进行精度验证。
进一步地,处理器1001可以调用存储器1005中存储的自动驾驶测试系统精度验证程序,还执行以下操作:
根据所述子指标构造判断矩阵;
根据预设模糊综合程度值公式及所述判断矩阵计算各子指标的综合程度值;
根据所述综合程度值计算所述自动驾驶测试系统的可信度数值。
进一步地,处理器1001可以调用存储器1005中存储的自动驾驶测试系统精度验证程序,还执行以下操作:
根据所述第一子指标、所述第二子指标及所述第三子指标构造主指标判断矩阵;
获取所述第一子指标的第一子指标测试数据、所述第二子指标的第二子指标测试数据及所述第三子指标的第三子指标测试数据;
根据所述第一子指标测试数据构造第一子指标判断矩阵;
根据所述第二子指标测试数据构造第二子指标判断矩阵;
根据所述第三子指标测试数据构造第三子指标判断矩阵;
将所述主指标判断矩阵、所述第一子指标判断矩阵、所述第二子指标判断矩阵及所述第三子指标判断矩阵作为判断矩阵。
进一步地,处理器1001可以调用存储器1005中存储的自动驾驶测试系统精度验证程序,还执行以下操作:
根据所述综合程度值确定三角模糊数;
根据所述三角模糊数计算权重向量值;
根据所述权重向量值计算所述自动驾驶测试系统的可信度数值。
进一步地,处理器1001可以调用存储器1005中存储的自动驾驶测试系统精度验证程序,还执行以下操作:
对所述权重向量值进行归一化处理,获得目标权重向量值;
对各子指标的目标权重向量值进行加权计算,获得所述自动驾驶测试系统的可信度数值。
进一步地,处理器1001可以调用存储器1005中存储的自动驾驶测试系统精度验证程序,还执行以下操作:
对所述测试模型进行数字模型校核,获得数字校核值;
对所述测试模型进行数字模型验证,获得数字验证值;
对所述测试模型进行仿真模型校核,获得仿真校核值;
对所述测试模型进行仿真模型验证,获得仿真验证值;
对所述物理设备进行设备校验,获得设备校验值;
对所述物理设备进行设备验证,获得设备验证值;
对所述自动驾驶试验数据进行评估分析,获得数据分析值。
进一步地,处理器1001可以调用存储器1005中存储的自动驾驶测试系统精度验证程序,还执行以下操作:
查找与所述可信度数值对应的精度等级,将查找到的精度等级作为目标精度等级;
根据所述目标精度等级对所述自动驾驶测试系统进行精度验证。
本实施例中通过获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据,根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值,根据所述物理设备获得设备校验值及设备验证值,根据所述自动驾驶试验数据获得数据分析值,将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标,根据所述子指标计算所述自动驾驶测试系统的可信度数值,根据所述可信度数值对所述自动驾驶测试系统进行精度验证,从而通过对自动驾驶测试系统的各个模块分别进行验证,将得到的数值作为子指标,根据子指标计算自动驾驶测试系统的可信度数值来进行精度验证,解决了如何对自动驾驶仿真测试系进行精度验证的技术问题。
基于上述硬件结构,提出本发明自动驾驶测试系统精度验证方法实施例。
参照图2,图2为本发明自动驾驶测试系统精度验证方法第一实施例的流程示意图。
在第一实施例中,所述自动驾驶测试系统精度验证方法包括以下步骤:
步骤S10,获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据。
需要说明的是,本实施例的执行主体可为自动驾驶测试系统精度验证设备,还可为其他可实现相同或相似功能的设备,本实施例对此不作限制,在本实施例中,以自动驾驶测试系统精度验证设备为例进行说明。
应当理解的是,所述自动驾驶测试系统为自动驾驶仿真测试系统,所述测试模型包括虚拟场景模型、整车动力学模型和控制算法模型,所述物理设备包括转向系统、制动系统、轮速模拟器及接口与其他设备,所述自动驾驶试验数据包括曲线对比、灰色关联度、TIC不等式和频谱。
步骤S20,根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值。
步骤S30,根据所述物理设备获得设备校验值及设备验证值。
步骤S40,根据所述自动驾驶试验数据获得数据分析值。
需要说明的是,对测试模型分别进行数字模型校验和验证、仿真模型校核和验证,获得数字校核值、数字验证值、仿真校核值及仿真验证值,对物理设备进行校核和验证,获得设备校验值和设备验证值,对自动驾驶数据进行对比分析,获得数据分析值。
步骤S50,将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标。
步骤S60,根据所述子指标计算所述自动驾驶测试系统的可信度数值。
可以理解的是,根据子指标构造判断矩阵,根据预设模糊综合程度值公式及判断矩阵计算各子指标的综合程度值,根据综合程度值确定三角模糊数,根据三角模糊数计算权重向量值,对权重向量值进行归一化处理,获得目标权重向量值,对各子指标的目标权重向量值进行加权计算,获得自动驾驶测试系统的可信度数值。
步骤S70,根据所述可信度数值对所述自动驾驶测试系统进行精度验证。
可以理解的是,查找与所述可信度数值对应的精度等级,将查找到的精度等级作为目标精度等级,根据目标精度等级对自动驾驶测试系统进行精度验证。
应当理解的是,精度等级可包括准确、一般、不准确,从而根据目标精度等级可以直观的表现出自动驾驶测试系统的精度,当然,精度等级还可为其他等级划分,可包括更多或更少的等级,本实施例对此不作限制。
本实施例中通过获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据,根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值,根据所述物理设备获得设备校验值及设备验证值,根据所述自动驾驶试验数据获得数据分析值,将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标,根据所述子指标计算所述自动驾驶测试系统的可信度数值,根据所述可信度数值对所述自动驾驶测试系统进行精度验证,从而通过对自动驾驶测试系统的各个模块分别进行验证,将得到的数值作为子指标,根据子指标计算自动驾驶测试系统的可信度数值来进行精度验证,解决了如何对自动驾驶仿真测试系进行精度验证的技术问题。
在一实施例中,如图3所示,基于第一实施例提出本发明自动驾驶测试系统精度验证方法第二实施例,所述步骤S20,包括:
步骤S201,对所述测试模型进行数字模型校核,获得数字校核值。
应当理解的是,如图4所示,分别进行虚拟场景模型数字校验C11、整车动力学模型数字校验C12、控制算法模型数字校验C13,获得数字校核值C1。
步骤S202,对所述测试模型进行数字模型验证,获得数字验证值。
应当理解的是,如图4所示,分别进行虚拟场景模型数字验证C21、整车动力学模型数字验证C22、控制算法模型数字验证C23,获得数字验证值C2。
步骤S203,对所述测试模型进行仿真模型校核,获得仿真校核值。
应当理解的是,如图4所示,分别进行虚拟场景模型仿真校核C31、整车动力学模型仿真校核C32、控制算法模型仿真校核C33,获得仿真校核值C3。
步骤S204,对所述测试模型进行仿真模型验证,获得仿真验证值。
应当理解的是,如图4所示,分别进行虚拟场景模型仿真验证C41、整车动力学模型仿真验证C42、控制算法模型仿真验证C43,获得仿真验证值C4。
进一步地,所述步骤S30,包括:
步骤S301,对所述物理设备进行设备校验,获得设备校验值。
应当理解的是,如图4所示,分别进行转向系统校核C51、制动系统校核C52、轮速模拟器校核C53、接口与其他设备校核C54,获得设备校核值C5。
步骤S302,对所述物理设备进行设备验证,获得设备验证值。
应当理解的是,如图4所示,分别进行转向系统验证C61、制动系统验证C62、轮速模拟器验证C63、接口与其他设备验证C64,获得设备验证值C6。
进一步地,所述步骤S40,包括:
步骤S401,对所述自动驾驶试验数据进行评估分析,获得数据分析值。
应当理解的是,如图4所示,分别进行曲线对比分析C71、灰色关联度分析C72、TIC不等式分析C73、频谱分析C74,获得数据分析值C7,图中还包括自动驾驶测试系统的可信度数值A。
本实施例中通过对所述测试模型进行数字模型校核,获得数字校核值,对所述测试模型进行数字模型验证,获得数字验证值,对所述测试模型进行仿真模型校核,获得仿真校核值,对所述测试模型进行仿真模型验证,获得仿真验证值,对所述物理设备进行设备校验,获得设备校验值,对所述物理设备进行设备验证,获得设备验证值,对所述自动驾驶试验数据进行评估分析,获得数据分析值,从而通过检测获得各子指标。
在一实施例中,如图5所示,基于第一实施例或第二实施例提出本发明自动驾驶测试系统精度验证方法第三实施例,在本实施例中,基于第一实施例进行说明,所述步骤S60,包括:
步骤S601,根据所述子指标构造判断矩阵。
需要说明的是,所述子指标包括第一子指标、第二子指标及第三子指标,所述第一子指标包括所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值,所述第二子指标包括所述设备校验值、所述设备验证值,所述第三子指标包括数据分析值。
进一步地,所述步骤S601,包括:
根据所述第一子指标、所述第二子指标及所述第三子指标构造主指标判断矩阵;获取所述第一子指标的第一子指标测试数据、所述第二子指标的第二子指标测试数据及所述第三子指标的第三子指标测试数据;根据所述第一子指标测试数据构造第一子指标判断矩阵;根据所述第二子指标测试数据构造第二子指标判断矩阵;根据所述第三子指标测试数据构造第三子指标判断矩阵;将所述主指标判断矩阵、所述第一子指标判断矩阵、所述第二子指标判断矩阵及所述第三子指标判断矩阵作为判断矩阵。
可以理解的是,根据子指标用于三角模糊数构造两两判断矩阵,可分别得到主指标判断矩阵、第一子指标判断矩阵、第二子指标判断矩阵及第三子指标判断矩阵。
应当理解的是,所述主指标判断矩阵如下表所示:
C1 C2 C3 C7
C1 1 (1/4,1/3,1/2) (1,3,5)
C2 (2,3,4) 1
C3 (1/5,1/3,1) 1
C7 1
应当理解的是,所述第一子指标判断矩阵如下表所示:
C11 C12 C13 C14
C11 (1,1,1) (3,5,7) (4,5,6)
C12 (1/7,1/5,1,3) 1 (1/4,1/3,1/2)
C13 1
C14 (1/6,1/4,1/5) (2,3,4) 1
相应地,与第一子指标相同的构造方法构造第二子指标判断矩阵及第三子指标判断矩阵,在此不作赘述。
步骤S602,根据预设模糊综合程度值公式及所述判断矩阵计算各子指标的综合程度值。
按预设模糊综合程度值计算公式,计算综合程度值,计算公式如下:
Figure BDA0002288757750000121
其中,
Figure BDA0002288757750000122
是第i个对象分别满足m个目标的程度值,Si为第i个对象满足m个目标的综合程度值。
Figure BDA0002288757750000123
同理可求出S2=(0.066,0.180,0.413),以及S3...S7的值。
步骤S603,根据所述综合程度值计算所述自动驾驶测试系统的可信度数值。
进一步地,所述步骤S603,包括:
根据所述综合程度值确定三角模糊数,根据所述三角模糊数计算权重向量值,对所述权重向量值进行归一化处理,获得目标权重向量值,对各子指标的目标权重向量值进行加权计算,获得所述自动驾驶测试系统的可信度数值。
计算三角模糊数M1和M2,M1≥M2的可能性程度为:
Figure BDA0002288757750000131
当对数(x,y)存在x≥y,
Figure BDA0002288757750000132
则有V(M1≥M2)=1,由于M1=(l1,m1,u1)和M2=(l2,m2,u2)是凸模糊数,所以有:
V(M1≥M2)=1 iff m1≥m2 (4)
Figure BDA0002288757750000133
由以上公式(4)和公式(5)计算V(Si≥Sj),i≠j,得到V(S1≥Sj)到V(S7≥Sj)的值,再由以下公式(6)和公式(7)计算权重向量值。
一个凸模糊数比其余k个凸模糊数Mi=(i=1,2,...,k)大的可能性程度为:
Figure BDA0002288757750000134
假设d′(Aj)=minV(S1≥Sk),k=1,2,...n;k≠i0。其中,S1表示在给定准则下,同一层次中每个元素同所有元素相比较综合重要程度值,Ai表示第i个元素,则权重向量为:
W′=(d′(A1),d′(A2),...,d′(An))T (7)
对权重向量进行归一化处理,模糊层次分析法计算目标权重向量是W=(d(A1),d(A2),...,d(An))T
若在比较两个三角模糊数时出现l1-u2>0的情况,则需要将判断矩阵的元素归一化后再做比较。
由公式(6)和公式(7)计算出权重向量W′以及归一化后的目标权重向量W,其他因素的权重向量值依次类推为W1、W2和W3,最后对各子指标的目标权重向量值进行加权计算计算出自动驾驶测试系统的可信度数值,从而根据可信度数值对自动驾驶测试系统进行精度验证。
本实施例中通过根据所述子指标构造判断矩阵,根据预设模糊综合程度值公式及所述判断矩阵计算各子指标的综合程度值,根据所述综合程度值计算所述自动驾驶测试系统的可信度数值,从而根据子指标构造判断矩阵,然后根据判断矩阵计算自动驾驶测试系统的可信度数值。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有自动驾驶测试系统精度验证程序,所述自动驾驶测试系统精度验证程序被处理器执行时实现如下操作:
获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据;
根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值;
根据所述物理设备获得设备校验值及设备验证值;
根据所述自动驾驶试验数据获得数据分析值;
将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标;
根据所述子指标计算所述自动驾驶测试系统的可信度数值;
根据所述可信度数值对所述自动驾驶测试系统进行精度验证。
进一步地,所述自动驾驶测试系统精度验证程序被处理器执行时还实现如下操作:
根据所述子指标构造判断矩阵;
根据预设模糊综合程度值公式及所述判断矩阵计算各子指标的综合程度值;
根据所述综合程度值计算所述自动驾驶测试系统的可信度数值。
进一步地,所述自动驾驶测试系统精度验证程序被处理器执行时还实现如下操作:
根据所述第一子指标、所述第二子指标及所述第三子指标构造主指标判断矩阵;
获取所述第一子指标的第一子指标测试数据、所述第二子指标的第二子指标测试数据及所述第三子指标的第三子指标测试数据;
根据所述第一子指标测试数据构造第一子指标判断矩阵;
根据所述第二子指标测试数据构造第二子指标判断矩阵;
根据所述第三子指标测试数据构造第三子指标判断矩阵;
将所述主指标判断矩阵、所述第一子指标判断矩阵、所述第二子指标判断矩阵及所述第三子指标判断矩阵作为判断矩阵。
进一步地,所述自动驾驶测试系统精度验证程序被处理器执行时还实现如下操作:
根据所述综合程度值确定三角模糊数;
根据所述三角模糊数计算权重向量值;
根据所述权重向量值计算所述自动驾驶测试系统的可信度数值。
进一步地,所述自动驾驶测试系统精度验证程序被处理器执行时还实现如下操作:
对所述权重向量值进行归一化处理,获得目标权重向量值;
对各子指标的目标权重向量值进行加权计算,获得所述自动驾驶测试系统的可信度数值。
进一步地,所述自动驾驶测试系统精度验证程序被处理器执行时还实现如下操作:
对所述测试模型进行数字模型校核,获得数字校核值;
对所述测试模型进行数字模型验证,获得数字验证值;
对所述测试模型进行仿真模型校核,获得仿真校核值;
对所述测试模型进行仿真模型验证,获得仿真验证值;
对所述物理设备进行设备校验,获得设备校验值;
对所述物理设备进行设备验证,获得设备验证值;
对所述自动驾驶试验数据进行评估分析,获得数据分析值。
进一步地,所述自动驾驶测试系统精度验证程序被处理器执行时还实现如下操作:
查找与所述可信度数值对应的精度等级,将查找到的精度等级作为目标精度等级;
根据所述目标精度等级对所述自动驾驶测试系统进行精度验证。
本实施例中通过获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据,根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值,根据所述物理设备获得设备校验值及设备验证值,根据所述自动驾驶试验数据获得数据分析值,将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标,根据所述子指标计算所述自动驾驶测试系统的可信度数值,根据所述可信度数值对所述自动驾驶测试系统进行精度验证,从而通过对自动驾驶测试系统的各个模块分别进行验证,将得到的数值作为子指标,根据子指标计算自动驾驶测试系统的可信度数值来进行精度验证,解决了如何对自动驾驶仿真测试系进行精度验证的技术问题。
此外,参照图6,本发明实施例还提出一种自动驾驶测试系统精度验证装置,所述自动驾驶测试系统精度验证装置包括:
数据获取模块10,用于获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据。
应当理解的是,所述自动驾驶测试系统为自动驾驶仿真测试系统,所述测试模型包括虚拟场景模型、整车动力学模型和控制算法模型,所述物理设备包括转向系统、制动系统、轮速模拟器及接口与其他设备,所述自动驾驶试验数据包括曲线对比、灰色关联度、TIC和频谱。
模型数值模块20,用于根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值。
设备数值模块30,用于根据所述物理设备获得设备校验值及设备验证值。
试验数值模块40,用于根据所述自动驾驶试验数据获得数据分析值。
需要说明的是,对测试模型分别进行数字模型校验和验证、仿真模型校核和验证,获得数字校核值、数字验证值、仿真校核值及仿真验证值,对物理设备进行校核和验证,获得设备校验值和设备验证值,对自动驾驶数据进行对比分析,获得数据分析值。
子指标模块50,用于将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标。
可信度计算模块60,用于根据所述子指标计算所述自动驾驶测试系统的可信度数值。
可以理解的是,根据子指标构造判断矩阵,根据预设模糊综合程度值公式及判断矩阵计算各子指标的综合程度值,根据综合程度值确定三角模糊数,根据三角模糊数计算权重向量值,对权重向量值进行归一化处理,获得目标权重向量值,对各子指标的目标权重向量值进行加权计算,获得自动驾驶测试系统的可信度数值。
精度验证模块70,用于根据所述可信度数值对所述自动驾驶测试系统进行精度验证。
可以理解的是,查找与所述可信度数值对应的精度等级,将查找到的精度等级作为目标精度等级,根据目标精度等级对自动驾驶测试系统进行精度验证。
应当理解的是,精度等级可包括准确、一般、不准确,从而根据目标精度等级可以直观的表现出自动驾驶测试系统的精度,当然,精度等级还可为其他等级划分,可包括更多或更少的等级,本实施例对此不作限制。
本实施例中通过获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据,根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值,根据所述物理设备获得设备校验值及设备验证值,根据所述自动驾驶试验数据获得数据分析值,将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标,根据所述子指标计算所述自动驾驶测试系统的可信度数值,根据所述可信度数值对所述自动驾驶测试系统进行精度验证,从而通过对自动驾驶测试系统的各个模块分别进行验证,将得到的数值作为子指标,根据子指标计算自动驾驶测试系统的可信度数值来进行精度验证,解决了如何对自动驾驶仿真测试系进行精度验证的技术问题。
在一实施例中,所述可信度计算模块60,还用于根据所述子指标构造判断矩阵;根据预设模糊综合程度值公式及所述判断矩阵计算各子指标的综合程度值;根据所述综合程度值计算所述自动驾驶测试系统的可信度数值。
在一实施例中,所述可信度计算模块60,还用于根据所述第一子指标、所述第二子指标及所述第三子指标构造主指标判断矩阵;获取所述第一子指标的第一子指标测试数据、所述第二子指标的第二子指标测试数据及所述第三子指标的第三子指标测试数据;根据所述第一子指标测试数据构造第一子指标判断矩阵;根据所述第二子指标测试数据构造第二子指标判断矩阵;根据所述第三子指标测试数据构造第三子指标判断矩阵;将所述主指标判断矩阵、所述第一子指标判断矩阵、所述第二子指标判断矩阵及所述第三子指标判断矩阵作为判断矩阵。
在一实施例中,所述可信度计算模块60,还用于根据所述综合程度值确定三角模糊数;根据所述三角模糊数计算权重向量值;根据所述权重向量值计算所述自动驾驶测试系统的可信度数值。
在一实施例中,所述可信度计算模块60,还用于对所述权重向量值进行归一化处理,获得目标权重向量值;对各子指标的目标权重向量值进行加权计算,获得所述自动驾驶测试系统的可信度数值。
在一实施例中,所述模型数值模块20,还用于对所述测试模型进行数字模型校核,获得数字校核值;对所述测试模型进行数字模型验证,获得数字验证值;对所述测试模型进行仿真模型校核,获得仿真校核值;对所述测试模型进行仿真模型验证,获得仿真验证值。
在一实施例中,所述设备数值模块30,还用于对所述物理设备进行设备校验,获得设备校验值;对所述物理设备进行设备验证,获得设备验证值。
在一实施例中,所述试验数值模块40,还用于对所述自动驾驶试验数据进行评估分析,获得数据分析值。
在一实施例中,所述精度验证模块70,还用于查找与所述可信度数值对应的精度等级,将查找到的精度等级作为目标精度等级;根据所述目标精度等级对所述自动驾驶测试系统进行精度验证。
在本发明所述自动驾驶测试系统精度验证装置的其他实施例或具体实现方法可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台智能自动驾驶测试系统精度验证设备(可以是手机,计算机,自动驾驶测试系统精度验证设备,空调器,或者网络自动驾驶测试系统精度验证设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种自动驾驶测试系统精度验证方法,其特征在于,所述自动驾驶测试系统精度验证方法包括以下步骤:
获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据;
根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值;
根据所述物理设备获得设备校验值及设备验证值;
根据所述自动驾驶试验数据获得数据分析值;
将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标;
根据所述子指标计算所述自动驾驶测试系统的可信度数值;
根据所述可信度数值对所述自动驾驶测试系统进行精度验证。
2.如权利要求1所述的自动驾驶测试系统精度验证方法,其特征在于,所述根据所述子指标计算所述自动驾驶测试系统的可信度数值,具体包括:
根据所述子指标构造判断矩阵;
根据预设模糊综合程度值公式及所述判断矩阵计算各子指标的综合程度值;
根据所述综合程度值计算所述自动驾驶测试系统的可信度数值。
3.如权利要求2所述的自动驾驶测试系统精度验证方法,其特征在于,所述子指标包括第一子指标、第二子指标及第三子指标,所述第一子指标包括所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值,所述第二子指标包括所述设备校验值、所述设备验证值,所述第三子指标包括数据分析值;
所述根据所述子指标构造判断矩阵,具体包括:
根据所述第一子指标、所述第二子指标及所述第三子指标构造主指标判断矩阵;
获取所述第一子指标的第一子指标测试数据、所述第二子指标的第二子指标测试数据及所述第三子指标的第三子指标测试数据;
根据所述第一子指标测试数据构造第一子指标判断矩阵;
根据所述第二子指标测试数据构造第二子指标判断矩阵;
根据所述第三子指标测试数据构造第三子指标判断矩阵;
将所述主指标判断矩阵、所述第一子指标判断矩阵、所述第二子指标判断矩阵及所述第三子指标判断矩阵作为判断矩阵。
4.如权利要求2所述的自动驾驶测试系统精度验证方法,其特征在于,所述根据所述综合程度值计算所述自动驾驶测试系统的可信度数值,具体包括:
根据所述综合程度值确定三角模糊数;
根据所述三角模糊数计算权重向量值;
根据所述权重向量值计算所述自动驾驶测试系统的可信度数值。
5.如权利要求3所述的自动驾驶测试系统精度验证方法,其特征在于,所述根据所述权重向量值计算所述自动驾驶测试系统的可信度数值,具体包括:
对所述权重向量值进行归一化处理,获得目标权重向量值;
对各子指标的目标权重向量值进行加权计算,获得所述自动驾驶测试系统的可信度数值。
6.如权利要求1~5中任一项所述的自动驾驶测试系统精度验证方法,其特征在于,所述根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值,具体包括:
对所述测试模型进行数字模型校核,获得数字校核值;
对所述测试模型进行数字模型验证,获得数字验证值;
对所述测试模型进行仿真模型校核,获得仿真校核值;
对所述测试模型进行仿真模型验证,获得仿真验证值;
相应地,所述根据所述物理设备获得设备校验值及设备验证值,包括:
对所述物理设备进行设备校验,获得设备校验值;
对所述物理设备进行设备验证,获得设备验证值;
相应地,所述根据所述自动驾驶试验数据获得数据分析值,包括:
对所述自动驾驶试验数据进行评估分析,获得数据分析值。
7.如权利要求1~5中任一项所述的自动驾驶测试系统精度验证方法,其特征在于,所述根据所述可信度数值对所述自动驾驶测试系统进行精度验证,具体包括:
查找与所述可信度数值对应的精度等级,将查找到的精度等级作为目标精度等级;
根据所述目标精度等级对所述自动驾驶测试系统进行精度验证。
8.一种自动驾驶测试系统精度验证装置,其特征在于,所述自动驾驶测试系统精度验证装置包括:
数据获取模块,用于获取自动驾驶测试系统的测试模型、物理设备及自动驾驶试验数据;
模型数值模块,用于根据所述测试模型获得数字校核值、数字验证值、仿真校核值及仿真验证值;
设备数值模块,用于根据所述物理设备获得设备校验值及设备验证值;
试验数值模块,用于根据所述自动驾驶试验数据获得数据分析值;
子指标模块,用于将所述数字校核值、所述数字验证值、所述仿真校核值、所述仿真验证值、所述设备校验值、所述设备验证值及所述数据分析值作为子指标;
可信度计算模块,用于根据所述子指标计算所述自动驾驶测试系统的可信度数值;
精度验证模块,用于根据所述可信度数值对所述自动驾驶测试系统进行精度验证。
9.一种自动驾驶测试系统精度验证设备,其特征在于,所述自动驾驶测试系统精度验证设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自动驾驶测试系统精度验证程序,所述自动驾驶测试系统精度验证程序配置有实现如权利要求1至7中任一项所述的自动驾驶测试系统精度验证方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有自动驾驶测试系统精度验证程序,所述自动驾驶测试系统精度验证程序被处理器执行时实现如权利要求1至7中任一项所述的自动驾驶测试系统精度验证方法的步骤。
CN201911180325.1A 2019-11-26 2019-11-26 自动驾驶测试系统精度验证方法、装置、设备及存储介质 Active CN111090242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911180325.1A CN111090242B (zh) 2019-11-26 2019-11-26 自动驾驶测试系统精度验证方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911180325.1A CN111090242B (zh) 2019-11-26 2019-11-26 自动驾驶测试系统精度验证方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111090242A true CN111090242A (zh) 2020-05-01
CN111090242B CN111090242B (zh) 2021-04-16

Family

ID=70393707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911180325.1A Active CN111090242B (zh) 2019-11-26 2019-11-26 自动驾驶测试系统精度验证方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111090242B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443621A (zh) * 2020-06-16 2020-07-24 深圳市城市交通规划设计研究中心股份有限公司 一种模型生成方法、模型生成装置及电子设备
CN111767651A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 指标预测模型的构建方法、指标预测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006031242A1 (de) * 2006-07-06 2008-01-10 Robert Bosch Gmbh Verfahren zum Durchführen eines Tests
CN106096853A (zh) * 2016-06-21 2016-11-09 中国矿业大学 一种煤巷掘进冲击矿压危险预评估方法
CN106529118A (zh) * 2016-09-20 2017-03-22 江苏大学 一种基于二元语义ahp的智能汽车仿人转向操纵性能评价方法
CN108430069A (zh) * 2018-02-11 2018-08-21 重庆邮电大学 一种v2x网络性能测试及综合评价分析方法
CN110213739A (zh) * 2019-06-11 2019-09-06 北京航空航天大学 面向矿车无人驾驶运输系统的多模式通信方法和装置
CN110458432A (zh) * 2019-07-30 2019-11-15 国网福建省电力有限公司 一种基于云模型的电力光传输网可靠性诊断方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006031242A1 (de) * 2006-07-06 2008-01-10 Robert Bosch Gmbh Verfahren zum Durchführen eines Tests
CN106096853A (zh) * 2016-06-21 2016-11-09 中国矿业大学 一种煤巷掘进冲击矿压危险预评估方法
CN106529118A (zh) * 2016-09-20 2017-03-22 江苏大学 一种基于二元语义ahp的智能汽车仿人转向操纵性能评价方法
CN108430069A (zh) * 2018-02-11 2018-08-21 重庆邮电大学 一种v2x网络性能测试及综合评价分析方法
CN110213739A (zh) * 2019-06-11 2019-09-06 北京航空航天大学 面向矿车无人驾驶运输系统的多模式通信方法和装置
CN110458432A (zh) * 2019-07-30 2019-11-15 国网福建省电力有限公司 一种基于云模型的电力光传输网可靠性诊断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐国明: ""无人驾驶汽车半物理仿真系统的设计"", 《中国博士学位论文全文数据库工程科技II辑》 *
陶岩: ""鱼雷自导系统仿真的VV&A研究"", 《中国博硕士学位论文全文数据库(硕士)工程科技II辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443621A (zh) * 2020-06-16 2020-07-24 深圳市城市交通规划设计研究中心股份有限公司 一种模型生成方法、模型生成装置及电子设备
CN111443621B (zh) * 2020-06-16 2020-10-27 深圳市城市交通规划设计研究中心股份有限公司 一种模型生成方法、模型生成装置及电子设备
CN111767651A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 指标预测模型的构建方法、指标预测方法和装置
CN111767651B (zh) * 2020-06-28 2023-07-25 北京百度网讯科技有限公司 指标预测模型的构建方法、指标预测方法和装置

Also Published As

Publication number Publication date
CN111090242B (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN109684118B (zh) 异常数据的检测方法、装置、设备及计算机可读存储介质
CN111090242B (zh) 自动驾驶测试系统精度验证方法、装置、设备及存储介质
CN112948951B (zh) 建筑模型创建方法与装置、处理服务器
CN109711427A (zh) 目标检测方法及相关产品
CN112526470A (zh) 标定雷达参数的方法和装置、电子设备、存储介质
CN111626346A (zh) 数据分类方法、设备、存储介质及装置
CN115186547A (zh) 整车性能分析优化方法、装置、设备及存储介质
CN111640421B (zh) 语音对比方法、装置、设备及计算机可读存储介质
CN113076901A (zh) 模型稳定性解释方法、装置、设备及存储介质
CN112801489A (zh) 诉讼案件风险检测方法、装置、设备和可读存储介质
CN115629930B (zh) 基于dsp系统的故障检测方法、装置、设备及存储介质
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及系统
CN108009393B (zh) 数据处理方法、装置及计算机可读存储介质
CN115048290A (zh) 软件质量的评估方法、装置、存储介质及计算机设备
CN114519520A (zh) 模型评估方法、装置及存储介质
CN109436980B (zh) 电梯部件的状态检测方法和系统
CN111626437A (zh) 对抗样本检测方法、装置、设备及计算机刻度存储介质
CN112084489A (zh) 可疑应用检测方法及装置
CN113128069B (zh) 用于确定动力电池系统可靠度的方法、装置、存储介质及电子设备
CN113313130B (zh) 一种基于遮挡的安检图像危险品检测方法及系统
CN110188318B (zh) 曲面积分的自动计算方法、设备、存储介质及装置
CN111310107A (zh) 矩阵提取装置及方法
CN110163929B (zh) 二次曲面方程的共享绘图方法、设备、存储介质及装置
CN110751347A (zh) 特征数据处理方法、终端、装置及可读存储介质
CN114332196A (zh) 料件重量百分比的获取方法、设备、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant