CN112036001A - 自动驾驶测试场景构建方法、装置、设备及可读存储介质 - Google Patents

自动驾驶测试场景构建方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112036001A
CN112036001A CN202010625061.2A CN202010625061A CN112036001A CN 112036001 A CN112036001 A CN 112036001A CN 202010625061 A CN202010625061 A CN 202010625061A CN 112036001 A CN112036001 A CN 112036001A
Authority
CN
China
Prior art keywords
scene
primitive
test
description
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010625061.2A
Other languages
English (en)
Other versions
CN112036001B (zh
Inventor
赵祥模
朱宇
王润民
周文帅
徐志刚
承靖钧
张心睿
刘占文
李妍
高赢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202010625061.2A priority Critical patent/CN112036001B/zh
Publication of CN112036001A publication Critical patent/CN112036001A/zh
Priority to US17/134,399 priority patent/US11308330B2/en
Application granted granted Critical
Publication of CN112036001B publication Critical patent/CN112036001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/08Probabilistic or stochastic CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)

Abstract

本发明公开了自动驾驶测试场景构建方法、装置、设备及可读存储介质,从真实交通场景中进行基元场景提取建立基元场景描述模型,从基元场景描述变量分布区间内选取描述变量取值,基于重要性抽样的蒙特卡洛方法对描述变量依据描述变量分布进行随机取样生成测试基元场景;根据测试任务中测试场景要素的参数测试基元场景按照重新组合的方法生成测试场景,本发明能够直接模拟实际复杂系统,有效解决复杂系统简化导致的结果失真问题,避免高维问题数值解误差随维数增加而迅速增加的维数灾难问题;采用高风险场景强化生成方法,用较小的计算开销生成较多的高风险场景,有效的增加生成场景中高风险场景的数量,降低低风险场景的数量,提高测试的效率。

Description

自动驾驶测试场景构建方法、装置、设备及可读存储介质
技术领域
本发明属于自动驾驶测试技术领域,涉及自动驾驶测试场景构建方法、装置、设备及可读存储介质。
背景技术
自动驾驶汽车是集环境感知、决策规划、控制执行于一体的智能交通工具,代表着未来汽车科技的战略制高点。随着一系列关键技术的发展,自动驾驶汽车为解决“交通事故、交通拥堵、环境污染、能源短缺”等问题提供了新的途径。科学完善的测试验证评价体系对提高自动驾驶汽车的研发效率、健全相关法律法规、推进智能交通发展至关重要。
此外,与传统汽车的人-车二元独立测试不同,自动驾驶汽车是人-车- 路-环境强耦合系统,传统的道路场地测试已经无法满足自动驾驶汽车的测试需求。基于场景的虚拟测试技术试验场景配置灵活、测试效率高、测试重复性强、测试过程安全、测试成本低,可实现自动测试和加速测试,同时虚拟测试系统能够模拟实际车辆测试中危险或难以实现的极端场景,这样可以大大减少测试的难度、风险和工作量。因此,基于场景的虚拟测试已成为自动驾驶汽车测试评价不可或缺的重要环节。然而,目前缺乏一种自动驾驶测试场景的生成方法,无法有效模拟真实交通场景。因此,亟需一种能够满足自动驾驶测试场景有效性和覆盖性要求的测试场景生成方法。
发明内容
本发明的目的在于提供自动驾驶测试场景构建方法、装置、设备及可读存储介质,以克服现有技术的不足。
为达到上述目的,本发明采用如下技术方案:
一种基于基元场景的自动驾驶测试场景构建方法,包括以下步骤:
步骤1)、从真实交通场景中进行基元场景提取建立基元场景描述模型,采用高斯混合模型对基元场景描述模型中基元场景描述变量的分布进行估计;
步骤2)、根据基元场景描述模型,从基元场景描述变量分布区间内选取描述变量取值,采用基于重要性抽样的蒙特卡洛方法对描述变量依据描述变量分布进行随机取样生成测试基元场景;
步骤3)、根据测试任务确定测试场景要素参数,将步骤S2生成的测试基元场景按照测试场景要素参数以重新组合的方法生成测试场景。
进一步的,将真实交通场景分解为独立的基元,将分解为独立的基元进行模型化和参数化。
进一步的,建立基元场景描述模型是基元场景描述变量分布规律的概率分布问题,采用高斯混合模型对基元场景描述变量的分布进行估计:
设待估计的随机变量为X,则X的高斯混合模型表示为:
Figure RE-GDA0002752828490000021
其中,N(x|μk,∑k)是高斯混合模型中的第k个分量,αk是混合系数,满足
Figure RE-GDA0002752828490000022
在参数估计时,数据总体服从高斯混合分布,概率分布由上式中的高斯混合模型表示,模型中包含N组未知参数(μk,∑kk),根据样本数据确定模型参数取值。
进一步的,对于未知参数,通过EM算法迭代计算,寻找最优化未知参数(μ,∑,α)。
进一步的,通过EM算法迭代计算具体包括以下步骤:
1).对应每一个样本xi,设置(μ,Σ,α)的初始值;
2).根据当前的(μ,Σ,α)值,对于每个样本点xi计算后验概率Qi(zk)= (zk|xi;μ,Σ,α);
3).根据当前的后验概率,计算更新(μ,Σ,α)参数值;
4).使用更新后的参数(μ,Σ,α)计算似然函数l,若似然函数收敛于似然估计的最大值,即更新后的似然函数l不变或变化幅度很小,则表明求解出的(μ,Σ,α)参数是最优化参数;若未收敛于最大值,则返回第2)步继续迭代计算。
进一步的,对于每个样本点xi计算后验概率时,固定后验概率,求解 P(x;μ,Σ,α)的最大似然估计:
P(x;μ,Σ,α)的似然函数为
Figure RE-GDA0002752828490000031
l对μk求导,并令导数为0,得μk的更新公式
Figure RE-GDA0002752828490000032
同理,l对Σk和αk求导,并令导数为0,得Σk和αk的更新公式
Figure RE-GDA0002752828490000033
Figure RE-GDA0002752828490000041
进一步的,采用蒙特卡洛进行随机取样生成基元场景:
设随机变量X表示蒙特卡洛方法生成的场景,x是X的一个场景样本,服从概率密度函数为f(x)的分布,设高风险场景集合为W,为了从生成的场景中选择高风险场景,定义高风险场景指示函数h(x):
Figure RE-GDA0002752828490000042
如果场景总体C中指示函数h(x)的期望为μ,方差为σ2
采用重要性抽样的条件下,总体期望μ为:
Figure RE-GDA0002752828490000043
设场景总体中高风险场景出现的概率为p,则h(x)的期望μ=p,方差σ2=p(1-p);g(x)为高风险场景发生概率较高的分布,其中
Figure RE-GDA0002752828490000044
称为重要性比率;
利用蒙特卡洛方法生成n组场景样本xi,i=1,…,n,当样本容量较大时,依据大数定理,h(x)的样本均值
Figure RE-GDA0002752828490000045
以概率1收敛于期望μ,h(x)的期望μ的蒙特卡洛估计量
Figure RE-GDA0002752828490000046
为:
Figure RE-GDA0002752828490000047
一种基于基元场景的自动驾驶测试场景构建装置,其特征在于,包括:
基元提取模块,用于从真实交通场景中进行基元场景提取建立基元场景描述模型;
变量估计模块,用于采用高斯混合模型对基元场景描述模型中基元场景描述变量的分布进行估计;
基元场景生成模块,用于根据基元场景描述模型,从基元场景描述变量分布区间内选取描述变量取值,采用基于重要性抽样的蒙特卡洛方法对描述变量依据描述变量分布进行随机取样生成测试基元场景;
测试场景生成模块,用于根据测试任务确定测试场景要素参数,将测试基元场景按照测试场景要素参数以重新组合的方法生成测试场景。
一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。与现有技术相比,本发明具有以下有益的技术效果:
本发明一种基于基元场景的自动驾驶测试场景构建方法,通过从真实交通场景中进行基元场景提取建立基元场景描述模型;根据基元场景描述模型,从基元场景描述变量分布区间内选取描述变量取值,采用基于重要性抽样的蒙特卡洛方法对描述变量依据描述变量分布进行随机取样生成测试基元场景;根据测试任务中测试场景要素的参数将步骤S2生成的测试基元场景按照重新组合的方法生成测试场景,为测试场景生成方法提供了科学性的支撑,采用基于真实数据生成测试场景,此方法可以保证测试场景能够有效模拟真实交通场景,同时能够满足测试场景的覆盖性要求。本发明能够直接模拟实际复杂系统,可以有效解决复杂系统简化导致的结果失真问题,且误差与问题维数无关,避免高维问题数值解误差随维数增加而迅速增加的维数灾难问题。本发明采用高风险场景强化生成方法,用较小的计算开销生成较多的高风险场景,此方法可以有效的增加生成场景中高风险场景的数量,降低低风险场景的数量,提高测试的效率。
进一步的,可采用重要性抽样等方差缩减方法,降低蒙特卡洛估计值的误差,用较小的计算开销生成较多的开销生成较多的高风险场景。
附图说明
图1为本发明实施例中自动驾驶测试场景构建装置示意图。
图2为本发明实施例中前车切入场景模型基元场景提取结果图。
图3为本发明实施例中4277个真实基元场景分布图。
图4为本发明实施例中277个基于蒙特卡洛方法生成的基元场景分布图。
图5为本发明实施例中10000个基于蒙特卡洛方法生成的基元场景分布图。
图6为本发明实施例中10000个基于重要性抽样的蒙特卡洛方法生成基元场景分布图。
具体实施方式
本发明提供了一种基于基元场景的自动驾驶测试场景构建方法,该方法包括以下步骤:
步骤S1:从真实交通场景中进行基元场景提取,具体指将真实交通场景分解为独立的基元,将分解为独立的基元进行模型化和参数化,即建立分解为独立的基元场景描述模型;
步骤S2:根据基元场景描述模型,从基元场景描述变量分布区间内选取描述变量取值,采用基于重要性抽样的蒙特卡洛方法对描述变量依据描述变量分布进行随机取样生成测试基元场景;测试基元场景生成是基元场景提取的逆过程,通过测试基元场景生成,可以获得远多于实际采集且符合场地测试要求的基元场景。
步骤S3:根据测试任务中测试场景要素的参数将步骤S2生成的测试基元场景按照重新组合的方法生成测试场景。测试场景的构建是将提取出的测试基元场景根据测试任务,确定场景要素的参数,按照设定规则重新组合成测试场景的过程。针对不同的测试对象、测试方法和测试内容,可以灵活的控制测试场景的基元数量、控制场景要素的参数,构建出相应的测试用例,从而适应不同的测试需求。
步骤1)具体包括以下步骤:
1)建立基元场景描述模型是通过分析基元场景变化特征,确定基元场景描述变量及变量间相互关系;
建立基元场景描述模型是基元场景描述变量分布规律的概率分布问题,本申请采用高斯混合模型对基元场景描述变量的分布进行估计:
设待估计的随机变量为X,则X的高斯混合模型表示为:
Figure RE-GDA0002752828490000071
其中,N(x|μk,∑k)是高斯混合模型中的第k个分量,αk是混合系数,满足
Figure RE-GDA0002752828490000072
在参数估计时,数据总体服从高斯混合分布(Mixture Gaussian Distribution),概率分布由上公中的高斯混合模型表示,模型中包含N组未知参数(μk,∑kk),参数估计是根据样本数据确定模型参数取值的过程。
对于未知参数,通过EM算法(Expectation-Maximization algorithm) 迭代计算,寻找最优化未知参数(μ,∑,α)。
设样本为{x1,x2,…,xn},观察一个样本点,不能确定此样本点属于高斯混合模型中的哪一个分量,因引入一个隐含随机变量Z来描述这个问题;
设N维随机变量Z=(z1,z2,…,zN),zk∈{0,1},zk=1表示样本点属于第k个模型分量,zk=0表示样本点不属于第k个模型分量。对任意样本点 xi,Qi(Z)表示隐含变量Z的分布,满足
Figure RE-GDA0002752828490000081
采用EM算法进行隐含变量优化,求解未知参数的最优化取值,首先需要确定隐含变量的概率分布;总体X的概率分布为P(x;μ,Σ,α),其中μ,Σ,α是待估计参数;因为存在隐含变量Z,则(X,Z)联合概率分布为P(x,z;μ,Σ,α),其似然函数为:
Figure RE-GDA0002752828490000082
对似然函数取对数,得
Figure RE-GDA0002752828490000083
Figure RE-GDA0002752828490000084
Figure RE-GDA0002752828490000085
对数函数是凹函数,考虑Jensen不等式:
如果函数f是凹函数,X是随机变量,则
E[f(X)]≤f(E[X])
若函数f是严格凹函数,那么当且仅当p(x=E[X])=1,即X是常数时,不等式中的等号成立。
由Jensen不等式,得
Figure RE-GDA0002752828490000091
为使Jensen不等式中等号成立,则
Figure RE-GDA0002752828490000092
应为常数,即
Figure RE-GDA0002752828490000093
Figure RE-GDA0002752828490000094
等式两边对zk求和,得
Figure RE-GDA0002752828490000095
Figure RE-GDA0002752828490000098
Figure RE-GDA0002752828490000096
因此得
Figure RE-GDA0002752828490000097
上式说明,Qi(zk)的计算形式是zk在样本点xi的后验概率。
在确定了Qi(zk)的计算形式后,可以使用EM算法寻找最优化未知参数 (μ,Σ,α)。
采用EM算法:
1).对应每一个样本xi,设置(μ,Σ,α)的初始值;
2).根据当前的(μ,Σ,α)值,对于每个样本点xi计算后验概率Qi(zk)= (zk|xi;μ,Σ,α);
3).根据当前的后验概率,计算新的(μ,Σ,α)参数值;本步骤中,固定后验概率,求解P(x;μ,Σ,α)的最大似然估计:
P(x;μ,Σ,α)的似然函数为
Figure RE-GDA0002752828490000101
l对μk求导,并令导数为0,得μk的更新公式
Figure RE-GDA0002752828490000102
同理,l对Σk和αk求导,并令导数为0,得Σk和αk的更新公式
Figure RE-GDA0002752828490000103
Figure RE-GDA0002752828490000104
4).使用更新后的参数(μ,Σ,α)计算似然函数l,若似然函数收敛于似然估计的最大值,即更新后的似然函数l不变或变化幅度很小,则表明求解出的(μ,Σ,α)参数是最优化参数;若未收敛于最大值,则返回第2)步继续迭代计算。
步骤S2所述的基元场景生成包括:
1)蒙特卡洛方法能够直接模拟实际复杂系统,可以有效解决复杂系统简化导致的结果失真问题,且误差与问题维数无关,是解决复杂高维问题的有效方法。本申请依据模型描述变量的分布,采用蒙特卡洛进行随机取样生成基元场景。
设随机变量X表示蒙特卡洛方法生成的场景,x是X的一个场景样本,服从概率密度函数为f(x)的分布,设高风险场景集合为W,为了从生成的场景中选择高风险场景,定义高风险场景指示函数h(x):
Figure RE-GDA0002752828490000111
如果场景总体C中指示函数h(x)的期望为μ,方差为σ2,则
μ=∫h(x)f(x)dx
设场景总体中高风险场景出现的概率为p,则h(x)的期望μ=p,方差σ2=p(1-p)。
利用蒙特卡洛方法生成n组场景样本xi,i=1,…,n,当样本容量较大时,依据大数定理,h(x)的样本均值
Figure RE-GDA0002752828490000112
以概率1收敛于期望μ,
Figure RE-GDA0002752828490000113
称为μ的蒙特卡洛估计量;
Figure RE-GDA0002752828490000114
依据中心极限定理,则蒙特卡洛估计量
Figure RE-GDA0002752828490000115
与期望μ的绝对误差为:
Figure RE-GDA0002752828490000121
蒙特卡洛估计量与期望μ的相对误差为:
Figure RE-GDA0002752828490000123
其中,zα是正太差,α是置信概率。
上式可见,蒙特卡洛方法的误差是在置信概率α条件下的概率误差。蒙特卡洛估计量
Figure RE-GDA0002752828490000124
的误差与h(x)的标准差σ成正比,与生成样本数的平方根
Figure RE-GDA0002752828490000125
成反比。
(2)真实交通环境中高风险场景发生概率较小,直接使用蒙特卡洛方法的估计值方差较大,导致蒙特卡洛估计误差较大。为减小估计误差较小,需生成大量场景样本,计算开销较大且生成的场景中包含大量低风险场景,高风险场景较少,不利于场景构建。因此,可采用重要性抽样等方差缩减方法,降低蒙特卡洛估计值的误差,用较小的计算开销生成较多的开销生成较多的高风险场景。
重要性抽样是通过选择适当的分布g(x)代替原始概率分布f(x),提高低概率事件在抽样中的比例,增加生成样本中低概率事件的数量,减小方差,减少所需样本总数。在基于重要性抽样的蒙特卡洛方法中,依据高风险场景发生概率较高的分布g(x)对描述变量随机取样,组合生成n个测试场景。重要性抽样只改变概率分布,不改变统计量。在采用重要性抽样的条件下,总体期望μ为:
Figure RE-GDA0002752828490000126
其中
Figure RE-GDA0002752828490000127
称为重要性比率。
h(x)的期望μ的蒙特卡洛估计量
Figure RE-GDA0002752828490000131
为:
Figure RE-GDA0002752828490000132
当样本容量n较大时,依据大数定理,h(x)的样本均值
Figure RE-GDA0002752828490000133
依然以概率1 收敛于总体期望μ。
如图1所示,一种基于基元场景的自动驾驶测试场景构建装置,其特征在于,包括:
基元提取模块,用于从真实交通场景中进行基元场景提取建立基元场景描述模型;
变量估计模块,用于采用高斯混合模型对基元场景描述模型中基元场景描述变量的分布进行估计;
基元场景生成模块,用于根据基元场景描述模型,从基元场景描述变量分布区间内选取描述变量取值,采用基于重要性抽样的蒙特卡洛方法对描述变量依据描述变量分布进行随机取样生成测试基元场景;
测试场景生成模块,用于根据测试任务确定测试场景要素参数,将测试基元场景按照测试场景要素参数以重新组合的方法生成测试场景。
一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种自动驾驶测试场景构建方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述一种自动驾驶测试场景构建方法的步骤。
实施例:我们选定的测试场景为高速公路直线行驶条件下的车辆切入避撞场景。在场景建模中,采用highD数据集作为真实交通数据来源。该数据集的采集区域为近似直线的高速公路路段,长度约420m,包含5条主行车道。数据采集时间为45min,包含非高峰时段和高峰时段。数据集以0.1s时间间隔提供超过观测车在采集区域内的位置、行驶车道、速度、加速度详细行驶参数。
依据高速公路环境下前车切入场景模型,从数据集中提取相应数据。在T0时刻,A、B两车间距为D,两车速度差为Vref=VA-VB,碰撞时间为TTC。根据基于TTC模型的AEB避撞算法划分,当TTC低于2.9s时,系统发出碰撞预警,当TTC低于1.9s时,系统采取40%制动,当TTC低于0.9s时,系统全力制动,因此设定TTC∈(0s,2.9s]是危险场景;根据国标GB21670规定,车辆制动加速度为-6.43m/s2,高速公路车辆以100km/h行驶,考虑比较极端的情况,切入车辆速度很小,那么制动所需时间不大于4s,考虑系统反应时间,设定边界条件为6s,因此设定TTC∈(2.9s,6s]为高风险场景;高速公路车辆以100km/h行驶, 20s车辆约行驶500m,超过了激光雷达等感知系统的感知范围,因此超过20s 不再考虑,因此设定TTC∈(10s,20s]是低风险场景。从highD数据集中共提取出两车变道真实场景4277个。如图2所示,一个点对应提取出的一个切入实例。其中,黑色表示该实例包含危险场景,共33个;红色表示该实例包含高风险场景,共431个;绿色和蓝色表示该实例包含低风险场景,共2492个。
在基元场景提取基础上,我们利用蒙特卡洛方法进行基元场景生成。结合场景描述模型,我们选定参数取值范围是D∈(0m,150m],Vref∈[-18m/s,0m/s)。利用蒙特卡洛方法分别生成4277个和10000个基元场景,为展示基元场景生成情况,将参数Vref和D的取值范围分别等分为30个区间,则在[Vref,D]取值范围内共有900个区间。统计生成基元场景在每一个小区间内的数量如图4 和图5所示,结果如图6所示。
根据区间内包含基元场景数量对区间分类统计结果如表1所示。
表1 4277个真实基元场景和生成基元场景的数量
Figure RE-GDA0002752828490000151
由表1可得highD数据集所含4277个真实场景实例共覆盖327个区间,而4277个生成的基元场景覆盖399个区间。其中,真实场景实例覆盖区间中共有200个区间含有5个以上场景实例,4277个生成的基元场景中共有201 个区间含有5个以上基元场景。对比真实场景实例与基于蒙特卡洛方法生成相同数量的基元场景表明,在基元场景生成中基于高斯混合模型参数的分布估计结果比较准确。
此外表2中给出了原场景实例与10000个生成的基元场景中不同类型场景的数量及对应的碰撞时间TTC取值范围。通过对比原数据中场景实例与采用蒙特卡洛方法生成基元场景可以看到不同TTC取值对应基元场景比例几乎保持不变。这表明在不改变参数分布的条件下,仅通过增加基元场景数量,不能提高基元场景中高风险场景的比例。
表2蒙特卡洛方法生成基元场景的结果
Figure RE-GDA0002752828490000152
Figure RE-GDA0002752828490000161
利用蒙特卡洛方法生成的基元场景中,危险场景仅占生成基元场景总数的0.99%,高风险基元场景占总数的10.21%。由于真实交通中高风险场景实例发生概率较小,采用蒙特卡洛方法生成的基元场景中对自动驾驶汽车场地测试有重要意义的危险和高风险基元场景所占比例较小。因此,我们希望满足场景覆盖性的同时,生成的基元场景集中包含较多的高风险场景,保证基元场景集对真实交通环境中高风险场景尽可能完整地覆盖。因此,我们使用基于重要性抽样的蒙特卡洛方法实现基元场景生成。
表3基元重要性抽样的蒙特卡罗方法生成基元场景结果
Figure RE-GDA0002752828490000162
如表3所示,在其他条件保持不变的情况下,结合重要性抽样的蒙特卡罗方法生成的基元场景中危险用例和高风险用例的比例明显提高,相比蒙特卡洛方法生成的基元场景,危险场景数量提高了157%,占生成场景总数的比例提高至2.55%;高风险场景数量提高了115%,占生成场景总数的比例提高至22.01%。通过对比蒙特卡洛方法和结合重要性抽样的蒙特卡洛方法的基元场景生成结果可以看到,在生成同样数量的基元场景条件下,利用重要性抽样的方法可以增加危险场景和高风险场景的数量,提高基元场景生成的覆盖性,有助于在测试场地内选取部署高风险场景,执行自动驾驶强化测试。

Claims (10)

1.一种基于基元场景的自动驾驶测试场景构建方法,其特征在于,包括以下步骤:
步骤1)、从真实交通场景中进行基元场景提取建立基元场景描述模型,采用高斯混合模型对基元场景描述模型中基元场景描述变量的分布进行估计;
步骤2)、根据基元场景描述模型,从基元场景描述变量分布区间内选取描述变量取值,采用基于重要性抽样的蒙特卡洛方法对描述变量依据描述变量分布进行随机取样生成测试基元场景;
步骤3)、根据测试任务确定测试场景要素参数,将步骤S2生成的测试基元场景按照测试场景要素参数以重新组合的方法生成测试场景。
2.根据权利要求1所述的一种基于基元场景的自动驾驶测试场景构建方法,其特征在于,将真实交通场景分解为独立的基元,将分解为独立的基元进行模型化和参数化。
3.根据权利要求1所述的一种基于基元场景的自动驾驶测试场景构建方法,其特征在于,建立基元场景描述模型是基元场景描述变量分布规律的概率分布问题,采用高斯混合模型对基元场景描述变量的分布进行估计:
设待估计的随机变量为X,则X的高斯混合模型表示为:
Figure RE-FDA0002752828480000011
其中,N(x|μk,∑k)是高斯混合模型中的第k个分量,αk是混合系数,满足
Figure RE-FDA0002752828480000012
在参数估计时,数据总体服从高斯混合分布,概率分布由上式中的高斯混合模型表示,模型中包含N组未知参数(μk,∑kk),根据样本数据确定模型参数取值。
4.根据权利要求3所述的一种基于基元场景的自动驾驶测试场景构建方法,其特征在于,对于未知参数,通过EM算法迭代计算,寻找最优化未知参数(μ,∑,α)。
5.根据权利要求4所述的一种基于基元场景的自动驾驶测试场景构建方法,其特征在于,通过EM算法迭代计算具体包括以下步骤:
1).对应每一个样本xi,设置(μ,Σ,α)的初始值;
2).根据当前的(μ,Σ,α)值,对于每个样本点xi计算后验概率Qi(zk)=(zk|xi;μ,Σ,α);
3).根据当前的后验概率,计算更新(μ,Σ,α)参数值;
4).使用更新后的参数(μ,Σ,α)计算似然函数l,若似然函数收敛于似然估计的最大值,即更新后的似然函数l不变或变化幅度很小,则表明求解出的(μ,Σ,α)参数是最优化参数;若未收敛于最大值,则返回第2)步继续迭代计算。
6.根据权利要求5所述的一种基于基元场景的自动驾驶测试场景构建方法,其特征在于,对于每个样本点xi计算后验概率时,固定后验概率,求解P(x;μ,Σ,α)的最大似然估计:
P(x;μ,Σ,α)的似然函数为
Figure RE-FDA0002752828480000021
l对μk求导,并令导数为0,得μk的更新公式
Figure RE-FDA0002752828480000022
同理,l对Σk和αk求导,并令导数为0,得Σk和αk的更新公式
Figure RE-FDA0002752828480000031
Figure RE-FDA0002752828480000032
7.根据权利要求1所述的一种基于基元场景的自动驾驶测试场景构建方法,其特征在于,采用蒙特卡洛进行随机取样生成基元场景:
设随机变量X表示蒙特卡洛方法生成的场景,x是X的一个场景样本,服从概率密度函数为f(x)的分布,设高风险场景集合为W,为了从生成的场景中选择高风险场景,定义高风险场景指示函数h(x):
Figure RE-FDA0002752828480000033
如果场景总体C中指示函数h(x)的期望为μ,方差为σ2
采用重要性抽样的条件下,总体期望μ为:
Figure RE-FDA0002752828480000034
设场景总体中高风险场景出现的概率为p,则h(x)的期望μ=p,方差σ2=p(1-p);g(x)为高风险场景发生概率较高的分布,其中
Figure RE-FDA0002752828480000035
称为重要性比率;
利用蒙特卡洛方法生成n组场景样本xi,i=1,…,n,当样本容量较大时,依据大数定理,h(x)的样本均值
Figure RE-FDA0002752828480000036
以概率1收敛于期望μ,h(x)的期望μ的蒙特卡洛估计量
Figure RE-FDA0002752828480000041
为:
Figure RE-FDA0002752828480000042
8.一种基于基元场景的自动驾驶测试场景构建装置,其特征在于,包括:
基元提取模块,用于从真实交通场景中进行基元场景提取建立基元场景描述模型;
变量估计模块,用于采用高斯混合模型对基元场景描述模型中基元场景描述变量的分布进行估计;
基元场景生成模块,用于根据基元场景描述模型,从基元场景描述变量分布区间内选取描述变量取值,采用基于重要性抽样的蒙特卡洛方法对描述变量依据描述变量分布进行随机取样生成测试基元场景;
测试场景生成模块,用于根据测试任务确定测试场景要素参数,将测试基元场景按照测试场景要素参数以重新组合的方法生成测试场景。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202010625061.2A 2020-07-01 2020-07-01 自动驾驶测试场景构建方法、装置、设备及可读存储介质 Active CN112036001B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010625061.2A CN112036001B (zh) 2020-07-01 2020-07-01 自动驾驶测试场景构建方法、装置、设备及可读存储介质
US17/134,399 US11308330B2 (en) 2020-07-01 2020-12-26 Method and device for constructing autonomous driving test scenes, terminal and readable storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625061.2A CN112036001B (zh) 2020-07-01 2020-07-01 自动驾驶测试场景构建方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112036001A true CN112036001A (zh) 2020-12-04
CN112036001B CN112036001B (zh) 2024-04-23

Family

ID=73579807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625061.2A Active CN112036001B (zh) 2020-07-01 2020-07-01 自动驾驶测试场景构建方法、装置、设备及可读存储介质

Country Status (2)

Country Link
US (1) US11308330B2 (zh)
CN (1) CN112036001B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466123A (zh) * 2021-02-02 2021-03-09 四川紫荆花开智能网联汽车科技有限公司 智能网联汽车测试场景在封闭测试场的布置方法
CN112559378A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 自动驾驶算法评估方法和装置、场景库生成方法和装置
CN112685289A (zh) * 2020-12-11 2021-04-20 中国汽车技术研究中心有限公司 场景的生成方法、基于场景的模型在环测试方法和系统
CN113092133A (zh) * 2021-04-07 2021-07-09 冒坚 一种基于高斯聚类的超声波雷达在环自动驾驶测试方法
CN113095377A (zh) * 2021-03-26 2021-07-09 中国科学院电工研究所 一种危险驾驶场景数据随机生成方法及系统
CN113188814A (zh) * 2021-05-17 2021-07-30 联合汽车电子有限公司 自动驾驶复现方法、系统和存储介质
CN113326638A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 自动驾驶测试场景的确定方法及其装置
CN113360412A (zh) * 2021-07-20 2021-09-07 北京赛目科技有限公司 一种测试场景选取方法、装置、电子设备及存储介质
CN113419942A (zh) * 2021-04-30 2021-09-21 吉林大学 一种基于自然驾驶数据的自动驾驶安全性评价方法
CN113514254A (zh) * 2021-04-30 2021-10-19 吉林大学 一种针对自动驾驶仿真的并行加速测试方法
CN113642108A (zh) * 2021-08-11 2021-11-12 北京航空航天大学 一种基于重要度抽样的无人车十字路口通行场景关键测试案例生成方法
CN114371015A (zh) * 2022-01-04 2022-04-19 一汽解放汽车有限公司 自动驾驶测试方法、装置、计算机设备、存储介质
CN114544191A (zh) * 2021-12-28 2022-05-27 文远苏行(江苏)科技有限公司 自动驾驶测试场景量化评估方法及相关设备
CN115240409A (zh) * 2022-06-17 2022-10-25 上海智能网联汽车技术中心有限公司 一种基于驾驶员模型和交通流模型提取危险场景的方法
CN115777088A (zh) * 2020-12-17 2023-03-10 移动眼视力科技有限公司 车辆运行安全模型测试系统
WO2023193196A1 (zh) * 2022-04-07 2023-10-12 中国科学院深圳先进技术研究院 自动驾驶测试用例生成方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230281107A1 (en) * 2022-03-04 2023-09-07 Woven By Toyota, Inc. Apparatus and method for debugging autonomous driving application with conditional breakpoint
CN114913492A (zh) * 2022-04-19 2022-08-16 清华大学 智能车路系统场景生成方法、系统、存储介质及计算设备
CN115257891B (zh) * 2022-05-27 2024-06-04 浙江众合科技股份有限公司 基于关键位置抽取与随机位置融合的cbtc场景测试方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107421752A (zh) * 2017-07-13 2017-12-01 同济大学 一种智能汽车测试场景加速重构方法
WO2018071708A1 (en) * 2016-10-14 2018-04-19 Zoox, Inc. Scenario description language for autonomous vehicle simulation
WO2018068654A1 (zh) * 2016-10-10 2018-04-19 深圳云天励飞技术有限公司 场景模型动态估计方法、数据分析方法及装置、电子设备
CN110304075A (zh) * 2019-07-04 2019-10-08 清华大学 基于混合动态贝叶斯网络和高斯过程的车辆轨迹预测方法
WO2020052583A1 (en) * 2018-09-14 2020-03-19 Huawei Technologies Co., Ltd. Iterative generation of adversarial scenarios

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235601B1 (en) * 2017-09-07 2019-03-19 7D Labs, Inc. Method for image analysis
CN111179585B (zh) 2018-11-09 2021-12-07 上海汽车集团股份有限公司 自动驾驶车辆的场地测试方法及装置
CN109446371A (zh) 2018-11-09 2019-03-08 苏州清研精准汽车科技有限公司 一种智能汽车仿真测试场景库生成方法及测试系统和方法
CN110009765B (zh) 2019-04-15 2021-05-07 合肥工业大学 一种自动驾驶车辆场景数据系统的场景格式转化方法
US20210110089A1 (en) * 2019-10-10 2021-04-15 Nvidia Corporation Generating computer simulations of manipulations of materials based on machine learning from measured statistics of observed manipulations
US20210241156A1 (en) * 2020-01-31 2021-08-05 Royal Bank Of Canada System and method for machine learning architecture with adaptive importance sampling with normalizing flows

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068654A1 (zh) * 2016-10-10 2018-04-19 深圳云天励飞技术有限公司 场景模型动态估计方法、数据分析方法及装置、电子设备
WO2018071708A1 (en) * 2016-10-14 2018-04-19 Zoox, Inc. Scenario description language for autonomous vehicle simulation
CN107421752A (zh) * 2017-07-13 2017-12-01 同济大学 一种智能汽车测试场景加速重构方法
WO2020052583A1 (en) * 2018-09-14 2020-03-19 Huawei Technologies Co., Ltd. Iterative generation of adversarial scenarios
CN110304075A (zh) * 2019-07-04 2019-10-08 清华大学 基于混合动态贝叶斯网络和高斯过程的车辆轨迹预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周干;张嵩;罗悦齐;: "自动驾驶汽车仿真测试与评价方法进展", 汽车文摘, no. 04 *
张珊;王蕾;郭魁元;张嘉芮;刘少华;: "基于交通事故的自动驾驶虚拟测试方法研究", 中国汽车, no. 05 *
杨丹;戴芳;: "运动目标检测的ViBe算法改进", 中国图象图形学报, no. 12 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685289A (zh) * 2020-12-11 2021-04-20 中国汽车技术研究中心有限公司 场景的生成方法、基于场景的模型在环测试方法和系统
CN115777088A (zh) * 2020-12-17 2023-03-10 移动眼视力科技有限公司 车辆运行安全模型测试系统
CN112559378A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 自动驾驶算法评估方法和装置、场景库生成方法和装置
CN112559378B (zh) * 2020-12-25 2023-12-05 北京百度网讯科技有限公司 自动驾驶算法评估方法和装置、场景库生成方法和装置
CN112466123B (zh) * 2021-02-02 2021-04-23 四川紫荆花开智能网联汽车科技有限公司 智能网联汽车测试场景在封闭测试场的布置方法
CN112466123A (zh) * 2021-02-02 2021-03-09 四川紫荆花开智能网联汽车科技有限公司 智能网联汽车测试场景在封闭测试场的布置方法
CN113095377A (zh) * 2021-03-26 2021-07-09 中国科学院电工研究所 一种危险驾驶场景数据随机生成方法及系统
CN113092133A (zh) * 2021-04-07 2021-07-09 冒坚 一种基于高斯聚类的超声波雷达在环自动驾驶测试方法
CN113092133B (zh) * 2021-04-07 2024-03-22 冒坚 一种基于高斯聚类的超声波雷达在环自动驾驶测试方法
CN113514254B (zh) * 2021-04-30 2022-05-17 吉林大学 一种针对自动驾驶仿真的并行加速测试方法
CN113419942A (zh) * 2021-04-30 2021-09-21 吉林大学 一种基于自然驾驶数据的自动驾驶安全性评价方法
CN113514254A (zh) * 2021-04-30 2021-10-19 吉林大学 一种针对自动驾驶仿真的并行加速测试方法
CN113188814A (zh) * 2021-05-17 2021-07-30 联合汽车电子有限公司 自动驾驶复现方法、系统和存储介质
CN113360412B (zh) * 2021-07-20 2021-11-02 北京赛目科技有限公司 一种测试场景选取方法、装置、电子设备及存储介质
CN113360412A (zh) * 2021-07-20 2021-09-07 北京赛目科技有限公司 一种测试场景选取方法、装置、电子设备及存储介质
CN113326638A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 自动驾驶测试场景的确定方法及其装置
CN113326638B (zh) * 2021-08-03 2021-11-09 北京赛目科技有限公司 自动驾驶测试场景的确定方法及其装置
CN113642108A (zh) * 2021-08-11 2021-11-12 北京航空航天大学 一种基于重要度抽样的无人车十字路口通行场景关键测试案例生成方法
CN113642108B (zh) * 2021-08-11 2023-11-10 北京航空航天大学 一种无人车十字路口通行场景关键测试案例生成方法
CN114544191A (zh) * 2021-12-28 2022-05-27 文远苏行(江苏)科技有限公司 自动驾驶测试场景量化评估方法及相关设备
CN114544191B (zh) * 2021-12-28 2024-05-03 文远苏行(江苏)科技有限公司 自动驾驶测试场景量化评估方法及相关设备
CN114371015A (zh) * 2022-01-04 2022-04-19 一汽解放汽车有限公司 自动驾驶测试方法、装置、计算机设备、存储介质
CN114371015B (zh) * 2022-01-04 2024-06-04 一汽解放汽车有限公司 自动驾驶测试方法、装置、计算机设备、存储介质
WO2023193196A1 (zh) * 2022-04-07 2023-10-12 中国科学院深圳先进技术研究院 自动驾驶测试用例生成方法、装置、电子设备及存储介质
CN115240409B (zh) * 2022-06-17 2024-02-06 上智联(上海)智能科技有限公司 一种基于驾驶员模型和交通流模型提取危险场景的方法
CN115240409A (zh) * 2022-06-17 2022-10-25 上海智能网联汽车技术中心有限公司 一种基于驾驶员模型和交通流模型提取危险场景的方法

Also Published As

Publication number Publication date
US20220004769A1 (en) 2022-01-06
US11308330B2 (en) 2022-04-19
CN112036001B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
CN112036001A (zh) 自动驾驶测试场景构建方法、装置、设备及可读存储介质
Feng et al. Testing scenario library generation for connected and automated vehicles, part II: Case studies
CN112487617B (zh) 基于碰撞模型的风险预防方法、装置、设备及存储介质
CN111580500B (zh) 一种针对自动驾驶汽车安全性的评价方法
CN107016193B (zh) 驾驶员跟车行为分析中的期望跟车距离计算方法
Lin et al. An exploratory analysis comparing a stochastic driving cycle to California's regulatory cycle
CN110457829B (zh) 一种基于集成大气扩散模型的源项释放反演和扩散预测方法
Lin et al. Estimating regional air quality vehicle emission inventories: constructing robust driving cycles
Zhang et al. Accelerated evaluation of autonomous vehicles in the lane change scenario based on subset simulation technique
CN111753426B (zh) 颗粒物污染的源解析方法和装置
CN114815605A (zh) 自动驾驶测试用例生成方法、装置、电子设备及存储介质
Chen et al. Proactive quality control: Observing system simulation experiments with the Lorenz’96 model
CN112967764A (zh) 多技术耦合的污染物源解析方法、装置
Jiang et al. Efficient and unbiased safety test for autonomous driving systems
CN116011110A (zh) 一种自动驾驶汽车安全性等级评估方法及系统
CN111985092A (zh) 一种智能汽车仿真测试矩阵生成方法
Lu et al. Impacts of connected and automated vehicles on freeway with increased speed limit
CN113379156A (zh) 速度预测方法、装置、设备及存储介质
CN112632706A (zh) 一种基于gmm和cart回归树的路感模拟方法
CN115482662B (zh) 一种危险工况下驾驶员避撞行为预测方法及系统
CN111832442A (zh) 从海量桥梁动态应变数据中自动化分离温度应变成分的方法
CN116753938A (zh) 车辆测试场景生成方法、装置、存储介质及设备
CN114544191A (zh) 自动驾驶测试场景量化评估方法及相关设备
Xing et al. Optimizing longitudinal control model parameters of connected and automated vehicles using empirical trajectory data of human drivers in risky car-following scenarios
CN114818381A (zh) 自动驾驶汽车测试场景库的构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant