CN111209838A - 一种基于驾驶意图的周车换道行为动态识别方法 - Google Patents
一种基于驾驶意图的周车换道行为动态识别方法 Download PDFInfo
- Publication number
- CN111209838A CN111209838A CN201911422483.3A CN201911422483A CN111209838A CN 111209838 A CN111209838 A CN 111209838A CN 201911422483 A CN201911422483 A CN 201911422483A CN 111209838 A CN111209838 A CN 111209838A
- Authority
- CN
- China
- Prior art keywords
- lane change
- vehicle
- behavior
- change behavior
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于驾驶意图识别的周车换道行为识别方法,包括:构建训练样本集;将周车与所在车道中心线的横向偏离、速度和加速度作为周车基本特征,利用历史同步时间滑动窗和统计指标对周车基本特征进行扩展得到候选特征;利用基于条件互信息的最大似然度方法,对训练样本集中各周车换道行为类别,根据候选特征之间的共同信息及其关联程度,得到优选特征;通过随机森林分类器得到对训练样本识别的各时刻周车换道行为类别的概率;利用DS证据理论,将各时刻相同周车换道行为类别的概率进行融合,计算各周车换道行为类别的信度函数,由此确定最终的周车换道行为类别。本发明方法具有更好的识别准确度和时效性。
Description
技术领域
本发明属于无人驾驶汽车自主决策技术领域,特别涉及一种针对自车周围驾驶人车辆的换道行为动态识别方法,帮助自车更好地理解周车行为,更好地做行为决策和轨迹规划。
背景技术
无人驾驶汽车的一大应用场景是混合交通流道路,即无人驾驶汽车和有人驾驶汽车并存在道路上。在该场景中,无人驾驶汽车会受到来自有人驾驶汽车的影响。尽管目前有关传感器、车载计算机、控制器和执行机构的技术日渐成熟,无人驾驶汽车仍然面临一大挑战,即无人驾驶汽车(自车)与周围环境的交互,尤其是与有人驾驶汽车行为的互相影响。为了保证道路安全性,自车基于车载传感器(如摄像头、激光雷达等)和车联网信息(LongTerm Evolution(LTE)、Dedicated Short Range Communications(DSRC)等),需要在考虑周围动态交通流等复杂环境的情况下,安全高效的抵达目的地。因此自车需要对环境中周围车辆的行为进行准确识别,才能更快更好地预测周车未来轨迹(即所占据的空间),从而构造自车在未来一定时间内的可行域,对自车的行为决策和轨迹规划有着极大的作用。
传统的保守换道策略,如“预见碰撞即紧急刹车(AEB)”,在大多数情况下往往不是最优的换道策略(虽然在一些特定的情况下必须这么做)。如果将周围车辆的动态运动特性和未来行驶轨迹纳入考虑,那么自车将拥有更多的即能保证安全性,又不失合理性和舒适性的换道策略选择,比如“降低车速保持安全车头时距直到其达到安全阈值”,“左换道或右换道以避免碰撞”,甚至是“加速驶离危险区域”等。
上述列出的换道策略都依赖于对周围有人驾驶汽车的换道行为识别和相应的行驶轨迹预测。目前,识别当前或者预测未来周车换道行为的经典方法是将连续换道行为离散化成预先设定的不同的驾驶模式类别(如直行、换道等),再利用相应的特征和判别学习算法,如多层感知器(MLP)、线性回归(LR)、关联向量机(RVM)和支持向量机(SVM)等进行识别。其中,根据SAE J2944标准(为美国机动车工程师学会颁布的换道标准)和Toledo大学的研究,换道的定义为周车从某个车道驶离并成功的进入相邻的车道。如图1所示(图中,横轴表示车辆的行驶时间,纵轴表示车道线之间的横向距离),在一条含有换道行为的驾驶轨迹中,定义换道的起点为周车车身触碰到车道线,并继续驶向相邻车道的这一时刻对应的位置。类似的,换道的终点为周车车身不再与车道线接触,并继续驶向相邻车道中心线的这一时刻对应的位置。如果出现一辆周车连续换道,即不间断的横跨了两个或更多的车道的情况,则该轨迹被分割成相应数量的段,每一段轨迹被视为一次单独的换道的行为。换道行为识别基于特征集的选取,一般包括环境信息、交通情况和车辆状态,特征数据越全面,行为识别效果越好。转向灯一般被用来作为判断换道的一个特征,但是一些研究表明单独的转向灯状态并不是一个很好的指标。进一步地有将方向盘转角和CAN总线中的车辆状态用来对横向和纵向换道行为进行识别。有一些方法可利用车辆航向角和横摆角速度,在十字路口对车辆的转向行为进行识别。此外,车辆至路口的距离、附近交通信号灯的状态等特征也被用来改进特征集,提高换道行为识别的准确率。
虽然利用道路结构信息、CAN总线信息和V2X(vehicle-to-everything)通讯信息等先验知识可改进对换道行为的识别效果。但是,周车车轮转角和横摆角等状态信息,以及高精度地图和信号灯配时等先验知识,在实际应用中难以通过车载传感器观测得到,导致识别准确率不高;此外,传感器的噪声导致识别类别波动大,影响识别的鲁棒性。
发明内容
本发明的目的是针对无人驾驶汽车在混合交通流中面临的周围驾驶人驾驶汽车,提供一种在线的换道行为识别方法。与驾驶人的决策机理类似,本发明利用信息技术将有限的观测信息扩展为系列特征,再利用机器学习方法结合信息理论综合判断周车的换道行为,有效解决了自车观测周车的状态信息有限的难题。
本发明提出的一种基于驾驶意图识别的周车换道行为识别方法,其特征在于,该方法包括如下步骤:
S110构建训练样本集:从NGSIM数据库中,提取了换道数据和直行数据共计N例数据,从该N例数据中选定NRF例数据作为训练样本构成训练样本集;每一例数据包含了时间信息、位置信息和换道行为类别;
S120特征选取:将周车与所在车道中心线的横向偏离、横向速度和横向加速度作为周车基本特征,利用历史同步时间滑动窗和统计指标对周车基本特征进行扩展得到多类扩展特征,将该多类扩展特征及3类周车基本特征作为候选特征构成周车候选特征集合该集合内含有的候选特征总类别为其中,3代表采用3类基本特征,NSTA为采用的统计指标的总个数,Lmax为同步时间滑动窗的最大长度;
S130特征优选:利用基于条件互信息的最大似然度方法,对训练样本集中每个周车的换道行为类别,通过对步骤S120确定的候选特征之间的共同信息及其关联程度进行排序,得到若干优选特征;
S140初步识别:基于随机森林方法构建一分类器,该分类器的输入为以步骤S130确定的优选特征从步骤S110选定的各训练样本中分别均提取对应的优选特征值,输出为对训练样本识别的各时刻周车换道行为类别的概率,作为初步识别结果;
S150识别结果优化:利用DS证据理论,将步骤S140中分类器输出的各时刻相同周车换道行为类别的概率进行融合,计算各周车换道行为类别的信度函数,若各周车换道行为的信度函数均相等则输出无法判断,否则选取信度函数最大的周车换道行为类别作为最终的周车换道行为类别。
进一步地,步骤S130特征优选,具体包括以下步骤:
对于候选特征集合中的任一候选特征SK以及某一换道行为类别 LK、LLC和RLC分别表示直行、左换道和右换道;令条件互信息CMI(SK;B)表示候选特征SK与候选特征集合中的所有其他候选特征含有的关于驾驶行为类别B的共同信息,令条件互信息CMI(SK,SL;B)表示候选特征集合中候选特征SK与候选特征SL含有的关于驾驶行为类别B的共同信息,计算公式如下:
式中:
H(SK;B)为候选特征SK关于周车换道行为B的信息熵,用于表征候选特征SK含有周车换道行为B相关信息的多少,利用信息熵可以描述一个复杂的时序特征的特性,计算公式如下:
其中,SK,k是候选特征SK的某一取值,设候选特征SK有n个所有可取值的状态SK,k,k=1,…n;p(SK,k|B)为驾驶行为类别B的候选特征SK取值SK,k的概率,即在训练样本集中SK,k出现的频率;令I(SK,k)=-logp(SK,k)为候选特征SK的取值SK,k的自信息量,表征该特征值的不确定性,I(SK,k)≥0;
MI(SK,SL)为互信息,用于量化候选特征SK和SL之间的相关性和冗余性,计算公式如下:
其中,p(SK,k,SL,l)为候选特征值SK,k,SL,l同时出现的概率;
MI(SK,SL|B)用于表征候选特征SK和SL关于驾驶行为B的共同信息,计算公式如下:
MI(SK,SL|B)=H(SK|B)+H(SK|B)-H(SK,SL|B)
进一步地,步骤S140初步识别,具体包括以下步骤:
S141构建NTr棵随机树,均为二叉树,由1个根结点和若干分支节点组成,NTr≤100;设每棵随机树的输入均相同,设定本次循环输入分类器中各随机树的训练样本数和提取的优选特征个数分别为nRF,mRF,nRF<NRF,mRF<<MRF;
S142对于每棵随机树,均随机且有放回地从训练样本集中抽取nRF个训练样本;对于每一个训练样本,利用同步时间滑动窗从训练样本的各时刻同步时间滑动窗内所含括的数据中提取mRF个优选特征的值输入每棵随机树中,每棵随机树分别输出识别的各时刻周车换道行为类别,统计后得到识别该例数据属于各换道行为类别的概率;依照上述步骤得到所抽取的nRF个训练样本属于各换道行为类别的概率;
S143不断重复步骤S141-S142,直到识别的NRF个训练样本属于各换道行为类别的概率收敛,分类器训练完毕;
S144将训练样本集输出训练完毕的分类器中,得到对训练样本识别的各时刻周车换道行为类别的概率,作为初步识别结果。
进一步地,步骤S150识别结果优化,具体包括以下步骤:
构建DS证据理论模型,针对步骤S140得到的某一例驾驶数据每一时刻属于各驾驶行为类别的概率,构建任一同步时间滑动窗内的第t个时刻的基本可信数mt(·),用于表征对换道行为类别B的信度大小,mt(·)的计算公式如下:
式中,PRF(B|t)为步骤S140输出的同步时间滑动窗内的第t个时刻对周车换道行为类别B的识别概率,LK、LLC和RLC分别表示直行、左换道和右换道;将随机森林的时序输出结果看作证据的来源,则根据Dempster组合规则,计算在步骤S140输出的各驾驶行为类别概率的共同作用下产生的基本概率分配函数Mt(B),反映历史t时段内识别为换道行为类别B的概率,计算公式如下:
定义接受分类器识别的周车换道行为类别B的信度函数为:
Belt(B)=Mt(B)
其中,Belt(B)表示对于分类器识别的周车换道行为类别B的信度函数,表示对判定结果为换道行为类别B的信任程度;
对同步时间滑动窗内每一个时刻t的换道行为类别Lable(t)进行的最终判别,计算公式如下:
根据上式,在时刻t,若所有周车换道行为中最大信度值大于周车的换道行为类别集合内所有周车换道行为信度值之和的平均值即存在信度值最大的周车换道行为,则判定分类器识别该换道行类别B为最终的周车换道行为类别;若各周车换道行为的信度值均相等,则判定无法确定周车换道行为类别。
本发明的特点及有益效果:
本发明提出的一种基于驾驶意图识别的驾驶员换道行为识别方法,可以在线识别自车周围有人驾驶车辆的换道行为,与传统方法相比,具有更好的识别准确度和时效性。
本方法具有良好的通用性,当传感器获取的信息种类发生变化(比如通过信息融合获取更多车辆状态信息),或者当离线学习的有人驾驶换道行为样本发生变化时(比如增加不同驾驶风格类型的驾驶样本),本方法也依然适用,是这一类问题的通用的求解方法。
应用到实际中,本发明可以为无人驾驶汽车提供一种在线的周车换道行为识别算法。通过换道模拟器验证,本发明的换道行为识别准确度大于90%,平均换道识别时刻为换道前3.2秒,具有很高的准确性和时效性。
附图说明
图1为本发明所使用的换道行为示意图;
图2为本发明实施例所提供的换道行为识别方法流程示意图;
图3为本发明实施例所提供同步滑窗示意图;
图4为本发明实施例所提供的基于随机森林的分类器示意图;
图5为本发明实施例所提供的对换道行为直行的识别结果示意图;
图6为本发明实施例所提供的基于不同特征的识别结果直方图。
具体实施方法
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
为了更好地理解本发明,以下详细阐述一个本发明一种基于驾驶意图的周车换道行为动态识别方法的应用实例。
如图2所示,本实施例所提供的一种基于驾驶意图识别的周车换道行为识别方法,分为训练阶段和测试阶段,其中训练阶段分为有限状态观测、换道特征优选、换道意图识别和换道意图识别优化四个部分,参见图2。本方法基于两个假设:第一,假设自车不具备通讯能力,即只能依靠除V2X设备以外的车载传感器(如摄像头、毫米波雷达、激光雷达等)对周车的状态信息(如相对距离、相对速度)进行观测;第二,假设决策系统已经获得经传感器融合后的周车状态信息,即本方法不涉及环境感知和传感器融合技术,只针对处理后的周车信息进行处理。本方法考虑传感器实际应用限制和分类器不确定性,具体步骤如下:
训练阶段
S110构建训练样本集:从NGSIM(Next Generation SIMulation)数据库(该数据库出自美国联邦高速公路管理局(Federal Highway Administration,FHWA)于2002年发起的旨在为宏观智能交通和微观驾驶行为研究提供便利的真实交通数据采集与公开计划,广泛应用于车辆模型和轨迹预测研究中)中,提取了914例换道数据(左换道694例,右换道220例)和100例直行数据,所提取轨迹的平均速度为35.36千米/小时。从N=1014例数据中选定NRF个训练样本构成训练样本集,本实施例中NRF=650,包括左换道480例,右换道120例,直行50例,每一例数据包含了时间信息、位置信息和换道行为类别。
S120特征选取:将周车与所在车道中心线的横向偏离、横向速度和横向加速度作为周车基本特征,利用历史同步时间滑动窗和统计指标对周车基本特征进行扩展得到多类扩展特征,将该多类扩展特征及3类周车基本特征作为候选特征构成周车候选特征集合该集合内含有的候选特征总类别为其中,3代表采用3类基本特征,NSTA为采用的统计指标的总个数,Lmax为同步时间滑动窗的最大长度。
考虑到在没有任何V2X通讯的情况下,车载传感器所观测到的信息非常有限,所以用于换道行为识别的特征的选取需要格外用心。直观上,周车与其当前车道中心线的偏离量是一个非常重要的特征,横向偏移越大,目标车辆越有可能换道。此外,周车的横向速度和横向加速度也是换道行为识别的可行且有效的特征。
上述信息能够被现有的车载传感器所采集并提供,但是,仅有周车的横向偏离、速度和加速度这三个基础特征还远远不够,并且瞬时的特征只能反映空间信息,无法反映时序信息,所以本方法利用如图3所示的同步时间滑动窗(Synchronous Sliding Window,SSW),配以不同的统计指标,对基础特征进行扩展,涵盖周车当前点及历史设定时间范围内所有采样点,并与3类基本特征共同作为候选特征形成周车候选特征集合来反映周车换道行为不同维度下的特征信息。
本方法实施例将同步时间隔窗SSW的长度设定为1秒,2秒,3秒,4秒和5秒,采样间隔为1s。由于车载传感器平均探测到目标车辆的存续时间为5秒,本实施例将最大时间隔窗长度Lmax定为5秒。本实施例选取的统计指标STA包括平均数Mean、标准差SD(standarddeviation)、变异系数CoV(coefficient of variation)、均方根RMS(root mean square)、香农熵SE(Shannon entropy)和正态熵NE(norm entropy)。
当需要比较两组数据离散程度大小的时候,如果两组数据的测量尺度相差太大,或者数据量纲的不同,不适合直接使用标准差SD来进行比较,此时选用变异系数CoV,可消除测量尺度和量纲的影响。变异系数的数学表达式为:
式中,角标i表示第i类基础特征,i=1时表示周车与所在车道中心线的横向偏离,i=2表示周车的横向速度,i=3时表示周车的横向加速度;Xi={xi,j},表示周车第i类基础特征的时序特征集合,由通过同步滑动间窗对周车第i类基础特征进行历史采样得到的各采样值xi,j构成,j=1,2,…,Lmax,Lmax为同步滑动时间窗的最大长度,为正整数。
CoV是原始数据标准差与原始数据平均数的比,没有量纲,可以对不同数据进行客观比较。变异系数和极差、标准差和方差一样,都是反映数据离散程度的绝对值。
香农熵和正态熵都是对于特征信息量的经典度量方法,表征特定换道行为的不确定性大小。香农熵SE与正态熵NE的计算公式分别为:
本实施例利用最大长度为5s的同步时间滑动窗和6个统计指标,生成了90类扩展特征,加上3类周车基本特征:横向偏离、速度和加速度,一共有93类候选特征,由此构成周车候选特征集合这些候选特征既包括时间信息,又包括空间信息,可以较好的覆盖识别周车行为所需的信息。
S130特征优选:利用基于条件互信息(Conditional Mutual Information,CMI)的最大似然度方法,对训练样本集中每个周车的换道行为类别,通过对步骤S120确定的候选特征之间的共同信息及其关联程度进行分析与排序,得到若干优选特征。
由于步骤S120选取的候选特征并非都是有效的,其中很多特征无法用来区分不同的周车换道行为。而且,考虑到周车换道行为识别需要在线实时进行,为了节约大量的线上存储空间和计算资源,需要对候选特征进行优选,保证高识别效率的条件下选用最少的特征量。本方法提出了一种基于条件互信息的最大似然度方法,对步骤S120中的所有候选特征进行优选。在本实施例中,周车换道行为的判别由若干个子事件(如直行、换道)时序组成,每个子事件又对应不同的特征。一个特征信息量大小和它的不确定性有直接的关系。对于非常不确定甚至一无所知的特征,需要获知大量的信息才能做判断。相反,如果对该特征已经有了一定了解,则不需要太多信息也能对其进行较有把握的判断。故一个信息的不确定性从某种程度上反映了该信息的信息量。本方法在兼顾准确度、稳定性和灵活性的情况下,从训练样本集的各训练样本NRF中均分别利用步骤S120提取的93类全部候选特征,根据条件互信息CMI分析选择最优特征子集,用于提取待识别的驾驶行为数据。
对于候选特征集合中的任一候选特征SK以及某一换道行为类别 LK、LLC和RLC分别表示直行(Lane Keeping)、左换道(Left Lane Change)和右换道(Right Lane Change)。令条件互信息CMI(SK;B)表示候选特征SK与候选特征集合中的所有其他候选特征含有的关于驾驶行为类别B的共同信息,令条件互信息CMI(SK,SL;B)表示候选特征集合中候选特征SK与候选特征SL含有的关于驾驶行为类别B的共同信息。条件互信息由信息熵与互信息求得,计算公式如下:
式中:
H(SK;B)为候选特征SK关于周车换道行为B的信息熵,用于表征候选特征SK含有周车换道行为B相关信息的多少,利用信息熵可以描述一个复杂的时序特征的特性,计算公式如下:
其中,SK,k是候选特征SK的某一取值,设候选特征SK有n个所有可取值的状态SK,k(k=1,…n);p(SK,k|B)为驾驶行为类别B的候选特征SK取值SK,k的概率,即在训练样本集中SK,k出现的频率。一般地,令I(SK,k)=-logp(SK,k)为候选特征SK的取值SK,k的自信息量,表征该特征值的不确定性。I(SK,k)≥0,且随着事件中该特征值出现的概率越大,自信息量越小,不确定性也越小;相反,该特征值发生的概率越小,自信息量越大,不确定性也就越大。特别的,对于确定的特征值来说,其发生的概率为p(SK,k)=1,那么其自信息量就为0。信息熵H(SK)反映了各时序特征值出现的平均不确定度,也就是信息量的大小,即信息熵值越小,不确定性越小,事件的信息量越大,信息熵值越大,不确定性越大,事件的信息量越小。
MI(SK,SL)为互信息(Mutual Information),用于量化候选特征SK和SL之间的相关性,计算公式如下:
其中,p(SK,k,SL,l)为候选特征值SK,k,SL,l同时出现的概率。互信息还同时用于表征候选特征SK和SL的冗余性,表示候选特征SK和SL拥有共同信息的多少,p(SK,k,SL,l)的值越大代表两个候选特征可互为替代的可能性越大;
候选特征SK,SL的互信息MI(SK,SL)还可以用信息熵组合求得,计算公式如下:
MI(SK,SL)=H(SK)+H(SL)-H(SK,SL)
其中,互信息是候选特征SK,SL的独立信息熵与其联合信息熵H(SK,SL)的差,表示它们共同信息量的大小。SK,SL的关联性越强,则共同信息越多,联合信息熵H(SK,SL)越小,互信息MI(SK,SL)越大。SK和SL的关联性越弱,则共同信息越少,联合信息熵H(SK,SL)越大,互信息MI(SK,SL)越小。如果SK和SL互相独立,没有共同信息,则互信息MI(SK,SL)为零。
MI(SK,SL|B)用于表征候选特征SK和SL关于驾驶行为B的共同信息,计算公式如下:
MI(SK,SL|B)=H(SK|B)+H(SK|B)-H(SK,SL|B)
对训练样本集计算周车候选特征集合S中的所有候选特征(共93个)具体的条件互信息值,按照包含的条件互信息大小进行降序排序。排序越靠前的候选特征,越有利于对周车换道行为的有效识别,也就越会被优先选择。设优选出的特征个数为MRF。根据识别效果,本实施例最终选定的超参数MRF=15,优选的特征见下表。
以序号为1和11的优选特征进行说明,优选特征1为同步时间滑动窗内第3s(即同步时间滑动窗内的第3个时间戳)统计的周车横向速度的香农熵SE;优选特征11为当前时刻周车与所在车道中心线的横向偏离。
S140初步识别:基于随机森林方法(Random Forest,RF)构建一分类器,该分类器的输入为以步骤S130确定的优选特征从步骤S110选定的各训练样本中分别均提取对应的优选特征值,输出为对训练样本识别的各时刻周车换道行为类别的概率,作为初步识别结果。
本发明基于随机森林方法设计一个分类器并通过反复训练与验证分类器,确定该分类器最佳的超参数。将前述候选特征作为输入,利用分类器对周车换道行为进行初步识别。训练分类器的目标是找到最佳的超参数,使从步骤S130确定的优选特征中提取出各训练样本对应的优选特征值所代表的周车换道行为能够被分类器准确的分类到相应的类别中。
具体实现过程如下:
S141构建NTr棵随机树,均为二叉树,由1个根结点和若干分支节点组成,NTr≤100;设每棵随机树的输入均相同,设定本次循环输入分类器中各随机树的训练样本数和提取的优选特征个数分别为nRF,mRF,nRF<NRF,mRF<<MRF。每棵随机树均是一个单独的分类器,各自独立地学习和作出预测,本实施例中设定NTr=25棵随机树。
S142对于每棵随机树,均随机且有放回地从训练样本集中抽取nRF个训练样本(即bootstrap重复采样);对于每一个训练样本,即某一例换道行为数据,利用同步时间滑动窗从训练样本的各时刻同步时间滑动窗内所含括的数据中提取mRF个优选特征的值输入每棵随机树中,每棵随机树分别输出识别的各时刻周车换道行为类别,参见图4,统计后得到识别该例数据属于各换道行为类别的概率,依照此方法得到所抽取nRF个训练样本属于各换道行为类别的概率。
S143不断重复步骤S141-S142,直到识别的NRF个训练样本属于各换道行为类别的概率收敛,分类器训练完毕。
S144将训练样本集输出训练完毕的分类器中,得到对训练样本识别的各时刻周车换道行为类别的概率,作为初步识别结果。
nRF,mRF两个参数的随机性对随机森林分类器的分类性能至关重要,由于它们的引入,使得随机森林不容易陷入过拟合,并且具有很好的抗噪能力。随机森林分类效果(错误率)与两个因素有关:一个是森林中任意两棵树的相关性,相关性越大,错误率越大;另一个是森林中每棵树的分类能力,分类能力越强,整个森林的错误率越低。降低错误率,提升准确率的关键则是如何选择最优的mRF(或者是范围)。经试验表明,减小特征选择个数mRF,树的相关性和分类能力也会相应的降低;增大mRF,两者也会随之增大。
在众多分类器(如支持向量机,k近邻,神经网络等)中,随机森林被证明是最有效的一个。除了可以产生高准确度的分类结果外,其还有一系列的优点:1)随机森林可以处理高维度大体量的输入变量;2)在建造森林时,随机森林可以在内部对于一般化后的误差产生无偏估计;3)对于不平衡的分类资料集来说,随机森林可以平衡误差;4)随机森林的学习过程非常快速。
S150识别结果优化:利用DS证据理论(Dempster-Shafer evidence theory),将步骤S140中分类器输出的各时刻相同周车换道行为类别的概率进行融合,计算各周车换道行为类别的信度函数,若各周车换道行为的信度函数均相等则输出无法判断,否则选取信度函数最大的周车换道行为类别作为最终的周车换道行为类别。
对训练样本提取与步骤S130确定的优选特征的优选特征值经步骤(3)中随机森林分类器,每个时刻都将得到一个周车换道行为分类的输出,但该输出存在波动性,无法保证一个时间序列输出的一致性,这种不一致性即可能来自传感器的噪声、也可能来自特征值的波动、也可能来自随机森林分类器本身的结构。但是,对于一个持续的直行行为或者换道行为,驾驶人的意图或者行为是不会频繁波动的,会在一定时间范围内保持原有的换道行为。故本发明利用DS证据理论,根据分类器输出的每一类换道行为的概率,设计一个在对当前换道行为的最终判定方法,具体实现过程如下:
本发明将DS证据理论应用于周车行为识别的最终判定。构建DS证据理论模型,首先由周车的换道行为类别集合针对其中每一种换道行为类别的基本概率,即步骤S140得到的某一例驾驶数据每一时刻属于各驾驶行为类别的概率,构建任一同步时间滑动窗内的第t个时刻(每个时刻分别对应一个时间戳)的基本可信数mt(·),反映着对换道行为类别B的信度大小,mt(·)的计算公式如下:
式中,PRF(B|t)为步骤S140输出的同步时间滑动窗内的第t个时刻对周车换道行为类别B的识别概率。将随机森林的时序输出结果看作证据的来源,则根据Dempster组合规则,可以计算这些证据共同作用产生的新的基本概率分配函数Mt(B),反映历史t时段内识别为换道行为类别B的概率,计算公式如下:
定义接受分类器识别的周车换道行为类别B的信度函数为:
Belt(B)=Mt(B)
其中,Belt(B)表示对于分类器识别的周车换道行为类别B的信度函数,表示对判定结果为换道行为类别B的信任程度。对同步时间滑动窗内每一个时刻t的换道行为类别Lable(t)的最终判别,计算公式如下:
根据上式,在时刻t,若所有周车换道行为中最大信度值大于周车的换道行为类别集合内所有周车换道行为信度值之和的平均值(即存在信度值最大的周车换道行为),则判定分类器识别该该换道行为B为最终的周车换道行为类别并输出;若各周车换道行为的信度值均相等(即不存在信度最大的周车换道行为),则判定无法确定周车换道行为类别,输出“无法确定”。
如图5所示,其中a)为步骤S140分类器输出的结果,存在的波动较大;b)为引入DS证据理论后的识别结果,判定为某一换道行为,其在该行为结束之前的识别结果会非常一致。
作为一种不确定推理方法,DS证据理论有两个主要特点,一个是其满足比贝叶斯概率论更弱的条件,不必满足概率可加性,也不需要知道先验概率,这对周车行为识别问题非常重要,因为直行和换道的时间比例悬殊,故相应的先验概率很难知晓;另一个是DS证据理论具有直接表达“不确定”和“不知道”的能力,举例来说,对于左换道的行为识别问题,对不确定性信息的描述采用“区间估计”,而非“点估计”,显示出了很大的灵活性。
测试阶段
S160从步骤S110选取的N=1014例数据中选定除NRF个训练样本的驾驶数据构成测试样本集,根据步骤S130确定的优选特征,计算测试样本集各例数据每一时间窗内各优选特征的值,输入到训练完毕的分类器中,得到测试样本集各例数据各个时刻属于各驾驶类别的概率,利用步骤S150优化时序的识别结果,确认测试样本集中各例数据最终所属的驾驶行为类别;若最终判定的驾驶行为类别的正确率大于等于90%,则本发明结束;若最终判定的驾驶行为类别的正确率小于90%,则执行步骤S170;
S170重复步骤S140~S160,调整其中分类器设定的超参数,包括随机树个数NTr、随机抽取的练样本个数nRF和随机提取的优选特征个数mRF,直至步骤S160最终判定的驾驶行为类别的正确率大于等于90%,本方法结束。
具体应用时,在自车行驶过程中,通过自车传感器实时测量周车基本特征值,提取与本发明的步骤S12确定的优选特征对应的特征值,将该特征值输入到本发明最终确定的分类器中并经过S150识别结果优化得到周车最终的换道行为识别结果。通过本方法使得自车更好地理解周车的行为,帮助帮助缩小周车横向轨迹预测的状态空间有利于自车的轨迹规划。
本发明为更准确地识别周车驾驶员的换道行为,引入同步时间滑动窗,配以不同的统计指标,基于基础特征进行特征扩展,并根据条件交叉熵优选出前15个最有利于有效识别的特征,输入到随机森林分类器提取出候选特征所代表的换道行为类别,最后利用D-S证据理论对时间序列特征的所属类别进行优化。本发明由于采取以上技术方案,其具有以下优点:能克服状态观测受限的难点,提高行为识别的准确率;能最大程度的消除了传感器噪声和分类器不确定性,从而使得判断结果更加稳定和鲁棒。如图6,只用3个基础特征(横向位置偏差、横向速度、横向加速度)的识别率相对较低,尤其是直行行为的识别率均未超过80%,主要原因是直行行为下的瞬时观测噪声非常大,常常具有诱惑性,导致行为识别失败。相比之下,基于同步滑窗生成的含有历史轨迹信息的特征能够显著提升分类器的识别率。当然,输出更多的特征,设置更多棵树,可以获得更高的准确率,但是它们会带来过拟合的副作用,并且更多的特征输入意味着更多的计算与存储资源的需求。
以上示意性地对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性地设计出与该技术方案相似的方式及实施例,均应属于本发明的保护范围。
Claims (5)
1.一种基于驾驶意图识别的周车换道行为识别方法,其特征在于,包括以下步骤:
S110构建训练样本集:从NGSIM数据库中,提取了换道数据和直行数据共计N例数据,从该N例数据中选定NRF例数据作为训练样本构成训练样本集;每一例数据包含了时间信息、位置信息和换道行为类别;
S120特征选取:将周车与所在车道中心线的横向偏离、横向速度和横向加速度作为周车基本特征,利用历史同步时间滑动窗和统计指标对周车基本特征进行扩展得到多类扩展特征,将该多类扩展特征及3类周车基本特征作为候选特征构成周车候选特征集合该集合内含有的候选特征总类别为其中,3代表采用3类基本特征,NSTA为采用的统计指标的总个数,Lmax为同步时间滑动窗的最大长度;
S130特征优选:利用基于条件互信息的最大似然度方法,对训练样本集中每个周车的换道行为类别,通过对步骤S120确定的候选特征之间的共同信息及其关联程度进行排序,得到若干优选特征;
S140初步识别:基于随机森林方法构建一分类器,该分类器的输入为以步骤S130确定的优选特征从步骤S110选定的各训练样本中分别均提取对应的优选特征值,输出为对训练样本识别的各时刻周车换道行为类别的概率,作为初步识别结果;
S150识别结果优化:利用DS证据理论,将步骤S140中分类器输出的各时刻相同周车换道行为类别的概率进行融合,计算各周车换道行为类别的信度函数,若各周车换道行为的信度函数均相等则输出无法判断,否则选取信度函数最大的周车换道行为类别作为最终的周车换道行为类别。
2.根据权利要求1所述的周车换道行为识别方法,其特征在于,步骤S120中,所述统计指标包括平均数、标准差、变异系数、均方根、香农熵和正态熵。
3.根据权利要求1所述的周车换道行为识别方法,其特征在于,步骤S130特征优选,具体包括以下步骤:
对于候选特征集合S中的任一候选特征SK以及某一换道行为类别B, LK、LLC和RLC分别表示直行、左换道和右换道;令条件互信息CMI(SK;B)表示候选特征SK与候选特征集合中的所有其他候选特征含有的关于驾驶行为类别B的共同信息,令条件互信息CMI(SK,SL;B)表示候选特征集合中候选特征SK与候选特征SL含有的关于驾驶行为类别B的共同信息,计算公式如下:
式中:
H(SK;B)为候选特征SK关于周车换道行为B的信息熵,用于表征候选特征SK含有周车换道行为B相关信息的多少,利用信息熵可以描述一个复杂的时序特征的特性,计算公式如下:
其中,SK,k是候选特征SK的某一取值,设候选特征SK有n个所有可取值的状态SK,k,k=1,...n;p(SK,k|B)为驾驶行为类别B的候选特征SK取值SK,k的概率,即在训练样本集中SK,k出现的频率;令I(SK,k)=-log p(SK,k)为候选特征SK的取值SK,k的自信息量,表征该特征值的不确定性,I(SK,k)≥0;
MI(SK,SL)为互信息,用于量化候选特征SK和SL之间的相关性和冗余性,计算公式如下:
其中,p(SK,k,SL,l)为候选特征值SK,k,SL,l同时出现的概率;
MI(SK,SL|B)用于表征候选特征SK和SL关于驾驶行为B的共同信息,计算公式如下:
MI(SK,SL|B)=H(SK|B)+H(SK|B)-H(SK,SL|B)
4.根据权利要求3所述的周车换道行为识别方法,其特征在于,步骤S140初步识别,具体包括以下步骤:
S141构建NTr棵随机树,均为二叉树,由1个根结点和若干分支节点组成,NTr≤100;设每棵随机树的输入均相同,设定本次循环输入分类器中各随机树的训练样本数和提取的优选特征个数分别为nRF,mRF,nRF<NRF,mRF<<MRF;
S142对于每棵随机树,均随机且有放回地从训练样本集中抽取nRF个训练样本;对于每一个训练样本,利用同步时间滑动窗从训练样本的各时刻同步时间滑动窗内所含括的数据中提取mRF个优选特征的值输入每棵随机树中,每棵随机树分别输出识别的各时刻周车换道行为类别,统计后得到识别该例数据属于各换道行为类别的概率;依照上述步骤得到所抽取的nRF个训练样本属于各换道行为类别的概率;
S143不断重复步骤S141-S142,直到识别的NRF个训练样本属于各换道行为类别的概率收敛,分类器训练完毕;
S144将训练样本集输出训练完毕的分类器中,得到对训练样本识别的各时刻周车换道行为类别的概率,作为初步识别结果。
5.根据权利要求1所述的周车换道行为识别方法,其特征在于,步骤S150识别结果优化,具体包括以下步骤:
构建DS证据理论模型,针对步骤S140得到的某一例驾驶数据每一时刻属于各驾驶行为类别的概率,构建任一同步时间滑动窗内的第t个时刻的基本可信数mt(·),用于表征对换道行为类别B的信度大小,mt(·)的计算公式如下:
式中,PRF(B|t)为步骤S140输出的同步时间滑动窗内的第t个时刻对周车换道行为类别B的识别概率,LK、LLC和RLC分别表示直行、左换道和右换道;将随机森林的时序输出结果看作证据的来源,则根据Dempster组合规则,计算在步骤S140输出的各驾驶行为类别概率的共同作用下产生的基本概率分配函数Mt(B),反映历史t时段内识别为换道行为类别B的概率,计算公式如下:
定义接受分类器识别的周车换道行为类别B的信度函数为:
Belt(B)=Mt(B)
其中,Belt(B)表示对于分类器识别的周车换道行为类别B的信度函数,表示对判定结果为换道行为类别B的信任程度;
对同步时间滑动窗内每一个时刻t的换道行为类别Lable(t)进行的最终判别,计算公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911422483.3A CN111209838B (zh) | 2019-12-31 | 2019-12-31 | 一种基于驾驶意图的周车换道行为动态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911422483.3A CN111209838B (zh) | 2019-12-31 | 2019-12-31 | 一种基于驾驶意图的周车换道行为动态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111209838A true CN111209838A (zh) | 2020-05-29 |
CN111209838B CN111209838B (zh) | 2022-11-18 |
Family
ID=70786547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911422483.3A Active CN111209838B (zh) | 2019-12-31 | 2019-12-31 | 一种基于驾驶意图的周车换道行为动态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111209838B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053589A (zh) * | 2020-08-18 | 2020-12-08 | 北京航空航天大学 | 一种目标车辆换道行为自适应识别模型构建方法 |
CN112233417A (zh) * | 2020-09-17 | 2021-01-15 | 新石器慧义知行智驰(北京)科技有限公司 | 车辆轨迹预测方法、控制装置及无人车 |
CN112396120A (zh) * | 2020-11-25 | 2021-02-23 | 浙江天行健智能科技有限公司 | 一种基于svm算法的车辆换道意图识别建模方法 |
CN112560782A (zh) * | 2020-12-26 | 2021-03-26 | 浙江天行健智能科技有限公司 | 一种基于随机森林算法的车辆换道行为识别方法 |
CN113771863A (zh) * | 2021-09-30 | 2021-12-10 | 长安大学 | 一种基于实车数据驾驶员驾驶风格识别方法、介质及设备 |
CN113859257A (zh) * | 2021-11-10 | 2021-12-31 | 紫清智行科技(北京)有限公司 | 基于灰色熵权和侧向椭圆阈的周围车辆驾驶意图识别方法 |
CN114852099A (zh) * | 2021-02-03 | 2022-08-05 | 郑州宇通客车股份有限公司 | 机动车换道行为的预测方法 |
CN115731261A (zh) * | 2021-08-27 | 2023-03-03 | 河北省交通规划设计研究院有限公司 | 基于高速公路雷达数据的车辆换道行为识别方法及系统 |
CN115878998A (zh) * | 2022-12-06 | 2023-03-31 | 同济大学 | 一种车辆变道识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170028915A1 (en) * | 2015-07-27 | 2017-02-02 | Mando Corporation | Apparatus and method for recognizing lane-changing vehicle through recognition of adjacent lane |
CN107330356A (zh) * | 2017-05-15 | 2017-11-07 | 开易(北京)科技有限公司 | 一种基于学习的在线车道变线预测方法及系统 |
US20190186940A1 (en) * | 2017-12-18 | 2019-06-20 | Hyundai Motor Company | System and method for creating driving route of vehicle |
CN110070108A (zh) * | 2019-03-28 | 2019-07-30 | 南京航空航天大学 | 一种基于ds证据理论的车辆换道行为预测方法 |
CN110232300A (zh) * | 2018-03-05 | 2019-09-13 | 上海汽车集团股份有限公司 | 一种旁车道车辆换道意图识别方法及系统 |
CN110569783A (zh) * | 2019-09-05 | 2019-12-13 | 吉林大学 | 一种驾驶人换道意图识别方法及系统 |
-
2019
- 2019-12-31 CN CN201911422483.3A patent/CN111209838B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170028915A1 (en) * | 2015-07-27 | 2017-02-02 | Mando Corporation | Apparatus and method for recognizing lane-changing vehicle through recognition of adjacent lane |
CN107330356A (zh) * | 2017-05-15 | 2017-11-07 | 开易(北京)科技有限公司 | 一种基于学习的在线车道变线预测方法及系统 |
US20190186940A1 (en) * | 2017-12-18 | 2019-06-20 | Hyundai Motor Company | System and method for creating driving route of vehicle |
CN110232300A (zh) * | 2018-03-05 | 2019-09-13 | 上海汽车集团股份有限公司 | 一种旁车道车辆换道意图识别方法及系统 |
CN110070108A (zh) * | 2019-03-28 | 2019-07-30 | 南京航空航天大学 | 一种基于ds证据理论的车辆换道行为预测方法 |
CN110569783A (zh) * | 2019-09-05 | 2019-12-13 | 吉林大学 | 一种驾驶人换道意图识别方法及系统 |
Non-Patent Citations (5)
Title |
---|
ALEXANDER KOENIG等: "Exact inference and learning in hybrid Bayesian Networks for lane change intention classification", 《2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 * |
GUOFA LI等: "Estimation of driving style in naturalistic highway traffic using maneuver transition probabilities", 《TRANSPORTATION RESEARCH PART C》 * |
GUOFA LI等: "Lane change maneuver recognition via vehicle state and driver operation signals — Results from naturalistic driving data", 《2015 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 * |
彭金栓等: "基于驾驶人视觉特性的换道意图识别方法", 《武汉理工大学学报》 * |
王其东等: "识别驾驶人意图的车道偏离防避有界控制", 《中国公路学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053589A (zh) * | 2020-08-18 | 2020-12-08 | 北京航空航天大学 | 一种目标车辆换道行为自适应识别模型构建方法 |
CN112233417A (zh) * | 2020-09-17 | 2021-01-15 | 新石器慧义知行智驰(北京)科技有限公司 | 车辆轨迹预测方法、控制装置及无人车 |
CN112396120A (zh) * | 2020-11-25 | 2021-02-23 | 浙江天行健智能科技有限公司 | 一种基于svm算法的车辆换道意图识别建模方法 |
CN112560782A (zh) * | 2020-12-26 | 2021-03-26 | 浙江天行健智能科技有限公司 | 一种基于随机森林算法的车辆换道行为识别方法 |
CN114852099A (zh) * | 2021-02-03 | 2022-08-05 | 郑州宇通客车股份有限公司 | 机动车换道行为的预测方法 |
CN115731261A (zh) * | 2021-08-27 | 2023-03-03 | 河北省交通规划设计研究院有限公司 | 基于高速公路雷达数据的车辆换道行为识别方法及系统 |
CN113771863A (zh) * | 2021-09-30 | 2021-12-10 | 长安大学 | 一种基于实车数据驾驶员驾驶风格识别方法、介质及设备 |
CN113859257A (zh) * | 2021-11-10 | 2021-12-31 | 紫清智行科技(北京)有限公司 | 基于灰色熵权和侧向椭圆阈的周围车辆驾驶意图识别方法 |
CN113859257B (zh) * | 2021-11-10 | 2022-05-24 | 紫清智行科技(北京)有限公司 | 基于灰色熵权和侧向椭圆阈的周围车辆驾驶意图识别方法 |
CN115878998A (zh) * | 2022-12-06 | 2023-03-31 | 同济大学 | 一种车辆变道识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111209838B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209838B (zh) | 一种基于驾驶意图的周车换道行为动态识别方法 | |
Schlechtriemen et al. | When will it change the lane? A probabilistic regression approach for rarely occurring events | |
el abidine Kherroubi et al. | Novel decision-making strategy for connected and autonomous vehicles in highway on-ramp merging | |
US20170249844A1 (en) | Autonomous probability control | |
GB2549376A (en) | Autonomous peril control | |
Cheung et al. | Identifying driver behaviors using trajectory features for vehicle navigation | |
Lyu et al. | Using naturalistic driving data to identify driving style based on longitudinal driving operation conditions | |
Wissing et al. | Trajectory prediction for safety critical maneuvers in automated highway driving | |
Gaikwad | Vehicle Velocity Prediction Using Artificial Neural Networks and Effect of Real-World Signals on Prediction Window | |
Zhang et al. | An autonomous overtaking maneuver based on relative position information | |
CN114932918A (zh) | 一种智能网联车在各种路况下行驶的行为决策方法及系统 | |
Weng et al. | A finite-sampling, operational domain specific, and provably unbiased connected and automated vehicle safety metric | |
Yang et al. | Leveraging human driving preferences to predict vehicle speed | |
CN114475627A (zh) | 增强的车辆操作 | |
Feng et al. | A fuzzy logic-based approach for humanized driver modelling | |
Nadarajan et al. | Predicted-occupancy grids for vehicle safety applications based on autoencoders and the random forest algorithm | |
Kang et al. | A reinforcement learning based decision-making system with aggressive driving behavior consideration for autonomous vehicles | |
Rakha et al. | Agent-based game theory modeling for driverless vehicles at intersections | |
Purkrabkova et al. | Traffic accident risk classification using neural networks | |
Wyder et al. | A Bayesian filter for modeling traffic at stop intersections | |
Gillmeier et al. | Combined driver distraction and intention algorithm for maneuver prediction and collision avoidance | |
Nguyen et al. | Multisource fusion for robust road detection using online estimated reliabilities | |
Peng et al. | A Method for Vehicle Collision Risk Assessment through Inferring Driver's Braking Actions in Near-Crash Situations | |
Ramyar et al. | Fuzzy modeling of drivers' actions at intersections | |
Xing et al. | A personalized deep learning approach for trajectory prediction of connected vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |