CN114565903A - 异常数据识别方法及装置、设备、介质和产品 - Google Patents

异常数据识别方法及装置、设备、介质和产品 Download PDF

Info

Publication number
CN114565903A
CN114565903A CN202210183507.XA CN202210183507A CN114565903A CN 114565903 A CN114565903 A CN 114565903A CN 202210183507 A CN202210183507 A CN 202210183507A CN 114565903 A CN114565903 A CN 114565903A
Authority
CN
China
Prior art keywords
obstacle
motion
fitting
characteristic
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210183507.XA
Other languages
English (en)
Other versions
CN114565903B (zh
Inventor
张欣悦
迟源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Apollo Zhixing Technology Guangzhou Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Apollo Zhixing Technology Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd, Apollo Zhixing Technology Guangzhou Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202210183507.XA priority Critical patent/CN114565903B/zh
Publication of CN114565903A publication Critical patent/CN114565903A/zh
Application granted granted Critical
Publication of CN114565903B publication Critical patent/CN114565903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种异常数据识别方法及装置、设备、介质和产品,涉及人工智能领域,尤其涉及自动驾驶和智能交通技术领域。具体实现方案包括:根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数;根据感知运动特征,拟合障碍物的轨迹分布,得到与障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数;以及基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。

Description

异常数据识别方法及装置、设备、介质和产品
技术领域
本公开涉及人工智能领域,尤其涉及自动驾驶和智能交通技术领域,可应用于异常数据识别等场景。
背景技术
异常感知数据识别对保证车辆的安全行驶和智能避障具有重要意义,可以为车辆辅助驾驶的控制逻辑提供可信的决策支持。但是,在一些场景下,针对异常感知数据的识别过程存在识别效率低、识别成本消耗大、识别效果不佳的现象。
发明内容
本公开提供了一种异常数据识别方法及装置、设备、介质和产品。
根据本公开的一方面,提供了一种异常数据识别方法,包括:根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数;根据所述感知运动特征,拟合所述障碍物的轨迹分布,得到与所述障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数;以及基于所述感知运动特征和所述拟合运动特征,识别所述障碍物感知数据中的异常感知数据。
根据本公开的另一方面,提供了一种异常数据识别装置,包括:第一处理模块,用于根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数;第二处理模块,用于根据所述感知运动特征,拟合所述障碍物的轨迹分布,得到与所述障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数;以及第三处理模块,用于基于所述感知运动特征和所述拟合运动特征,识别所述障碍物感知数据中的异常感知数据。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器和与所述至少一个处理器通信连接的存储器。其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的异常数据识别方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行上述的异常数据识别方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述的异常数据识别方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开一实施例的异常数据识别方法和装置的系统架构;
图2示意性示出了根据本公开一实施例的异常数据识别方法的流程图;
图3示意性示出了根据本公开另一实施例的异常数据识别方法的流程图;
图4示意性示出了根据本公开一实施例的轨迹显示界面的示意图;
图5示意性示出了根据本公开一实施例的异常数据识别装置的框图;
图6示意性示出了根据本公开实施例的用于执行异常数据识别电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种异常数据识别方法。本方法包括:根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数,根据感知运动特征,拟合障碍物的轨迹分布,得到与障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数,以及基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。
图1示意性示出了根据本公开一实施例的异常数据识别方法和装置的系统架构。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
根据该实施例的系统架构100可以包括数据采集端101、网络102和服务器103。网络102用于在数据采集端101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。服务器103可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或分布式系统,还可以是提供云服务、云计算、网络服务、中间件服务等基础云计算服务的云服务器。
数据采集端101通过网络102与服务器103进行交互,以接收或发送数据等。数据采集端101例如用于采集基于多个采样时刻的障碍物感知数据。服务器103可以是提供各种服务的服务器,例如可以是根据由数据采集端101提供的障碍物感知数据进行异常数据识别的后台处理服务器(仅为示例)。
例如,服务器103根据由数据采集端101获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数,根据感知运动特征,拟合障碍物的轨迹分布,得到与障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数,以及基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。
需要说明的是,本公开实施例所提供的异常数据识别方法可以由服务器103执行。相应地,本公开实施例所提供的异常数据识别装置可以设置于服务器103中。本公开实施例所提供的异常数据识别方法也可以由不同于服务器103且能够与数据采集端101和/或服务器103通信的服务器或服务器集群执行。相应地,本公开实施例所提供的异常数据识别装置也可以设置于不同于服务器103且能够与数据采集端101和/或服务器103通信的服务器或服务器集群中。
应该理解,图1中的数据采集端、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的数据采集端、网络和服务器。
本公开实施例提供了一种异常数据识别方法,下面结合图1的系统架构,参考图2~图4来描述根据本公开示例性实施方式的异常数据识别方法。本公开实施例的异常数据识别方法例如可以由图1所示的服务器103来执行。
图2示意性示出了根据本公开一实施例的异常数据识别方法的流程图。
如图2所示,本公开实施例的异常数据识别方法200例如可以包括操作S210~操作S230。
在操作S210,根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数。
在操作S220,根据感知运动特征,拟合障碍物的轨迹分布,得到与障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整教。
在操作S230,基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。
下面示例说明本实施例的异常数据识别方法的各操作的示例流程。
示例性地,根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数。基于M个采样时刻的感知运动特征可以指示障碍物的感知运动轨迹,感知运动特征例如可以包括感知位置特征和感知速度特征,感知速度特征例如可以包括速度大小特征和航向角特征。
根据感知运动特征,拟合障碍物的轨迹分布,得到与障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数。基于N个采样时刻的拟合运动特征可以指示障碍物的拟合运动轨迹,拟合运动特征例如可以包括拟合位置特征和拟合速度特征,拟合速度特征例如可以包括速度大小特征和航向角特征。
在根据与障碍物关联的基于M个采样时刻的感知运动特征,确定拟合运动特征的过程中,例如可以针对M个采样时刻中任意连续的m个采样时刻,根据与障碍物关联的基于前m-1个采样时刻的感知运动特征,确定障碍物基于第m个采样时刻的拟合运动特征,以得到与障碍物关联的基于N个采样时刻的拟合运动特征,m为大于2且小于M的整数。
在确定拟合运动特征的过程中,可以根据与障碍物关联的基于每个采样时刻的感知速度特征,将变化趋势一致的感知速度特征所对应的相邻采样时刻,划分为用于确定拟合运动特征的采样时刻子集。感知速度特征的变化趋势例如可以包括大小保持不变、依次递增、依次递减等。
示例性地,可以将呈递增趋势的感知速度特征所对应的相邻采样时刻,划分为用于确定拟合运动特征的采样时刻子集。将大小保持不变的感知速度特征所对应的其他相邻采样时刻,划分为用于确定拟合运动特征的另一采样时刻子集。针对采样时刻子集内的任意连续的m个采样时刻,根据与障碍物关联的基于前m-1个采样时刻的感知运动特征,确定障碍物基于第m个采样时刻的拟合运动特征。
在确定出与障碍物关联的拟合运动特征之后,基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。可以根据基于相同采样时刻的感知运动特征和拟合运动特征之间的差异程度,识别异常感知数据。或者,根据由基于M个采样时刻的感知运动特征指示的障碍物感知运动轨迹,和由基于N个采样时刻的拟合运动特征指示的障碍物拟合运动轨迹之间的拟合程度,识别异常感知数据。
根据与障碍物关联的基于多个采样时刻的感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据,可以有效保证异常感知数据识别的合理性和准确性,有利于实现快速剔除异常感知数据,能够有效减少障碍物感知数据的数据量,能够有效保证异常识别后的障碍物感知数据的真实性和可靠性。
示例性地,可以根据基于相同采样时刻的感知运动特征和拟合运动特征之间的差异程度,基于至少一个预设差异程度区间,确定对应于每个差异程度区间内的运动特征数量。根据对应于每个差异程度区间内的运动特征数量和与每个差异程度区间关联的预设权重,计算与障碍物关联的感知误差评估值。在感知误差评估值大于预设阈值的情况下,确定对应的障碍物感知数据为异常感知数据。
再示例性地,可以根据基于相同采样时刻的感知运动特征和拟合运动特征之间的差异程度,在差异程度大于预设阈值的情况下,将对应的感知运动特征作为感知跳变特征,将感知跳变特征所对应的障碍物感知数据作为异常感知数据。
可以根据与障碍物关联的基于M个采样时刻的感知运动特征,生成障碍物感知运动轨迹。根据与障碍物关联的基于N个采样时刻的拟合运动特征,生成障碍物拟合运动轨迹。确定障碍物感知运动轨迹和障碍物拟合运动轨迹之间的拟合程度,并在拟合程度低于预设阈值的情况下,确定对应的障碍物感知数据为异常感知数据。
通过本公开实施例,根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数,根据感知运动特征,拟合障碍物的轨迹分布,得到与障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数,以及基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。
通过确定与障碍物关联的基于多个采样时刻的感知运动特征和拟合运动特征,基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。可以有效提升针对异常感知数据的识别效率,降低异常感知数据的识别成本消耗,能够有效改善异常感知数据的识别精度,有利于为驾驶辅助技术提供可信的决策支持。
图3示意性示出了根据本公开另一实施例的异常数据识别方法的流程图。
如图3所示,本公开实施例的异常数据识别方法300例如可以包括操作S210、S310和操作S230。
在操作S210,根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数。
在操作S310,针对M个采样时刻中任意连续的m个采样时刻,根据与障碍物关联的基于前m-1个采样时刻的感知运动特征,确定障碍物基于第m个采样时刻的拟合运动特征,以得到与障碍物关联的基于N个采样时刻的拟合运动特征,m为大于2且小于M的整数,N为大于1且小于M_的整数。
在操作S230,基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。
下面示例说明本实施例的异常数据识别方法的各操作的示例流程。
示例性地,针对M个采样时刻中任意连续的m个采样时刻,任意连续的m个采样时刻中可以包括第m个采样时刻、第m-1个采样时刻、......、第1个采样时刻。任意连续的m个采样时刻中的起始采样时刻(即,任意连续的m个采样时刻中的第1个采样时刻)可以根据实际需要进行任意调整,本实施例对此不进行限定。
根据与障碍物关联的基于前m-1个采样时刻的感知运动特征,确定障碍物基于第m个采样时刻的拟合运动特征,以得到与障碍物关联的基于N个采样时刻的拟合运动特征,m为大于2且小于M的整数。
感知运动特征可以包括感知位置特征和感知速度特征。根据与障碍物关联的基于前m-1个采样时刻的感知速度特征,确定障碍物基于m个采样时刻的拟合加速度特征。拟合加速度特征例如可以包括加速度大小特征和航向角特性。实际应用中,由于相邻采样时刻的时间间距很小(例如可以是1/15秒),可以将障碍物基于相邻m个采样时刻的拟合运动视为匀变速运动。
根据拟合加速度特征和与障碍物关联的基于第m-1个采样时刻的感知位置特征和感知速度特征,确定障碍物基于第m个采样时刻的拟合位置特征和拟合速度特征,以作为障碍物基于第m个采样时刻的拟合运动特征。有利于实现高效、便捷的异常感知数据识别,能够有效提升针对异常感知数据的识别效率,降低异常感知数据的识别成本消耗,有利于实现快速剔除异常感知数据。
示例性地,在m=3的情况下,针对M个采样时刻中任意连续的3个采样时刻,根据与障碍物关联的基于第1个采样时刻的感知速度特征和基于第2个采样时刻的感知速度特征,确定障碍物基于该3个采样时刻的拟合加速度特征。
根据与障碍物关联的基于该3个采样时刻的拟合加速度特征、基于第2个采样时刻的感知速度特征和基于2个采样时刻的感知位置特征,确定障碍物基于第3个采样时刻的拟合位置特征和拟合速度特征,以作为障碍物基于第3个采样时刻的拟合运动特征。
一种示例方式,在得到与障碍物关联的拟合运动特征之后,可以对基于N个采样时刻的拟合运动特征进行加扰,得到加扰后的拟合运动特征,以及基于感知运动特征和加扰后的拟合运动特征,识别异常感知数据。
拟合运动特征可以包括拟合位置特征,在对基于N个采样时刻的拟合运动特征进行加扰时,针对N个采样时刻中的任意采样时刻,可以根据与障碍物关联的基于对应采样时刻的拟合位置特征,确定针对拟合位置特征的加扰邻域,障碍物在加扰邻域内的各位置出现的概率服从正态分布。根据拟合位置特征、加扰邻域内的各位置的位置特征、障碍物在加扰邻域内的各位置出现的概率,确定加扰后的拟合位置特征,以作为加扰后的拟合运动特征。
障碍物基于相邻采样时刻的拟合运动被视为匀变速运动。然而,在障碍物的实际运动过程中,可能存在运动轨迹发生变更的情况(例如,当障碍物为车辆时,可能存在车辆转弯、临时加速、临时减速的情况),但障碍物保持原运动状态不变的概率仍然最大。可以利用加扰邻域对障碍物的拟合位置特征进行加扰,得到加扰后的拟合位置特征。
通过对确定出的拟合运动特征进行加扰,得到加扰后的拟合运动特征,根据感知运动特征和加扰后的拟合运动特征,识别障碍物感知数据中的异常感知数据,能够有效保证异常感知数据识别的准确性和合理性,能够有效提升针对异常感知数据的识别精度,有利于为车辆辅助驾驶的控制逻辑提供可信的数据支撑。
障碍物在加扰邻域内的各位置出现的概率服从正态分布,加扰邻域的中心位置为对应的拟合位置特征所指示的位置,正态分布中的方差值例如可以是1。在基于感知运动特征和加扰后的拟合运动特征,识别异常感知数据时,可以根据基于相同采样时刻的感知位置特征、加扰邻域内的各位置的位置特征(包括拟合位置特征)、障碍物在加扰邻域内的各位置出现的概率,确定与障碍物关联的感知误差评估值。
另一种示例方式,在得到与障碍物关联的拟合运动特征之后,针对多个障碍物中的目标障碍物,可以根据与多个障碍物关联的拟合运动特征,对针对目标障碍物的拟合运动特征进行修正,得到修正后的拟合运动特征,以及基于感知运动特征和修正后的拟合运动特征,识别异常感知数据。
在对与目标障碍物关联的拟合运动特征进行修正时,可以根据与多个障碍物关联的基于相同采样时刻的拟合位置特征,确定目标障碍物与其他障碍物之间的交互权重。根据确定出的交互权重,对针对目标障碍物的拟合位置特征进行修正,得到修正后的拟合位置特征,以作为修正后的拟合运动特征。
交互权重由目标障碍物与其他障碍物之间的拟合距离决定,示例性地,交互权重与对应的拟合距离呈负相关关系。在目标障碍物与其他障碍物相距越近的情况下,目标障碍物越有可能因障碍物之间的“排斥性”,主动变更运动轨迹。根据目标障碍物与其他障碍物之间的拟合距离,确定目标障碍物与其他障碍物之间的交互权重,交互权重例如可以与拟合距离呈负比例关系。
基于交互权重和预设单元修正距离,对拟合位置特征进行修正,得到修正后的拟合位置特征。修正后的拟合位置特征指示了目标障碍物向远离其他障碍物的方向进行移动,例如指示了目标障碍物与其他障碍物之间的修正后的拟合距离可以是在原拟合距离的基础上,增加了交互权重倍数的单元修正距离长度。
通过对确定出的拟合运动特征进行修正,得到修正后的拟合运动特征,根据感知运动特征和修正后的拟合运动特征,识别障碍物感知数据中的异常感知数据,能够有效保证异常感知数据识别的准确性和合理性,能够很好地适用于复杂交通场景,有利于为车辆辅助驾驶的控制逻辑提供可信的数据支撑。
另一种示例方式,可以根据获取的驾驶行为数据,确定基于M个采样时刻的驾驶行为特征。根据驾驶行为特征与感知运动特征之间的适配程度,识别障碍物感知数据中的异常感知数据。驾驶行为例如可以包括直行驾驶行为、绕行驾驶行为和停车行为。根据由驾驶行为特征指示的目标驾驶行为与障碍物的感知运动特征之间的适配程度,识别障碍物感知数据中是否存在异常感知数据。
示例性地,根据与障碍物关联的基于M个采样时刻的感知运动特征,确定车辆行进方向中存在障碍物阻碍行进,车辆可能需要绕行避让障碍物。在由驾驶行为特征指示的目标驾驶行为直行驾驶行为的情况下,直行驾驶行为与障碍物的感知运动特征之间的适配程度低于预设阈值,确定障碍物感知数据中存在障碍物误识别的实例数据。
通过确定由驾驶行为数据指示的驾驶行为特征,根据驾驶行为特征与障碍物的感知运动特征之间的适配程度,识别障碍物感知数据中的异常感知数据,可以有效改善针对异常感知数据的识别效率和识别精度,能够有效减少异常感知数据的识别成本消耗。通过对障碍物感知数据中的异常感知数据进行剔除,可以有效减少障碍物感知数据的数据量,可以有效保证基于障碍物感知数据进行的数据挖掘工作的有效性和合理性。
图4示意性示出了根据本公开一实施例的轨迹显示界面的示意图。
如图4所示,根据与障碍物关联的基于M个采样时刻的感知运动特征,生成障碍物感知运动轨迹4A。根据与障碍物关联的基于N个采样时刻的拟合运动特征,生成障碍物拟合运动轨迹4B。
根据基于相同采样时刻的感知运动特征和拟合运动特征之间的差异程度,识别异常感知数据。示例性地,可以根据基于各采样时刻的由感知运动特征指示的障碍物感知位置(例如包括4a1、4a2),与由拟合运动特征指示的障碍物拟合位置(例如包括与4a1对应的4b1、与4a2对应的4b2)之间的差异程度,在差异程度大于预设阈值的情况下,将对应的障碍物感知数据作为异常感知数据。有利于实现高效、便捷的异常感知数据识别,能够有效提升异常感知数据的识别效率,降低异常感知数据的识别成本消耗。
图5示意性示出了根据本公开一实施例的异常数据识别装置的框图。
如图5所示,本公开实施例的异常数据识别装置500例如包括第一处理模块510、第二处理模块520和第三处理模块530。
第一处理模块510,用于根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数;第二处理模块520,用于根据感知运动特征,拟合障碍物的轨迹分布,得到与障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数;以及第三处理模块530,用于基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。
通过本公开实施例,根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数,根据感知运动特征,拟合障碍物的轨迹分布,得到与障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数,以及基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。
通过确定与障碍物关联的基于多个采样时刻的感知运动特征和拟合运动特征,基于感知运动特征和拟合运动特征,识别障碍物感知数据中的异常感知数据。可以有效提升针对异常感知数据的识别效率,降低异常感知数据的识别成本消耗,能够有效改善异常感知数据的识别精度,有利于为驾驶辅助技术提供可信的决策支持。
根据本公开的实施例,第二处理模块包括:第一处理子模块,用于针对M个采样时刻中任意连续的m个采样时刻,根据与障碍物关联的基于前m-1个采样时刻的感知运动特征,确定障碍物基于第m个采样时刻的拟合运动特征,以得到与障碍物关联的基于N个采样时刻的拟合运动特征,m为大于2且小于M的整数。
根据本公开的实施例,感知运动特征包括感知位置特征和感知速度特征;第一处理子模块包括:第一处理单元,用于根据与障碍物关联的基于前m-1个采样时刻的感知速度特征,确定障碍物基于m个采样时刻的拟合加速度特征;以及第二处理单元,用于根据拟合加速度特征和与障碍物关联的基于第m-1个采样时刻的感知位置特征和感知速度特征,确定障碍物基于第m个采样时刻的拟合位置特征和拟合速度特征,以作为障碍物基于第m个采样时刻的拟合运动特征。
根据本公开的实施例,第三处理模块包括:第二处理子模块,用于根据基于相同采样时刻的感知运动特征和拟合运动特征之间的差异程度,识别异常感知数据;和/或第三处理子模块,用于根据由基于M个采样时刻的感知运动特征指示的障碍物感知运动轨迹,和由基于N个采样时刻的拟合运动特征指示的障碍物拟合运动轨迹之间的拟合程度,识别异常感知数据。
根据本公开的实施例,该装置还包括:第四处理模块,用于对基于N个采样时刻的拟合运动特征进行加扰,得到加扰后的拟合运动特征;以及第三处理模块包括:第四处理子模块,用于基于感知运动特征和加扰后的拟合运动特征,识别异常感知数据。
根据本公开的实施例,拟合运动特征包括拟合位置特征;第四处理模块包括:第五处理子模块,用于针对N个采样时刻中的任意采样时刻,根据与障碍物关联的基于采样时刻的拟合位置特征,确定针对拟合位置特征的加扰邻域,障碍物在加扰邻域内的各位置出现的概率服从正态分布;以及第六处理子模块,用于根据拟合位置特征、加扰邻域内的各位置的位置特征、障碍物在加扰邻域内的各位置出现的概率,确定加扰后的拟合位置特征,以作为加扰后的拟合运动特征。
根据本公开的实施例,该装置还包括:第五处理模块,用于针对多个障碍物中的目标障碍物,根据与多个障碍物关联的拟合运动特征,对针对目标障碍物的拟合运动特征进行修正,得到修正后的拟合运动特征;以及第三处理模块包括:第七处理子模块,用于基于感知运动特征和修正后的拟合运动特征,识别异常感知数据。
根据本公开的实施例,拟合运动特征包括拟合位置特征,第五处理模块包括:第八处理子模块,用于根据与多个障碍物关联的基于相同采样时刻的拟合位置特征,确定目标障碍物与其他障碍物之间的交互权重,交互权重由目标障碍物与其他障碍物之间的拟合距离决定;以及第九处理子模块,用于根据交互权重,对针对目标障碍物的拟合位置特征进行修正,得到修正后的拟合位置特征,以作为修正后的拟合运动特征。
根据本公开的实施例,该装置还包括:第六处理模块,用于根据获取的驾驶行为数据,确定基于M个采样时刻的驾驶行为特征;以及根据驾驶行为特征与感知运动特征之间的适配程度,识别障碍物感知数据中的异常感知数据。
应该注意的是,本公开的技术方案中,所涉及的信息收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示意性示出了根据本公开实施例的用于执行异常数据识别方法的电子设备的框图。
图6示出了可以用来实施本公开实施例的示例电子设备600的示意性框图。电子设备600旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如异常数据识别方法。例如,在一些实施例中,异常数据识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的异常数据识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行异常数据识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程异常数据识别装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与对象的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向对象显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),对象可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与对象的交互;例如,提供给对象的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自对象的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形对象界面或者网络浏览器的对象计算机,对象可以通过该图形对象界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (21)

1.一种异常数据识别方法,包括:
根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数;
根据所述感知运动特征,拟合所述障碍物的轨迹分布,得到与所述障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数;以及
基于所述感知运动特征和所述拟合运动特征,识别所述障碍物感知数据中的异常感知数据。
2.根据权利要求1所述的方法,其中,所述根据所述感知运动特征,拟合所述障碍物的轨迹分布,得到与所述障碍物关联的基于所述N个采样时刻的拟合运动特征,包括:
针对所述M个采样时刻中任意连续的m个采样时刻,根据与所述障碍物关联的基于前m-1个采样时刻的感知运动特征,确定所述障碍物基于第m个采样时刻的拟合运动特征,以得到与所述障碍物关联的基于N个采样时刻的拟合运动特征,m为大于2且小于M的整数。
3.根据权利要求2所述的方法,其中,所述感知运动特征包括感知位置特征和感知速度特征;所述根据与所述障碍物关联的基于前m-1个采样时刻的感知运动特征,确定所述障碍物基于第m个采样时刻的拟合运动特征,包括:
根据与所述障碍物关联的基于所述前m-1个采样时刻的感知速度特征,确定所述障碍物基于所述m个采样时刻的拟合加速度特征;以及
根据所述拟合加速度特征和与所述障碍物关联的基于第m-1个采样时刻的感知位置特征和感知速度特征,确定所述障碍物基于第m个采样时刻的拟合位置特征和拟合速度特征,以作为所述障碍物基于所述第m个采样时刻的拟合运动特征。
4.根据权利要求1所述的方法,其中,所述基于所述感知运动特征和所述拟合运动特征,识别所述障碍物感知数据中的异常感知数据,包括:
根据基于相同采样时刻的所述感知运动特征和所述拟合运动特征之间的差异程度,识别所述异常感知数据;和/或
根据由所述基于M个采样时刻的感知运动特征指示的障碍物感知运动轨迹,和由所述基于N个采样时刻的拟合运动特征指示的障碍物拟合运动轨迹之间的拟合程度,识别所述异常感知数据。
5.根据权利要求1所述的方法,还包括:
对所述基于N个采样时刻的拟合运动特征进行加扰,得到加扰后的拟合运动特征;以及
所述基于所述感知运动特征和所述拟合运动特征,识别所述障碍物感知数据中的异常感知数据,包括:
基于所述感知运动特征和所述加扰后的拟合运动特征,识别所述异常感知数据。
6.根据权利要求5所述的方法,其中,所述拟合运动特征包括拟合位置特征;所述对所述基于N个采样时刻的拟合运动特征进行加扰,得到加扰后的拟合运动特征,包括:
针对所述N个采样时刻中的任意采样时刻,根据与所述障碍物关联的基于所述采样时刻的拟合位置特征,确定针对所述拟合位置特征的加扰邻域,其中,所述障碍物在所述加扰邻域内的各位置出现的概率服从正态分布;以及
根据所述拟合位置特征、所述加扰邻域内的各位置的位置特征、所述障碍物在所述加扰邻域内的各位置出现的概率,确定所述加扰后的拟合位置特征,以作为所述加扰后的拟合运动特征。
7.根据权利要求1所述的方法,还包括:
针对多个障碍物中的目标障碍物,根据与所述多个障碍物关联的拟合运动特征,对针对所述目标障碍物的拟合运动特征进行修正,得到修正后的拟合运动特征;以及
所述基于所述感知运动特征和所述拟合运动特征,识别所述障碍物感知数据中的异常感知数据,包括:
基于所述感知运动特征和所述修正后的拟合运动特征,识别所述异常感知数据。
8.根据权利要求7所述的方法,其中,所述拟合运动特征包括拟合位置特征,所述根据与所述多个障碍物关联的拟合运动特征,对针对所述目标障碍物的拟合运动特征进行修正,得到修正后的拟合运动特征,包括:
根据与所述多个障碍物关联的基于相同采样时刻的拟合位置特征,确定所述目标障碍物与其他障碍物之间的交互权重,其中,所述交互权重由所述目标障碍物与所述其他障碍物之间的拟合距离决定;以及
根据所述交互权重,对针对所述目标障碍物的拟合位置特征进行修正,得到修正后的拟合位置特征,以作为所述修正后的拟合运动特征。
9.根据权利要求1所述的方法,还包括:
根据获取的驾驶行为数据,确定基于所述M个采样时刻的驾驶行为特征;以及
根据所述驾驶行为特征与所述感知运动特征之间的适配程度,识别所述障碍物感知数据中的异常感知数据。
10.一种异常数据识别装置,包括:
第一处理模块,用于根据获取的障碍物感知数据,确定与障碍物关联的基于M个采样时刻的感知运动特征,M为大于1的整数;
第二处理模块,用于根据所述感知运动特征,拟合所述障碍物的轨迹分布,得到与所述障碍物关联的基于N个采样时刻的拟合运动特征,N为大于1且小于M的整数;以及
第三处理模块,用于基于所述感知运动特征和所述拟合运动特征,识别所述障碍物感知数据中的异常感知数据。
11.根据权利要求10所述的装置,其中,所述第二处理模块包括:
第一处理子模块,用于针对所述M个采样时刻中任意连续的m个采样时刻,根据与所述障碍物关联的基于前m-1个采样时刻的感知运动特征,确定所述障碍物基于第m个采样时刻的拟合运动特征,以得到与所述障碍物关联的基于N个采样时刻的拟合运动特征,m为大于2且小于M的整数。
12.根据权利要求11所述的装置,其中,所述感知运动特征包括感知位置特征和感知速度特征;所述第一处理子模块包括:
第一处理单元,用于根据与所述障碍物关联的基于所述前m-1个采样时刻的感知速度特征,确定所述障碍物基于所述m个采样时刻的拟合加速度特征;以及
第二处理单元,用于根据所述拟合加速度特征和与所述障碍物关联的基于第m-1个采样时刻的感知位置特征和感知速度特征,确定所述障碍物基于第m个采样时刻的拟合位置特征和拟合速度特征,以作为所述障碍物基于所述第m个采样时刻的拟合运动特征。
13.根据权利要求10所述的装置,其中,所述第三处理模块包括:
第二处理子模块,用于根据基于相同采样时刻的所述感知运动特征和所述拟合运动特征之间的差异程度,识别所述异常感知数据;和/或
第三处理子模块,用于根据由所述基于M个采样时刻的感知运动特征指示的障碍物感知运动轨迹,和由所述基于N个采样时刻的拟合运动特征指示的障碍物拟合运动轨迹之间的拟合程度,识别所述异常感知数据。
14.根据权利要求10所述的装置,还包括:
第四处理模块,用于对所述基于N个采样时刻的拟合运动特征进行加扰,得到加扰后的拟合运动特征;以及
所述第三处理模块包括:第四处理子模块,用于基于所述感知运动特征和所述加扰后的拟合运动特征,识别所述异常感知数据。
15.根据权利要求14所述的装置,其中,所述拟合运动特征包括拟合位置特征;所述第四处理模块包括:
第五处理子模块,用于针对所述N个采样时刻中的任意采样时刻,根据与所述障碍物关联的基于所述采样时刻的拟合位置特征,确定针对所述拟合位置特征的加扰邻域,其中,所述障碍物在所述加扰邻域内的各位置出现的概率服从正态分布;以及
第六处理子模块,用于根据所述拟合位置特征、所述加扰邻域内的各位置的位置特征、所述障碍物在所述加扰邻域内的各位置出现的概率,确定所述加扰后的拟合位置特征,以作为所述加扰后的拟合运动特征。
16.根据权利要求10所述的装置,还包括:
第五处理模块,用于针对多个障碍物中的目标障碍物,根据与所述多个障碍物关联的拟合运动特征,对针对所述目标障碍物的拟合运动特征进行修正,得到修正后的拟合运动特征;以及
所述第三处理模块包括:第七处理子模块,用于基于所述感知运动特征和所述修正后的拟合运动特征,识别所述异常感知数据。
17.根据权利要求16所述的装置,其中,所述拟合运动特征包括拟合位置特征,所述第五处理模块包括:
第八处理子模块,用于根据与所述多个障碍物关联的基于相同采样时刻的拟合位置特征,确定所述目标障碍物与其他障碍物之间的交互权重,其中,所述交互权重由所述目标障碍物与所述其他障碍物之间的拟合距离决定;以及
第九处理子模块,用于根据所述交互权重,对针对所述目标障碍物的拟合位置特征进行修正,得到修正后的拟合位置特征,以作为所述修正后的拟合运动特征。
18.根据权利要求10所述的装置,还包括:第六处理模块,用于:
根据获取的驾驶行为数据,确定基于所述M个采样时刻的驾驶行为特征;以及
根据所述驾驶行为特征与所述感知运动特征之间的适配程度,识别所述障碍物感知数据中的异常感知数据。
19.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1~9中任一项所述的方法。
21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1~9中任一项所述的方法。
CN202210183507.XA 2022-02-25 2022-02-25 异常数据识别方法及装置、设备、介质和产品 Active CN114565903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210183507.XA CN114565903B (zh) 2022-02-25 2022-02-25 异常数据识别方法及装置、设备、介质和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210183507.XA CN114565903B (zh) 2022-02-25 2022-02-25 异常数据识别方法及装置、设备、介质和产品

Publications (2)

Publication Number Publication Date
CN114565903A true CN114565903A (zh) 2022-05-31
CN114565903B CN114565903B (zh) 2023-08-18

Family

ID=81714994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210183507.XA Active CN114565903B (zh) 2022-02-25 2022-02-25 异常数据识别方法及装置、设备、介质和产品

Country Status (1)

Country Link
CN (1) CN114565903B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046958A1 (en) * 2014-06-06 2017-02-16 Hitachi Automotive Systems, Ltd. Obstacle-Information-Managing Device
JP2020154369A (ja) * 2019-03-18 2020-09-24 株式会社Jvcケンウッド 障害物情報管理装置、障害物情報管理方法、及び障害物情報管理プログラム
CN112887172A (zh) * 2021-02-19 2021-06-01 北京百度网讯科技有限公司 车辆感知系统测试方法、装置、设备及存储介质
CN113156927A (zh) * 2020-01-22 2021-07-23 华为技术有限公司 自动驾驶车辆的安全控制方法及安全控制装置
CN113844465A (zh) * 2021-12-02 2021-12-28 上海车右智能科技有限公司 一种自动驾驶方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046958A1 (en) * 2014-06-06 2017-02-16 Hitachi Automotive Systems, Ltd. Obstacle-Information-Managing Device
JP2020154369A (ja) * 2019-03-18 2020-09-24 株式会社Jvcケンウッド 障害物情報管理装置、障害物情報管理方法、及び障害物情報管理プログラム
CN113156927A (zh) * 2020-01-22 2021-07-23 华为技术有限公司 自动驾驶车辆的安全控制方法及安全控制装置
CN112887172A (zh) * 2021-02-19 2021-06-01 北京百度网讯科技有限公司 车辆感知系统测试方法、装置、设备及存储介质
CN113844465A (zh) * 2021-12-02 2021-12-28 上海车右智能科技有限公司 一种自动驾驶方法及系统

Also Published As

Publication number Publication date
CN114565903B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN113715814B (zh) 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆
CN112526999B (zh) 速度规划方法、装置、电子设备和存储介质
CN112560684B (zh) 车道线检测方法、装置、电子设备、存储介质以及车辆
WO2023273344A1 (zh) 车辆跨线识别方法、装置、电子设备和存储介质
EP4145408A1 (en) Obstacle detection method and apparatus, autonomous vehicle, device and storage medium
CN114506343A (zh) 轨迹规划方法、装置、设备、存储介质及自动驾驶车辆
CN113050621A (zh) 轨迹规划方法、装置、电子设备和存储介质
CN115675534A (zh) 车辆轨迹预测方法、装置、电子设备及存储介质
CN114701501A (zh) 一种车道间隙的选取方法、装置、电子设备及存储介质
CN113978465A (zh) 一种变道轨迹规划方法、装置、设备以及存储介质
CN113052047A (zh) 交通事件的检测方法、路侧设备、云控平台及系统
CN114987515A (zh) 驾驶策略的确定方法、装置及自动驾驶车辆
CN113715821B (zh) 控制车辆的方法、装置、电子设备和介质
CN114565903B (zh) 异常数据识别方法及装置、设备、介质和产品
CN115771526A (zh) 自动驾驶中控制车辆左转的方法、装置与自动驾驶车辆
CN115140101A (zh) 车辆控制方法、装置、电子设备及车辆
CN114064745A (zh) 一种确定交通提示距离的方法、装置及电子设备
CN114333416A (zh) 基于神经网络的车辆风险预警方法、设备及自动驾驶车辆
CN114620039A (zh) 轨迹修正方法、设备、云控平台和自动驾驶车辆
CN113450569A (zh) 确定路口状态的方法、装置、电子设备和存储介质
CN113791564B (zh) 远程控制的方法、装置、设备、云端服务器及控制系统
CN114590248B (zh) 行驶策略的确定方法、装置、电子设备和自动驾驶车辆
CN114379587B (zh) 自动驾驶中避让行人的方法与装置
CN113487864A (zh) 确定路口状态的方法、装置、电子设备和存储介质
CN114359513A (zh) 障碍物位置的确定方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant