CN111796286A - 一种制动等级的评估方法、装置、车辆和存储介质 - Google Patents

一种制动等级的评估方法、装置、车辆和存储介质 Download PDF

Info

Publication number
CN111796286A
CN111796286A CN202010591890.3A CN202010591890A CN111796286A CN 111796286 A CN111796286 A CN 111796286A CN 202010591890 A CN202010591890 A CN 202010591890A CN 111796286 A CN111796286 A CN 111796286A
Authority
CN
China
Prior art keywords
target
vehicle
obstacle
braking
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010591890.3A
Other languages
English (en)
Other versions
CN111796286B (zh
Inventor
彭晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202010591890.3A priority Critical patent/CN111796286B/zh
Publication of CN111796286A publication Critical patent/CN111796286A/zh
Priority to PCT/CN2021/101539 priority patent/WO2021259260A1/zh
Application granted granted Critical
Publication of CN111796286B publication Critical patent/CN111796286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185Controlling the brakes

Abstract

本发明实施例公开了一种制动等级的评估方法、装置、车辆和存储介质。其中,该方法包括:通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标;基于所述车辆当前的行驶场景特征,从所述障碍物目标中筛选对应的参考目标;根据所述参考目标的目标属性和识别类型,评估所述车辆当前的制动等级。本发明实施例提供的技术方案,实现车辆制动等级的准确评估,避免仅在不同的安全行驶距离下设定不同的制动等级时存在的制动片面性,后续可以在车辆当前的制动等级下执行准确的制动操作,提高车辆在行驶过程中的制动准确性,避免车辆在行驶过程中发生碰撞,从而确保车辆在行驶过程中的安全性。

Description

一种制动等级的评估方法、装置、车辆和存储介质
技术领域
本发明实施例涉及车辆制动控制技术领域,尤其涉及一种制动等级的评估方法、装置、车辆和存储介质。
背景技术
为了保证车辆在行驶过程中的安全性,通常需要实时检测车辆行驶前方存在的其他车辆或障碍物进行避让,同时在车辆无法成功避让时,及时控制车辆进行制动,以避免车辆与其他车辆或障碍物发生碰撞;因此,对于车辆行驶的制动控制技术的推广已经变得尤为重要。
目前,通常会采用车辆上配置的毫米波雷达或者摄像头来检测车辆行驶前方的其他车辆或者障碍物的速度和距离等信息,此时当探测距离小于某个安全行驶距离时,控制车辆执行该安全行驶距离对应的制动等级下的制动以避免碰撞事故的发生。
但是,仅仅在不同的安全行驶距离下设定不同的制动等级,没有考虑到采用单一的毫米波雷达或者摄像头检测前方车辆或障碍物时存在的误检测或漏检测的情况,从而对于车辆在行驶过程中的制动准确性和安全性造成一定的影响。
发明内容
本发明实施例提供了一种制动等级的评估方法、装置、车辆和存储介质,在保证车辆行驶过程中准确识别障碍物目标的基础上,实现车辆制动等级的准确评估,提高车辆在行驶过程中的制动准确性和安全性。
第一方面,本发明实施例提供了一种制动等级的评估方法,该方法包括:
通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标;
基于所述车辆当前的行驶场景特征,从所述障碍物目标中筛选对应的参考目标;
根据所述参考目标的目标属性和识别类型,评估所述车辆当前的制动等级。
第二方面,本发明实施例提供了一种制动等级的评估装置,该装置包括:
障碍物识别模块,用于通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标;
参考目标筛选模块,用于基于所述车辆当前的行驶场景特征,从所述障碍物目标中筛选对应的参考目标;
制动等级评估模块,用于根据所述参考目标的目标属性和识别类型,评估所述车辆当前的制动等级。
第三方面,本发明实施例提供了一种车辆,该车辆包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
前视摄像头和毫米波雷达,用于共同识别处于车辆行驶前方的障碍物目标;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的制动等级的评估方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的制动等级的评估方法。
本发明实施例提供了一种制动等级的评估方法、装置、车辆和存储介质,通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标,保证车辆行驶过程中前方存在的障碍物目标的准确识别,并基于车辆当前的行驶场景特征,从障碍物目标中筛选对应的参考目标,进而根据参考目标的目标属性和识别类型,评估车辆当前的制动等级,从而实现车辆制动等级的准确评估,避免仅在不同的安全行驶距离下设定不同的制动等级时存在的制动片面性,后续可以在车辆当前的制动等级下执行准确的制动操作,提高车辆在行驶过程中的制动准确性,避免车辆在行驶过程中发生碰撞,从而确保车辆在行驶过程中的安全性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1A为本发明实施例一提供的一种制动等级的评估方法的流程图;
图1B为本发明实施例一提供的方法中车辆当前所处的行驶场景的场景示意图;
图2为本发明实施例二提供的一种制动等级的评估方法的流程图;
图3为本发明实施例三提供的一种制动等级的评估装置的结构示意图;
图4为本发明实施例四提供的一种车辆的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种制动等级的评估方法的流程图。本实施例可适用于任一种存在制动需求的车辆中。本实施例提供的一种制动等级的评估方法可以由本发明实施例提供的制动等级的评估装置来执行,该装置可以通过软件和/或硬件的方式实现,并集成在执行本方法的车辆中。
具体的,参考图1A,该方法具体包括如下步骤:
S110,通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标。
具体的,为了保证车辆在行驶过程中的安全性,需要实时识别行驶过程中存在的各个障碍物目标,然而目前通常采用单一的毫米波雷达或者摄像头来检测障碍物目标时,仅仅在不同的安全行驶距离下设定不同的制动等级,此时制动等级的设定没有考虑到障碍物目标存在误检测或漏检测的问题,进而会存在安全行驶下的误制动或者在实际障碍物前的漏制动的情况,对于车辆在行驶过程中的制动准确性和安全性造成一定的影响。
因此,为了保证车辆行驶过程中障碍物目标的识别准确性,本实施例会预先在车辆上同时配置前视摄像头和毫米波雷达,由该前视摄像头在车辆行驶过程中实时拍摄车辆行驶前方的行驶画面,进而采用图像识别技术对该行驶画面中存在的各个障碍物目标进行识别,同时由车辆上配置的毫米波雷达在车辆行驶过程中实时发射一定的探测毫米波,通过分析该探测毫米波发射后重新接收的波能量与发射时的波能量之间的区别,来探测车辆行驶前方存在的各个障碍物目标;此时,由于前视摄像头和毫米波雷达各自存在相应的检测优缺点,而存在障碍物目标误检测或者漏检测的问题,因此通过对由单一的前视摄像头所识别的各个障碍物目标与由单一的毫米波雷达所识别的各个障碍物目标之间目标特性相似度进行分析,来判断两者是否为同一个障碍物目标,可以全面得到处于车辆行驶前方全部的障碍物目标,从而保证车辆行驶过程中障碍物目标的准确识别,避免出现障碍物目标误检测或者漏检测的问题。
需要说明的是,通过前视摄像头和毫米波雷达共同识别的每一障碍物目标,通过分析该障碍物目标在前视摄像头和毫米波雷达中被识别出来的具体来源,可以确定各个障碍物目标的识别类型;例如,如果某一障碍物目标不仅被前视摄像头识别出来,也被毫米波雷达识别出来,则该障碍物目标的识别类型为融合识别,而如果某一障碍物目标仅被前视摄像头识别出来,未被毫米波雷达识别出来,则该障碍物目标的识别类型为前视摄像头识别。同时,由于通过单一的前视摄像头或毫米波雷达分别识别处于车辆行驶前方的各个障碍物目标时,能够确定该障碍物目标是否运动和是否为本车行驶前方的其他车辆等目标属性,因此根在确定各个障碍物目标的识别类型后,通过分析该识别类型下单一识别时目标属性的可信性,确定该障碍物目标最终的目标属性;例如,如果某一障碍物目标的识别类型为融合识别,则将该障碍物目标被前视摄像头识别出来的该障碍物目标是否为本车行驶前方的其他车辆的目标属性以及被毫米波雷达识别出来的该障碍物目标是否运动的目标属性统一作为最终的目标属性,而如果某一障碍物目标的识别类型为前视摄像头识别,则将该障碍物目标被前视摄像头识别出来的该障碍物目标是否运动和是否为本车行驶前方的其他车辆的目标属性统一作为最终的目标属性;也就是,融合识别下各个障碍物目标的目标属性由前视摄像头和毫米波雷达中识别的更为准确的目标属性来确定,而单一的前视摄像头识别或者毫米波雷达识别下各个障碍物目标的目标属性与所属的单一识别类型下该障碍物目标原有的目标属性相同。
此外,由于毫米波雷达容易误报横穿马路的行人和对向行驶车道上的障碍物目标,而且前向辅助驾驶功能使用场景下该类目标非常少,所以本实施实例中针对雷达报出的如上目标不予置信。
S120,基于车辆当前的行驶场景特征,从障碍物目标中筛选对应的参考目标。
具体的,由于车辆在不同的行驶场景下确保安全行驶时,各个障碍物目标对于造成本车行驶事故的影响程度不同,对于存在较大可能性会造成本车行驶事故的障碍物目标,需要对其行驶状态进行优先分析,以确保在存在碰撞可能时能够及时控制车辆进行制动;例如,如果车辆行驶在巡航跟车场景下,此时车辆仅在当前车道行驶,其他车道上行驶的其他车辆几乎不会造成本车的行驶事故,因此仅需要考虑在当前车道行驶的处于本次行驶前方的其他车辆的行驶状态。据此,本实施例中的参考目标可以为在车辆当前所处的行驶场景下,会对车辆正常行驶下造成一定行驶事故影响的障碍物目标。
可选的,在车辆的行驶过程中,通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标之后,同时通过实时检测该车辆和周围车辆的行驶状态,来获取车辆当前的行驶场景特征,进而通过对车辆当前的行驶场景特征进行场景分析,确定车辆当前所处的行驶场景,并在所识别出的全部障碍物目标中筛选出可能会在车辆当前所处的行驶场景下对该车辆造成一定行驶事故影响的参考目标,后续通过分析各个参考目标的目标属性和识别类型,来评估车辆当前的制动等级。
示例性的,为了保证参考目标的筛选准确性,本实施例中基于车辆当前的行驶场景特征,从障碍物目标中筛选对应的参考目标,可以具体包括:确定面向车辆当前的行驶场景特征预先设定的目标筛选规则;采用目标筛选规则从障碍物目标中筛选对应的参考目标。
具体的,为了准确筛选不同行驶场景下可能会造成车辆行驶事故的参考目标,本实施例会预先在每一行驶场景下分别设定一个对应的目标筛选规则,该目标筛选规则中记录了该行驶场景下可能会造成车辆行驶事故的障碍物目标所处的范围,因此在从障碍物目标中筛选参考目标时,首先会通过分析车辆当前的行驶场景特征,确定车辆当前所处的行驶场景,进而确定在该行驶场景下设定的目标筛选规则,并按照该目标筛选规则中记录的在该行驶场景下可能会造成车辆行驶事故的目标所处范围,从所识别的全部障碍物目标中筛选出位于该目标筛选规则中的目标所处范围内的障碍物目标,作为本实施例中的参考目标。
示例性的,如图1B所示,通过对各个行驶场景下可能会对该车辆造成一定行驶事故影响的参考目标进行分析,可以获知车辆的行驶场景可以包括巡航跟车场景、左右车道下的前车切入场景、前车切出场景、本车正常向左右车道的换道场景以及本车换道后回退场景,针对以上各个行驶场景会大致存在可能造成车辆行驶事故影响的八种障碍物目标:本车道纵向距离最近的障碍物目标A、左侧车道纵向距离最近的障碍物目标B、右侧车道纵向距离最近的障碍物目标C、本车道次纵向距离近的障碍物目标D、左侧车道纵向距离次近的障碍物目标E、右侧车道纵向距离次近的障碍物目标F、左左车道纵向距离最近的障碍物目标G和右右车道最近纵向距离的障碍物目标H;此时,不同行驶场景下设定的目标筛选规则可以如下所示:
1)在车辆巡航跟车场景下,只有本车道上的A会对本车行驶造成事故影响,因此参考目标为障碍物目标A;
2)在左侧车道的前车切入场景下,例如左侧车道的B需要切入到本车和A之间行驶时,本车道上的A和左侧车道上的B均会对本车行驶造成事故影响,因此参考目标为障碍物目标A和B;
同理,在右侧车道的前车切入场景下,参考目标为障碍物目标A和C;
3)在前车切出场景下,例如本车道上的A从本车道切出换道时,本车需要避让A的切出并考虑本车道上D的行驶,因此参考目标为障碍物目标A和D;
4)在本车正常向左侧车道的换道场景下,本次需要避让本车道上的A和左侧车道上的B,换道至左侧车道上的B和E之间行驶,因此参考目标为障碍物目标A、B和E;
同理,在本车正常向右侧车道的换道场景下,参考目标为障碍物目标A、C和F;
5)在本车换道后回退场景下,参考目标为障碍物目标G和H。
S130,根据参考目标的目标属性和识别类型,评估车辆当前的制动等级。
可选的,在从障碍物目标中筛选出对应的参考目标之后,每一参考目标在通过前视摄像头和毫米波雷达共同识别时,均会携带该参考目标的目标属性和识别类型等信息,其中目标属性可以表示障碍物目标是否为车辆行驶过程中遇到的其他车辆和该障碍物目标是否运动,识别类型可以表示障碍物目标是被视觉摄像头和毫米波雷达中的某一个识别出来,还是被视觉摄像头和毫米波雷达均识别出来的;此时根据各个障碍物目标的目标属性和识别类型,可以将所识别出的障碍物目标区分为不同的类别:1)单雷达检测到的静止非车辆目标、2)单摄像头检测到的静止非车辆目标、3)融合检测到的静止非车辆目标、4)单雷达检测到的静止车辆目标、5)单摄像头检测到的静止车辆目标、6)融合检测到的静止车辆目标、7)单雷达检测到的运动非车辆目标、8)单摄像头检测到的运动非车辆目标、9)融合检测到的运动非车辆目标、10)单雷达检测到的运动车辆目标、11)单摄像头检测到的运动车辆目标和12)融合检测到的运动车辆目标。
然后,根据各个障碍物目标的目标属性和识别类型,以及视觉摄像头和毫米波雷达检测障碍物目标时存在的检测优缺点,可以分析出各个障碍物目标所属的不同目标类别下的识别置信度,而如果识别置信度较高,则说明该障碍物目标准确存在,需要在存在制动需求时进行制动,以避免发生碰撞,如果识别置信度较低,则说明该障碍物目标极有可能是误识别,那么可以设置较低的制动等级,防止误识别时还进行紧急制动;因此,本实施例会按照障碍物目标的识别置信度高低,在每一目标类别下预先设定对应的制动等级,例如1)在单雷达检测到的静止非车辆目标下,制动等级为仅支持碰撞预警功能,2)在单摄像头检测到的静止非车辆目标下,制动等级为支持舒适性制动1级(如0.2g),3)在融合检测到的静止非车辆目标下,制动等级为支持紧急制动1级(如0.6g),4)在单雷达检测到的静止车辆目标下,制动等级为支持舒适性制动1级(如0.2g),5)在单摄像头检测到的静止车辆目标下,制动等级为支持舒适性制动2级(如0.4g),6)在融合检测到的静止车辆目标下,制动等级为支持紧急制动2级(如0.8g),7)在单雷达检测到的运动非车辆目标下,制动等级为支持舒适性制动1级(如0.2g),8)在单摄像头检测到的运动非车辆目标下,制动等级为支持紧急制动1级(如0.6g),9)在融合检测到的运动非车辆目标下,制动等级为支持紧急制动2级(如0.8g),10)在单雷达检测到的运动车辆目标下,制动等级为支持舒适性制动2级(如0.4g),11)在单摄像头检测到的运动车辆目标下,制动等级为支持紧急制动1级(如0.6g),以及12)在融合检测到的运动车辆目标下,制动等级为支持紧急制动2级(如0.8g)。
此时,根据所筛选出的各个参考目标的目标属性和识别类型,可以依据预先在各个目标类别下分别设定的制动等级确定出每一参考目标对应的制动等级,进而将车辆当前的各个参考目标的制动等级中最优制动下的制动等级作为车辆当前的制动等级,例如如果当前筛选出2个参考目标,其中一个参考目标的制动等级为支持紧急制动1级,另一个参考目标的制动等级为支持紧急制动2级,则将支持紧急制动2级作为车辆当前的制动等级,避免所采用的制动等级较低而发生碰撞的问题,从而实现车辆制动等级的准确评估,避免仅在不同的安全行驶距离下设定不同的制动等级时存在的制动片面性。
此外,本实施例中在根据参考目标的目标属性和识别类型,评估车辆当前的制动等级之后,还可以包括:如果车辆当前存在制动需求,则控制车辆执行在车辆当前的制动等级下的制动操作。
具体的,本实施例在实时评估车辆当前的制动等级时,还会通过判断车辆当前行驶下与参考目标可能发生碰撞的距离和碰撞时间,来实时检测车辆当前是否存在制动需求,在检测到车辆当前存在制动需求时,则首先获取车辆当前的制动等级,并控制车辆在车辆当前的制动等级下执行准确的制动操作,从而提高车辆在行驶过程中的制动准确性,避免车辆在行驶过程中发生碰撞,确保车辆在行驶过程中的安全性。
本实施例提供的技术方案,通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标,保证车辆行驶过程中前方存在的障碍物目标的准确识别,并基于车辆当前的行驶场景特征,从障碍物目标中筛选对应的参考目标,进而根据参考目标的目标属性和识别类型,评估车辆当前的制动等级,从而实现车辆制动等级的准确评估,避免仅在不同的安全行驶距离下设定不同的制动等级时存在的制动片面性,后续可以在车辆当前的制动等级下执行准确的制动操作,提高车辆在行驶过程中的制动准确性,避免车辆在行驶过程中发生碰撞,从而确保车辆在行驶过程中的安全性。
实施例二
图2为本发明实施例二提供的一种制动等级的评估方法的流程图。本实施例是在上述实施例的基础上进行优化。可选的,本实施例主要对于通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标的具体识别过程进行详细的解释说明。
具体的,参见图2,本实施例的方法具体可以包括:
S210,通过前视摄像头识别处于车辆行驶前方的第一初始目标,并通过毫米波雷达识别处于车辆行驶前方的第二初始目标。
可选的,通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标时,首先通过该前视摄像头在车辆行驶过程中实时拍摄车辆行驶前方的行驶画面,并采用图像识别技术来识别该行驶画面中存在的各个第一初始目标,同时通过车辆上配置的毫米波雷达在车辆行驶过程中实时发射一定的探测毫米波,通过分析该探测毫米波发射后重新接收的波能量与发射时的波能量之间的区别,来探测车辆行驶前方存在的各个第二初始目标,后续判断被前视摄像头识别的第一初始目标和被毫米波雷达识别的第二初始目标是否为同一障碍物目标,以确保障碍物目标识别的全面性。
此外,在识别出第一初始目标和第二初始目标之后,可以根据前视摄像头和毫米波雷达对于目标识别各自存在的优缺点,分别确定第一初始目标和第二初始目标的目标位置和目标速度等信息。
S220,对第一初始目标和第二初始目标执行目标关联操作,得到对应的已关联目标和未关联目标,作为处于车辆行驶前方的障碍物目标。
可选的,在识别出第一初始目标和第二初始目标之后,通过前视摄像头识别出的第一初始目标和通过毫米波雷达识别出的第二初始目标之间会存在相同的目标,因此通过对第一初始目标和第二初始目标的目标位置和目标速度等信息进行判断,以执行第一初始目标和第二初始目标之间的目标关联操作,确定出第一初始目标和第二初始目标中表示相同障碍物目标的目标信息,作为对应的已关联目标,并将第一初始目标和第二初始目标中关联剩余的各个目标分别作为未关联目标,此时所有的已关联目标和未关联目标共同组成本实施例中处于车辆行驶前方的障碍物目标。
示例性的,为了保证目标关联的准确性,本实施例中对第一初始目标和第二初始目标执行目标关联操作,得到对应的已关联目标和未关联目标,可以具体包括:在每一第一初始目标的搜索邻域内,查找与该第一初始目标的目标速度相关联的第二初始目标,得到对应的关联目标对;或者,在每一第二初始目标的搜索邻域内,查找与该第二初始目标的目标速度相关联的第一初始目标,得到对应的关联目标对;根据关联目标对的目标距离进行目标过滤,得到对应的已关联目标,并将第一初始目标和第二初始目标中的关联剩余目标,作为对应的未关联目标。
具体的,以第二初始目标的搜索邻域为例,首先确定每一第二初始目标的搜索领域为以该第二初始目标被毫米波雷达识别到的目标位置(XRader,YRadar)为圆心,以前视摄像头的第一测距误差与毫米波雷达的第二测速误差之和在对应邻域系数下影响的参考测距标准误差(DECamera+DERadar)*δ为半径,在该第二初始目标下所形成的区域,其中DECamera为前视摄像头的第一测距误差,DERadar为毫米波雷达的第二测距误差,δ为预先设定的邻域系数,此时在每一第二初始目标的搜索邻域内搜索是否存在被前视摄像头识别出的第一初始目标,此时该第二初始目标的搜索邻域内存在的被前视摄像头识别出的各个第一初始目标与该第二初始目标位置相关,同时进一步确定出该第二初始目标的搜索邻域内存在的被前视摄像头识别出的各个第一初始目标的目标速度(VxCamera,VyCamera),并依次与该第二初始目标被毫米波雷达识别的目标速度(VxRader,VyRadar)进行比对,计算出两者之间的欧氏距离V1,再次与前视摄像头的第一测速误差与毫米波雷达的第二测速误差之和V2进行比对,其中V2=VECamera+VERadar,VECamera为前视摄像头的第一测速误差,VERadar为毫米波雷达的第二测速误差;如果V1和V2之差小于等于预设的测速阈值,说明该第二初始目标的搜索邻域内所存在的第一初始目标与该第二初始目标在位置相关的基础上,速度也相关,参考上述步骤将位置和速度均相关的第一初始目标和第二初始目标组成本实施例中对应的关联目标对;此外,本实施例中还可以选择在视觉摄像头识别的各个第一初始目标的搜索邻域内进行关联查找,得到对应的关联目标对,以上两种目标关联方式择一选择即可。
进一步的,在得到对应的关联目标对之后,由于毫米波雷达针对一个物体可能会识别出多个目标信息,使得关联目标对中存在目标关联重复的问题,因此可以从包含同一第一初始目标的多个关联目标对中,筛选出各个关联目标对之间的目标距离最小的关联目标对,并将目标距离最小的该关联目标对中的第一初始目标和第二初始目标确认为最终识别的同一目标,并进行目标去重,从而得到对应的已关联目标,并将第一初始目标和第二初始目标中的关联剩余目标,作为对应的未关联目标。
S230,根据障碍物目标的关联情况,确定障碍物目标的目标属性和识别类型。
可选的,在识别出各个障碍物目标后,通过分析每一障碍物目标的关联情况,确定出该障碍物目标是被前视摄像头和毫米波雷达中的某一个识别出,还是被前视摄像头和毫米波雷达都识别出来,如果该障碍物目标是被前视摄像头和毫米波雷达都识别出来,则由于前视摄像头能够准确区分该障碍物目标是否为车辆,而毫米波雷达能够准确识别出该障碍物目标是否运动,因此根据前视摄像头识别出的该障碍物目标是否为车辆的信息和毫米波雷达识别出的该障碍物目标是否运动的信息确定该障碍物目标的目标属性,并将该障碍物目标的识别类型确定为融合识别;而如果该障碍物目标是被前视摄像头和毫米波雷达中的某一个识别出来,则确定该障碍物目标的识别类型为前视摄像头和毫米波雷达中的某一个识别,并将该识别类型下所识别的障碍物目标的属性信息作为该障碍物目标的目标属性。
S240,根据已关联目标面向前视摄像头的第一目标位置和第一测距误差以及面向毫米波雷达的第二目标位置和第二测距误差,确定已关联目标的融合位置;根据已关联目标面向前视摄像头的第一目标速度和第一测速误差以及面向毫米波雷达的第二目标位置和第二测速误差,确定已关联目标的融合速度。
可选的,在通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标之后,对于障碍物目标中的已关联目标,如果面向前视摄像头的第一测距误差和第一测速误差越小,说明通过前视摄像头识别的目标位置和目标速度越准确,如果面向毫米波雷达的第二测距误差和第二测速误差越小,说明通过毫米波雷达识别的目标位置和目标速度越准确,因此已关联目标的融合位置可以为
Figure BDA0002555878470000141
而根据已关联目标面向前视摄像头的第一目标速度和第一测速误差以及面向毫米波雷达的第二目标位置和第二测速误差,计算的已关联目标的融合速度可以为
Figure BDA0002555878470000142
S250,基于车辆当前的行驶场景特征,从障碍物目标中筛选对应的参考目标。
S260,根据参考目标的目标属性和识别类型,评估车辆当前的制动等级。
本实施例提供的技术方案,通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标,保证车辆行驶过程中前方存在的障碍物目标的准确识别,并基于车辆当前的行驶场景特征,从障碍物目标中筛选对应的参考目标,进而根据参考目标的目标属性和识别类型,评估车辆当前的制动等级,从而实现车辆制动等级的准确评估,避免仅在不同的安全行驶距离下设定不同的制动等级时存在的制动片面性,后续可以在车辆当前的制动等级下执行准确的制动操作,提高车辆在行驶过程中的制动准确性,避免车辆在行驶过程中发生碰撞,从而确保车辆在行驶过程中的安全性。
实施例三
图3为本发明实施例三提供的一种制动等级的评估装置的结构示意图,如图3所示,该装置可以包括:
障碍物识别模块310,用于通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标;
参考目标筛选模块320,用于基于车辆当前的行驶场景特征,从障碍物目标中筛选对应的参考目标;
制动等级评估模块330,用于根据参考目标的目标属性和识别类型,评估车辆当前的制动等级。
本实施例提供的技术方案,通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标,保证车辆行驶过程中前方存在的障碍物目标的准确识别,并基于车辆当前的行驶场景特征,从障碍物目标中筛选对应的参考目标,进而根据参考目标的目标属性和识别类型,评估车辆当前的制动等级,从而实现车辆制动等级的准确评估,避免仅在不同的安全行驶距离下设定不同的制动等级时存在的制动片面性,后续可以在车辆当前的制动等级下执行准确的制动操作,提高车辆在行驶过程中的制动准确性,避免车辆在行驶过程中发生碰撞,从而确保车辆在行驶过程中的安全性。
进一步的,上述障碍物识别模块310,可以具体用于:
通过前视摄像头识别处于车辆行驶前方的第一初始目标,并通过毫米波雷达识别处于车辆行驶前方的第二初始目标;
对第一初始目标和第二初始目标执行目标关联操作,得到对应的已关联目标和未关联目标,作为处于车辆行驶前方的障碍物目标。
进一步的,上述障碍物识别模块310,还可以具体用于:
在每一第一初始目标的搜索邻域内,查找与该第一初始目标的目标速度相关联的第二初始目标,得到对应的关联目标对;或者,
在每一第二初始目标的搜索邻域内,查找与该第二初始目标的目标速度相关联的第一初始目标,得到对应的关联目标对;
根据关联目标对的目标距离进行目标过滤后,得到对应的已关联目标,并将第一初始目标和第二初始目标中的关联剩余目标,作为对应的未关联目标。
进一步的,上述制动等级的评估装置,还可以包括:
目标信息确定模块,用于根据障碍物目标的关联情况,确定障碍物目标的目标属性和识别类型。
进一步的,上述制动等级的评估装置,还可以包括:
融合位置确定模块,用于根据已关联目标面向前视摄像头的第一目标位置和第一测距误差以及面向毫米波雷达的第二目标位置和第二测距误差,确定已关联目标的融合位置;
融合速度确定模块,用于根据已关联目标面向前视摄像头的第一目标速度和第一测速误差以及面向毫米波雷达的第二目标位置和第二测速误差,确定已关联目标的融合速度。
进一步的,上述参考目标筛选模块320,可以具体用于:
确定面向车辆当前的行驶场景特征预先设定的目标筛选规则;
采用目标筛选规则从障碍物目标中筛选对应的参考目标。
进一步的,上述制动等级的评估装置,还可以包括:
制动控制模块,用于如果车辆当前存在制动需求,则控制车辆执行在车辆当前的制动等级下的制动操作。
本实施例提供的制动等级的评估装置可适用于上述任意实施例提供的制动等级的评估方法,具备相应的功能和有益效果。
实施例四
图4为本发明实施例四提供的一种车辆的结构示意图。如图4所示,该车辆包括处理器40、存储装置41、通信装置42、前视摄像头43和毫米波雷达44;车辆中处理器40的数量可以是一个或多个,图4中以一个处理器40为例;车辆的处理器40、存储装置41、通信装置42、前视摄像头43和毫米波雷达44可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储装置41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的制动等级的评估方法对应的模块(例如,用于制动等级的评估装置中的障碍物识别模块310、参考目标筛选模块320和制动等级评估模块330)。处理器40通过运行存储在存储装置41中的软件程序、指令以及模块,从而执行车辆的各种功能应用以及数据处理,即实现上述的制动等级的评估方法。
存储装置41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置42可用于实现车辆与云端或者应用终端之间的网络连接或者移动数据连接。
前视摄像头43和毫米波雷达44可用于共同识别处于车辆行驶前方的障碍物目标。
本实施例提供的一种车辆可用于执行上述任意实施例提供的制动等级的评估方法,具备相应的功能和有益效果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述任意实施例中的制动等级的评估方法。该方法具体可以包括:
通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标;
基于车辆当前的行驶场景特征,从所述障碍物目标中筛选对应的参考目标;
根据所述参考目标的目标属性和识别类型,评估所述车辆当前的制动等级。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的制动等级的评估方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述制动等级的评估装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种制动等级的评估方法,其特征在于,包括:
通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标;
基于所述车辆当前的行驶场景特征,从所述障碍物目标中筛选对应的参考目标;
根据所述参考目标的目标属性和识别类型,评估所述车辆当前的制动等级。
2.根据权利要求1所述的方法,其特征在于,所述通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标,包括:
通过所述前视摄像头识别处于车辆行驶前方的第一初始目标,并通过所述毫米波雷达识别处于车辆行驶前方的第二初始目标;
对所述第一初始目标和所述第二初始目标执行目标关联操作,得到对应的已关联目标和未关联目标,作为处于车辆行驶前方的障碍物目标。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一初始目标和所述第二初始目标执行目标关联操作,得到对应的已关联目标和未关联目标,包括:
在每一第一初始目标的搜索邻域内,查找与该第一初始目标的目标速度相关联的第二初始目标,得到对应的关联目标对;或者,
在每一第二初始目标的搜索邻域内,查找与该第二初始目标的目标速度相关联的第一初始目标,得到对应的关联目标对;
根据所述关联目标对的目标距离进行目标过滤后,得到对应的已关联目标,并将所述第一初始目标和所述第二初始目标中的关联剩余目标,作为对应的未关联目标。
4.根据权利要求2所述的方法,其特征在于,在得到对应的已关联目标和未关联目标,作为处于车辆行驶前方的障碍物目标之后,还包括:
根据所述障碍物目标的关联情况,确定所述障碍物目标的目标属性和识别类型。
5.根据权利要求2所述的方法,其特征在于,在得到对应的已关联目标和未关联目标之后,还包括:
根据所述已关联目标面向所述前视摄像头的第一目标位置和第一测距误差以及面向所述毫米波雷达的第二目标位置和第二测距误差,确定所述已关联目标的融合位置;
根据所述已关联目标面向所述前视摄像头的第一目标速度和第一测速误差以及面向所述毫米波雷达的第二目标位置和第二测速误差,确定所述已关联目标的融合速度。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述基于所述车辆当前的行驶场景特征,从所述障碍物目标中筛选对应的参考目标,包括:
确定面向所述车辆当前的行驶场景特征预先设定的目标筛选规则;
采用所述目标筛选规则从所述障碍物目标中筛选对应的参考目标。
7.根据权利要求1-5任一项所述的方法,其特征在于,在根据所述参考目标的目标属性和识别类型,评估所述车辆当前的制动等级之后,还包括:
如果所述车辆当前存在制动需求,则控制所述车辆执行在所述车辆当前的制动等级下的制动操作。
8.一种制动等级的评估装置,其特征在于,包括:
障碍物识别模块,用于通过前视摄像头和毫米波雷达共同识别处于车辆行驶前方的障碍物目标;
参考目标筛选模块,用于基于所述车辆当前的行驶场景特征,从所述障碍物目标中筛选对应的参考目标;
制动等级评估模块,用于根据所述参考目标的目标属性和识别类型,评估所述车辆当前的制动等级。
9.一种车辆,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
前视摄像头和毫米波雷达,用于共同识别处于车辆行驶前方的障碍物目标;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的制动等级的评估方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的制动等级的评估方法。
CN202010591890.3A 2020-06-24 2020-06-24 一种制动等级的评估方法、装置、车辆和存储介质 Active CN111796286B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010591890.3A CN111796286B (zh) 2020-06-24 2020-06-24 一种制动等级的评估方法、装置、车辆和存储介质
PCT/CN2021/101539 WO2021259260A1 (zh) 2020-06-24 2021-06-22 一种制动等级的评估方法、装置、车辆和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591890.3A CN111796286B (zh) 2020-06-24 2020-06-24 一种制动等级的评估方法、装置、车辆和存储介质

Publications (2)

Publication Number Publication Date
CN111796286A true CN111796286A (zh) 2020-10-20
CN111796286B CN111796286B (zh) 2023-01-17

Family

ID=72803059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591890.3A Active CN111796286B (zh) 2020-06-24 2020-06-24 一种制动等级的评估方法、装置、车辆和存储介质

Country Status (2)

Country Link
CN (1) CN111796286B (zh)
WO (1) WO2021259260A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540365A (zh) * 2020-12-10 2021-03-23 中国第一汽车股份有限公司 一种评估方法、装置、设备及存储介质
WO2021259260A1 (zh) * 2020-06-24 2021-12-30 中国第一汽车股份有限公司 一种制动等级的评估方法、装置、车辆和存储介质
CN114387821A (zh) * 2022-01-27 2022-04-22 中国第一汽车股份有限公司 车辆碰撞预警方法、装置、电子设备和存储介质
CN115214570A (zh) * 2022-06-21 2022-10-21 佛山仙湖实验室 一种结合距离和时间因素的车辆分级制动控制方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990042B (zh) * 2023-09-27 2023-12-26 郯城鸿顺机动车检测有限公司 一种机动车制动性能检测台

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009101737A (ja) * 2007-10-19 2009-05-14 Nissan Diesel Motor Co Ltd 衝突被害軽減制動制御装置
WO2012045323A1 (en) * 2010-10-07 2012-04-12 Connaught Electronics Ltd. Method and driver assistance system for warning a driver of a motor vehicle of the presence of an obstacle in an environment of the motor vehicle
CN105658488A (zh) * 2013-10-24 2016-06-08 丰田自动车株式会社 制动装置
CN108674412A (zh) * 2018-04-04 2018-10-19 江苏大学 一种采用传感器融合的车辆主动避撞方法
CN109901156A (zh) * 2019-01-25 2019-06-18 中国汽车技术研究中心有限公司 一种车辆毫米波雷达和摄像头的目标融合方法和装置
CN110606082A (zh) * 2019-09-25 2019-12-24 中国第一汽车股份有限公司 基于自动驾驶的制动系统、方法、装置及车辆
CN111252066A (zh) * 2020-01-19 2020-06-09 一汽解放汽车有限公司 紧急制动控制方法、装置、车辆及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508004A (zh) * 2018-12-10 2019-03-22 鄂尔多斯市普渡科技有限公司 一种用于无人驾驶汽车的障碍物优先等级避让系统及方法
CN109885056A (zh) * 2019-03-07 2019-06-14 格陆博科技有限公司 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法
CN110304054A (zh) * 2019-07-03 2019-10-08 国唐汽车有限公司 一种基于多传感器融合的自动紧急制动方法
CN111796286B (zh) * 2020-06-24 2023-01-17 中国第一汽车股份有限公司 一种制动等级的评估方法、装置、车辆和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009101737A (ja) * 2007-10-19 2009-05-14 Nissan Diesel Motor Co Ltd 衝突被害軽減制動制御装置
WO2012045323A1 (en) * 2010-10-07 2012-04-12 Connaught Electronics Ltd. Method and driver assistance system for warning a driver of a motor vehicle of the presence of an obstacle in an environment of the motor vehicle
CN105658488A (zh) * 2013-10-24 2016-06-08 丰田自动车株式会社 制动装置
CN108674412A (zh) * 2018-04-04 2018-10-19 江苏大学 一种采用传感器融合的车辆主动避撞方法
CN109901156A (zh) * 2019-01-25 2019-06-18 中国汽车技术研究中心有限公司 一种车辆毫米波雷达和摄像头的目标融合方法和装置
CN110606082A (zh) * 2019-09-25 2019-12-24 中国第一汽车股份有限公司 基于自动驾驶的制动系统、方法、装置及车辆
CN111252066A (zh) * 2020-01-19 2020-06-09 一汽解放汽车有限公司 紧急制动控制方法、装置、车辆及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021259260A1 (zh) * 2020-06-24 2021-12-30 中国第一汽车股份有限公司 一种制动等级的评估方法、装置、车辆和存储介质
CN112540365A (zh) * 2020-12-10 2021-03-23 中国第一汽车股份有限公司 一种评估方法、装置、设备及存储介质
CN112540365B (zh) * 2020-12-10 2022-07-12 中国第一汽车股份有限公司 一种评估方法、装置、设备及存储介质
CN114387821A (zh) * 2022-01-27 2022-04-22 中国第一汽车股份有限公司 车辆碰撞预警方法、装置、电子设备和存储介质
CN114387821B (zh) * 2022-01-27 2023-08-22 中国第一汽车股份有限公司 车辆碰撞预警方法、装置、电子设备和存储介质
CN115214570A (zh) * 2022-06-21 2022-10-21 佛山仙湖实验室 一种结合距离和时间因素的车辆分级制动控制方法及系统

Also Published As

Publication number Publication date
WO2021259260A1 (zh) 2021-12-30
CN111796286B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN111796286B (zh) 一种制动等级的评估方法、装置、车辆和存储介质
CN106652557B (zh) 用于预测邻近车辆的驾驶路径的方法和系统
US10691125B2 (en) Blinker judgment device and autonomous driving system
CN111798698B (zh) 一种前方目标车辆的确定方法、装置及车辆
CN111231982B (zh) 一种智能驾驶的障碍物识别方法、装置、车辆和存储介质
CN109720348B (zh) 车载装置、信息处理系统和信息处理方法
US20180372866A1 (en) Object detection apparatus and object detection method
US11351997B2 (en) Collision prediction apparatus and collision prediction method
JP2016148547A (ja) 検知装置
KR102569900B1 (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
JP5402983B2 (ja) 車両用道路形状認識方法及び装置、記録媒体
WO2023142814A1 (zh) 目标识别方法、装置、设备及存储介质
CN111932884A (zh) 一种交通拥堵的识别方法、装置、车辆和存储介质
US11307292B2 (en) ODM information reliability determination system and method and vehicle using the same
CN110940982B (zh) 一种车辆前方目标识别方法以及相应的设备
US20200174488A1 (en) False target removal device and method for vehicles and vehicle including the device
JP5321640B2 (ja) 車両用道路形状認識方法及び装置、記録媒体
CN110940981B (zh) 一种用于判断车辆前方目标的位置是否处于本车道内的方法
CN114637003A (zh) 一种车辆的目标识别方法、装置、汽车及存储介质
CN111886637B (zh) 信息处理装置、信息处理方法和计算机能读取的记录介质
CN110065492B (zh) 车辆控制系统
CN113787997A (zh) 紧急制动控制方法、电子设备及存储介质
KR101963352B1 (ko) 비전 기반 적응형 순항 제어 시스템 및 방법
JP2012137362A (ja) 走行道路推定装置、方法およびプログラム
CN112014822A (zh) 车载雷达测量数据识别方法、装置、介质和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant