CN116153051B - 基于车路协同的虚拟人行横道构建方法及装置 - Google Patents
基于车路协同的虚拟人行横道构建方法及装置 Download PDFInfo
- Publication number
- CN116153051B CN116153051B CN202211353380.8A CN202211353380A CN116153051B CN 116153051 B CN116153051 B CN 116153051B CN 202211353380 A CN202211353380 A CN 202211353380A CN 116153051 B CN116153051 B CN 116153051B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- vehicle
- lane
- real
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000006855 networking Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于车路协同的虚拟人行横道构建方法及装置,本发明涉及智能网联技术领域,其中包括:接收行人针对需求偏低路段发送的过街请求;根据需求偏低路段对应的车道上车辆的行驶速度和车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;若当前路况满足所述行人通行条件,则根据行人的视频图像,分析行人是否属于特殊人群;根据分析结果,控制与行人在相应距离范围内车辆的行驶速度,并根据行人的位置信息,构建虚拟人行横道;当所述行人在所述虚拟人行横道上通行时,根据所述行人与所述车道上车辆的实时距离,对所述车道上的相应车辆进行管控。通过应用本申请的技术方案,能够解决行人需求偏低路段的通行安全问题。
Description
技术领域
本发明涉及智能网联技术领域,具体而言,涉及一种基于车路协同的虚拟人行横道构建方法及装置。
背景技术
随着车辆的日益增多,路况信息越来越复杂,如何保证行人或者非机动车的道路通行安全是当前亟待解决的问题。
目前,通常采用过街设施,如天桥、地下通道、信号灯和斑马线等,来保证行人或者非机动车的通行安全。然而,对于一些行人需求偏低的路段,为了保证道路车辆的通行效率和降低建设成本,不能采用上述过街设施,从而无法保证行人或者非机动车在需求偏低路段上的通行安全。
发明内容
本发明提供一种基于车路协同的虚拟人行横道构建方法及装置,主要能够解决行人需求偏低路段的通行安全问题,同时能够兼顾车辆通行效率和建设成本。
根据本发明实施例的第一方面,提供一种基于车路协同的虚拟人行横道构建方法,包括:
接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息;
根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;
若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群;
根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道;
当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
根据本发明实施例的第二方面,提供一种基于车路协同的虚拟人行横道构建装置,包括:
接收单元,用于接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息;
判定单元,用于根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;
分析单元,用于若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群;
构建单元,用于根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道;
管控单元,用于当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
根据本发明实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:
接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息;
根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;
若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群;
根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道;
当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
根据本发明实施例的第四方面,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息;
根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;
若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群;
根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道;
当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
本发明实施例的创新点包括:
1、在满足行人通行条件的情况下,构建虚拟人行横道,保证行人在需求偏低路段的通行安全是本发明实施例的创新点之一。
2、对于较宽道路,当行人离开相应车道后,缩短虚拟人行横道范围,允许相应车道上的车辆恢复行驶,从而提高车辆通行效率是本发明实施例的创新点之一。
3、当行人属于特殊人群时,采用保守的车辆控制策略提早介入车辆控制,以保证行人的通行安全是本发明实施例的创新点之一。
本发明提供的一种基于车路协同的虚拟人行横道构建方法及装置,与现有技术在需求偏低路段不采用过街设施的方式相比,能够接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息,并根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件,若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群,与此同时,根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道,当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。由此本发明在接收到行人的过街请求时,如果当前路况满足行人通行条件,则控制来往车辆的行驶速度,构建虚拟人行横道,在行人通行过后,自动消除该虚拟人行横道,控制车辆恢复行驶,从而能够解决行人需求偏低路段的通行安全问题,同时能够兼顾车辆通行效率和建设成本,此外,本发明还能够根据行人的视频图像,分析行人是否属于特殊人群,并根据分析结果,精确控制车辆的行驶速度,从而满足特殊人群的通行需求,保证特殊人群的通行安全。进一步地,本发明还能够在行人通行过程中,实时监控行人与来往车辆之间的距离,并根据实时距离对车辆进行管控,以保证行人在通行过程中的安全。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的一种基于车路协同的虚拟人行横道构建方法流程示意图;
图2示出了本发明实施例提供的虚拟人行横道构建系统的架构示意图;
图3示出了本发明实施例提供的另一种基于车路协同的虚拟人行横道构建方法流程示意图;
图4示出了本发明实施例提供的一种基于车路协同的虚拟人行横道构建装置的结构示意图;
图5示出了本发明实施例提供的另一种基于车路协同的虚拟人行横道构建装置的结构示意图;
图6示出了本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有的公交优先方法会对其他车辆造成较大影响,无法保证交叉路口的整体运行效率。
为了克服上述缺陷,本发明实施例提供了一种基于车路协同的虚拟人行横道构建方法,如图1所示,该方法包括:
步骤101、接收行人针对需求偏低路段发送的过街请求。
其中,所述过街请求携带有所述行人的位置信息,该位置信息具体可以为横纵坐标或者经纬度信息。需求偏低路段主要是指较为偏僻,行人通行频率较低的路段。本发明实施例中的行人数量可以为一个、两个或者多个,本发明实施例对此不做具体限定。
本发明实施例主要适用于在车路协同环境下构建虚拟人行横道的场景。本发明实施例的执行主体为能够构建虚拟人行横道的装置或者设备,具体可以为路侧单元。
为了保证需求偏低路段的通行安全,本发明实施例提供了基于车路协同的虚拟人行横道构建系统,如图2所示,该系统利用路侧单元强大的感知融合计算能力,结合行人终端来动态构建虚拟人行横道,再通过车载终端实现对车辆的实时控制。其中,路侧单元主要包括路侧计算单元RCU、路侧通信单元RSU,以及摄像机、毫米波雷达、激光雷达等传感器,行人终端主要是指具备定位和网络接入功能的手机、电子手表等,车载终端OBU主要是指具备发送车辆控制信号且具备网络接入功能的专用设备。
在构建虚拟人行横道的过程中,路侧单元负责融合摄像机、毫米波雷达、激光雷达的感知数据,并借助路侧通信单元RSU接收和处理行人终端发送的过街请求,最终根据处理结果发送车辆的停车、降速、变道和继续前行等控制信号;行人终端负责发送过街请求,并给出行人当前的具体位置、年龄、是否有轮椅等相关信息供路侧计算单元分析;车载终端负责控制车辆,主要包括车辆的加减速、停车、变道和前进等操作。
在具体应用场景中,当行人行驶至需求偏低的路段时,如果行人想要穿过该路段行驶到路对面,为了保证通行安全,行人可以触发行人终端上的过街按钮或者构建虚拟人行横道的按钮,此时行人终端会向就近的路侧计算单元RCU发送过街请求,该过街请求中携带有行人当前的位置信息、年龄、是否有轮椅等基本信息,其中,行人终端通过GPS功能可以实时获取行人当前的位置信息,此外,行人还可以预先在终端录入基本信息,如行人的姓名、年龄、是否使用轮椅等。当行人通过终端向路侧计算单元发送过街请求时,上述信息会一同发送给路侧计算单元,以便路侧计算单元根据该信息,构建虚拟人行横道。
步骤102、根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件。
对于本发明实施例,路侧计算单元在接收到行人终端发送的过街请求之后,会根据车道上车辆当前的行驶速度和与行人之间的距离,判定当前路况是否满足行人通行条件,即判定当前车辆是否可控。基于此,步骤102具体包括:若所述需求偏低路段对应的车道上车辆的行驶速度大于或者等于预设行驶速度,且所述车道上车辆与所述行人之间的距离小于或者等于预设距离,则确定所述当前路况不满足行人通行条件;若所述需求偏低路段对应的车道上车辆的行驶速度小于所述预设行驶速度,或者所述车道上车辆与所述行人之间的距离大于所述预设距离,则确定所述当前路况满足行人通行条件。其中,预设行驶速度和预设距离可以根据实际业务需求进行设定,如设定当车道上车辆的行驶速度小于30km/h,或者车辆与行人之间的距离大于40米时,确定当前路况满足行人通行条件。
对于本发明实施例,路侧计算单元在接收到行人终端发送的过街请求之后,会先根据摄像机、激光雷达、毫米波雷达的感知数据,确定一定监控范围内需求偏低路段对应的车道上车辆的行驶速度,以及车辆与行人之间的距离,如果车辆的行驶速度过快且车辆与行人之间的距离太近,则确定当前路况不满足行人通行条件,此时需要提醒行人重新发起请求或者稍后再试;相反如果车辆的行驶速度不快,或者车辆与行人之间的距离较远,则说明车辆可以得到及时控制,只要预留一定的缓冲区也是可以通行的,即确定当前路况满足行人通行条件。
需要说明的是,为了进一步保证行人在需求偏低路段的通行安全,如果需求偏低路段存在多条车道,则针对多条车道中距离行人较远车道上的车辆,需考虑近行人在距离其较近车道上的通行时间,若在该段时间内较远车道上的车辆能过通过虚拟人行横道,不会对行人构成威胁,则也是满足行人通行条件的。
步骤103、若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群。
其中,所述特殊人群包括残障人群和老幼人群。对于本发明实施例,如果路侧计算单元确定当前路况满足行人通行条件,则会控制车道上车辆减速,让过往车辆让出一条过道,构建虚拟人行横道。由于不同行人的通行速度是不同的,例如,老人、小孩或者坐轮椅的残障人士通行速度比较慢,此时应该更早介入对车辆的控制,以保证特殊人群在需求偏低路段的通行安全。基于此,本发明实施例在确定当前路况满足行人通行条件之后,需要判定行人是否属于老人、小孩、使用轮椅的残障人士等特殊人群,对此存在两种判定方式,一种方式是行人终端在发送过街请求的过程中,将行人提前录入的年龄、是否坐轮椅等基本信息一同发送给路侧计算单元,路侧计算单元可以根据该基本信息,直接判定发送过街请求的行人是否属于特殊人群;另一种方式是行人没有提前录入上述基本信息,此时可以通过摄像机采集行人的视频图像,通过对该视频图像进行目标检测和人脸识别,判定行人是否属于特殊人群,如检测视频图像中是否存在轮椅或者拐杖等目标物体,以及获取视频图像中的人脸图像并进行人脸识别,判定行人是否属于小孩或者老人。由此按照上述两种方式,能够判定行人是否属于特殊群体,以便根据判定结果,对来往车辆进行精确控制。
步骤104、根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道。
对于本发明实施例,为了精确控制来往车辆的行驶速度,保证行人的通行安全,步骤104具体包括:若所述行人不属于所述特殊人群,则控制与所述行人在第一距离范围内车辆的行驶速度不超过第一速度;若所述行人属于所述特殊人群,则控制与所述行人在第二距离范围内车辆的行驶速度不超过第二速度,其中,所述第二距离范围大于所述第一距离范围,所述第二速度小于所述第一速度。
例如,如果行人不属于特殊人群,则控制与行人距离在50米范围内的车辆的车速不超过30km/h;如果行人属于特殊人群,则控制与行人距离在60米范围内的车辆的车速不超过25km/h。
进一步地,通过对车辆进行减速控制,能够使来往车辆让出一条过道,从而可以构建虚拟人行横道,具体构建时,可以根据行人当前的位置信息,确定虚拟人行横道。在构建完成虚拟人行横道之后,可以向行人终端反馈可通行的提示信息,行人根据该提示信息,在虚拟人行横道上通行。
步骤105、当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
对于本发明实施例,在提示通行之后,路侧计算单元可以通过摄像机、激光雷达和毫米波雷达,监测行人的通行情况,如果行人进入到虚拟人行横道,则路侧计算单元根据摄像机、激光雷达和毫米波雷达反馈的感知数据,实时计算行人与车道上车辆之间的距离,并根据计算的实时距离,对来往车辆进行管控,以保证行人在通行过程中的安全。基于此,步骤105具体包括:若所述行人不属于所述特殊人群,则控制所述车道上实时距离小于第一实时距离的车辆减速,并控制所述车道上实时距离小于第二实时距离的车辆停车;若所述行人属于所述特殊人群,则控制所述车道上实时距离小于第三实时距离的车辆减速,并控制所述车道上实时距离小于第四实时距离的车辆停车,其中,所述第三实时距离大于所述第一实时距离,所述第四实时距离大于所述第二实时距离。
例如,在行人不属于特殊人群的情况下,控制与行人的实时距离小于25米的车辆减速,并控制与行人的实时距离小于10米的车辆停车;在行人属于特殊人群的情况下,控制与行人的实时距离小于35米的车辆减速,并控制与行人的实时距离小于15米的车辆停车。
进一步地,如果行人未进入到虚拟人行横道,则路侧计算单元在等待一定时长后,会解除构建的虚拟人行横道,控制车辆恢复正常行驶。
需要说明的是,本发明实施例中的过街通行主体,不仅包括行人,还可以包括其他非机动车。
本发明实施例提供的一种基于车路协同的虚拟人行横道构建方法,在接收到行人的过街请求时,如果当前路况满足行人通行条件,则控制来往车辆的行驶速度,构建虚拟人行横道,在行人通行过后,自动消除该虚拟人行横道,控制车辆恢复行驶,从而能够解决行人需求偏低路段的通行安全问题,同时能够兼顾车辆通行效率和建设成本,此外,本发明实施例还能够根据行人的视频图像,分析行人是否属于特殊人群,并根据分析结果,精确控制车辆的行驶速度,从而满足特殊人群的通行需求,保证特殊人群的通行安全。进一步地,本发明实施例还能够在行人通行过程中,实时监控行人与来往车辆之间的距离,并根据实时距离对车辆进行管控,以保证行人在通行过程中的安全。
进一步的,作为对上述实施例的细化和扩展,本发明实施例提供了另一种基于车路协同的虚拟人行横道构建方法,如图3所示,所述方法包括:
步骤201、接收行人针对需求偏低路段发送的过街请求。
其中,所述过街请求携带有所述行人的位置信息。对于本发明实施例,当行人触发终端上的过街按钮或者构建虚拟人行横道的按钮时,行人终端会向路侧计算单元发送过街请求。
步骤202、根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件。
对于本发明实施例,路侧计算单元在接收到行人终端发送的过街请求时,判定当前路况是否满足行人通行条件,即判定车辆是否可控,该判定过程与步骤102完全相同,在此不再赘述。
需要说明的是,在判定当前路况是否满足行人通行条件时,如果车流量较大,可能会出现等待时间过长的情况,此时可以向行人终端发送重新发起请求或者稍后再试的提示信息。
步骤203、若所述当前路况满足所述行人通行条件,则对所述行人的视频图像进行目标检测,得到目标检测结果,若根据所述目标检测结果确定所述视频图像中存在目标物体,则确定所述行人属于残障人群。
对于本发明实施例,在分析行人是否属于特殊人群时,如果行人未提前录入年龄、是否有轮椅等基础信息,则可以采集行人的视频图像,并对该视频图像进行目标检测,基于此,所述对所述行人的视频图像进行目标检测,得到目标检测结果,包括:以预设步幅移动窗口,遍历所述视频图像的每个区域;将所述每个区域对应的图像输入至第一卷积神经网络进行分类,得到所述每个区域对应的图像的分类结果;根据所述每个区域对应的图像的分类结果,判定所述视频图像中是否存在目标物体。其中,预设步幅可以根据实际业务需求进行设定,该目标物体可以为轮椅、拐杖等。
具体地,当任意一个区域对应的图像的分类结果为存在目标物体时,确定视频图像中存在目标物体,即确定该行人属于残障人群。
步骤204、若根据所述目标检测结果确定所述视频图像中不存在目标物体,则对所述行人的视频图像进行人脸识别,根据人脸识别结果判定所述行人是否属于老幼人群。
对于本发明实施例,如果视频图像中不存在目标物体,则确定行人不属于残障人群,但是该行人可能是小孩或者老人,因此需要进一步对视频图像进行人脸识别,针对该人脸识别过程,所述方法包括:对所述视频图像进行人脸检测,得到人脸的位置信息和尺寸信息;基于所述人脸的位置信息和尺寸信息,从所述视频图像中截取人脸图像;将截取的所述人脸图像输入至第二卷积神经网络进行分类,得到所述行人属于所述老幼人群的第一概率值和所述行人不属于所述老幼人群的第二概率值;若所述第一概率值大于所述第二概率值,则确定所述行人属于所述老幼人群。
具体地,可以采用OpenCV算法对视频图像进行人脸检测,输出视频图像中人脸的位置信息和尺寸信息,并利用该位置信息和尺寸信息,截取人脸图像,进一步地,将人脸图像输入至第二卷积神经网络中进行二分类,如果行人属于老幼人群的第一概率值大于行人不属于老幼人群的第二概率值,则确定行人属于老幼人群,即该行人是老人或者小孩;相反如果行人属于老幼人群的第一概率值小于行人不属于老幼人群的第二概率值,则确定行人不属于老幼人群,即说明该行人不属于特殊人群。
步骤205、根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道。
对于本发明实施例,当行人的位置信息为位置坐标时,可以以所述行人的位置坐标为起始点,分别延所述车道两侧方向延展第一预设长度,延所述车道垂直方向延展第二预设长度,其中,所述第二预设长度为所述行人与车道对岸之间的垂直距离。
例如,以行人的位置坐标为起始点,分别向左右两侧延长5米,同时垂直连接道路对岸,从而形成虚拟人行横道。由于本发明实施例构建的虚拟人行横道不限定时间和位置,只要没有物理阻隔,行人或者非机动车在路段中任何位置都可以发起请求,生成虚拟人行横道。
步骤206、当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
对于本发明实施例,当所述车道为多车道时,所述方法还包括:若检测到所述行人已经穿过第一目标车道,则控制所述第一目标车道上的车辆逐步恢复行驶;以及/或者若检测到所述行人在第二目标车道上停止通行或者第二目标车道上存在障碍物,则控制所述第二目标车道上的车辆变道行驶。其中,第一目标车道和第二目标车道可以为任意一条车道。
例如,需求偏低路段存在4条车道,当行人行驶过第一车道时,可以缩短虚拟人行横道的范围,控制第一车道上的车辆逐步恢复行驶。再比如,如果通过激光雷达或者毫米波雷达检测到行人在第二条车道上停止通行,或者通过目标检测发现第二条车道上存在障碍物,则可以控制第二条车道上的车辆变道行驶。由此能够进一步提高车辆的通行效率。
进一步地,当行人到达道路对侧时,路侧计算单元可以解除该虚拟人行横道,如果存在多个行人,则需要在所有行人均到达道路对侧的情况下,解除虚拟人行横道,恢复车辆的正常行驶。
本发明实施例提供的另一种基于车路协同的虚拟人行横道构建方法,在接收到行人的过街请求时,如果当前路况满足行人通行条件,则控制来往车辆的行驶速度,构建虚拟人行横道,在行人通行过后,自动消除该虚拟人行横道,控制车辆恢复行驶,从而能够解决行人需求偏低路段的通行安全问题,同时能够兼顾车辆通行效率和建设成本,此外,本发明实施例还能够根据行人的视频图像,分析行人是否属于特殊人群,并根据分析结果,精确控制车辆的行驶速度,从而满足特殊人群的通行需求,保证特殊人群的通行安全。进一步地,本发明实施例还能够在行人通行过程中,实时监控行人与来往车辆之间的距离,并根据实时距离对车辆进行管控,以保证行人在通行过程中的安全。
进一步地,作为图1的具体实现,本发明实施例提供了一种基于车路协同的虚拟人行横道构建装置,如图4所示,所述装置包括:接收单元31、判定单元32、分析单元33、构建单元34和管控单元35。
所述接收单元31,可以用于接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息。
所述判定单元32,可以用于根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件。
所述分析单元33,可以用于若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群。
所述构建单元34,可以用于根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道。
所述管控单元35,可以用于当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
在具体应用场景中,所述判定单元32,具体可以用于若所述需求偏低路段对应的车道上车辆的行驶速度大于或者等于预设行驶速度,且所述车道上车辆与所述行人之间的距离小于或者等于预设距离,则确定所述当前路况不满足行人通行条件;若所述需求偏低路段对应的车道上车辆的行驶速度小于所述预设行驶速度,或者所述车道上车辆与所述行人之间的距离大于所述预设距离,则确定所述当前路况满足行人通行条件。
在具体应用场景中,所述特殊人群包括残障人群和老幼人群,所述分析单元33,如图5所示,包括:检测模块331、确定模块332和识别模块333。
所述检测模块331,可以用于对所述行人的视频图像进行目标检测,得到目标检测结果。
所述确定模块332,可以用于若根据所述目标检测结果确定所述视频图像中存在目标物体,则确定所述行人属于残障人群。
所述识别模块333,可以用于若根据所述目标检测结果确定所述视频图像中不存在目标物体,则对所述行人的视频图像进行人脸识别,根据人脸识别结果判定所述行人是否属于老幼人群。
进一步地,所述检测模块331,具体可以用于以预设步幅移动窗口,遍历所述视频图像的每个区域;将所述每个区域对应的图像输入至第一卷积神经网络进行分类,得到所述每个区域对应的图像的分类结果;根据所述每个区域对应的图像的分类结果,判定所述视频图像中是否存在目标物体。
进一步地,所述识别模块333,具体可以用于对所述视频图像进行人脸检测,得到人脸的位置信息和尺寸信息;基于所述人脸的位置信息和尺寸信息,从所述视频图像中截取人脸图像;将截取的所述人脸图像输入至第二卷积神经网络进行分类,得到所述行人属于所述老幼人群的第一概率值和所述行人不属于所述老幼人群的第二概率值;若所述第一概率值大于所述第二概率值,则确定所述行人属于所述老幼人群。
在具体应用场景中,所述构建单元34,包括:控制模块341和延展模块342。
所述控制模块341,可以用于若所述行人不属于所述特殊人群,则控制与所述行人在第一距离范围内车辆的行驶速度不超过第一速度;若所述行人属于所述特殊人群,则控制与所述行人在第二距离范围内车辆的行驶速度不超过第二速度,其中,所述第二距离范围大于所述第一距离范围,所述第二速度小于所述第一速度。
所述延展模块342,可以用于以所述行人的位置坐标为起始点,分别延所述车道两侧方向延展第一预设长度,延所述车道垂直方向延展第二预设长度,其中,所述第二预设长度为所述行人与车道对岸之间的垂直距离。
在具体应用场景中,所述管控单元35,具体可以用于若所述行人不属于所述特殊人群,则控制所述车道上实时距离小于第一实时距离的车辆减速,并控制所述车道上实时距离小于第二实时距离的车辆停车;若所述行人属于所述特殊人群,则控制所述车道上实时距离小于第三实时距离的车辆减速,并控制所述车道上实时距离小于第四实时距离的车辆停车,其中,所述第三实时距离大于所述第一实时距离,所述第四实时距离大于所述第二实时距离。
在具体应用场景中,当所述车道为多车道时,所述管控单元35,还具体可以用于若检测到所述行人已经穿过第一目标车道,则控制所述第一目标车道上的车辆逐步恢复行驶;以及/或者若检测到所述行人在第二目标车道上停止通行或者第二目标车道上存在障碍物,则控制所述第二目标车道上的车辆变道行驶。
需要说明的是,本发明实施例提供的一种基于车路协同的虚拟人行横道构建装置所涉及各功能模块的其他相应描述,可以参考图1所示方法的对应描述,在此不再赘述。
基于上述如图1所示方法,相应的,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息;根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群;根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道;当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
基于上述如图1所示方法和如图4所示装置的实施例,本发明实施例还提供了一种电子设备的实体结构图,如图6所示,该电子设备包括:处理器41、存储器42、及存储在存储器42上并可在处理器上运行的计算机程序,其中存储器42和处理器41均设置在总线43上所述处理器41执行所述程序时实现以下步骤:接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息;根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群;根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道;当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控。
本发明实施例在接收到行人的过街请求时,如果当前路况满足行人通行条件,则控制来往车辆的行驶速度,构建虚拟人行横道,在行人通行过后,自动消除该虚拟人行横道,控制车辆恢复行驶,从而能够解决行人需求偏低路段的通行安全问题,同时能够兼顾车辆通行效率和建设成本,此外,本发明实施例还能够根据行人的视频图像,分析行人是否属于特殊人群,并根据分析结果,精确控制车辆的行驶速度,从而满足特殊人群的通行需求,保证特殊人群的通行安全。进一步地,本发明实施例还能够在行人通行过程中,实时监控行人与来往车辆之间的距离,并根据实时距离对车辆进行管控,以保证行人在通行过程中的安全。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (8)
1.一种基于车路协同的虚拟人行横道构建方法,其特征在于,包括:
接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息;
根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;
若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群;
根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道;
当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控;
其中,所述根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件,包括:
若所述需求偏低路段对应的车道上车辆的行驶速度小于预设行驶速度,或者所述车道上车辆与所述行人之间的距离大于所述预设距离,则确定所述当前路况满足行人通行条件;
所述特殊人群包括残障人群和老幼人群,所述根据所述行人的视频图像,分析所述行人是否属于特殊人群,包括:
对所述行人的视频图像进行目标检测,得到目标检测结果;
若根据所述目标检测结果确定所述视频图像中存在目标物体,则确定所述行人属于残障人群;
若根据所述目标检测结果确定所述视频图像中不存在目标物体,则对所述行人的视频图像进行人脸识别,根据人脸识别结果判定所述行人是否属于老幼人群;
所述根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,包括:
若所述行人不属于所述特殊人群,则控制与所述行人在第一距离范围内车辆的行驶速度不超过第一速度;
若所述行人属于所述特殊人群,则控制与所述行人在第二距离范围内车辆的行驶速度不超过第二速度,其中,所述第二距离范围大于所述第一距离范围,所述第二速度小于所述第一速度;
所述根据所述实时距离,对所述车道上的相应车辆进行管控,包括:
若所述行人不属于所述特殊人群,则控制所述车道上实时距离小于第一实时距离的车辆减速,并控制所述车道上实时距离小于第二实时距离的车辆停车;
若所述行人属于所述特殊人群,则控制所述车道上实时距离小于第三实时距离的车辆减速,并控制所述车道上实时距离小于第四实时距离的车辆停车,其中,所述第三实时距离大于所述第一实时距离,所述第四实时距离大于所述第二实时距离。
2.根据权利要求1所述的方法,其特征在于,所述根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件,包括:
若所述需求偏低路段对应的车道上车辆的行驶速度大于或者等于预设行驶速度,且所述车道上车辆与所述行人之间的距离小于或者等于预设距离,则确定所述当前路况不满足行人通行条件。
3.根据权利要求1所述的方法,其特征在于,所述对所述行人的视频图像进行目标检测,得到目标检测结果,包括:
以预设步幅移动窗口,遍历所述视频图像的每个区域;
将所述每个区域对应的图像输入至第一卷积神经网络进行分类,得到所述每个区域对应的图像的分类结果;
根据所述每个区域对应的图像的分类结果,判定所述视频图像中是否存在目标物体;
所述对所述行人的视频图像进行人脸识别,根据人脸识别结果判定所述行人是否属于老幼人群,包括:
对所述视频图像进行人脸检测,得到人脸的位置信息和尺寸信息;
基于所述人脸的位置信息和尺寸信息,从所述视频图像中截取人脸图像;
将截取的所述人脸图像输入至第二卷积神经网络进行分类,得到所述行人属于所述老幼人群的第一概率值和所述行人不属于所述老幼人群的第二概率值;
若所述第一概率值大于所述第二概率值,则确定所述行人属于所述老幼人群。
4.根据权利要求1所述的方法,其特征在于,所述位置信息为位置坐标,所述根据所述行人的位置信息,构建虚拟人行横道,包括:
以所述行人的位置坐标为起始点,分别延所述车道两侧方向延展第一预设长度,延所述车道垂直方向延展第二预设长度,其中,所述第二预设长度为所述行人与车道对岸之间的垂直距离。
5.根据权利要求1所述的方法,其特征在于,当所述车道为多车道时,所述方法还包括:
若检测到所述行人已经穿过第一目标车道,则控制所述第一目标车道上的车辆逐步恢复行驶;以及/或者
若检测到所述行人在第二目标车道上停止通行或者第二目标车道上存在障碍物,则控制所述第二目标车道上的车辆变道行驶。
6.一种基于车路协同的虚拟人行横道构建装置,其特征在于,包括:
接收单元,用于接收行人针对需求偏低路段发送的过街请求,所述过街请求携带有所述行人的位置信息;
判定单元,用于根据所述需求偏低路段对应的车道上车辆的行驶速度和所述车道上车辆与所述行人之间的距离,判定当前路况是否满足行人通行条件;
分析单元,用于若所述当前路况满足所述行人通行条件,则根据所述行人的视频图像,分析所述行人是否属于特殊人群,其中,所述特殊人群包括残障人群和老幼人群;
构建单元,用于根据分析结果,控制与所述行人在相应距离范围内车辆的行驶速度,并根据所述行人的位置信息,构建虚拟人行横道;
管控单元,用于当所述行人在所述虚拟人行横道上通行时,计算所述行人与所述车道上车辆的实时距离,并根据所述实时距离,对所述车道上的相应车辆进行管控;
所述判定单元,具体用于若所述需求偏低路段对应的车道上车辆的行驶速度小于预设行驶速度,或者所述车道上车辆与所述行人之间的距离大于所述预设距离,则确定所述当前路况满足行人通行条件;
所述分析单元,具体用于对所述行人的视频图像进行目标检测,得到目标检测结果;若根据所述目标检测结果确定所述视频图像中存在目标物体,则确定所述行人属于残障人群;若根据所述目标检测结果确定所述视频图像中不存在目标物体,则对所述行人的视频图像进行人脸识别,根据人脸识别结果判定所述行人是否属于老幼人群;
所述构建单元,具体用于若所述行人不属于所述特殊人群,则控制与所述行人在第一距离范围内车辆的行驶速度不超过第一速度;若所述行人属于所述特殊人群,则控制与所述行人在第二距离范围内车辆的行驶速度不超过第二速度,其中,所述第二距离范围大于所述第一距离范围,所述第二速度小于所述第一速度;
所述管控单元,具体用于若所述行人不属于所述特殊人群,则控制所述车道上实时距离小于第一实时距离的车辆减速,并控制所述车道上实时距离小于第二实时距离的车辆停车;若所述行人属于所述特殊人群,则控制所述车道上实时距离小于第三实时距离的车辆减速,并控制所述车道上实时距离小于第四实时距离的车辆停车,其中,所述第三实时距离大于所述第一实时距离,所述第四实时距离大于所述第二实时距离。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211353380.8A CN116153051B (zh) | 2022-11-01 | 2022-11-01 | 基于车路协同的虚拟人行横道构建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211353380.8A CN116153051B (zh) | 2022-11-01 | 2022-11-01 | 基于车路协同的虚拟人行横道构建方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116153051A CN116153051A (zh) | 2023-05-23 |
CN116153051B true CN116153051B (zh) | 2023-11-24 |
Family
ID=86357102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211353380.8A Active CN116153051B (zh) | 2022-11-01 | 2022-11-01 | 基于车路协同的虚拟人行横道构建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116153051B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108091176A (zh) * | 2016-11-23 | 2018-05-29 | 吉林大学 | 一种汽车主动防碰撞虚拟斑马线控制系统 |
CN110335479A (zh) * | 2019-07-02 | 2019-10-15 | 华人运通(上海)自动驾驶科技有限公司 | 虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统 |
CN111497864A (zh) * | 2019-01-31 | 2020-08-07 | 斯特拉德视觉公司 | 利用v2x应用程序向人传递当前驾驶意图信号的方法及装置 |
CN114559935A (zh) * | 2020-11-27 | 2022-05-31 | 宝能汽车集团有限公司 | 虚拟斑马线投影控制方法与装置、存储介质、导航系统 |
KR102453096B1 (ko) * | 2022-06-24 | 2022-10-11 | 유에프엠시스템즈 주식회사 | 스마트 횡단보도 신호 제어시스템 |
-
2022
- 2022-11-01 CN CN202211353380.8A patent/CN116153051B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108091176A (zh) * | 2016-11-23 | 2018-05-29 | 吉林大学 | 一种汽车主动防碰撞虚拟斑马线控制系统 |
CN111497864A (zh) * | 2019-01-31 | 2020-08-07 | 斯特拉德视觉公司 | 利用v2x应用程序向人传递当前驾驶意图信号的方法及装置 |
CN110335479A (zh) * | 2019-07-02 | 2019-10-15 | 华人运通(上海)自动驾驶科技有限公司 | 虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统 |
CN114559935A (zh) * | 2020-11-27 | 2022-05-31 | 宝能汽车集团有限公司 | 虚拟斑马线投影控制方法与装置、存储介质、导航系统 |
KR102453096B1 (ko) * | 2022-06-24 | 2022-10-11 | 유에프엠시스템즈 주식회사 | 스마트 횡단보도 신호 제어시스템 |
Also Published As
Publication number | Publication date |
---|---|
CN116153051A (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7339635B2 (ja) | インテリジェント道路インフラストラクチャシステム(iris):システム及び方法 | |
Hu et al. | A review of research on traffic conflicts based on intelligent vehicles | |
US11619940B2 (en) | Operating an autonomous vehicle according to road user reaction modeling with occlusions | |
US11257370B2 (en) | Early warning and collision avoidance | |
RU2737080C1 (ru) | Система дистанционного управления транспортным средством и устройство дистанционного управления | |
CN110083163A (zh) | 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统 | |
JP2022546320A (ja) | 高度車載機器 | |
US20150344031A1 (en) | Method for assisting a driver in driving a vehicle, a driver assistance system, a computer software program product and vehicle | |
US11315431B2 (en) | Systems and methods for autonomous vehicle controls | |
JP2020107080A (ja) | 交通情報処理装置 | |
JP7170637B2 (ja) | 車両制御システム、車両制御方法、およびプログラム | |
CN114945492A (zh) | 协作式交通工具前灯引导 | |
JP2020194209A (ja) | 制御装置、乗降施設、制御方法、およびプログラム | |
CN114627451A (zh) | 运载工具、用于运载工具的方法和存储介质 | |
WO2020014227A1 (en) | Route-specific services for connected automated vehicle highway systems | |
CN114194186B (zh) | 车辆行驶控制装置 | |
CN114475662A (zh) | 一种基于环境感知和多车协同的车载智能控制系统 | |
CN117935597A (zh) | 一种交叉路口智能协同路径规划系统 | |
CN110794821B (zh) | 车载控制装置、场端定位装置、车辆控制系统及车辆 | |
CN116153051B (zh) | 基于车路协同的虚拟人行横道构建方法及装置 | |
CN114973644B (zh) | 道路信息生成装置 | |
CN110775054B (zh) | 车载控制装置、场端定位装置、车辆控制系统及车辆 | |
CN116710985A (zh) | 车辆的行驶控制系统、用于该系统的服务器装置及车辆 | |
CN112712718A (zh) | 通过v2x的车辆、车队管理和交通信号灯交互体系结构设计 | |
CN111710175B (zh) | 交通信号灯的控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |