CN114743375A - 一种基于机器视觉融合路网时空信息的交通流预测方法 - Google Patents

一种基于机器视觉融合路网时空信息的交通流预测方法 Download PDF

Info

Publication number
CN114743375A
CN114743375A CN202210367563.9A CN202210367563A CN114743375A CN 114743375 A CN114743375 A CN 114743375A CN 202210367563 A CN202210367563 A CN 202210367563A CN 114743375 A CN114743375 A CN 114743375A
Authority
CN
China
Prior art keywords
traffic flow
road
information
time
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210367563.9A
Other languages
English (en)
Other versions
CN114743375B (zh
Inventor
陈婧
王其超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210367563.9A priority Critical patent/CN114743375B/zh
Publication of CN114743375A publication Critical patent/CN114743375A/zh
Application granted granted Critical
Publication of CN114743375B publication Critical patent/CN114743375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于机器视觉融合路网时空信息的交通流预测方法。该方法可以充分利用路网拓扑信息和时序信息实现交通流特征建模。同时，在给定的数据集图像中首先进行目标检测和图像分类，来获取道路上车辆的数目和该条道路的密度状况。然后该方法利用门控循环单元网络结合注意力机制提取交通流序列特征后，将时序特征输入到根据道路周围联通道路所建立的连通图结构中实现空间拓扑信息的融合，最后使用全连接层将时空特征用于交通流预测。

Description

一种基于机器视觉融合路网时空信息的交通流预测方法
技术领域
本发明涉及智能交通领域，涉及对交通流量的预测，具体涉及一种基于机器视觉融合路网时空信息的交通流预测方法。
背景技术
当代社会中城市化进程大大加快，交通资源对于人类生活变得愈发重要。近年来，智能交通系统对于整合交通资源，充分发掘城市交通道路的潜力，提高人们的出行效率起着越来越重要的作用。而智能交通系统的最终目标是实现对道路上交通代理实现有效监控和调度，及时控制突发事件与预测将来时刻的交通流量。因此，可见利用过往历史信息实现对未来交通流的预测至关重要。
在智能交通系统中，交通流预测在各种交通场景之中都有着广泛的应用。交通流预测指的是给定一段历史时间的交通流量数据进行建模，预测未来某个时间点该道路上的交通流。根据所预测的时间点据当前时间点跨度的不同，可以分为长时交通流预测和短时交通流预测。长时交通流预测以小时、天、周、为单位；而短时交通流预测的时间单位通常为五到三十分钟之内。通过交通流预测可以实现交通调度，为人们的日常出行提供方便。
然而交通流预测却受到时间和空间维度的双重限制，时间上表现为非线性、周期性，空间上整体交通网络中每条道路上的车流量相互影响。因此，交通流预测任务实际上是一项极具挑战性的任务。传统的交通流预测方法大多基于时间序列预测模型，这些模型只是对历史数据做一些简单运算，并不能真正利用这些历史数据的时空依赖性，因此在长时间交通流预测和发生突然事件时表现差。不同于时间序列预测只关注时序特征的时间相关性，本专利在路网交通预测中同时也关注路网中不同路段间的空间相关性。由于城市道路所在的城区可以近似看作一个规则的地理区域，将地理区域进行等距划分，并提取时间与空间特征。
发明内容
针对时间和空间维度的共同制约，同时为了解决以上提出的种种问题，我们提出了一种基于机器视觉融合路网时空信息的交通流预测方法。该方法可以充分利用路网拓扑信息和时序信息实现交通流特征建模。同时，我们在给定的数据集图像中首先进行目标检测和图像分类，来获取道路上车辆的数目和该条道路的密度状况。然后该方法利用门控循环单元网络结合注意力机制提取交通流序列特征后，将时序特征输入到根据道路周围联通道路所建立的连通图结构中实现空间拓扑信息的融合，最后使用全连接层将时空特征用于交通流预测。
一种基于机器视觉融合路网时空信息的交通流预测方法，具体包括以下步骤：
步骤一：车流量信息提取。使用目标检测算法对道路车辆进行检测，获取道路上的车流量信息。经过目标检测和道路车道类型分类，最终可以获得每条车道上的车辆数目，再通过计算得到车辆的驶入摄像机视野和驶出摄像机视野的车辆总数和交通状态。
步骤二：基于门控循环单元网络的时序特征提取。使用一层门控循环单元网络模型用于处理输入的时序车流量数据，以提取时序数据中的潜在特征供后续模块继续处理。
步骤三：基于注意力机制的时序特征关联。使用多头注意力机制将注意力放在时序特征应该被关注的地方。
步骤四：基于图卷积网络的空间特征融合。在利用步骤三的时序网络结合步骤四的注意力机制捕获了交通流量时间上的依赖关系之后，然后进行空间信息的提取，最终利用时空依赖关系来预测交通流量。
本发明具有以下有益效果：
1.不同于其他路网流量预测工作直接使用数据集中的真实交通数据，我们利用机器视觉算法从道路监控图像中提取车辆数目和道路交通状态；
2.我们在将交通流量作为训练特征的同时，同时也将道路交通状态作为训练特征，从而获取融合更丰富的交通特征；
3.针对图卷积过程，在对被预测节点的2-hop图进行图卷积后，将其1-hop图进行进一步的图卷积，以此来关注更近邻的流量特征，此外，我们还对路网流量进行时空回溯，即将图中车流的流向进行反转，进行图卷积后与正向时空特征进行融合；
附图说明
图1为融合路网时空信息的交通流预测方法的框架图。
图2为交通节点及其邻居节点的图结构。
图3为交通节点及其邻居节点的反转图结构。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
一种基于机器视觉融合路网时空信息的交通流预测方法，具体包括以下步骤：
步骤一：我们将使用目标检测算法对道路车辆进行检测，获取道路上的车流量信息。
目标检测过程中，除了对整幅图像检测外，还要根据道路掩膜图像进行区域划分。在数据集标注文件中，对道路掩膜图像像素数值进行了详细说明，对于道路掩膜图像，其中像素数值代表的道路类型为：当R[i,j]＝0时，非道路区域；当R[i,j]＝50时，向摄像机视野外行驶；当R[i,j]＝100时，向摄像机视野内行驶；当R[i,j]＝150时，为右转车道；当R[i,j]＝200时，为左转车道；当R[i,j]＝250时，为直行车道。通过目标检测后得到的车辆边界框，计算边界框的中心点，然后判断中心点属于道路掩膜的何种像素，就可以判明车辆此时位于哪条车道。经过目标检测和道路车道类型分类，最终可以获得每条车道上的车辆数目，再通过计算得到车辆的驶入摄像机视野和驶出摄像机视野的车辆总数。另外，将道路交通状态分类为队列状态和自由流状态。根据标记的处于排队或者自由流状态的图像，划分了训练集和验证集。在实验的实施过程中，对其重新使用检测网络进行训练。
步骤二：基于门控循环单元网络的时序特征提取。
在时间序列预测任务中，为了解决时间序列所存在的长期依赖问题采用门控循环单元网络的时序特征提取方法。它使用门控机制来输入输出以及记忆信息，通过重置门将当前时刻输入信息与记忆信息实现聚合，通过更新门负责记忆历史信息。
步骤三：基于注意力机制的时序特征关联。
注意力机制模块的目标是有效获取经过门控循环单元网络特征提取后时序数据间隐藏的时间关联。在同一交通节点对应的道路中，不同时间点(如邻近时间、每日、每周)之内总是存在某种动态的时间相关性。由于本研究利用的时间序列信息较短，没有考虑每日和每周的长范围时间信息，所以只使用注意力机制提取邻近时间点的时间依赖。对于注意力机制的选用，选用多头注意力机制将注意力放在时序特征所应该被关注的地方。对于交通流量时序预测，一般情况下输入序列与所需要预测的未来时刻流量不同，而恰好注意力机制发生在输入流量序列和目标流量这整个过程之中，计算目标流量与输入序列中各时间点流量的相似度，通过加权求和输出注意力数值。相较于普通的注意力机制，自注意力机制对普通的注意力机制进行改进，只计算输入序列内部各个时间点之间的相互关联程度，而不与目标流量进行相关的关联。因此，自注意力机制可以捕获输入序列中的各时间点流量间的特征依赖，尤其捕获序列中长序列特征更为明显。
步骤四：基于图卷积网络的空间特征融合。
首先利用时序网络结合注意力机制捕获了交通流量时间上的依赖关系，然后再进行空间信息的提取，最终利用时空依赖关系来预测交通流量。通过在频域中构建滤波器来提取被预测节点及其邻域的空间信息。如图2所示，1号节点是中心节点，利用图卷积模型可以提取中心节点及其周围邻域2-hop图上所有的历史流量信息。此外，我们还针对中心节点的1-hop邻居作为子图进行进一步的空间特征提取。在图上1-hop节点流入中心节点或者从中心节点流出的流量必然会比2-hop邻居更多，在重要性上也1-hop上的流量也会对中心节点的流量预测显得更重要。在对1-hop进行图卷积操作之前，我们先使用全局池化操作表征2-hop图的信息，此操作可以保留传递到1-hop图卷积层上的信息，使其在层间传递时减少损失。由于流量从邻居节点流入中心节点，再从中心节点流出，这整个过程中中心节点对于这部分流量都有参与属性存在。因此可以假设流入的车流变成流出车流，反之亦然，这样中心节点仍然处于流量的流经途径上，这便相当于对整个2-hop图做了反转，如图3所示。

Claims (4)

1.一种基于机器视觉融合路网时空信息的交通流预测方法，其特征在于，具体包括以下步骤：
步骤一：车流量信息提取
使用目标检测算法对道路车辆进行检测，获取道路上的车流量信息；经过目标检测和道路车道类型分类，获得每条车道上的车辆数目，再通过计算得到车辆的驶入摄像机视野和驶出摄像机视野的车辆总数和交通状态；
步骤二：基于门控循环单元网络的时序特征提取
使用一层门控循环单元网络模型用于处理输入的时序车流量数据，以提取时序数据中的潜在特征供后续模块继续处理；
步骤三：基于注意力机制的时序特征关联
使用多头注意力机制将注意力放在时序特征中不同时段对流量的权重影响；
步骤四：基于图卷积网络的空间特征融合
在利用时序网络结合注意力机制捕获了交通流量时间上的依赖关系之后，然后进行空间信息的提取，最终利用时空依赖关系来预测交通流量。
2.根据权利要求1所述的一种基于机器视觉融合路网时空信息的交通流预测方法，其特征在于：所述的使用目标检测算法对道路车辆进行检测，获取道路上的车流量信息，具体包括以下步骤：目标检测过程中，除了对整幅图像检测外，还要根据道路掩膜图像进行区域划分；在数据集标注文件中，对道路掩膜图像像素数值进行了详细说明，对于道路掩膜图像，其中像素数值代表的道路类型为：当R[i，j]＝0时，非道路区域；当R[i，j]＝50时，向摄像机视野外行驶；当R[i，j]＝100时，向摄像机视野内行驶；当R[i，j]＝150时，为右转车道；当R[i，j]＝200时，为左转车道；当R[i，j]＝250时，为直行车道；通过目标检测后得到的车辆边界框，计算边界框的中心点，然后判断中心点属于道路掩膜的何种像素，即判明车辆此时位于哪条车道；经过目标检测和道路车道类型分类，最终获得每条车道上的车辆数目，再通过计算得到车辆的驶入摄像机视野和驶出摄像机视野的车辆总数。
3.根据权利要求1所述的一种基于机器视觉融合路网时空信息的交通流预测方法，其特征在于：所述的使用一层门控循环单元网络模型用于处理输入的时序车流量数据，具体为使用门控机制来输入输出以及记忆信息，通过重置门将当前时刻输入信息与记忆信息实现聚合，通过更新门负责记忆历史信息。
4.根据权利要求1所述的一种基于机器视觉融合路网时空信息的交通流预测方法，其特征在于：在利用时序网络结合注意力机制捕获了交通流量时间上的依赖关系之后，然后进行空间信息的提取，最终利用时空依赖关系来预测交通流量；其中空间信息的提取，是通过在频域中构建滤波器来提取被预测节点及其邻域的空间信息，具体为：利用图卷积模型提取中心节点及其周围邻域2-hop图上所有的历史流量信息；针对中心节点的1-hop邻居作为子图进行进一步的空间特征提取；对1-hop进行图卷积操作之前，先使用全局池化操作表征2-hop图的信息，此操作保留传递到1-hop图卷积层上的信息，使其在层间传递时减少损失；由于流量从邻居节点流入中心节点，再从中心节点流出，这整个过程中中心节点对于这部分流量都有参与属性存在。
CN202210367563.9A 2022-04-08 2022-04-08 一种基于机器视觉融合路网时空信息的交通流预测方法 Active CN114743375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210367563.9A CN114743375B (zh) 2022-04-08 2022-04-08 一种基于机器视觉融合路网时空信息的交通流预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210367563.9A CN114743375B (zh) 2022-04-08 2022-04-08 一种基于机器视觉融合路网时空信息的交通流预测方法

Publications (2)

Publication Number Publication Date
CN114743375A true CN114743375A (zh) 2022-07-12
CN114743375B CN114743375B (zh) 2023-09-15

Family

ID=82279120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210367563.9A Active CN114743375B (zh) 2022-04-08 2022-04-08 一种基于机器视觉融合路网时空信息的交通流预测方法

Country Status (1)

Country Link
CN (1) CN114743375B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115440044A (zh) * 2022-07-29 2022-12-06 深圳高速公路集团股份有限公司 一种公路多源事件数据融合方法、装置、存储介质及终端
CN116824870A (zh) * 2023-08-31 2023-09-29 国交空间信息技术（北京）有限公司 路段流量预测方法、装置、设备以及存储介质
CN117058880A (zh) * 2023-08-30 2023-11-14 黑龙江八一农垦大学 一种基于交通大数据的车流量预测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754605A (zh) * 2019-02-27 2019-05-14 中南大学 一种基于注意力时态图卷积网络的交通预测方法
CN109919358A (zh) * 2019-01-31 2019-06-21 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法
CN110969854A (zh) * 2019-12-13 2020-04-07 深圳先进技术研究院 一种交通流量的预测方法、系统及终端设备
CN112183862A (zh) * 2020-09-29 2021-01-05 长春理工大学 一种城市路网的交通流量预测方法及系统
US20210064999A1 (en) * 2019-08-29 2021-03-04 Nec Laboratories America, Inc. Multi-scale multi-granularity spatial-temporal traffic volume prediction
CN112464737A (zh) * 2020-11-04 2021-03-09 浙江预策科技有限公司 道路标线的检测与识别方法、电子装置和存储介质
CN112988723A (zh) * 2021-02-09 2021-06-18 北京工业大学 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法
CN113450568A (zh) * 2021-06-30 2021-09-28 兰州理工大学 一种基于时空注意力机制的卷积网络交通流预测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919358A (zh) * 2019-01-31 2019-06-21 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法
CN109754605A (zh) * 2019-02-27 2019-05-14 中南大学 一种基于注意力时态图卷积网络的交通预测方法
US20210064999A1 (en) * 2019-08-29 2021-03-04 Nec Laboratories America, Inc. Multi-scale multi-granularity spatial-temporal traffic volume prediction
CN110969854A (zh) * 2019-12-13 2020-04-07 深圳先进技术研究院 一种交通流量的预测方法、系统及终端设备
CN112183862A (zh) * 2020-09-29 2021-01-05 长春理工大学 一种城市路网的交通流量预测方法及系统
CN112464737A (zh) * 2020-11-04 2021-03-09 浙江预策科技有限公司 道路标线的检测与识别方法、电子装置和存储介质
CN112988723A (zh) * 2021-02-09 2021-06-18 北京工业大学 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法
CN113450568A (zh) * 2021-06-30 2021-09-28 兰州理工大学 一种基于时空注意力机制的卷积网络交通流预测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115440044A (zh) * 2022-07-29 2022-12-06 深圳高速公路集团股份有限公司 一种公路多源事件数据融合方法、装置、存储介质及终端
CN115440044B (zh) * 2022-07-29 2023-10-13 深圳高速公路集团股份有限公司 一种公路多源事件数据融合方法、装置、存储介质及终端
CN117058880A (zh) * 2023-08-30 2023-11-14 黑龙江八一农垦大学 一种基于交通大数据的车流量预测系统
CN116824870A (zh) * 2023-08-31 2023-09-29 国交空间信息技术（北京）有限公司 路段流量预测方法、装置、设备以及存储介质
CN116824870B (zh) * 2023-08-31 2023-11-24 国交空间信息技术（北京）有限公司 路段流量预测方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN114743375B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN114743375A (zh) 一种基于机器视觉融合路网时空信息的交通流预测方法
CN112257934A (zh) 一种基于时空动态神经网络的城市人流预测方法
CN110147904B (zh) 一种城市聚集事件预测与定位方法及装置
Chen et al. A graph convolutional stacked bidirectional unidirectional-LSTM neural network for metro ridership prediction
CN111223301B (zh) 一种基于图注意力卷积网络的交通流量预测方法
CN107230351A (zh) 一种基于深度学习的短时交通流预测方法
CN110910659B (zh) 一种交通流量预测方法、装置、设备以及存储介质
US20240054321A1 (en) Traffic prediction
CN114519932B (zh) 一种基于时空关系抽取的区域交通状况集成预测方法
CN111009129B (zh) 基于时空深度学习模型的城市道路交通流预测方法及装置
CN113673769B (zh) 基于多元时间序列插补的图神经网络交通流预测方法
CN112863182B (zh) 基于迁移学习的跨模态数据预测方法
Xu et al. Efficient CityCam-to-edge cooperative learning for vehicle counting in ITS
CN114493034A (zh) 一种面向区域流量预测的时空全局语义表示学习方法
Bertolusso et al. Vehicular and pedestrian traffic monitoring system in smart city scenarios
CN115762147B (zh) 一种基于自适应图注意神经网络的交通流量预测方法
CN112382081A (zh) 一种基于多任务的交通流量预测方法
CN115565370B (zh) 一种局部时空图卷积交通流量预测方法及系统
Fang et al. Traffic speed prediction based on LSTM-graph attention network (L-GAT)
Mittal et al. Analysis and designing of proposed intelligent road traffic congestion control system with image mosaicking technique
CN115662128A (zh) 一种基于注意力机制的动态时空神经网络交通流量预测方法
CN116562449A (zh) 基于知识图谱与时空图卷积的行人流量预测方法及系统
CN114360242B (zh) 一种基于混合卷积lstm的城市短时交通流预测方法及系统
CN111242044B (zh) 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
Kumar et al. Traffic density estimation using progressive neural architecture search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant