CN109299401B - 基于混合深度学习模型LSTM-ResNet的城域时空流预测方法 - Google Patents

基于混合深度学习模型LSTM-ResNet的城域时空流预测方法 Download PDF

Info

Publication number
CN109299401B
CN109299401B CN201810762264.9A CN201810762264A CN109299401B CN 109299401 B CN109299401 B CN 109299401B CN 201810762264 A CN201810762264 A CN 201810762264A CN 109299401 B CN109299401 B CN 109299401B
Authority
CN
China
Prior art keywords
resnet
time
lstm
space
spatio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810762264.9A
Other languages
English (en)
Other versions
CN109299401A (zh
Inventor
韩勇
任沂斌
陈戈
王程
周林
王舒康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201810762264.9A priority Critical patent/CN109299401B/zh
Publication of CN109299401A publication Critical patent/CN109299401A/zh
Application granted granted Critical
Publication of CN109299401B publication Critical patent/CN109299401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于混合深度学习模型LSTM‑ResNet的城域时空流预测方法。准确预测城市时空数据流的变化可为城市管理提供重要参考,这其中的关键是有效提取数据中的时空依赖特征。当前,已被应用到时空流预测的卷积神经网络侧重空间关联特征的提取,忽略了时间维度的依赖关系和时空关联特征。深度学习模型中,长短记忆网络(LSTM)适用于时间序列的动态建模,残差卷积网络(ResNet)适用于大范围空间关联特征提取。因此,我们融合LSTM和ResNet,构建时空流预测混合深度学习模型:利用LSTM考虑前后时间依赖,滤掉无效时间特征;将LSTM的输出输入到ResNet中,提取时空关联特征。该模型能够自动、准确地捕获时空关联特征,特别是考虑前后依赖的情况下保留有效时间特征。

Description

基于混合深度学习模型LSTM-ResNet的城域时空流预测方法
技术领域
本发明属于地理信息技术领域,具体涉及一种对城市规模的时空数据流预测方法。
背景技术
在我们的日常生活中,人们通过多种行为活动(如驾驶、骑车、步行等)与城市空间进行时空交互。近年来,由于传感器技术和互联网的快速进步,这些活动所产生的大量移动数据都可以被记录下来。通常情况下,一个典型的移动数据集由一组对象(如人、私家车或公交车)和他们在空间和时间上的轨迹构成,蕴含了丰富的时空信息。通过对这些移动数据集按时间和空间维度进行汇总统计,可以得到时空流数据,通常包括两种基本类型:输入流和输出流。对于给定空间单元,一定时间间隔内,从其他空间单元进入该空间单元的对象数量称为该空间单元的输入流。类似,从该空间单元出发进入其他空间单元的对象数量称为输出流。以输入流和输出流为基础,可计算得到其他类型时空流如总流量和净流量等。
显然,时空流数据定量地反映了移动对象的时空分布特征,可为城市管理提供重要的参考:如果能够对城市中的时空流分布做出准确地预测,就可以对交通拥堵、人流拥挤等城市问题做出针对性预案,从而改善城市安全、提升管理水平。因此,时空数据流预测是近几十年来的研究热点,具有重要意义。
目前,时空流预测模型总体可分为三类:统计学方法、机器学习方法和深度学习方法。统计模型和机器学习模型属于传统方法,人们需要从原始数据中提取有效的特征输入预测模型,称为特征工程。大数据时代,数据量的爆炸性增长使得传统预测算法的特征工程变得异常复杂,严重制约了大数据优势的发挥。深度学习的出现使得构建可接受原始数据输入的“端到端”模型成为可能,大大减少了特征工程的复杂度。因此,有学者将深度学习方法引入到时空流预测中,主要包括基于长短记忆网络(LSTM)和卷积神经网络(CNN)的预测方法。
(1)长短时记忆网络(LSTM):LSTM是一种特殊的循环神经网络。对于序列中的每一个元素,它将当前步骤的输出输入到下一个步骤的输入层并循环进行这个过程。当前步骤的输出依赖于当前的输入和之前层提取到的特征,使得序列的依赖关系可以被捕获到。给定一个数据序列作为输入和一个输出目标,序列中与输出目标存在依赖关系的信息会被LSTM记住。
(2)卷积神经网络(CNN):CNN专门设计用来提取网格数据的空间依赖关系。卷积单元通过卷积核与上一层和卷积核对应的输入进行局部连接。设Xi,j是输入数组第i列和第j行上的值,假设卷积核是以Xi,j为中心、有2M+1列和2N+1行的一个2维张量,那么相应的输出Yi,j可通过(1)式计算,其中“*”为卷积算子,空间邻域(2M+1列,2N+1行)与中心单元的空开依赖关系可以被捕获。通过叠加多个CNN层可以检测到从近到远的空间特征。
Figure GDA0003344953530000021
残差网络(ResNet)能有效增加CNN的深度,从而扩大空间特征的提取范围。因此,ResNet也被应用到城市范围的时空流预测中,并取得了比传统CNN更好的效果。
目前,基于LSTM的时空流预测模型侧重于提取时空流数据中的时间特征,而基于ResNet的预测模型侧重于空间特征的提取。虽然时空残差网络(ST-ResNet)一定程度上同步考虑了时间和空间特征,然而,其忽略了时空单元在时间维度上的前后依赖关系,从而影响了时空特征捕获的准确性。因此,开发一种新型融合LSTM和CNN的混合深度学习预测模型,实现对时空特征的一体化提取对城域时空流的预测是很有必要的。
发明内容
本发明的技术效果能够克服上述缺陷,提供一种基于混合深度学习模型LSTM-ResNet的城域时空流预测方法。此方法将LSTM与ResNet集成,以更准确地捕捉时空特征,用于城域时空流预测。首先,利用LSTM考虑时间维度的前后依赖关系滤除无效的时间特征,然后,将LSTM保留的时空特征输入到多层ResNet模型中,以提取时空相关性。LSTM记忆的特征包含与预测目标相关的时间特征以及全部的空间特征。这些记忆的时间特征考虑了输入序列的在时间上前后依赖关系。因此,新模型能够自动、准确地捕获空间和时间特征,特别是基于时间维的前后依赖关系提取时间特征,从而提高时空特征的捕获精度。
为实现上述目的,本发明采用如下技术方案,具体步骤为:
(1)构造多模式输入数据集。根据人们活动的时空规律,将输入时空数据分为邻近时间模式、天周期模式和周周期模型,分别构造输入序列,用于不同模式的时空特征提取;
(2)无效时间特征滤除。将三种模式的输入数据集分别输入到三个相同结构的LSTM模型中,利用LSTM考虑前后依赖关系滤除无效的时间特征,保留有效的时间特征和空间特征,得到三个候选特征图;
(3)时空特征提取。将三个候选特征图分别输入到三个相同结构的ResNet模型中,利用ResNet的卷积操作提取时空相关特征,得到三个时空特征图;
(4)将三个时空特征图进行加权融合,形成一个总时空特征图,并进一步与天气、时间、节假日等外部因素融合,形成预测结果;
(5)计算损失,根据损失值反向传播优化整个模型,直至完成模型训练。
本发明的有益效果在于:基于混合深度学习模型LSTM-ResNet的城域时空流预测方法能够比现有的基于深度学习的时空流预测模型更准确地捕捉时空特征,从而获得更好的预测结果。
附图说明
图1基于混合深度学习模型LSTM-ResNet的城域时空流预测方法流程图。
具体实施方式
本发明的基于混合深度学习模型LSTM-ResNet的城域时空流预测方法(如图1所示),包括以下步骤:
(1)将输入数据集处理为三种形式:以小时、日和周模式为间隔的时空流系列。假设预测目标的时间间隔为tth,一天的时间间隔总数为m,时间缓冲区的半径为b,第i个时间间隔的时空流动数据为三维张量为Xi。输入数据
Figure GDA0003344953530000031
Figure GDA0003344953530000032
分别为:
Figure GDA0003344953530000033
Figure GDA0003344953530000036
Figure GDA0003344953530000034
(2)LSTM模型从输入的时空流序列中滤除无效时间特征。将原始时空流序列送入多层LSTM模型,通过
Figure GDA0003344953530000035
对数据进行变换,最终得到候选特征图CO×M×N(O代表LSTM层的神经元的数量,M×N代表网格地图);
(3)使用一个卷积层CNN1,将候选特征映射转换为ResNet模型的输入。变换可记为式:
CK×M×N=Fconv(CO×M×N,K)
Fconv表示卷积运算,CK×M×N表示输入ResNet模型,CO×M×N表示最后一次输出,O为隐藏层个数,M和N分别代表网格边长;
(4)利用多层ResNet模型对候选特征图进行分层卷积捕捉数据的时空特性。将上一步的变换输入到多层ResNet模型中进行卷积运算而不进行子采样和池化,使输出网格的维数与原始输入网格的维数相同。通过STK×M×N=Fresnet(CK×M×N)对数据进行变换得到候选特征图STK×M×N
(5)将上一步ResNet的输出转换为时空特征图。将数据利用式
Figure GDA0003344953530000041
转换为(2,M,N)格式的张量;
(6)将以上步骤从STCMH、STCMD和STCMW三个模式中得到的时空特征图进行融合。建立与时空特征图相同形状的三个参数矩阵:WH、WD和WW。利用
Figure GDA0003344953530000042
对数据进行合并,同时融合气象、时间、假日等外部因素。使用tanh作为激活函数最终形成预测结果;
(7)计算损失,根据损失值反向传播优化整个模型,直至完成模型训练。

Claims (8)

1.基于混合深度学习模型LSTM-ResNet的城域时空流预测方法,其特征在于,具体包括以下基本步骤:
步骤(1)将输入数据集进行预处理,将输入数据集处理为三种形式:以小时、日和周模式为间隔的时空流序列;
步骤(2)将时空流序列送入多层LSTM模型,利用LSTM模型从输入的时空流序列中获取时间相关性,使LSTM记住有效的时间和空间特征,形成候选特征图;
步骤(3)将候选特征映射到ResNet的输入,ResNet单元的短路连接要求输入元素和输出元素具有相同的张量形状,使用卷积层CNN1对步骤(2)中结果进行处理,使其可以作为ResNet的输入;
步骤(4)将步骤(3)中的结果作为ResNet的输入,输入到多层ResNet模型当中进行变换,并利用ResNet捕捉时空特性;
步骤(5)将ResNet的输出转换为带有时空特征的地图,使用卷积层CNN2将ResNet的输出转换为(2,M,N)格式的张量,使这个张量包括LSTM和ResNet共同捕捉的特征;
步骤(6)将上述步骤所得结果进行特征融合,通过之前步骤,将会得到以小时、天和周为时间间隔的时空数据流,可以从中获取时空特征图,将这些图以基于矩阵的方法进行合并,将合并后的数据与外部因素进行融合并用tanh作为激活函数,得到预测值;
步骤(7)计算损失函数值,并进行反向传播,将预测值与真实值进行比较,得到损失函数值,并进行反向传播不断减小损失函数值。
2.根据权利要求1所述的基于混合深度学习模型LSTM-ResNet的城域时空流预测方法,其特征在于,所述步骤(1)中,假设预测目标的时间间隔为tth,一天的时间间隔总数为m,时间缓冲区的半径为b,第i个时间间隔的时空数据流为三维张量为Xi,输入数据
Figure FDA0003344953520000011
Figure FDA0003344953520000012
分别为:
Figure FDA0003344953520000013
Figure FDA0003344953520000014
Figure FDA0003344953520000015
3.根据权利要求1所述的基于混合深度学习模型LSTM-ResNet的城域时空流预测方法,其特征在于,所述步骤(2)中,将时空流序列送入多层LSTM模型,将最后一层的输出作为候选特征图返回,候选映射包含有效的时间依赖关系和空间特征,这样,使LSTM模型从输入的时空流序列中获取时间相关性,记住有效的时间和空间特征。
4.根据权利要求1所述的基于混合深度学习模型LSTM-ResNet的城域时空流预测方法,其特征在于,所述步骤(3)中,由于ResNet单元的短路连接要求输入元素和输出元素具有相同的张量形状,而对于第二个CNN层的输出元素,其形状由CNN层中卷积核数K决定,利用卷积层CNN1及式CK×M×N=Fconv(CO×M×N,K)进行变换,将候选特征映射转换为ResNet模型的输入,这里Fconv表示卷积运算,CK×M×N表示ResNet模型的输入。
5.根据权利要求1所述的基于混合深度学习模型LSTM-ResNet的城域时空流预测方法,其特征在于,所述步骤(4)中,将步骤(3)变换后的候选特征图输入到一个多层ResNet模型中,为使输出网格的维数与原始输入网格的维数相同,这里只进行卷积运算,不进行子采样和池化,通过ResNet模型捕捉研究区域的时空特性。
6.根据权利要求1所述的基于混合深度学习模型LSTM-ResNet的城域时空流预测方法,其特征在于,所述步骤(5)中,使用ResNet后,所得结果为STK×M×N,由于张量预测目标的形状(2,M,N),因此使用卷积层CNN2将ResNet的输出变换成形状为(2,M,N)的张量,这个张量包含ResNet和LSTM捕捉到的时空特征。
7.根据权利要求1所述的基于混合深度学习模型LSTM-ResNet的城域时空流预测方法,其特征在于,所述步骤(6)中,将上述步骤所得到的从以小时、天和周为时间间隔的时空数据流中获取的时空特征图以基于参数矩阵的方法进行合并,创建与时空特征图具有相同形状的三个参数矩阵:WH、WD和WW,合并结果为三种时空特征图与其权重乘积的累加,将合并结果与外部因素进行融合并使用tanh作为激活函数,得到预测值。
8.根据权利要求1所述的基于混合深度学习模型LSTM-ResNet的城域时空流预测方法,其特征在于,所述步骤(7)中,将预测值与真实值进行比较,得到损失函数值,损失函数值为预测值与真实值差值平方累加的均值,对神经网络进行反向传播不断减小损失函数值。
CN201810762264.9A 2018-07-12 2018-07-12 基于混合深度学习模型LSTM-ResNet的城域时空流预测方法 Active CN109299401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810762264.9A CN109299401B (zh) 2018-07-12 2018-07-12 基于混合深度学习模型LSTM-ResNet的城域时空流预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810762264.9A CN109299401B (zh) 2018-07-12 2018-07-12 基于混合深度学习模型LSTM-ResNet的城域时空流预测方法

Publications (2)

Publication Number Publication Date
CN109299401A CN109299401A (zh) 2019-02-01
CN109299401B true CN109299401B (zh) 2022-02-08

Family

ID=65172510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810762264.9A Active CN109299401B (zh) 2018-07-12 2018-07-12 基于混合深度学习模型LSTM-ResNet的城域时空流预测方法

Country Status (1)

Country Link
CN (1) CN109299401B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147904B (zh) * 2019-04-23 2021-06-18 深圳先进技术研究院 一种城市聚集事件预测与定位方法及装置
CN110264709B (zh) * 2019-05-06 2021-02-12 北京交通大学 基于图卷积网络的道路的交通流量的预测方法
CN110503267B (zh) * 2019-08-29 2022-08-26 南京师范大学 基于时空尺度自适应模型的城市侵财案件预测系统及预测方法
CN110517494A (zh) * 2019-09-03 2019-11-29 中国科学院自动化研究所 基于集成学习的交通流预测模型、预测方法、系统、装置
CN110659773A (zh) * 2019-09-16 2020-01-07 杭州师范大学 一种基于深度学习的航班延误预测方法
CN110570678B (zh) * 2019-10-23 2021-03-19 厦门大学 一种公交车辆从起点到终点总行驶时间预测方法及装置
CN112291807B (zh) * 2020-10-15 2022-09-23 山东科技大学 一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法
CN112565401A (zh) * 2020-12-03 2021-03-26 华东师范大学 基于物联网云平台的封闭环境人员数量检测可视化方法及系统
CN112561174B (zh) * 2020-12-18 2023-05-02 西南交通大学 基于lstm和mlp的叠加神经网络预测地热产能方法
CN112862165B (zh) * 2021-01-23 2022-04-26 西南交通大学 一种基于3d反卷积的出行需求预测方法
CN112766600B (zh) * 2021-01-29 2023-05-26 武汉大学 一种城市区域人群流量预测方法及系统
CN113053123B (zh) * 2021-03-23 2022-10-28 长安大学 一种基于时空大数据的交通量预测方法及装置
CN113239482B (zh) * 2021-04-23 2022-02-08 北京科技大学 一种转炉后吹碳含量动态预测方法及装置
CN113780679B (zh) * 2021-09-27 2024-04-16 深圳供电局有限公司 一种基于泛在电力物联网的负荷预测方法及装置
US20230132070A1 (en) * 2021-10-27 2023-04-27 International Business Machines Corporation Features for black-box machine-learning models
CN116363878B (zh) * 2023-05-26 2023-08-11 云南大学 基于连续动态常微分方程的交通流量预测系统及方法
CN116996697B (zh) * 2023-07-24 2024-02-23 南通大学 一种面向hevc编码框架的视频恢复方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103758A (zh) * 2017-06-08 2017-08-29 厦门大学 一种基于深度学习的城市区域交通流量预测方法
CN107230351A (zh) * 2017-07-18 2017-10-03 福州大学 一种基于深度学习的短时交通流预测方法
CN107529651A (zh) * 2017-08-18 2018-01-02 北京航空航天大学 一种基于深度学习的城市交通客流预测方法和设备
CN107562784A (zh) * 2017-07-25 2018-01-09 同济大学 基于ResLCNN模型的短文本分类方法
CN107832458A (zh) * 2017-11-27 2018-03-23 中山大学 一种字符级的基于嵌套深度网络的文本分类方法
CN107967532A (zh) * 2017-10-30 2018-04-27 厦门大学 融合区域活力的城市交通流量预测方法
CN108009674A (zh) * 2017-11-27 2018-05-08 上海师范大学 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103758A (zh) * 2017-06-08 2017-08-29 厦门大学 一种基于深度学习的城市区域交通流量预测方法
CN107230351A (zh) * 2017-07-18 2017-10-03 福州大学 一种基于深度学习的短时交通流预测方法
CN107562784A (zh) * 2017-07-25 2018-01-09 同济大学 基于ResLCNN模型的短文本分类方法
CN107529651A (zh) * 2017-08-18 2018-01-02 北京航空航天大学 一种基于深度学习的城市交通客流预测方法和设备
CN107967532A (zh) * 2017-10-30 2018-04-27 厦门大学 融合区域活力的城市交通流量预测方法
CN107832458A (zh) * 2017-11-27 2018-03-23 中山大学 一种字符级的基于嵌套深度网络的文本分类方法
CN108009674A (zh) * 2017-11-27 2018-05-08 上海师范大学 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction";Junbo Zhang 等;《arXiv:1610.00081v2 [cs.AI]》;20170110;第1-7页 *
"Predicting citywide crowd flows using deep spatio-temporal residual networks";Junbo Zhang 等;《Elsevier》;20180319;第147-166页 *
"Predicting Short-term Bus Passenger Demand Using a Pattern Hybrid Approach";Zhenliang Ma 等;《ResearchGate》;20131231;第1-20页 *
"城市区域人口流量计算及预测研究";金文蔚;《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》;20180615;第H125-23页 *

Also Published As

Publication number Publication date
CN109299401A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109299401B (zh) 基于混合深度学习模型LSTM-ResNet的城域时空流预测方法
CN109887282B (zh) 一种基于层级时序图卷积网络的路网交通流预测方法
CN110633871B (zh) 一种基于卷积长短期记忆网络的区域交通需求预测方法
CN112257934A (zh) 一种基于时空动态神经网络的城市人流预测方法
CN110929962A (zh) 一种基于深度学习的交通流量预测方法及装置
CN111127888A (zh) 一种基于多源数据融合的城市交通流预测方法
CN114802296A (zh) 一种基于动态交互图卷积的车辆轨迹预测方法
CN110570035B (zh) 同时建模时空依赖性和每日流量相关性的人流量预测系统
CN113283581B (zh) 多融合图网络协同多通道注意力模型及其应用和应用方法
CN108229435B (zh) 一种用于行人识别的方法
CN115565369B (zh) 一种基于超图的时空超图卷积交通流量预测方法及系统
CN110705340A (zh) 一种基于注意力神经网络场的人群计数方法
CN114692984A (zh) 基于多步耦合图卷积网络的交通预测方法
CN114169647A (zh) 持续记忆的自适应异质时空图卷积的交通预测方法及系统
CN114021809A (zh) 一种无人驾驶用交通流量预测的图层级卷积神经网络模型
CN113887704A (zh) 交通信息预测方法、装置、设备及存储介质
CN113870160A (zh) 一种基于变换器神经网络的点云数据处理方法
CN115641720A (zh) 基于时空融合图神经网络的交通预测方法及系统
Pham Semantic road segmentation using deep learning
CN115662128A (zh) 一种基于注意力机制的动态时空神经网络交通流量预测方法
CN115376317A (zh) 一种基于动态图卷积和时序卷积网络的交通流预测方法
CN113159371B (zh) 基于跨模态数据融合的未知目标特征建模与需求预测方法
CN117516581A (zh) 融合BEVFormer和邻域注意力Transformer端到端自动驾驶轨迹规划系统、方法及训练方法
CN117456730A (zh) 一种基于自适应部分注意力扩散图卷积神经网络的交通流量预测方法
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant