CN109165561A - 一种基于视频特征的交通拥堵识别方法 - Google Patents

一种基于视频特征的交通拥堵识别方法 Download PDF

Info

Publication number
CN109165561A
CN109165561A CN201810842298.9A CN201810842298A CN109165561A CN 109165561 A CN109165561 A CN 109165561A CN 201810842298 A CN201810842298 A CN 201810842298A CN 109165561 A CN109165561 A CN 109165561A
Authority
CN
China
Prior art keywords
congestion
network
image
road
traffic congestion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810842298.9A
Other languages
English (en)
Inventor
武传营
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Qingdao Yisa Data Technology Co Ltd
Original Assignee
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Isa Data Technology Co Ltd, Beijing Yisa Technology Co Ltd filed Critical Qingdao Isa Data Technology Co Ltd
Priority to CN201810842298.9A priority Critical patent/CN109165561A/zh
Publication of CN109165561A publication Critical patent/CN109165561A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Abstract

本发明公开了一种基于视频特征的交通拥堵识别方法,包括以下步骤:S1、道路交通拥堵样本采集,S2、道路交通拥堵识别训练样本采集,S3、提取样本时序特征,S4、各车道拥堵状态的识别,S5、输出车道拥堵状态。本发明通过构建一个复杂的网络,实现了可同时预测一条道路不同车道的拥堵状态的识别,更精准的预测道路的交通状况,基于C3D卷积神经网络的图像时序特征提取网络、基于长短时记忆网络的图像特征记忆网络和优化序列的CTC层;其中,基于卷积神经网络的图像特征提取网络,完成道路图像特征获取;通过长短时记忆网络完成对道路交通状态的长久记忆;CTC损失函数可较好的优化序列的损失。

Description

一种基于视频特征的交通拥堵识别方法
技术领域
本发明涉及图像检测与智能识别技术领域,特别涉及一种基于视频特征的交通拥堵识别方法。
背景技术
现在,交通拥堵在世界各国大中城市普遍存在。城市交通拥堵具有严重的危害性,其直接后果主要表现在两方面:一是时间延误和能源浪费,给社会带来极大的经济损失;二是车速过低,排放大量的废弃物和产生大量的噪声,使城市环境的质量大大下降,进而对城市居民的健康造成严重危害。如果能够对已经形成或即将形成的交通拥堵进行及时、准确的识别与预测,制定合理有效的交通拥堵疏导策略,必将能够最大程度降低交通拥堵所带来的负面影响,大幅度提高整个城市道路交通系统的运行水平。因此,对城市交通拥堵的识别与预测进行研究非常必要且意义重大。
在交通拥堵识别方面,现有的拥堵识别算法进行拥堵识别所依据的交通数据,是与道路上交通流运行的过程及其持续的时间无关、分散在不同的时间点上的检测量,难以准确、真实的反应交通拥堵的形成和消散过程。在交通拥堵预测方面,当前已有的交通流参数短时预测方法普遍较低,降低了交通拥堵预测的准确度,进而会对交通管理者或者出行者造成一些不必要的麻烦。
发明内容
本发明的目的是为了解决现有技术中不能保证交通车辆正常的出行,也会增加行车成本等缺点,而提出的一种基于视频特征的交通拥堵识别方法。
为了实现上述目的,本发明采用了如下技术方案:
一种基于视频特征的交通拥堵识别方法,包括以下步骤:
S1、道路交通拥堵样本采集:收集各种场景的交通拥堵视频,截取每个片段为5-6s的视频,把每个截取的片段视频解码为图片,作为训练输入的数据;
S2、道路交通拥堵识别训练样本采集:取连续的28帧图像作为数据的单次输入,并制作标记拥堵状态的属性标签;
S3、提取样本时序特征:取28帧连续的图像输入到C3D卷积神经网络里,提取图像的时序特征;
S4、各车道拥堵状态的识别:通过C3D提取了各类信息特征后,输入到长短时记忆网络(LSTM)中,进行各类特征的记忆,再利用CTC对序列损失进行训练,最终完成对各车道拥堵状态的识别;
S5、输出车道拥堵状态:道路交通图像输入训练好的预测网络,实时的输出拥堵状态。
优选的,所述S1中的场景包括清晰、模糊、白天和夜晚,且道路状态包括畅通、缓行、轻度拥堵、中度拥堵和重度拥堵。
优选的,所述S4中的特征提取网络包括13层C3D卷积层、3层归一化层、13层激活层和5层池化层,特征记忆网络为两层LSTM层和CTC损失层,采用卷积神经网络、长短时记忆网络和CTC,进行车牌颜色、字符及车牌类型的识别。
优选的,所述C3D网络,提取了图像的特征信息,加快了后续模型的收敛速度,通过设定了记忆长度为16的双层长短时记忆网络,用来记忆道路交通的时序特征,通过CTC损失函数优化LSTM记忆损失。
本发明提出的一种基于视频特征的交通拥堵识别方法,有益效果在于:本发明通过构建一个复杂的网络,实现了可同时预测一条道路不同车道的拥堵状态的识别,更精准的预测道路的交通状况。本发明的方法中主要应用了:基于C3D卷积神经网络的图像时序特征提取网络、基于长短时记忆网络的图像特征记忆网络和优化序列的CTC层。其中,基于卷积神经网络的图像特征提取网络,完成道路图像特征获取。通过长短时记忆网络完成对道路交通状态的长久记忆。CTC损失函数可较好的优化序列的损失。本发明方法中,通过上述各块功能的相互配合,各司其职,相互协作很好地完成了本发明所述的任务,实现了快速有效地完成对道路交通状态的快速识别,在车牌分析的实践中获得了节约人力物力成本、显著提高准确性等良好效果。
附图说明
图1为本发明的道路拥堵识别结构示意图。
图2为本发明的道路状态属性标签示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例一
一种基于视频特征的交通拥堵识别方法,包括以下步骤:
S1、道路交通拥堵样本采集:收集各种场景的交通拥堵视频,截取每个片段为5s的视频,把每个截取的片段视频解码为图片,作为训练输入的数据,场景包括清晰、模糊、白天和夜晚,且道路状态包括畅通、缓行、轻度拥堵、中度拥堵和重度拥堵;
S2、道路交通拥堵识别训练样本采集:取连续的28帧图像作为数据的单次输入,并制作标记拥堵状态的属性标签,参照图2;
S3、提取样本时序特征:取28帧连续的图像输入到C3D卷积神经网络里,提取图像的时序特征,时序图像特征提取网络通过在C3D网络的基础上进行修改,去掉最后的池化层(pool5)和三层全连接层(fc6,fc7,fc8),再接一层防过拟合层(dropout layer)、一层扁平层(flatten layer)。其中,修改的部分包括对卷积核输出个数(num_filter)、卷积核大小(kernal)、扩充边缘大小(pad)等参数的修改;
S4、各车道拥堵状态的识别:通过C3D提取了各类信息特征后,输入到长短时记忆网络(LSTM)中,进行各类特征的记忆,再利用CTC对序列损失进行训练,最终完成对各车道拥堵状态的识别,特征提取网络包括13层C3D卷积层、3层归一化层、13层激活层和5层池化层,特征记忆网络为两层LSTM层和CTC损失层,采用卷积神经网络、长短时记忆网络和CTC,进行车牌颜色、字符及车牌类型的识别,C3D网络,提取了图像的特征信息,加快了后续模型的收敛速度,通过设定了记忆长度为16的双层长短时记忆网络,用来记忆道路交通的时序特征,利用CTC损失函数优化LSTM记忆损失,损失层是利用的CTC损失函数,接在长短时记忆网络的最后一层,用于序列学习所用,优化整个序列的损失,参照图1;
S5、输出车道拥堵状态:道路交通图像输入训练好的预测网络,实时的输出拥堵状态,图像分类预测网络是通过双层的长短时记忆网络(LSTM),主要用来记忆交通拥堵状态特征。
实施例二
S1、道路交通拥堵样本采集:收集各种场景的交通拥堵视频,截取每个片段为6s的视频,把每个截取的片段视频解码为图片,作为训练输入的数据,场景包括清晰、模糊、白天和夜晚,且道路状态包括畅通、缓行、轻度拥堵、中度拥堵和重度拥堵;
S2、道路交通拥堵识别训练样本采集:取连续的28帧图像作为数据的单次输入,并制作标记拥堵状态的属性标签,参照图2;
S3、提取样本时序特征:取28帧连续的图像输入到C3D卷积神经网络里,提取图像的时序特征,时序图像特征提取网络通过在C3D网络的基础上进行修改,去掉最后的池化层(pool5)和三层全连接层(fc6,fc7,fc8),再接一层防过拟合层(dropout layer)、一层扁平层(flatten layer)。其中,修改的部分包括对卷积核输出个数(num_filter)、卷积核大小(kernal)、扩充边缘大小(pad)等参数的修改;
S4、各车道拥堵状态的识别:通过C3D提取了各类信息特征后,输入到长短时记忆网络(LSTM)中,进行各类特征的记忆,再利用CTC对序列损失进行训练,最终完成对各车道拥堵状态的识别,特征提取网络包括13层C3D卷积层、3层归一化层、13层激活层和5层池化层,特征记忆网络为两层LSTM层和CTC损失层,采用卷积神经网络、长短时记忆网络和CTC,进行车牌颜色、字符及车牌类型的识别,C3D网络,提取了图像的特征信息,加快了后续模型的收敛速度,通过设定了记忆长度为16的双层长短时记忆网络,用来记忆道路交通的时序特征,利用CTC损失函数优化LSTM记忆损失,损失层是利用的CTC损失函数,接在长短时记忆网络的最后一层,用于序列学习所用,优化整个序列的损失,参照图1;
S5、输出车道拥堵状态:道路交通图像输入训练好的预测网络,实时的输出拥堵状态,图像分类预测网络是通过双层的长短时记忆网络(LSTM),主要用来记忆交通拥堵状态特征。
本发明通过对一段连续的视频作为数据源输入,通过构建一个深层次的多车道拥堵识别网络,实现了同一网络多功能任务的实现。在提高了准确率的同时,避免了多网络多任务造成的人力、物力、精力的浪费。本发明的方法中主要应用了:基于C3D卷积神经网络的图像时序特征提取网络、基于长短时记忆网络的图像特征记忆网络、以及优化序列的CTC层。其中,基于C3D卷积神经网络的图像特征提取网络,完成对道路交通时序特征的提取。通过长短时记忆网络完成对时序特征特征的长久记忆。CTC损失函数可较好的优化序列的损失。本发明方法中,通过上述各块功能的相互配合,各司其职,相互协作很好地完成了本发明所述的任务,实现了快速有效地完成对道路不同车道拥堵状态的快速识别,在拥堵识别的实践中获得了节约人力物力成本、显著提高准确性等良好效果。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于视频特征的交通拥堵识别方法,其特征在于,包括以下步骤:
S1、道路交通拥堵样本采集:收集各种场景的交通拥堵视频,截取每个片段为5-6s的视频,把每个截取的片段视频解码为图片,作为训练输入的数据;
S2、道路交通拥堵识别训练样本采集:取连续的28帧图像作为数据的单次输入,并制作标记拥堵状态的属性标签;
S3、提取样本时序特征:取28帧连续的图像输入到C3D卷积神经网络里,提取图像的时序特征;
S4、各车道拥堵状态的识别:通过C3D提取了各类信息特征后,输入到长短时记忆网络中,进行各类特征的记忆,再利用CTC对序列损失进行训练,最终完成对各车道拥堵状态的识别;
S5、输出车道拥堵状态:道路交通图像输入训练好的预测网络,实时的输出拥堵状态。
2.根据权利要求1中所述的一种基于视频特征的交通拥堵识别方法,其特征在于,所述S1中的场景包括清晰、模糊、白天和夜晚,且道路状态包括畅通、缓行、轻度拥堵、中度拥堵和重度拥堵。
3.根据权利要求1中所述的一种基于视频特征的交通拥堵识别方法,其特征在于,所述S4中的特征提取网络包括13层C3D卷积层、3层归一化层、13层激活层和5层池化层,特征记忆网络为两层LSTM层和CTC损失层,采用卷积神经网络、长短时记忆网络和CTC,进行车牌颜色、字符及车牌类型的识别。
4.根据权利要求4中所述的一种基于视频特征的交通拥堵识别方法,其特征在于,所述C3D网络,提取了图像的特征信息,加快了后续模型的收敛速度,通过设定了记忆长度为16的双层长短时记忆网络,用来记忆道路交通的时序特征,通过CTC损失函数优化LSTM记忆损失。
CN201810842298.9A 2018-07-27 2018-07-27 一种基于视频特征的交通拥堵识别方法 Pending CN109165561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810842298.9A CN109165561A (zh) 2018-07-27 2018-07-27 一种基于视频特征的交通拥堵识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810842298.9A CN109165561A (zh) 2018-07-27 2018-07-27 一种基于视频特征的交通拥堵识别方法

Publications (1)

Publication Number Publication Date
CN109165561A true CN109165561A (zh) 2019-01-08

Family

ID=64898368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810842298.9A Pending CN109165561A (zh) 2018-07-27 2018-07-27 一种基于视频特征的交通拥堵识别方法

Country Status (1)

Country Link
CN (1) CN109165561A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977816A (zh) * 2019-03-13 2019-07-05 联想(北京)有限公司 一种信息处理方法、装置、终端及存储介质
CN110222149A (zh) * 2019-05-17 2019-09-10 华中科技大学 一种基于新闻舆情的时间序列预测方法
CN110287952A (zh) * 2019-07-01 2019-09-27 中科软科技股份有限公司 一种维语图片字符的识别方法及系统
CN110674887A (zh) * 2019-10-08 2020-01-10 中兴飞流信息科技有限公司 一种基于视频分类的端到端道路拥堵检测算法
CN111444756A (zh) * 2019-11-01 2020-07-24 泰州三凯工程技术有限公司 危险行驶场景辨识平台、方法及存储介质
CN112991719A (zh) * 2021-01-28 2021-06-18 北京奥泽尔科技发展有限公司 一种基于拥堵画像的交通拥堵预测方法及系统
CN113538903A (zh) * 2021-06-21 2021-10-22 东南大学 一种基于交通流量特征提取与分类的交通拥堵预测方法
CN114332699A (zh) * 2021-12-24 2022-04-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250829A (zh) * 2016-07-22 2016-12-21 中国科学院自动化研究所 基于唇部纹理结构的数字识别方法
CN106297297A (zh) * 2016-11-03 2017-01-04 成都通甲优博科技有限责任公司 基于深度学习的交通拥堵判别方法
CN106971563A (zh) * 2017-04-01 2017-07-21 中国科学院深圳先进技术研究院 智能交通信号灯控制方法及系统
CN107066973A (zh) * 2017-04-17 2017-08-18 杭州电子科技大学 一种利用时空注意力模型的视频内容描述方法
US20170278386A1 (en) * 2016-03-22 2017-09-28 Korea University Research And Business Foundation Method and apparatus for collecting traffic information from big data of outside image of vehicle
CN107679585A (zh) * 2017-09-27 2018-02-09 清华大学 基于时间残差长短时记忆网络的阿拉伯文识别方法及系统
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170278386A1 (en) * 2016-03-22 2017-09-28 Korea University Research And Business Foundation Method and apparatus for collecting traffic information from big data of outside image of vehicle
CN106250829A (zh) * 2016-07-22 2016-12-21 中国科学院自动化研究所 基于唇部纹理结构的数字识别方法
CN106297297A (zh) * 2016-11-03 2017-01-04 成都通甲优博科技有限责任公司 基于深度学习的交通拥堵判别方法
CN106971563A (zh) * 2017-04-01 2017-07-21 中国科学院深圳先进技术研究院 智能交通信号灯控制方法及系统
CN107066973A (zh) * 2017-04-17 2017-08-18 杭州电子科技大学 一种利用时空注意力模型的视频内容描述方法
CN107679585A (zh) * 2017-09-27 2018-02-09 清华大学 基于时间残差长短时记忆网络的阿拉伯文识别方法及系统
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖律超等: "基于交通视频的交通拥堵状态自动识别方法", 《公路交通科技》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977816A (zh) * 2019-03-13 2019-07-05 联想(北京)有限公司 一种信息处理方法、装置、终端及存储介质
CN110222149A (zh) * 2019-05-17 2019-09-10 华中科技大学 一种基于新闻舆情的时间序列预测方法
CN110287952A (zh) * 2019-07-01 2019-09-27 中科软科技股份有限公司 一种维语图片字符的识别方法及系统
CN110674887A (zh) * 2019-10-08 2020-01-10 中兴飞流信息科技有限公司 一种基于视频分类的端到端道路拥堵检测算法
CN111444756A (zh) * 2019-11-01 2020-07-24 泰州三凯工程技术有限公司 危险行驶场景辨识平台、方法及存储介质
CN112991719A (zh) * 2021-01-28 2021-06-18 北京奥泽尔科技发展有限公司 一种基于拥堵画像的交通拥堵预测方法及系统
CN112991719B (zh) * 2021-01-28 2022-05-24 北京奥泽尔科技发展有限公司 一种基于拥堵画像的交通拥堵预测方法及系统
CN113538903A (zh) * 2021-06-21 2021-10-22 东南大学 一种基于交通流量特征提取与分类的交通拥堵预测方法
CN114332699A (zh) * 2021-12-24 2022-04-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质
CN114332699B (zh) * 2021-12-24 2023-12-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109165561A (zh) 一种基于视频特征的交通拥堵识别方法
WO2021232387A1 (zh) 一种多功能的智能信号控制系统
CN103578119B (zh) 基于超像素的Codebook动态场景中目标检测方法
CN106845415B (zh) 一种基于深度学习的行人精细化识别方法及装置
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN103546667B (zh) 一种面向海量广播电视监管的自动新闻拆条方法
CN103325259B (zh) 一种基于多核并行的违章停车检测方法
CN105335716A (zh) 一种基于改进udn提取联合特征的行人检测方法
CN110232316A (zh) 一种基于改进的dsod模型的车辆检测与识别方法
CN105070053A (zh) 一种识别车辆违规运动模式的智能交通监控摄像机
CN103268489B (zh) 基于滑窗搜索的机动车号牌识别方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
CN109766769A (zh) 一种基于单目视觉与深度学习的道路目标检测识别方法
CN109191830A (zh) 一种基于视频图像处理的道路拥堵检测方法
CN108664953A (zh) 一种基于卷积自编码器模型的图像特征提取方法
CN107527012A (zh) 闯红灯监控方法、装置及监控处理设备
CN110163069A (zh) 用于辅助驾驶的车道线检测方法
CN110378243A (zh) 一种行人检测方法及装置
CN109086778A (zh) 一种基于卷积神经网络的车牌去模糊识别方法
CN104036243A (zh) 一种基于光流信息的行为识别方法
CN103020614A (zh) 基于时空兴趣点检测的人体运动识别方法
CN106056102A (zh) 基于视频图像分析的道路车型分类方法
CN107993444A (zh) 基于卡口过车大数据分析的嫌疑车认定方法
CN106096553A (zh) 一种基于多特征的行人流量统计方法
CN106127177A (zh) 一种无人驾驶压路机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 266500 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant after: Issa Technology Co.,Ltd.

Applicant after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 108, 102 / F, building 17, yard 6, Jingshun East Street, Chaoyang District, Beijing

Applicant before: BEIJING YISA TECHNOLOGY Co.,Ltd.

Applicant before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108

RJ01 Rejection of invention patent application after publication