CN109241914A - 一种针对复杂场景下的小目标行人检测方法 - Google Patents

一种针对复杂场景下的小目标行人检测方法 Download PDF

Info

Publication number
CN109241914A
CN109241914A CN201811057082.8A CN201811057082A CN109241914A CN 109241914 A CN109241914 A CN 109241914A CN 201811057082 A CN201811057082 A CN 201811057082A CN 109241914 A CN109241914 A CN 109241914A
Authority
CN
China
Prior art keywords
characteristic
division
carried out
pedestrian detection
small object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811057082.8A
Other languages
English (en)
Inventor
徐天适
梁添才
赵清利
金晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Grg Jetco Financial Electronic Co Ltd
Original Assignee
Guangzhou Grg Jetco Financial Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Grg Jetco Financial Electronic Co Ltd filed Critical Guangzhou Grg Jetco Financial Electronic Co Ltd
Priority to CN201811057082.8A priority Critical patent/CN109241914A/zh
Publication of CN109241914A publication Critical patent/CN109241914A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于行人检测技术领域，涉及一种针对复杂场景下的小目标行人检测方法，首先对神经网络进行训练；将样本数据进行尺寸归一化；利用共享特征提取网络提取共享特征，得到特征图；利用分类特征提取网络对特征图提取分类特征，得到分类特征图；进行粗回归运算，对粗回归的结果利用置信度进行过滤得到候选区域；根据分类特征图与侯选区域提取相应的分类特征进行是否是行人目标的分类；对候选区域进行二次回归，结合粗回归运算所获取的位置得到最终回归位置；利用最终回归位置进行SoftNMS，去掉重复框，得到最终目标位置以及与之对应分类结果。本发明可以有效地解决复杂场景下小目标检测的误检率高，定位不精确的问题。

Description

一种针对复杂场景下的小目标行人检测方法
技术领域
本发明属于行人检测技术领域，具体涉及一种针对复杂场景下的小目标行人检测方法。
背景技术
随着平安城市建设的不断进步以及各行各业监控系统的不断完善，每秒都有海量的视频图像数据被采集。绝大部分监控视频中，行人构成了活动的主体。如何利用好这些数据，实现对行人轨迹的精准分析以及行人结构化特征的精准提取成为了大数据时代安防领域急需解决的问题。
行人检测技术是解决以上问题的最重要核心技术之一。不仅如此，行人检测在行为分析、区域防控、行人重识别、人群密度与人流量分析等众多其它领域也有非常重要的应用。行人检测技术在近十年中得到了飞速的发展，从人工特征与机器学习相结合的传统方法到基于深度学习的目标检测框架，行人检测的准确率有了大幅的提升，但是复杂背景与光照以及小目标的检测问题始终未能解决。不仅如此，与检测准确率同时大幅增长的还有算法的计算量与资源需求，极大限制了算法的应用范围。
在复杂场景的行人检测中，小目标与背景特征区分度不高，通用的单步目标检测框架对分类特征提取能力较差，无法准确区分背景与行人。通用RPN与RCNN相结合的目标检测框架计算复杂度高，没有充分共享卷积层，极大的限制了应用的范围。小目标检测中，不同特征图的特征能力有限，回归框的相对误差较大，包含过多的背景信息，干扰了对行人目标后续的分析。
此外，在基于神经网络的行人目标检测算法中，通常存在严重的正负样本不均衡问题，很大程度上会影响神经网络的收敛以及最终检测的准确性。传统的样本均衡方法试图通过目标检测的置信度来选择合适的正负样本。但行人目标特别是复杂背景下的行人小目标有其独特的特征：目标类别单一，大目标的特征区分度高，小目标与复杂背景的特征区分度低。
发明内容
针对现有技术中存在的技术问题，本发明提出一种针对复杂场景下的小目标行人检测方法，采用单步目标检测框架保证检测效率，设计部分共享卷积的分类特征提取分支网络，提高神经网络的小目标分类的能力，设计两级回归结构对小目标位置进行精确回归，保证定位的准确性。
本发明采用如下技术方案来实现：一种针对复杂背景下的小目标行人检测方法，包括如下步骤：
S1、采用深度学习的训练方法，对神经网络进行训练；
S2、将样本数据进行尺寸归一化；
S3、利用共享特征提取网络提取共享特征，得到特征图；
S4、利用分类特征提取网络对特征图提取分类特征，得到分类特征图；
S5、进行粗回归运算，对粗回归的结果利用置信度进行过滤，得到候选区域；
S6、根据分类特征图与侯选区域提取相应的分类特征，进行是否是行人目标的分类；
S7、对候选区域进行二次回归，进行精准定位，结合粗回归运算所获取的位置得到最终的回归位置；
S8、利用步骤S7输出的最终回归位置进行SoftNMS，去掉重复框，得到最终目标位置以及与之对应分类结果。
优选地，S1包括如下步骤：
S11、根据训练数据集进行数据读取与数据扩展，得到训练数据及其标签；
S12、前向运算，根据S11得到的标签，计算误差值；
S13、采用正负样本选择策略，选择最终训练样本集；
S14、进行损失函数计算；
S15、判断神经网络的训练是否达到迭代结束阈值，若是则结束神经网络训练，若否则返回步骤S12继续进行前向运算。
优选地，步骤S13中正负样本选择策略动态选择正负样本以及正负样本的比例；针对前向运算得到的样本集S，利用动态阈值策略，选择负样本集St为最终训练样本集。而步骤S14中损失函数由分类损失函数和位置损失函数叠加而成。
优选地，步骤S4提取分类特征时，将特征图进行一次1*1的普通卷积运算后，进行去卷积操作，使特征图的尺寸扩大3倍，再与分类特征提取网络中的相应尺寸的特征图连接，再进行一次1*1的普通卷积，得到分类特征图。
优选地，步骤S5过程为：利用步骤S3输出的特征图结合预选进行区域预测，输出感兴趣区域；利用所述感兴趣区域在步骤S3的特征图上的位置关系，提取特征向量进行回归运算，分别得到中心点与长宽的偏移，以形成候选区域。
优选地，步骤S7过程为：对于步骤S3输出的每个特征图，进行1*1的DepthWidth卷积运算，最终输出Output数目为512的精确定位特征；利用所述精确定位特征对候选区域进行二次回归，最终得到左上角点与右下角点的偏移，结合粗回归运算所获取的位置得到最终的回归位置。
从以上技术方案可知，本发明采用单步目标检测框架保证检测效率，设计部分共享卷积的分类特征提取分支网络，提高神经网络的小目标分类的能力，设计两级回归结构对小目标位置进行精确回归，保证定位的准确性。针对单步目标检测框架，提出一种新型损失函数以及正负样本选择策略(OHEM)，提高训练时的收敛速度与训练效果。本发明采用单步深度神经网络结构，针对单步深度神经网络结构提出一种新型损失函数以及正负样本选择策略(OHEM)，可以有效的解决复杂场景下小目标检测的误检率高、目标定位精确度低的问题；利用复杂背景下的行人小目标所具有的独特的特征点，采用了兼顾复杂背景下的小目标行人检测的样本均衡策略，从而提升算法对小目标行人与复杂背景的概率区分度。
附图说明
图1为本发明一个实施例中行人检测方法对神经网络训练的流程图；
图2为本发明一个实施例中行人检测方法利用训练好的神经网络进行小目标检测的流程图。
具体实施方式
下面通过具体实施方式对本发明作进一步详细的描述，但本发明的实施方式并不限于此。
本实施例中，针对复杂背景下的小目标行人检测方法主要包括以下步骤：
S1、采用深度学习的训练方法，对神经网络进行训练，如图1所示。训练过程具体包括如下步骤：
S11、根据训练数据集进行数据读取与数据扩展，得到训练数据及其标签；
S12、前向运算，根据S11得到的标签，计算误差值，流程如图2所示；
S13、依据S12中的误差值，采用正负样本选择策略(OHEM)，选择最终训练样本集；
使用新的正负样本选择策略，动态选择正负样本以及正负样本的比例；针对前向运算得到的样本集S，利用动态阈值策略，选择负样本集St为最终训练样本集。负样本集St的计算方式如式(1)：
St＝S[St_idx_opt],
St_idx_opt＝St_idx-TopN(St_idx)-BottomN(St_idx),TopN＝0.1,BottomN＝0.3,St_idx＝SortMax(IOUThr(S)＜MidValue(IOUThr(S)) (1)
St_idx表示所有大于IOU(重叠度)中值的样本从大到小的样本索引集合，St_idx_opt表示St_idx中去除10％最大值与30％最小值的样本索引集合，St为最终选出做反向传播的样本。IOUTHr(S)为IOU阈值选择函数，选择去除10％最大值与30％最小值的所有预选框，MidValue表示对数据集进行取中值运算，SortMax表示对数据集进行从大到小的排序。
S14、进行损失函数计算。
使用新的损失函数，由分类损失函数和位置损失函数叠加而成。本实施例采用的损失函数如式(2)：
其中L(x,c,l,g)表示综合损失值，x表示有效样本，c表示相对于中心点的偏移量(offset)，l表示预测框，g表示标签框。Lconf为分类损失函数，保持原来的不变；Lloc为位置损失函数，N表示与真实位置匹配的默认框个数，α表示分类与位置损失函数的权重比例值。可表达为式(3)：
smoothL1表示进行损失值运算，以避免梯度爆炸。这里的l1与l2分别代表粗回归与精确回归。α表示两次回归的损失函数权重比例。
S15、判断神经网络的训练是否达到迭代结束阈值，若是则结束神经网络训练，若否则返回步骤S12继续进行前向运算。
S2、将样本数据进行尺寸归一化。将输入样本归一化为480*270大小的三通道图片。
S3、利用共享特征提取网络提取共享特征，得到特征图。共享特征提取网络包括15个DepthWidth卷积核大小为3*3的卷积层，以及与之相应的DepthWidth卷积核大小为1*1的卷积层、BN层与RELU层。这些层被设计用来提取用来分类与定位的公用特征，最终输出3个不同尺度的特征图用于后续特征输入。
S4、利用分类特征提取网络提取分类特征。分别将三个特征图进行一次1*1的普通卷积运算后，进行去卷积操作，使特征图的尺寸扩大3倍，分别与分类特征提取网络中的相应尺寸的特征图连接(Concat)，再进行一次1*1的普通卷积，得到分类特征图。
S5、进行粗回归运算，对粗回归的结果利用置信度进行过滤，得到候选区域。利用步骤S3输出的特征图结合预选进行区域预测，输出感兴趣区域；利用所述感兴趣区域在步骤S3的特征图上的位置关系，提取特征向量进行回归运算，分别得到中心点与长宽的偏移(OffSet)，以形成候选区域。
S6、进行分类。根据步骤S4输出的分类特征图与步骤S5输出的侯选区域提取相应的分类特征，进行是否是行人目标的分类。
S7、对候选区域进行二次回归，进行精准定位。对于步骤S3输出的每个特征图，进行1*1的DepthWidth卷积运算，最终输出Output数目为512的精确定位特征。利用所述精确定位特征对候选区域进行二次回归，最终得到左上角点与右下角点的偏移(Offset)，结合粗回归运算所获取的位置得到最终的回归位置。
S8、利用步骤S7输出的最终回归位置进行SoftNMS，去掉重复框，得到最终目标位置以及与之对应分类结果。
综上所述，本发明可以有效地解决复杂场景下小目标检测的误检率高，目标定位不精确的问题。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种针对复杂背景下的小目标行人检测方法，其特征在于，包括如下步骤：
S1、采用深度学习的训练方法，对神经网络进行训练；
S2、将样本数据进行尺寸归一化；
S3、利用共享特征提取网络提取共享特征，得到特征图；
S4、利用分类特征提取网络对特征图提取分类特征，得到分类特征图；
S5、进行粗回归运算，对粗回归的结果利用置信度进行过滤，得到候选区域；
S6、根据分类特征图与侯选区域提取相应的分类特征，进行是否是行人目标的分类；
S7、对候选区域进行二次回归，进行精准定位，结合粗回归运算所获取的位置得到最终的回归位置；
S8、利用步骤S7输出的最终回归位置进行SoftNMS，去掉重复框，得到最终目标位置以及与之对应分类结果。
2.根据权利要求1所述的小目标行人检测方法，其特征在于，S1包括如下步骤：
S11、根据训练数据集进行数据读取与数据扩展，得到训练数据及其标签；
S12、前向运算，根据S11得到的标签，计算误差值；
S13、采用正负样本选择策略，选择最终训练样本集；
S14、进行损失函数计算；
S15、判断神经网络的训练是否达到迭代结束阈值，若是则结束神经网络训练，若否则返回步骤S12继续进行前向运算。
3.根据权利要求2所述的小目标行人检测方法，其特征在于，步骤S13中正负样本选择策略动态选择正负样本以及正负样本的比例；针对前向运算得到的样本集S，利用动态阈值策略，选择负样本集St为最终训练样本集。
4.根据权利要求2所述的小目标行人检测方法，其特征在于，步骤S14中损失函数由分类损失函数和位置损失函数叠加而成。
5.根据权利要求1所述的小目标行人检测方法，其特征在于，步骤S4提取分类特征时，将特征图进行一次1*1的普通卷积运算后，进行去卷积操作，使特征图的尺寸扩大3倍，再与分类特征提取网络中的相应尺寸的特征图连接，再进行一次1*1的普通卷积，得到分类特征图。
6.根据权利要求1所述的小目标行人检测方法，其特征在于，步骤S5过程为：
利用步骤S3输出的特征图结合预选进行区域预测，输出感兴趣区域；利用所述感兴趣区域在步骤S3的特征图上的位置关系，提取特征向量进行回归运算，分别得到中心点与长宽的偏移，以形成候选区域。
7.根据权利要求1所述的小目标行人检测方法，其特征在于，步骤S7过程为：
对于步骤S3输出的每个特征图，进行1*1的DepthWidth卷积运算，最终输出Output数目为512的精确定位特征；利用所述精确定位特征对候选区域进行二次回归，最终得到左上角点与右下角点的偏移，结合粗回归运算所获取的位置得到最终的回归位置。
CN201811057082.8A 2018-09-11 2018-09-11 一种针对复杂场景下的小目标行人检测方法 Pending CN109241914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811057082.8A CN109241914A (zh) 2018-09-11 2018-09-11 一种针对复杂场景下的小目标行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811057082.8A CN109241914A (zh) 2018-09-11 2018-09-11 一种针对复杂场景下的小目标行人检测方法

Publications (1)

Publication Number Publication Date
CN109241914A true CN109241914A (zh) 2019-01-18

Family

ID=65060826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811057082.8A Pending CN109241914A (zh) 2018-09-11 2018-09-11 一种针对复杂场景下的小目标行人检测方法

Country Status (1)

Country Link
CN (1) CN109241914A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909656A (zh) * 2019-11-18 2020-03-24 中电海康集团有限公司 一种雷达与摄像机融合的行人检测方法和系统
CN111310652A (zh) * 2020-02-13 2020-06-19 平安科技（深圳）有限公司 基于分类回归双域模型的流量识别方法和系统
CN111523452A (zh) * 2020-04-22 2020-08-11 北京百度网讯科技有限公司 用于检测图像中人体位置的方法和装置
CN111597945A (zh) * 2020-05-11 2020-08-28 济南博观智能科技有限公司 一种目标检测方法、装置、设备及介质
CN113011389A (zh) * 2021-04-23 2021-06-22 电子科技大学 一种基于聚类思想的道路行人小目标检测方法
WO2022188574A1 (zh) * 2021-03-12 2022-09-15 山东英信计算机技术有限公司 一种回归任务的深度学习方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292274A (zh) * 2017-06-28 2017-10-24 北京飞搜科技有限公司 一种适用于视频中快速人脸检测的方法及系统
CN107766806A (zh) * 2017-09-30 2018-03-06 北京飞搜科技有限公司 一种基于尺度变换的人脸检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292274A (zh) * 2017-06-28 2017-10-24 北京飞搜科技有限公司 一种适用于视频中快速人脸检测的方法及系统
CN107766806A (zh) * 2017-09-30 2018-03-06 北京飞搜科技有限公司 一种基于尺度变换的人脸检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABHINAV SHRIVASTAVA等: "Training Region-based Object Detectors with Online Hard Example Mining", 《ARXIV:1604.03540V1》 *
CHANGFU XU等: "Detection Method of Insulator Based on Single Shot MultiBox Detector", 《ISAI2018》 *
WZLI_TECHTALK: "目标检测算法: 对Faster RCNN论文的理解与实践", 《CSDN BLOG.CSDN.NET/SINAT_30855283/ARTICLE/DETAILS/79607379》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909656A (zh) * 2019-11-18 2020-03-24 中电海康集团有限公司 一种雷达与摄像机融合的行人检测方法和系统
CN110909656B (zh) * 2019-11-18 2023-10-13 中电海康集团有限公司 一种雷达与摄像机融合的行人检测方法和系统
CN111310652A (zh) * 2020-02-13 2020-06-19 平安科技（深圳）有限公司 基于分类回归双域模型的流量识别方法和系统
CN111310652B (zh) * 2020-02-13 2023-07-25 平安科技（深圳）有限公司 基于分类回归双域模型的流量识别方法和系统
CN111523452A (zh) * 2020-04-22 2020-08-11 北京百度网讯科技有限公司 用于检测图像中人体位置的方法和装置
CN111523452B (zh) * 2020-04-22 2023-08-25 北京百度网讯科技有限公司 用于检测图像中人体位置的方法和装置
CN111597945A (zh) * 2020-05-11 2020-08-28 济南博观智能科技有限公司 一种目标检测方法、装置、设备及介质
CN111597945B (zh) * 2020-05-11 2023-08-18 济南博观智能科技有限公司 一种目标检测方法、装置、设备及介质
WO2022188574A1 (zh) * 2021-03-12 2022-09-15 山东英信计算机技术有限公司 一种回归任务的深度学习方法和装置
CN113011389A (zh) * 2021-04-23 2021-06-22 电子科技大学 一种基于聚类思想的道路行人小目标检测方法
CN113011389B (zh) * 2021-04-23 2022-07-26 电子科技大学 一种基于聚类思想的道路行人小目标检测方法

Similar Documents

Publication Publication Date Title
CN109241914A (zh) 一种针对复杂场景下的小目标行人检测方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN109344701A (zh) 一种基于Kinect的动态手势识别方法
CN112070772A (zh) 基于UNet++和ResNet的血液白细胞图像分割方法
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
CN109800624A (zh) 一种基于行人重识别的多目标跟踪方法
CN107784663A (zh) 基于深度信息的相关滤波跟踪方法及装置
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN111950525B (zh) 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法
CN110263712A (zh) 一种基于区域候选的粗精行人检测方法
CN111008991B (zh) 一种背景感知的相关滤波目标跟踪方法
CN110807402B (zh) 一种基于肤色检测的五官定位方法、系统和终端设备
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法
CN112215080B (zh) 一种利用时序信息的目标跟踪方法
CN109543615A (zh) 一种基于多级特征的双学习模型目标跟踪方法
Han et al. Boosting target-level infrared and visible image fusion with regional information coordination
CN108446613A (zh) 一种基于距离中心化与投影向量学习的行人重识别方法
Wang et al. S 3 d: scalable pedestrian detection via score scale surface discrimination
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、系统及存储介质
Cheng et al. YOLOv3 Object Detection Algorithm with Feature Pyramid Attention for Remote Sensing Images.
CN113837154B (zh) 一种基于多任务辅助的开放集过滤系统及方法
CN116311387B (zh) 一种基于特征交集的跨模态行人重识别方法
Luo et al. SiamSMDFFF: Siamese network tracker based on shallow-middle-deep three-level feature fusion and clustering-based adaptive rectangular window filtering
Rasyid et al. Segmentation of low-grade gliomas using U-Net VGG16 with transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118

RJ01 Rejection of invention patent application after publication