CN110543824A - 基于双目视觉的施工安全判断方法 - Google Patents

基于双目视觉的施工安全判断方法 Download PDF

Info

Publication number
CN110543824A
CN110543824A CN201910708234.4A CN201910708234A CN110543824A CN 110543824 A CN110543824 A CN 110543824A CN 201910708234 A CN201910708234 A CN 201910708234A CN 110543824 A CN110543824 A CN 110543824A
Authority
CN
China
Prior art keywords
crane
constructor
binocular
detection
construction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910708234.4A
Other languages
English (en)
Inventor
李学钧
戴相龙
蒋勇
何成虎
杨政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU HAOHAN INFORMATION TECHNOLOGY Co Ltd
Original Assignee
JIANGSU HAOHAN INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU HAOHAN INFORMATION TECHNOLOGY Co Ltd filed Critical JIANGSU HAOHAN INFORMATION TECHNOLOGY Co Ltd
Priority to CN201910708234.4A priority Critical patent/CN110543824A/zh
Publication of CN110543824A publication Critical patent/CN110543824A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉的施工安全判断方法,包括:收集施工现场的样本图片,手工标注出样本图片中施工人员和吊车的位置坐标;采用深度卷积神经网络训练施工人员检测和吊车检测模型;得到双目相机参数;通过双目相机实时获取施工现场的双目视频帧,利用所述施工人员检测和吊车检测模型检测所述双目视频帧中的施工人员的位置坐标和吊车的位置坐标,同时检测到施工人员和吊车,当x2+w2<x1且x1+w1<x2时,将双目视频帧中的检测到的施工人员和吊车进行立体匹配,得到施工人员的深度值z1和吊车的深度值z2;当|z1‑z2|<∈时,认为施工人员位于吊车下方,属于危险施工行为。本发明能实现24小时全天候的施工人员危险行为检测,从而实现施工现场的安全监管,提高施工效率和安全性。

Description

基于双目视觉的施工安全判断方法
技术领域
本发明涉及安全施工领域,特别涉及一种基于双目视觉的施工安全判断方法。
背景技术
安全施工是电力施工中的头等大事,做好现场施工安全措施非常重要。施工人员的不规范行为是产生施工安全风险的主要因素之一,例如:施工人员违规站立在施工吊车下方的危险行为等,都是产生施工安全风险的因素。现有电力施工的安全管理主要还是依靠人力监督,容易造成监管漏洞,不能实现施工线程的安全监管,影响施工效率,且存在安全性问题。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种能实现24小时全天候的施工人员危险行为检测,从而实现施工现场的安全监管,提高施工效率和安全性的基于双目视觉的施工安全判断方法。
本发明解决其技术问题所采用的技术方案是:构造一种基于双目视觉的施工安全判断方法,包括如下步骤:
A)收集施工现场的样本图片,手工标注出所述样本图片中施工人员和吊车的位置坐标;
B)采用深度卷积神经网络训练施工人员检测和吊车检测模型;
C)标定双目相机,得到双目相机参数;
D)通过双目相机实时获取施工现场的双目视频帧,利用所述施工人员检测和吊车检测模型检测所述双目视频帧中的施工人员的位置坐标(x1,y1,w1,h1)和吊车的位置坐标(x2,y2,w2,h2),同时检测到施工人员和吊车,判断是否满足如下关系:x2+w2<x1且x1+w1<x2,如是,执行步骤E);否则,继续进行本步骤的检测;其中,x1、y1、w1、h1分别为施工人员的横坐标、纵坐标、宽度和高度,x2、y2、w2、h2分别为吊车的横坐标、纵坐标、宽度和高度;
E)将所述双目视频帧中的检测到的施工人员和吊车进行立体匹配,得到所述施工人员的深度值z1和吊车的深度值z2
F)比较所述施工人员的深度值z1和吊车的深度值z2,判断是否满足|z1-z2|<∈,如是,执行步骤G);否则,执行步骤H);
G)认为施工人员位于吊车下方,属于危险施工行为;
H)认为施工人员未位于吊车下方,属于安全施工行为。
在本发明所述的基于双目视觉的施工安全判断方法中,所述步骤B)进一步包括:
B1)构建基础网络层,将所述样本图片送入所述基础网络层,得到第一输出特征;
B2)构建区域生成网络,用于区分前景和背景,在所述第一输出特征上应用滑动窗口,每个滑动窗口生成9个候选区域,所述候选区域的比例按照[1:2,1:1,2:1]三种模式选择,将所有候选区域连接到所述区域生成网络,采用softmax回归出所有候选区域,选择指定数量的区域作为第二输出特征;
B3)将所述第二输出特征接入已训练的resnet进行迁移学习,得到所述施工人员检测和吊车检测模型。
在本发明所述的基于双目视觉的施工安全判断方法中,所述步骤C)进一步包括:
C1)标定双目相机内参;
C2)提取所述第一输出特征和第二输出特征,每次随机选取5对匹配点,并通过5点算法得到双目相机的初始姿态;
C2)使用全局光束平差法计算得到双目相机的焦距F、双目相机之间的距离B和双目相机的视差D。
在本发明所述的基于双目视觉的施工安全判断方法中,所述步骤E)进一步包括:
E1)计算双目视频帧中同一目标的各自重心坐标为P和P';所述目标为施工人员或吊车;
E2)得到P和P'之间的距离为B-D;
E3)根据成像原理:按照如下公式:计算得到所述目标的深度值。
在本发明所述的基于双目视觉的施工安全判断方法中,所述基础网络层由设定层卷积层、池化层和ReLU激活函数构成。
在本发明所述的基于双目视觉的施工安全判断方法中,所述设定层为8层。
在本发明所述的基于双目视觉的施工安全判断方法中,所述指定数量的区域为前150个区域。
实施本发明的基于双目视觉的施工安全判断方法,具有以下有益效果:由于设有收集施工现场的样本图片,手工标注出样本图片中施工人员和吊车的位置坐标;采用深度卷积神经网络训练施工人员检测和吊车检测模型;得到双目相机参数;通过双目相机实时获取施工现场的双目视频帧,利用所述施工人员检测和吊车检测模型检测所述双目视频帧中的施工人员的位置坐标和吊车的位置坐标,同时检测到施工人员和吊车,当x2+w2<x1且x1+w1<x2时,将双目视频帧中的检测到的施工人员和吊车进行立体匹配,得到施工人员的深度值z1和吊车的深度值z2;当|z1-z2|<∈时,认为施工人员位于吊车下方,属于危险施工行为;本发明能实现24小时全天候的施工人员危险行为检测,从而实现施工现场的安全监管,提高施工效率和安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于双目视觉的施工安全判断方法一个实施例中的流程图;
图2为所述实施例中采用深度卷积神经网络训练施工人员检测和吊车检测模型的具体流程图;
图3为所述实施例中标定双目相机,得到双目相机参数的具体流程图;
图4为所述实施例中双目视频帧中的检测到的施工人员和吊车进行立体匹配,得到施工人员的深度值z1和吊车的深度值z2的具体流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明基于双目视觉的施工安全判断方法实施例中,该基于双目视觉的施工安全判断方法的流程图如图1所示。图1中,该基于双目视觉的施工安全判断方法包括如下步骤:
步骤S01收集施工现场的样本图片,手工标注出样本图片中施工人员和吊车的位置坐标:本步骤中,收集施工现场的样本图片,手工标注出样本图片中施工人员和吊车的位置坐标。
步骤S02采用深度卷积神经网络训练施工人员检测和吊车检测模型:本步骤中,采用深度卷积神经网络训练施工人员检测和吊车检测模型。
步骤S03标定双目相机,得到双目相机参数:本步骤中,标定双目相机,得到双目相机参数。
步骤S04通过双目相机实时获取施工现场的双目视频帧,利用施工人员检测和吊车检测模型检测双目视频帧中的施工人员的位置坐标(x1,y1,w1,h1)和吊车的位置坐标(x2,y2,w2,h2),同时检测到施工人员和吊车,判断是否满足如下关系:x2+w2<x1且x1+w1<x2:本步骤中,通过双目相机实时获取施工现场的双目视频帧,利用施工人员检测和吊车检测模型检测双目视频帧中的施工人员的位置坐标(x1,y1,w1,h1)和吊车的位置坐标(x2,y2,w2,h2),同时检测到施工人员和吊车,判断两者之间的坐标关系是否满足:x2+w2<x1且x1+w1<x2,如果判断的结果为是,则执行步骤S05;否则,继续进行本步骤的检测,其中,x1、y1、w1、h1分别为施工人员的横坐标、纵坐标、宽度和高度,x2、y2、w2、h2分别为吊车的横坐标、纵坐标、宽度和高度。
步骤S05将双目视频帧中的检测到的施工人员和吊车进行立体匹配,得到施工人员的深度值z1和吊车的深度值z2:本步骤中,将双目视频帧中的检测到的施工人员和吊车进行立体匹配,得到施工人员的深度值z1和吊车的深度值z2
步骤S06比较施工人员的深度值z1和吊车的深度值z2,判断是否满足|z1-z2|<∈:本步骤中,比较施工人员的深度值z1和吊车的深度值z2,判断是否满足|z1-z2|<∈,如果判断的结果为是,则执行步骤S07;否则,执行步骤S08。
步骤S07认为施工人员位于吊车下方,属于危险施工行为:本步骤中,认为施工人员位于吊车下方,属于危险施工行为。
步骤S08认为施工人员未位于吊车下方,属于安全施工行为:本步骤中,认为施工人员未位于吊车下方,属于安全施工行为。本发明能实现24小时全天候的施工人员危险行为检测,从而实现施工现场的安全监管,提高施工效率和安全性。
对于本实施例而言,上述步骤S02还可进一步细化,其细化后的流程图如图2所示。图2中,上述步骤S02进一步包括:
步骤S21构建基础网络层,将样本图片送入基础网络层,得到第一输出特征:本步骤中,构建基础网络层,将样本图片送入基础网络层,得到第一输出特征o1。值得一提的是,本实施例中,基础网络层由设定层卷积层、池化层和ReLU激活函数构成。该设定层为8层。换言之,基础网络层由8层卷积层、池化层和ReLU激活函数构成。当然,在实际应用中,该设定层的层数可以根据具体情况进行相应调整,也就是该设定层的层数可以根据具体情况进行相应增大或减小。
步骤S22构建区域生成网络,用于区分前景和背景,在第一输出特征上应用滑动窗口,每个滑动窗口生成9个候选区域,候选区域的比例按照[1:2,1:1,2:1]三种模式选择,将所有候选区域连接到区域生成网络,采用softmax回归出所有候选区域,选择指定数量的区域作为第二输出特征:本步骤中,构建区域生成网络,用于区分前景和背景,在第一输出特征o1上应用滑动窗口,每个滑动窗口生成9个候选区域,候选区域的比例按照[1:2,1:1,2:1]三种模式选择,将所有候选区域连接到区域生成网络,采用softmax回归出所有候选区域,选择指定数量的区域作为第二输出特征o2。该指定数量的区域为前150个区域,换言之,选择前150个区域作为第二输出特征o2。
步骤S23将第二输出特征接入已训练的resnet进行迁移学习,得到施工人员检测和吊车检测模型:本步骤中,将第二输出特征o2接入已训练的resnet进行迁移学习,得到施工人员检测和吊车检测模型。
对于本实施例而言,上述步骤S03还可进一步细化,其细化后的流程图如图3所示。图3中,上述步骤S03进一步包括:
步骤S31标定双目相机内参:本步骤中,标定双目相机的内部参数。
步骤S32提取第一输出特征和第二输出特征,每次随机选取5对匹配点,并通过5点算法得到双目相机的初始姿态:本步骤中,提取第一输出特征o1和第二输出特征o2,每次随机选取5对匹配点,并通过5点算法得到双目相机的初始姿态。
步骤S33使用全局光束平差法计算得到双目相机的焦距F、双目相机之间的距离B和双目相机的视差D:本步骤中,使用全局光束平差法计算得到双目相机的焦距F、双目相机之间的距离B和双目相机的视差D。
对于本实施例而言,上述步骤S05还可进一步细化,其细化后的流程图如图4所示。图4中,上述步骤S05进一步包括:
步骤S51计算双目视频帧中同一目标的各自重心坐标为P和P':本步骤中,计算双目视频帧中同一目标的各自重心坐标为P和P',该目标可以是目标为施工人员或吊车。换言之,本步骤中,计算双目视频帧中施工人员或吊车的各自重心坐标为P和P'。
步骤S52得到P和P'之间的距离为B-D:本步骤中,得到P和P'之间的距离为B-D。
步骤S53根据成像原理:按照如下公式:计算得到目标的深度值:本步骤中,据成像原理:按照如下公式:计算得到目标的深度值。更具体的,按照可以计算出施工人员的深度值z1和吊车的深度值z2
总之,本发明针对施工人员违规站立在施工吊车下方的危险行为,提出了基于双目视觉的智能分析技术,解放了监管人员的双眼,能实现24小时全天候的施工人员危险行为检测,从而实现施工现场的安全监管,提高施工效率和安全性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于双目视觉的施工安全判断方法,其特征在于,包括如下步骤:
A)收集施工现场的样本图片,手工标注出所述样本图片中施工人员和吊车的位置坐标;
B)采用深度卷积神经网络训练施工人员检测和吊车检测模型;
C)标定双目相机,得到双目相机参数;
D)通过双目相机实时获取施工现场的双目视频帧,利用所述施工人员检测和吊车检测模型检测所述双目视频帧中的施工人员的位置坐标(x1,y1,w1,h1)和吊车的位置坐标(x2,y2,w2,h2),同时检测到施工人员和吊车,判断是否满足如下关系:x2+w2<x1且x1+w1<x2,如是,执行步骤E);否则,继续进行本步骤的检测;其中,x1、y1、w1、h1分别为施工人员的横坐标、纵坐标、宽度和高度,x2、y2、w2、h2分别为吊车的横坐标、纵坐标、宽度和高度;
E)将所述双目视频帧中的检测到的施工人员和吊车进行立体匹配,得到所述施工人员的深度值z1和吊车的深度值z2
F)比较所述施工人员的深度值z1和吊车的深度值z2,判断是否满足|z1-z2|<∈,如是,执行步骤G);否则,执行步骤H);
G)认为施工人员位于吊车下方,属于危险施工行为;
H)认为施工人员未位于吊车下方,属于安全施工行为。
2.根据权利要求1所述的基于双目视觉的施工安全判断方法,其特征在于,所述步骤B)进一步包括:
B1)构建基础网络层,将所述样本图片送入所述基础网络层,得到第一输出特征;
B2)构建区域生成网络,用于区分前景和背景,在所述第一输出特征上应用滑动窗口,每个滑动窗口生成9个候选区域,所述候选区域的比例按照[1:2,1:1,2:1]三种模式选择,将所有候选区域连接到所述区域生成网络,采用softmax回归出所有候选区域,选择指定数量的区域作为第二输出特征;
B3)将所述第二输出特征接入已训练的resnet进行迁移学习,得到所述施工人员检测和吊车检测模型。
3.根据权利要求2所述的基于双目视觉的施工安全判断方法,其特征在于,所述步骤C)进一步包括:
C1)标定双目相机内参;
C2)提取所述第一输出特征和第二输出特征,每次随机选取5对匹配点,并通过5点算法得到双目相机的初始姿态;
C2)使用全局光束平差法计算得到双目相机的焦距F、双目相机之间的距离B和双目相机的视差D。
4.根据权利要求3所述的基于双目视觉的施工安全判断方法,其特征在于,所述步骤E)进一步包括:
E1)计算双目视频帧中同一目标的各自重心坐标为P和P';所述目标为施工人员或吊车;
E2)得到P和P'之间的距离为B-D;
E3)根据成像原理:按照如下公式:计算得到目标的深度值。
5.根据权利要求2所述的基于双目视觉的施工安全判断方法,其特征在于,所述基础网络层由设定层卷积层、池化层和ReLU激活函数构成。
6.根据权利要求2所述的基于双目视觉的施工安全判断方法,其特征在于,所述设定层为8层。
7.根据权利要求2所述的基于双目视觉的施工安全判断方法,其特征在于,所述指定数量的区域为前150个区域。
CN201910708234.4A 2019-08-01 2019-08-01 基于双目视觉的施工安全判断方法 Pending CN110543824A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910708234.4A CN110543824A (zh) 2019-08-01 2019-08-01 基于双目视觉的施工安全判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910708234.4A CN110543824A (zh) 2019-08-01 2019-08-01 基于双目视觉的施工安全判断方法

Publications (1)

Publication Number Publication Date
CN110543824A true CN110543824A (zh) 2019-12-06

Family

ID=68710013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910708234.4A Pending CN110543824A (zh) 2019-08-01 2019-08-01 基于双目视觉的施工安全判断方法

Country Status (1)

Country Link
CN (1) CN110543824A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461079A (zh) * 2020-05-18 2020-07-28 江苏电力信息技术有限公司 一种基于双目图像的吊臂下人员检测方法
CN112101211A (zh) * 2020-09-15 2020-12-18 山东鲁能软件技术有限公司 一种基于目标检测和双目测距的人员与吊臂位置计算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN110060299A (zh) * 2019-04-18 2019-07-26 中国测绘科学研究院 基于双目视觉技术的输电通道内危险源识别和定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN110060299A (zh) * 2019-04-18 2019-07-26 中国测绘科学研究院 基于双目视觉技术的输电通道内危险源识别和定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461079A (zh) * 2020-05-18 2020-07-28 江苏电力信息技术有限公司 一种基于双目图像的吊臂下人员检测方法
CN112101211A (zh) * 2020-09-15 2020-12-18 山东鲁能软件技术有限公司 一种基于目标检测和双目测距的人员与吊臂位置计算方法

Similar Documents

Publication Publication Date Title
TWI320847B (en) Systems and methods for object dimension estimation
CN105718869B (zh) 一种评估图片中人脸颜值的方法和装置
CN105023010B (zh) 一种人脸活体检测方法及系统
CN105740780B (zh) 人脸活体检测的方法和装置
KR20180017056A (ko) 라이브니스 검출 방법 및 디바이스, 및 아이덴티티 인증 방법 및 디바이스
CN105740779B (zh) 人脸活体检测的方法和装置
EP3723046B1 (en) Target tracking method and device
CN109308718B (zh) 一种基于多深度相机的空间人员定位装置及方法
US20140064602A1 (en) Method and apparatus for object positioning by using depth images
CN110991266B (zh) 一种双目人脸活体检测方法及装置
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN105022999A (zh) 一种人码伴随实时采集系统
CN110059602B (zh) 一种基于正投影特征变换的俯视人脸矫正方法
CN109074490A (zh) 通路检测方法、相关装置及计算机可读存储介质
CN105740781A (zh) 一种三维人脸活体检测的方法和装置
CN103177247A (zh) 一种融合多视角信息的目标检测方法
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN110543824A (zh) 基于双目视觉的施工安全判断方法
CN104346621A (zh) 创建眼睛模板及检测眼睛状态的方法与装置
CN103593641A (zh) 基于立体摄像机的物体检测方法和装置
CN104463080A (zh) 人眼状态的检测方法
CN111476762A (zh) 一种巡检设备的障碍物检测方法、装置和巡检设备
CN109492455A (zh) 活体对象检测及身份认证方法、介质、系统和相关装置
CN104463081A (zh) 人眼状态的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191206

RJ01 Rejection of invention patent application after publication