CN109447016A - 一种基于结构光的加钞间人数统计方法及系统 - Google Patents

一种基于结构光的加钞间人数统计方法及系统 Download PDF

Info

Publication number
CN109447016A
CN109447016A CN201811318897.7A CN201811318897A CN109447016A CN 109447016 A CN109447016 A CN 109447016A CN 201811318897 A CN201811318897 A CN 201811318897A CN 109447016 A CN109447016 A CN 109447016A
Authority
CN
China
Prior art keywords
structure light
image
head
paper money
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811318897.7A
Other languages
English (en)
Inventor
李代远
麦全深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
POLYTRON TECHNOLOGIES Inc
Haoyun Technologies Co Ltd
Original Assignee
POLYTRON TECHNOLOGIES Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by POLYTRON TECHNOLOGIES Inc filed Critical POLYTRON TECHNOLOGIES Inc
Priority to CN201811318897.7A priority Critical patent/CN109447016A/zh
Publication of CN109447016A publication Critical patent/CN109447016A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明公开了一种基于结构光的加钞间人数统计方法及系统，所述方法包括：步骤S1，利用结构光摄像头获取结构光图像，对获得的结构光图像对其深度进行填补以减少黑洞对区域提取的干扰；步骤S2，利用图像分割的方法，将填补后的结构光图像中的亮斑/暗斑区域提取出来，作为头部的候选区域；步骤S3，将获得的所有候选区域送入基于卷积神经网络的分类器中进行分类；步骤S4，对分类结果为头部的候选区域进行位置跟踪，获得每个目标的行为轨迹；步骤S5，根据每个目标的行为轨迹进行人数统计更新，本发明可以利用结构光摄像头实现准确的人数统计的目的。

Description

一种基于结构光的加钞间人数统计方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于结构光的加钞间人数统计方法及系统。
背景技术
银行、储蓄所、ATM踢关机等所处的地理位置都是繁华热闹地带，同时也是刑事犯罪多发地带，如袭击提款人等，给国家和人民造成严重的损失和不良的影响，当前，银行等金融机构的安全问题成为社会关注的焦点，对于金融行业来说，安全是不断提升的需求。广大客户期望在日常的金融交易中有更为安全便捷的保障，越来越多的金融机构也把安全监控提升到加强核心竞争力的高度。
为了提高安全性，在视频监控领域，经常需要统计监控区域中的人数，较为准确的人数统计结果是相关环境安全性的重要参数之一，因此，在金融领域(银行等)，加钞间内一般都设置有摄像头对加钞间进行监控，并进行人数统计。
目前，场景人数统计的方案主要采用如下如下2种：1、使用壁装的摄像头，通过智能算法，将场景中的人员检出并做统计，然而，该方法的主要弊端在于，当场景中人体发生遮挡时则会容易导致人数统计不精确；2、在场景进出口天花板安装摄像头，通过摄像头画面分析进出口人的数量，来估计场景中存在的人数，在该方法中，由于画面是俯瞰视角，这种方法可以有效的解决人体遮挡的问题。
针对第2种方案，目前行业内可采用的摄像头大致有三种：一、单目摄像头，然而，单目摄像头相较于其余两种3D摄像头，具有如下缺点：1.缺少深度信息，2.光照影响明显，对画面中进出口人员分析的难度更大而且更加耗费计算性能；二、双目摄像头，双目摄像头虽然包含提取画面中的3维图像信息，但是成像没有结构光摄像头精细且依赖于可见光；三、结构光摄像头则不存在这种问题，成像轮廓较为清晰平滑，且不依赖环境光大小，在黑暗条件下也可以工作，因此逐渐被广泛使用，但是结构光摄像头也存在一定的缺陷，首先结构光不能在强光照的条件下工作，其次在某些材质(头发)的物体表面会存在不能成像情况。
因此，实有必要提出一种技术手段，以实现基于结构光的场景人数统计。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于结构光的加钞间人数统计方法及系统，以解决采用结构光进行人数统计时存在头部不能成像的问题，通过使用RGB图像进行补全，并结合微型神经网络结构，实现准确的人数统计的目的。
为达上述及其它目的，本发明提出一种基于结构光的加钞间人数统计方法，包括如下步骤：
步骤S1，利用结构光摄像头获取结构光图像，对获得的结构光图像对其深度进行填补以减少黑洞对区域提取的干扰；
步骤S2，利用图像分割的方法，将填补后的结构光图像中的亮斑/暗斑区域提取出来，作为头部的候选区域；
步骤S3，将获得的所有候选区域送入基于卷积神经网络的分类器中进行分类；
步骤S4，对分类结果为头部的候选区域进行位置跟踪，获得每个目标的行为轨迹；
步骤S5，根据每个目标的行为轨迹进行人数统计更新。
优选地，于步骤S1中，对获得的结构光图像参考RGB图像进行深度填补以补全图像。
优选地，于步骤S2中，采用使用MSER提取方法提取结构光画面中的的亮斑/暗斑区域作为头部的候选区域。
优选地，于步骤S3中，所述卷积神经网络为一种轻量级的结合了depthwise卷积的神经网络。
优选地，于步骤S4中，头部跟踪步骤如下：
计算当前帧与下一帧的视频图像中所有目标的外接框的重叠度；
根据重叠度对所有目标进行排序；
找到下一帧图像中外接框重叠度最高的若干组目标的位置，替换当前帧的相应目标的位置。
优选地，于步骤S5中，当根据某个目标的行为轨迹判断出某一目标的坐标经过预设绊线时，则触发人数统计操作，进行人数统计更新。
优选地，于步骤S4中，将分类结果不为头部的候选区域丢弃。
优选地，于步骤S1中，所述结构光摄像头设置于加钞间进出口的顶部。
为达到上述目的，本发明还提供一种基于结构光的加钞间人数统计系统，包括：
图像获取及补全单元，用于利用结构光摄像头获取结构光图像，对获得的结构光图像对其深度进行填补以减少黑洞对区域提取的干扰；
图像分割单元，用于利用图像分割的方法，将填补后的结构光图像中的亮斑/暗斑区域提取出来，作为头部的候选区域；
分类单元，用于将获得的所有候选区域送入基于卷积神经网络的分类器中进行分类；
头部跟踪单元，用于对分类结果为头部的候选区域进行位置跟踪，获得每个目标的行为轨迹；
人数统计单元，用于根据每个目标的行为轨迹进行人数统计更新。
优选地，所述图像获取及补全单元参考RGB图像对获得的结构光图像的深度进行填补以补全图像。
与现有技术相比，本发明一种基于结构光的加钞间人数统计方法及系统通过采用结构光进行加钞间进出口人数统计，对获取的结构光图像先使用RGB图像进行补全，并结合微型卷积神经网络结构，实现了准确的人数统计的目的。
附图说明
图1为本发明一种基于结构光的加钞间人数统计方法的步骤流程图；
图2为本发明具体实施例中卷积神经网络的结构示意；
图3为本发明一种基于结构光的加钞间人数统计系统的系统架构图；
图4为本发明具体实施例中加钞间人数统计的步骤流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种基于结构光的加钞间人数统计方法的步骤流程图。如图1所示，本发明一种基于结构光的加钞间人数统计方法，包括如下步骤：
步骤S1，利用结构光摄像头获取结构光图像，对获得的结构光图像参考RGB图像对深度进行填补以减少黑洞对区域提取的干扰。在本发明具体实施例中，结构光摄像头设置于加钞间进出口的天花板上，以便通过结构光摄像头所获取的图像分析进出口人的数量，来估计场景中存在的人数。由于结构光摄像头的成像机制原因，部分区域不会成像，这可能导致深度图像存在大大小小的黑洞，因此需要参考RGB图像对深度进行粗略的填补以减少黑洞对区域提取的干扰，具体地，使用当前帧和参考RGB图像进行对比，确定空洞区域是否是前景(即移动物体)，如果是则使用固定值填充，否则使用空洞周围像素的加权平均值对空洞进行填充。
步骤S2，利用图像分割的方法，将填补后的结构光图像中的亮斑/暗斑区域提取出来，作为头部的候选区域。在本发明具体实施例中，可采用使用MSER(Maximally StableExtremal Regions，最大稳定极值区域)提取方法提取结构光画面中的的亮斑/暗斑区域作为头部的候选区域，这里采用的MSER提取方法一种通用的(局部)极值区域提取算法，在此不予赘述。
步骤S3，将获得的所有候选区域送入基于卷积神经网络的分类器中进行分类；在本发明具体实施例中，所述卷积神经网络为一种轻量级的结合了depthwise卷积(深度卷积)的神经网络，其具体结构如图2所示，其包括卷积层、池化层以及全连接层，其中卷积层采用depthwise卷积，在卷积和全连接之间还包括flatten层，在本发明具体实施例中，预先利用该卷积神经网络实现分类器，并利用搜集的数据进行训练，由于建立分类器以及训练方法采用的是通用的深度学习训练方法，在此不予赘述。
步骤S4，对分类结果不为头部的候选区域丢弃，对分类结果为头部的候选区域，即头部，进行位置跟踪，获得每个目标(头部)的行为轨迹。在本发明具体实施例中，使用重叠度对每一帧图像中头部的位置进行跟踪，具体地，头部跟踪步骤如下：
步骤S400，计算当前帧与下一帧的视频图像中所有目标的外接框的重叠度；
步骤S401，根据重叠度对所有目标进行排序；
步骤S402，找到下一帧图像中外接框重叠度最高的若干组目标的位置，替换当前帧的相应目标的位置。
步骤S5，根据每个目标(头部)的行为轨迹进行人数统计更新。具体地，当根据某个目标的行为轨迹判断出某一目标的坐标经过预设绊线时，则会引发统计操作，进行人数统计更新。
图3为本发明一种基于结构光的加钞间人数统计系统的系统架构图。如图3所示，本发明一种基于结构光的加钞间人数统计系统，包括：
图像获取及补全单元201，利用结构光摄像头获取结构光图像，对获得的结构光图像参考RGB图像对深度进行填补以减少黑洞对区域提取的干扰。在本发明具体实施例中，结构光摄像头设置于加钞间进出口的天花板上，以便通过结构光摄像头所获取的图像分析进出口人的数量，来估计场景中存在的人数。由于结构光摄像头的成像机制原因，部分区域不会成像，这可能导致深度图像存在大大小小的黑洞，因此需要参考RGB图像对深度进行粗略的填补以减少黑洞对区域提取的干扰。具体地，图像获取及补全单元201使用当前帧和参考RGB图像进行对比，确定空洞区域是否是前景(即移动物体)，如果是则使用固定值填充，否则使用空洞周围像素的加权平均值对空洞进行填充
图像分割单元202，用于利用图像分割的方法，将填补后的结构光图像中的亮斑/暗斑区域提取出来，作为头部的候选区域。在本发明具体实施例中，图像分割单元202可采用使用MSER(Maximally Stable Extremal Regions，最大稳定极值区域)提取方法提取结构光画面中的的亮斑/暗斑区域作为头部的候选区域，这里采用的MSER提取方法一种通用的(局部)极值区域提取算法，在此不予赘述。
分类单元203，用于将获得的所有候选区域送入基于卷积神经网络的分类器中进行分类；在本发明具体实施例中，所述卷积神经网络为一种轻量级的结合了depthwise卷积的神经网络。
头部跟踪单元204，用于对分类结果为头部的候选区域，即头部，进行位置跟踪，获得每个目标(头部)的行为轨迹，而对分类结果不为头部的候选区域则给予丢弃。在本发明具体实施例中，头部跟踪单元204使用重叠度对每一帧图像中头部的位置进行跟踪，具体地，头部跟踪过程如下：
计算当前帧与下一帧的视频图像中所有目标的外接框的重叠度；
根据重叠度对所有目标进行排序；
找到下一帧图像中外接框重叠度最高的若干组目标的位置，替换当前帧的相应目标的位置。
人数统计单元205，用于根据每个目标(头部)的行为轨迹进行人数统计更新。具体地，人数统计单元205会根据某个目标的行为轨迹判断出某一目标的坐标是否经过预设绊线，当经过预设绊线时，则会引发统计操作，进行人数统计更新。
图4为本发明具体实施例中加钞间人数统计的步骤流程图。如图4所示，人数统计过程如下：
步骤1，利用结构光摄像头获取深度图像，并参考RGB图像对深度进行粗略的填补。由于结构光摄像头的成像机制原因，部分区域不会成像，这可能导致深度图像存在大大小小的黑洞，在进行图像分割提取区域之前，参考RGB图对深度进行粗略的填补以减少黑洞对区域提取的干扰。在本实施例中，结构光摄像头安装于加钞间顶部天花板上。
步骤2，区域提取，即头部区域分割
使用图像分割方法(具体可使用MSER算法)将结构光图像中的的亮斑/暗斑区域提取出来，作为头部的候选区域。
步骤3，头部分类
将所有候选区域送入基于卷积神经网络的分类器中进行分类，
步骤4，头部跟踪
对分类为头部的候选区域进行跟踪，获得头部的行为轨迹，在本实施例中，使用重叠度对每一帧画面中头部的位置进行跟踪，具体地，重叠度跟踪过程如下：计算当前帧与下一帧的视频图像中所有目标的外接框的重叠度，然后排序，找到下一帧图像中外接框重叠度最高的几组目标的位置，替换当前的相应目标的位置。
步骤5，人数统计更新
根据头部跟踪获得的每个目标的行为轨迹，判断是否经过预设绊线，即判断其坐标是否经过预设绊线，当某一目标的坐标经过预设绊线时，会进行人数计数操作，即进行人数统计更新。
综上所述，本发明一种基于结构光的加钞间人数统计方法及系统通过采用结构光进行加钞间进出口人数统计，对获取的结构光图像先使用RGB图像进行补全，并结合微型卷积神经网络结构，实现了准确的人数统计的目的。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于结构光的加钞间人数统计方法，包括如下步骤：
步骤S1，利用结构光摄像头获取结构光图像，对获得的结构光图像对其深度进行填补以减少黑洞对区域提取的干扰；
步骤S2，利用图像分割的方法，将填补后的结构光图像中的亮斑/暗斑区域提取出来，作为头部的候选区域；
步骤S3，将获得的所有候选区域送入基于卷积神经网络的分类器中进行分类；
步骤S4，对分类结果为头部的候选区域进行位置跟踪，获得每个目标的行为轨迹；
步骤S5，根据每个目标的行为轨迹进行人数统计更新。
2.如权利要求1所述的一种基于结构光的加钞间人数统计方法，其特征在于：于步骤S1中，对获得的结构光图像参考RGB图像进行深度填补以补全图像。
3.如权利要求1所述的一种基于结构光的加钞间人数统计方法，其特征在于：于步骤S2中，采用使用MSER提取方法提取结构光画面中的的亮斑/暗斑区域作为头部的候选区域。
4.如权利要求1所述的一种基于结构光的加钞间人数统计方法，其特征在于：于步骤S3中，所述卷积神经网络为一种轻量级的结合了depthwise卷积的神经网络。
5.如权利要求1所述的一种基于结构光的加钞间人数统计方法，其特征在于，于步骤S4中，头部跟踪步骤如下：
计算当前帧与下一帧的视频图像中所有目标的外接框的重叠度；
根据重叠度对所有目标进行排序；
找到下一帧图像中外接框重叠度最高的若干组目标的位置，替换当前帧的相应目标的位置。
6.如权利要求1所述的一种基于结构光的加钞间人数统计方法，其特征在于：于步骤S5中，当根据某个目标的行为轨迹判断出某一目标的坐标经过预设绊线时，则触发人数统计操作，进行人数统计更新。
7.如权利要求1所述的一种基于结构光的加钞间人数统计方法，其特征在于：于步骤S4中，将分类结果不为头部的候选区域丢弃。
8.如权利要求1所述的一种基于结构光的加钞间人数统计方法，其特征在于：于步骤S1中，所述结构光摄像头设置于加钞间进出口的顶部。
9.一种基于结构光的加钞间人数统计系统，包括：
图像获取及补全单元，用于利用结构光摄像头获取结构光图像，对获得的结构光图像对其深度进行填补以减少黑洞对区域提取的干扰；
图像分割单元，用于利用图像分割的方法，将填补后的结构光图像中的亮斑/暗斑区域提取出来，作为头部的候选区域；
分类单元，用于将获得的所有候选区域送入基于卷积神经网络的分类器中进行分类；
头部跟踪单元，用于对分类结果为头部的候选区域进行位置跟踪，获得每个目标的行为轨迹；
人数统计单元，用于根据每个目标的行为轨迹进行人数统计更新。
10.如权利要求9所述的一种基于结构光的加钞间人数统计系统，其特征在于：所述图像获取及补全单元参考RGB图像对获得的结构光图像的深度进行填补以补全图像。
CN201811318897.7A 2018-11-07 2018-11-07 一种基于结构光的加钞间人数统计方法及系统 Pending CN109447016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811318897.7A CN109447016A (zh) 2018-11-07 2018-11-07 一种基于结构光的加钞间人数统计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811318897.7A CN109447016A (zh) 2018-11-07 2018-11-07 一种基于结构光的加钞间人数统计方法及系统

Publications (1)

Publication Number Publication Date
CN109447016A true CN109447016A (zh) 2019-03-08

Family

ID=65551366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811318897.7A Pending CN109447016A (zh) 2018-11-07 2018-11-07 一种基于结构光的加钞间人数统计方法及系统

Country Status (1)

Country Link
CN (1) CN109447016A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126314A (zh) * 2019-12-26 2020-05-08 杭州中科先进技术研究院有限公司 一种基于3d点云数据的客流统计视觉方法和系统
CN114758457A (zh) * 2022-04-19 2022-07-15 南京奥拓电子科技有限公司 一种加钞间违规操作智能监测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872431A (zh) * 2010-02-10 2010-10-27 杭州海康威视软件有限公司 可适用多角度应用场景的人流量统计的方法及系统
CN103279791A (zh) * 2013-05-30 2013-09-04 上海汇纳网络信息科技有限公司 基于多特征的行人计算方法
CN103530874A (zh) * 2013-10-09 2014-01-22 上海大学 基于Kinect的人流计数方法
CN104601966A (zh) * 2015-02-09 2015-05-06 桂林电子科技大学 一种基于激光检测线的视觉分析人流量统计方法及设备
CN205400384U (zh) * 2016-03-04 2016-07-27 广东理工学院 一种地铁智能自动安全门

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872431A (zh) * 2010-02-10 2010-10-27 杭州海康威视软件有限公司 可适用多角度应用场景的人流量统计的方法及系统
CN103279791A (zh) * 2013-05-30 2013-09-04 上海汇纳网络信息科技有限公司 基于多特征的行人计算方法
CN103530874A (zh) * 2013-10-09 2014-01-22 上海大学 基于Kinect的人流计数方法
CN104601966A (zh) * 2015-02-09 2015-05-06 桂林电子科技大学 一种基于激光检测线的视觉分析人流量统计方法及设备
CN205400384U (zh) * 2016-03-04 2016-07-27 广东理工学院 一种地铁智能自动安全门

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126314A (zh) * 2019-12-26 2020-05-08 杭州中科先进技术研究院有限公司 一种基于3d点云数据的客流统计视觉方法和系统
CN114758457A (zh) * 2022-04-19 2022-07-15 南京奥拓电子科技有限公司 一种加钞间违规操作智能监测方法及装置
CN114758457B (zh) * 2022-04-19 2024-02-02 南京奥拓电子科技有限公司 一种加钞间违规操作智能监测方法及装置

Similar Documents

Publication Publication Date Title
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN104408429B (zh) 一种视频代表帧提取方法及装置
WO2021208275A1 (zh) 一种交通视频背景建模方法及系统
CN108986064B (zh) 一种人流量统计方法、设备及系统
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
CN105405154B (zh) 基于颜色-结构特征的目标对象跟踪方法
US8213679B2 (en) Method for moving targets tracking and number counting
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN110020606A (zh) 一种基于多尺度卷积神经网络的人群密度估计方法
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN103295016B (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
CN104077605B (zh) 一种基于颜色拓扑结构的行人搜索识别方法
CN108550161A (zh) 一种尺度自适应核相关滤波快速目标跟踪方法
CN109961049A (zh) 一种复杂场景下香烟品牌识别方法
CN103020606B (zh) 一种基于时空上下文信息的行人检测方法
CN102867177B (zh) 一种基于图像灰度匹配的人数统计方法
CN103325115B (zh) 一种基于头顶摄像头的监控行人计数的方法
CN105184808B (zh) 一种光场图像前后景自动分割方法
CN105139425A (zh) 一种人数统计方法及装置
CN107886507B (zh) 一种基于图像背景和空间位置的显著区域检测方法
CN107220603A (zh) 基于深度学习的车辆检测方法及装置
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN102855466B (zh) 一种基于视频图像处理的人数统计方法
CN109711267A (zh) 一种行人重识别、行人运动轨迹生成方法及装置
CN106778635A (zh) 一种基于视觉显著性的人体区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308

RJ01 Rejection of invention patent application after publication