CN113128322A - 一种电梯地坎检测方法 - Google Patents

一种电梯地坎检测方法 Download PDF

Info

Publication number
CN113128322A
CN113128322A CN202010046864.2A CN202010046864A CN113128322A CN 113128322 A CN113128322 A CN 113128322A CN 202010046864 A CN202010046864 A CN 202010046864A CN 113128322 A CN113128322 A CN 113128322A
Authority
CN
China
Prior art keywords
sill
elevator door
elevator
image
closing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010046864.2A
Other languages
English (en)
Inventor
邓道举
钟亚林
杨莉
赵雷杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Weco Optoelectronics Co ltd
Original Assignee
Ningbo Weco Optoelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Weco Optoelectronics Co ltd filed Critical Ningbo Weco Optoelectronics Co ltd
Priority to CN202010046864.2A priority Critical patent/CN113128322A/zh
Publication of CN113128322A publication Critical patent/CN113128322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B13/00Doors, gates, or other apparatus controlling access to, or exit from, cages or lift well landings
    • B66B13/24Safety devices in passenger lifts, not otherwise provided for, for preventing trapping of passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0018Devices monitoring the operating condition of the elevator system
    • B66B5/0031Devices monitoring the operating condition of the elevator system for safety reasons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/02Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions
    • B66B5/021Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions the abnormal operating conditions being independent of the system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)

Abstract

本发明公开了一种电梯地坎检测方法,包括以下步骤:S1、采集数据:从视频图像中解析出电梯门图像;S2、数据预处理,建立地坎检测模型:对电梯门图像进行预处理,对电梯门图像中的地坎进行标注,输入神经网络训练,得到训练好的地坎检测模型;S3、网络模型检测,将地坎检测模型输入控制中心模块,在摄像头获取到新的视频图像时,利用地坎检测模型实时预测电梯门的开关状态;S4、根据预测结果,判断电梯门的状态是否正常,出现异常时报警。通过建立地坎检测模型,实时预测电梯地坎的坐标信息,计算电梯运行参数,实现了对电梯门状态的实时监测,能够及时发现问题,提高电梯安全。

Description

一种电梯地坎检测方法
技术领域
本发明涉及电梯技术领域,尤其是涉及一种电梯地坎检测方法。
背景技术
目前,电梯门处障碍物的检测采用的是红外光幕的方式,在电梯门边上等距离安装红外发射管与红外接收管,在开关门的过程中,如果红外接收管接收不到红外信号,就说明有障碍物存在,如果遇到透明物体就无法检测,对比较小的物体,如狗绳、儿童的小手、或大人手的一部分,其很大机率是检测不到的,检测效果很差,会发生小狗在外面,主人进入电梯,电梯门关闭的现象,从而发生安全事故。如果儿童的小手或大人的手的一部分位于电梯门边上,而电梯没有检测到,电梯门关闭就会发生夹手事故。
电梯门的开关是否正常也是一个非常重要的考虑因素,电梯门在开关过程中是否平稳,红外光幕方式是无法检测到的,如果电梯门猛开或猛关,会夹住人或物,发生安全事故。
因此,如何提高电梯门的检测精度,及时发现问题,防止事故的发生,是目前亟待解决的问题。
发明内容
本发明的目的是提供一种电梯地坎检测方法,从电梯门上方中间位置进行不同场景下的视频拍摄,解析出图像,对图像进行预处理,建立地坎检测模型,在摄像头获取到新的视频图像时,利用地坎检测模型实时预测电梯门的开关状态。本申请通过建立地坎检测模型,实时预测电梯地坎的坐标信息,计算电梯运行参数,实现了对电梯门状态的实时监测,能够及时发现问题,提高电梯安全。
本发明的上述发明目的通过以下技术方案得以实现:
一种电梯地坎检测方法,包括以下步骤:
S1、采集数据:从视频图像中解析出电梯门图像;
S2、数据预处理,建立地坎检测模型:对电梯门图像进行预处理,对电梯门图像中的地坎进行标注,输入神经网络训练,得到训练好的地坎检测模型;
S3、网络模型检测,将地坎检测模型输入控制中心模块,在摄像头获取到新的视频图像时,利用地坎检测模型实时预测电梯门的开关状态;
S4、根据预测结果,判断电梯门的状态是否正常,出现异常时报警。
本发明进一步设置为:步骤S1中,从电梯门顶部中央位置,对电梯门进行视频拍摄,获得不同场景下的电梯门数据,并从视频中解析出电梯门图像。
本发明进一步设置为:步骤S2中,对电梯门图像进行预处理,建立地坎检测模型,包括以下步骤:
A1、剔除不符合要求的图像;
A2、裁剪获得目标尺寸图像;
A3、利用图像处理方法对部分图像进行数据增强操作;
A4、对处理过的电梯门中的地坎进行标注;
A5、将标注过的电梯门图像划分为训练集、验证集、测试集。
A6、将训练集、验证集、测试集制作成网络支持的格式,输入目标检测算法中进行训练;
A7、训练一定迭代次数后,学习到检测地坎区域的特征,定位电梯门图像中的地坎位置并输出坐标信息;训练次数达到设定值后,保存训练好的地坎检测模型。
本发明进一步设置为:步骤S3中,在电梯门光幕检测到电梯门核心保护区有异物时,地坎检测模型停止预测电梯门的开关状态,在电梯门光幕检测到电梯门核心保护区无异物时,地坎检测模型进行电梯门开关状态的预测。
本发明进一步设置为:地坎宽度从最大逐渐减小到0,判断电梯门关闭;地坎宽度从0逐渐增加到最大,判断电梯门打开。
本发明进一步设置为:在电梯门关闭的过程中,根据预测出的上一帧地坎宽度与当前帧地坎宽度,计算当前帧电梯门的关闭运行速度与关闭加速度,若关闭运行速度大于等于关闭运行速度设定值,或关闭加速度大于等于关闭加速度设定值,则判断电梯门出现猛关情况。
本发明进一步设置为:在电梯门打开的过程中,根据预测出的上一帧地坎宽度与当前帧地坎宽度,计算当前帧电梯门的打开运行速度与打开加速度,若打开运行速度大于等于打开运行速度设定值,或打开加速度大于等于打开加速度设定值,则判断电梯门出现猛开情况。
本发明进一步设置为:在电梯门关闭或打开时,如果预测出连续N帧出现地坎宽度保持不变,则判断电梯门出现半开停滞情况,其中N是大于2的正整数。
本发明进一步设置为:在电梯轿厢上下运行时,地坎宽度为零,当出现地坎宽度大于零,则判断电梯门出现故障。
本发明进一步设置为:步骤S4中,预测到电梯门出现猛开情况、猛关情况、出现故障、半开停滞情况中的一个现象时,进行报警。
与现有技术相比,本发明的有益技术效果为:
1.本申请通过从电梯门顶角度采集大量不同场景下的电梯门视频图像,经过预处理及神经网络训练,建立电梯门地坎检测模型,为通过地坎图像预测电梯门状态提供了依据;
2.进一步地,本申请采用地坎检测模型对电梯地坎的宽度进行测量,得到电梯门的状态,实现了对电梯门状态的实时监测;
3.进一步地,本申请通过电梯地坎的宽度,计算电梯门运行速度及加速度,对电梯门的运行进行实时监测,保证电梯门运行的正常。
附图说明
图1是本发明的一个具体实施例的电梯地坎检测方法流程示意图;
图2是本发明的一个具体实施例的建立地坎检测模型流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本发明的一种电梯地坎检测方法,如图1所示,包括以下步骤:
S1、采集数据:从视频图像中解析出电梯门图像;
S2、数据预处理,建立地坎检测模型:对电梯门图像进行预处理,对电梯门图像中的地坎进行标注,输入神经网络训练,得到训练好的地坎检测模型;
S3、网络模型检测,将地坎检测模型输入控制中心模块,在摄像头获取到新的视频图像时,利用地坎检测模型实时预测电梯门的开关状态;
S4、根据预测结果,判断电梯门的状态是否正常,出现异常时报警。
具体地,步骤S1中,在电梯门顶部中央位置设置摄像头,向下对电梯门进行视频拍摄,经过大量的拍摄,获得不同场景下的电梯门图像视频数据,从视频数据中解析出电梯门图像。
在本申请的一个具体实施例中,在电梯轿厢门与电梯厅门之间的顶部中央位置设置摄像头,能够在电梯门一定区域内进行拍摄,形成核心区域检测。
采用USB摄像头获取视频,视频图像的分辨率为640*480。
步骤S2中,对电梯门图像进行预处理,建立地坎检测模型,如图2所示,包括以下步骤:
A1、剔除不符合要求的图像;
A2、裁剪获得目标尺寸图像;
A3、利用图像处理方法对部分图像进行数据增强操作;
A4、对处理过的电梯门中的地坎进行标注;
A5、将标注过的电梯门图像划分为训练集、验证集、测试集。
A6、将训练集、验证集、测试集制作成网络支持的格式,输入目标检测算法中进行训练;
A7、训练一定迭代次数后,学习到检测地坎区域的特征,定位电梯门图像中的地坎位置并输出坐标信息;训练次数达到设定值后,保存训练好的地坎检测模型。
在本申请的一个具体实施例中,不符合要求的电梯门图像包括过曝、过暗、重复、地坎所在区域有异物的电梯门图像数据,异物是指尺寸大于等于5cm大小以上的物体。
采用平移、旋转、裁剪、颜色抖动等图像处理方法,对部分电梯门图像数据进行数据增强操作。
利用标注工具对电梯门图像中的地坎进行标注。
标注工具包括LabelImg。
将标注好的电梯门地坎图像数据制作成网络支持的格式,输入目标检测算法中,进行训练,在一定迭代次数后,神经网络学习到检测地坎区域的特征,能够对图像中地坎的位置精确定位,输出地坎坐标信息,地坎坐标信息包括地坎中心坐标、地坎的高度与宽度。
步骤S3中,在电梯门光幕检测到电梯门核心保护区有异物时,地坎检测模型停止预测电梯门的开关状态,在电梯门光幕检测到电梯门核心保护区无异物时,地坎检测模型进行电梯门开关状态的预测。
根据前后帧地坎坐标信息,对电梯门状态进行预测,包括以下方面:
在电梯门关闭过程中,地坎宽度值从最大逐渐减小,当电梯门完全关闭后,地坎宽度值为0,此时判断电梯门关闭;相应地,电梯门打开过程中,地坎宽度值从0逐渐增加,当电梯门完全打开后,地坎宽度值最大,判断电梯门打开。
在电梯门关闭的过程中,根据预测出的上一帧地坎宽度W1与当前帧地坎宽度W2,计算当前帧门的关闭运行速度V与关闭加速度a,
Figure DEST_PATH_IMAGE001
Figure 6985DEST_PATH_IMAGE002
式中,
Figure DEST_PATH_IMAGE003
表示前后两帧图像的时间间隔,通过获得的帧率FPS计算得到。
若关闭运行速度
Figure 596229DEST_PATH_IMAGE004
大于等于关闭运行速度设定值,或关闭加速度
Figure DEST_PATH_IMAGE005
大于等于关闭加 速度设定值,则判断电梯门出现猛关情况。
相应地,在电梯门打开的过程中,根据预测出的上一帧地坎宽度与当前帧地坎宽度,计算当前帧电梯门的打开运行速度与打开加速度,若打开运行速度大于等于打开运行速度设定值,或打开加速度大于等于打开加速度设定值,则判断电梯门出现猛开情况。
在电梯门关闭或打开时,如果预测出连续N帧出现地坎宽度W保持不变,即
Figure 235021DEST_PATH_IMAGE006
,则判断电梯门出现半开停滞情况,其中N是大于2的正整数。
在电梯轿厢上下运行时,地坎宽度为零,当出现地坎宽度大于零,则判断电梯门出现故障。
步骤S4中,预测到电梯门出现猛开情况、猛关情况、出现故障、半开停滞情况中的一个现象时,进行报警,为电梯维保提供实时参考与分析,保障电梯出行与乘坐安全。
在电梯运行正常的情况下,根据电梯门的状态,控制电梯运行,在判断到电梯门完全关闭时,输出门关闭信号给控制系统,控制电梯轿厢运行,实现电梯的智能化运行。
本具体实施方式的实施例均为本发明的较佳实施例,并非依此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。

Claims (10)

1.一种电梯地坎检测方法,其特征在于:包括以下步骤:
S1、采集数据:从视频图像中解析出电梯门图像;
S2、数据预处理,建立地坎检测模型:对电梯门图像进行预处理,对电梯门图像中的地坎进行标注,输入神经网络训练,得到训练好的地坎检测模型;
S3、网络模型检测:将地坎检测模型输入控制中心模块,在摄像头获取到新的视频图像时,利用地坎检测模型实时预测电梯门的开关状态;
S4、根据预测结果,判断电梯门的状态是否正常,出现异常时报警。
2.根据权利要求1所述的电梯地坎检测方法,其特征在于:步骤S1中,从电梯门顶部中央位置,对电梯门进行视频拍摄,获得不同场景下的电梯门数据,并从视频中解析出电梯门图像。
3.根据权利要求2所述的电梯地坎检测方法,其特征在于:步骤S2中,对电梯门图像进行预处理,建立地坎检测模型,包括以下步骤:
A1、剔除不符合要求的图像;
A2、裁剪获得目标尺寸图像;
A3、利用图像处理方法对部分图像进行数据增强操作;
A4、对处理过的电梯门中的地坎进行标注;
A5、将标注过的电梯门图像划分为训练集、验证集、测试集;
A6、将训练集、验证集、测试集制作成网络支持的格式,输入目标检测算法中进行训练;
A7、训练一定迭代次数后,学习到检测地坎区域的特征,定位电梯门图像中的地坎位置并输出坐标信息;训练次数达到设定值后,保存训练好的地坎检测模型。
4.根据权利要求1所述的电梯地坎检测方法,其特征在于:步骤S3中,在电梯门光幕检测到电梯门核心保护区有异物时,地坎检测模型停止预测电梯门的开关状态,在电梯门光幕检测到电梯门核心保护区无异物时,地坎检测模型进行电梯门开关状态的预测。
5.根据权利要求1或4所述的电梯地坎检测方法,其特征在于:地坎宽度从最大逐渐减小到0,判断电梯门关闭;地坎宽度从0逐渐增加到最大,判断电梯门打开。
6.根据权利要求1或4所述的电梯地坎检测方法,其特征在于:在电梯门关闭的过程中,根据预测出的上一帧地坎宽度与当前帧地坎宽度,计算当前帧电梯门的关闭运行速度与关闭加速度,若关闭运行速度大于等于关闭运行速度设定值,或关闭加速度大于等于关闭加速度设定值,则判断电梯门出现猛关情况。
7.根据权利要求1或4所述的电梯地坎检测方法,其特征在于:在电梯门打开的过程中,根据预测出的上一帧地坎宽度与当前帧地坎宽度,计算当前帧电梯门的打开运行速度与打开加速度,若打开运行速度大于等于打开运行速度设定值,或打开加速度大于等于打开加速度设定值,则判断电梯门出现猛开情况。
8.根据权利要求1或4所述的电梯地坎检测方法,其特征在于:在电梯门关闭或打开时,如果预测出连续N帧出现地坎宽度保持不变,则判断电梯门出现半开停滞情况,其中N是大于2的正整数。
9.根据权利要求1或4所述的电梯地坎检测方法,其特征在于:在电梯轿厢上下运行时,地坎宽度为零,当出现地坎宽度大于零,则判断电梯门出现故障。
10.根据权利要求1所述的电梯地坎检测方法,其特征在于:步骤S4中,预测到电梯门出现猛开情况、猛关情况、出现故障、半开停滞情况中的一个现象时,进行报警。
CN202010046864.2A 2020-01-16 2020-01-16 一种电梯地坎检测方法 Pending CN113128322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010046864.2A CN113128322A (zh) 2020-01-16 2020-01-16 一种电梯地坎检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010046864.2A CN113128322A (zh) 2020-01-16 2020-01-16 一种电梯地坎检测方法

Publications (1)

Publication Number Publication Date
CN113128322A true CN113128322A (zh) 2021-07-16

Family

ID=76771690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010046864.2A Pending CN113128322A (zh) 2020-01-16 2020-01-16 一种电梯地坎检测方法

Country Status (1)

Country Link
CN (1) CN113128322A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113581961A (zh) * 2021-08-10 2021-11-02 江苏省特种设备安全监督检验研究院 一种电梯厅门的故障自动识别方法
CN115196455A (zh) * 2022-06-30 2022-10-18 青岛海尔空调电子有限公司 一种电梯控制方法、电梯、计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107298354A (zh) * 2017-07-13 2017-10-27 广州日滨科技发展有限公司 电梯门机运行状态监测方法、装置和系统
CN107886524A (zh) * 2017-11-20 2018-04-06 江苏省特种设备安全监督检验研究院 一种电梯门运动轨迹识别方法
CN108861985A (zh) * 2018-07-25 2018-11-23 深圳万发创新进出口贸易有限公司 一种电梯门机运行状态智能监测系统
CN109368434A (zh) * 2018-11-23 2019-02-22 张勇 一种具有视频监测的电梯控制系统
CN109761118A (zh) * 2019-01-15 2019-05-17 福建天眼视讯网络科技有限公司 基于机器视觉的智慧梯联网控制方法及系统
CN109993797A (zh) * 2019-04-04 2019-07-09 广东三维家信息科技有限公司 门窗位置检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107298354A (zh) * 2017-07-13 2017-10-27 广州日滨科技发展有限公司 电梯门机运行状态监测方法、装置和系统
CN107886524A (zh) * 2017-11-20 2018-04-06 江苏省特种设备安全监督检验研究院 一种电梯门运动轨迹识别方法
CN108861985A (zh) * 2018-07-25 2018-11-23 深圳万发创新进出口贸易有限公司 一种电梯门机运行状态智能监测系统
CN109368434A (zh) * 2018-11-23 2019-02-22 张勇 一种具有视频监测的电梯控制系统
CN109761118A (zh) * 2019-01-15 2019-05-17 福建天眼视讯网络科技有限公司 基于机器视觉的智慧梯联网控制方法及系统
CN109993797A (zh) * 2019-04-04 2019-07-09 广东三维家信息科技有限公司 门窗位置检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113581961A (zh) * 2021-08-10 2021-11-02 江苏省特种设备安全监督检验研究院 一种电梯厅门的故障自动识别方法
CN115196455A (zh) * 2022-06-30 2022-10-18 青岛海尔空调电子有限公司 一种电梯控制方法、电梯、计算机可读存储介质

Similar Documents

Publication Publication Date Title
US8660700B2 (en) Video-based system and method of elevator door detection
US11760605B2 (en) Elevator door monitoring system, elevator system and elevator door monitoring method
CN113128322A (zh) 一种电梯地坎检测方法
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
KR101101860B1 (ko) 실시간 교통상황 검지 시스템
CN110002314A (zh) 一种基于深度学习的电梯乘客被困人数检测系统
CN109867186B (zh) 一种基于智能视频分析技术的电梯困人检测方法及系统
CN110589647A (zh) 一种通过监控对电梯门进行实时故障检测及预测的方法
CN112347862A (zh) 一种基于机器视觉的电梯门故障实时检测方法
CN109919066B (zh) 一种检测轨道交通车厢内乘客密度异常的方法和装置
CN114436087B (zh) 基于深度学习的电梯乘客扒门检测方法及系统
CN114229639B (zh) 一种电梯门故障判断方法、云平台和系统
KR102302767B1 (ko) 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템
KR102113489B1 (ko) 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법
KR20180081645A (ko) 지하철 스크린도어에서 안전 이상을 실시간으로 검출하기 위한 임베디드 비전시스템 및 그 방법
CN112850436A (zh) 一种电梯智能光幕的行人趋势检测方法及系统
CN110759211B (zh) 一种基于图像处理的电梯防夹方法及系统
CN111797759A (zh) 一种自动扶梯危险乘梯行为主动干预监测方法
CN116443682A (zh) 一种智能电梯控制系统
CN105187821A (zh) 一种视频质量智能诊断分析系统
CN115196455A (zh) 一种电梯控制方法、电梯、计算机可读存储介质
CN205354095U (zh) 自动检票人行通道中通行物体识别装置
CN114314243A (zh) 基于视频识别技术的升降机超载报警系统及超载报警方法
CN113570734A (zh) 基于计算机视觉技术的自动检票机
US20240183719A1 (en) Passive infrared sensor with patterned lens

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716

RJ01 Rejection of invention patent application after publication