CN101046908A - 基于红外相机的森林火情动态监测报警系统 - Google Patents

基于红外相机的森林火情动态监测报警系统 Download PDF

Info

Publication number
CN101046908A
CN101046908A CN 200710040398 CN200710040398A CN101046908A CN 101046908 A CN101046908 A CN 101046908A CN 200710040398 CN200710040398 CN 200710040398 CN 200710040398 A CN200710040398 A CN 200710040398A CN 101046908 A CN101046908 A CN 101046908A
Authority
CN
China
Prior art keywords
infrared camera
data
forest fire
monitoring
fire behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200710040398
Other languages
English (en)
Inventor
毛洁娜
亓洪兴
于龙
肖功海
杨一德
林莹莹
潘明忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technical Physics of CAS
Original Assignee
Shanghai Institute of Technical Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technical Physics of CAS filed Critical Shanghai Institute of Technical Physics of CAS
Priority to CN 200710040398 priority Critical patent/CN101046908A/zh
Publication of CN101046908A publication Critical patent/CN101046908A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/005Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于红外相机的森林火情动态监测系统,包括至少一路置于监控塔上的红外相机,以及地面监测中心。利用基于森林监控塔的红外相机作环形扫描获得地物图像,根据火点和背景辐射强度的不同以及火焰的温度与辐射强度的定量化关系,应用图像识别技术达到森林火情判断的目的。本发明的优点是:采用红外相机,可以弥补可见光摄像机探测林火的局限性;采用电子网络管理可以实时动态监测以及提供全面、准确、及时、详尽的火灾现场数据,为林火的扑救工作提供有效的指导信息。

Description

基于红外相机的森林火情动态监测报警系统
技术领域
本发明涉及森林火情动态监测与报警装置。具体是指以基于地面监控塔的红外相机为核心,可进行森林日夜实时监测报警的系统。
技术背景
森林是地球赖以呼吸的肺,然而每年都会因自然或人为原因而引发森林火灾,烧毁大片森林。多数森林火灾都是因为小火未能及时发现、扑救,终酿成大面积火灾。因此,如何及时、准确、有效地监测可能和已经发生的森林火灾,具有非常重要的意义。
随着科学技术的显著进步,利用卫星监测林火的技术日趋成熟。但是,由于受到卫星过境次数及其分辨率的限制,卫星探测的误警率较高,仅适用于对全国宏观区域的林火发生面积和位置进行定期监测,不适合森林火情的实时监测。目前我国华北地区森林里使用的是基于地面监控塔的可见光摄像机来监测火情。这种通过监测烟雾来判断火情的方法,具有很大的局限性。因为只有当林木剧烈燃烧起来才能监测到烟雾;由于烟雾蔓延,监测到的烟雾可能会偏离着火点;而且,到了夜晚系统的探测能力会大大降低。
红外相机是对被测目标的辐射进行扫描及显示的一种技术,一旦发生森林火情,着火点和非着火点的辐射是有很大差别。因此,利用红外相机发展森林火情动态监测报警系统可以实现24小时实时、准确监测报警。
发明内容
本发明的目的就是要提供一种基于红外相机的森林火情动态监测系统,以弥补传统监测系统漏报率较高的不足,实现森林火情的准确、实时、快速监测。
本发明的基于红外相机的森林火情动态监测系统,其特征在于至少包括一路置于监控塔1上的红外相机2,地面监测中心3。红外相机对地面进行全方位/定点扫描获得图像,采集到的数据通过以太网或者微波通信实时传输给地面监测中心。
这种森林火情动态监测系统,其特征在于所述红外相机包括光学探头9,数据采集控制器10,通信模块11,以及带动光学探头旋转的云台14。其中光学探头9由红外镜头12和探测器头部13构成。
这种森林火情动态监测系统,其特征在于所述数据采集控制器,包括:电源电路15提供探测器头部所需的各种电源;控制电路17提供各种时序信号控制探测器头部工作,操纵云台的旋转状态,控制AD转换电路16进行视频信号的采集和处理,并且控制通信模块11发送或接收数据;AD转换电路16对视频信号和温度信号进行前置放大、模数转换;与地面监测中心的通信可以选择以太网或者微波通信模块。
这种森林火情动态监测系统,其特征在于所述监测中心,包括数据连接系统4,控制计算机5,图像处理计算机6和报警系统7。数据连接系统由交换机或者微波接收模块构成,接收各路监控塔上的红外相机发送的数据。控制计算机将数据保存至文件数据库,同时在监测器8上进行实时显示,每个监测器对应着一路红外相机。控制计算机的应用软件包括文件数据库,监控管理软件和电子地图。文件数据库存储各路红外相机现场采集的数据。图像处理计算机6将接收到的图像数据与存储在计算机内的林火参照模式进行比较,通过图像识别技术进行森林火情的判断,再根据判断结果决定是否启动报警系统。消防机构收到火警后开展扑救林火工作。
所述的基于红外相机的森林火情动态监测系统,其工作流程如下:
§1在实验室内进行红外相机的光谱定标和辐射定标;
§2将红外镜头和探测器头部装配在一起并置于森林监控塔的云台上,调整倾斜角度,根据扫描速率设置云台的水平运动速度以及垂直运动速度;
§3开启总电源,启动探测器工作,数据采集控制器对模拟信号前置放大以及AD转换,同时对采集到的原始图像数据进行预处理,如滤波,图象增强、目标识别,火情的初步判断等;
§4处理后的图像数据通过以太网接口或者微波通信模块实时传输给地面监测中心;
§5地面监测中心通过数据连接系统接收数据,控制计算机进行多路实时监视并将数据保存至文件数据库,同时图像处理计算机对接收到的红外图像进行处理、分析,通过与存储在计算机内的林火参照模式的比较进行目标识别,实现森林火情的判断;若是检测到高温火点则进行强度分级、根据电子地图自动定位,并且启动报警系统,通知消防部门。
本发明的优点是:
利用基于森林监控塔的红外相机,通过图像识别技术可实现森林火情的快速、实时、现场监测,能够很好弥补传统方法探测率不高的缺点。应用本发明,可以构建“立体林火监测体系”,实现全天候实时准确地监测森林火情,及时把握火势动态;为林火的扑救工作提供有效的指导信息。
附图说明
图1为本发明的总体框图。
图2为红外相机的功能框图。
图3为红外相机的数据采集控制器的图像实时采集通信软件流程图。
图4为数据采集控制器框图。
具体实施方式
下面结合附图给出本发明一个较好实施例,用以说明本发明的结构特征,而不是用来限定本发明的范围。
红外相机包括以下几个部分:
1)红外镜头12
选用硅红外透镜,工作波长范围为1.8~3μm,焦距150.93mm,F数1.0,视场角15.2°。
2)探测器头部13和云台14
探测器对接收到的地物辐射作光电转换。采用短波红外256元线列InGaAs探测器,像元尺寸为50μm×200μm,光谱响应范围1.2~2.6μm,峰值响应波长2.3μm,饱和输出电荷10pC,光电响应非均匀性为±10%,转换增益1V/pC,暗电流(T=25℃)为3000pA。探测器的驱动及数据的读出采用多通道探测器头部,主要由以下几部分组成:探测器插槽,热电制冷器(制冷温度-25±0.1℃),驱动放大电路以及温度控制电路。探测器头部集成了两级珀耳帖制冷器,用于热电制冷,室温下可以制冷到-25℃。由于InGaAs芯片和珀耳帖制冷器密封在一起,因此不需要空气干燥,易于操作。采用热敏电阻来监控探测器的温度,温控电路上电,热电制冷器和内置的风扇开始工作,探测器被制冷到预设的温度。同时,跟传感器温度对应的电压信号由温度监控终端输出。如果热电工作制冷器失效引起电路过热,内置的保护电路将自动切断热电制冷器的电源。
通过镜筒调整圈将红外镜头12与探测器头部13装配在一起并置于室外全方位云台14上。云台内置大功率同步电机驱动,配合高强度齿轮,扭距力大,确保载重运行平稳可靠。输入电压AC24V,便于户外连接。通过外部机械限位调节器设定云台垂直、水平方向旋转角度。
3)数据采集控制器
数据采集控制器框图如图4所示,由三部分构成:电源电路15,AD转换电路16以及控制电路17。为了便于仪器调试,预留USB 2.0接口。数据采集控制器主要用来给多通道探测器头部提供所需的多路电源以及时序控制信号;采集温度电压信号,控制热电制冷器到预设的温度值;对模拟视频信号进行前置放大以及16 bitAD转换;利用数字信号处理器DSP对采集到的原始图像数据进行预处理,如滤波,图象增强等;控制通信模块接收来自监测中心的指令或发送数据。其软件流程图见图3。
4)通信模块
采用一种嵌入式工业以太网通信模块,将处理后的图像数据传送给地面控制中心。其中,以太网控制器采用工业级、10M/100M自适应芯片,数据通过变压器隔离以太网接口,从而保证系统的可靠运行。模块内嵌了完整的Modbus-TCP/IP协议,实现了基于Modbus/TCP协议的以太网接入方案。

Claims (6)

1.一种基于红外相机的森林火情动态监测报警系统,其特征在于:
至少包括一路置于监控塔(1)上的红外相机(2),地面监测中心(3);红外相机对地面进行全方位/定点扫描获得图像,采集到的数据通过以太网或者微波通信实时传输给地面监测中心(3);与地面监测中心的通信可以选择以太网或者微波通信模块;
所述红外相机包括光学探头(9),数据采集控制器(10),通信模块(11),以及带动光学探头旋转的云台(14);其中光学探头(9)由红外镜头(12)和探测器头部(13)构成;
所述监测中心(3),包括数据连接系统(4),控制计算机(5),图像处理计算机(6)和报警系统(7)。
2.根据权利要求1的一种基于红外相机的森林火情动态监测报警系统,其特征在于:所述数据采集控制器(10),包括:电源电路(15)提供探测器头部所需的各种电源;控制电路(17)提供各种时序信号控制探测器头部工作,操纵云台的旋转状态,控制AD转换电路(16)进行视频信号的采集和处理,并且控制通信模块(11)发送或接收数据;AD转换电路(16)对视频信号和温度信号进行前置放大、模数转换。
3.根据权利要求1的一种基于红外相机的森林火情动态监测报警系统,其特征在于:所述数据连接系统(4)由交换机或者微波接收模块构成,接收各路监控塔上的红外相机发送的数据。
4.根据权利要求1的一种基于红外相机的森林火情动态监测报警系统,其特征在于:所述控制计算机(5)存有的应用软件包括文件数据库,监控管理软件和电子地图;控制计算机(5)将数据保存至文件数据库,同时在监测器(8)上进行实时显示,每个监测器对应着一路红外相机。
5.根据权利要求4的一种基于红外相机的森林火情动态监测报警系统,其特征在于:所述的文件数据库存储各路红外相机现场采集的数据。
6.根据权利要求1的一种基于红外相机的森林火情动态监测报警系统,其特征在于:所述的图像处理计算机(6)将接收到的图像数据与存储在计算机内的林火参照模式进行比较,通过图像识别技术进行森林火情的判断,再根据判断结果决定是否启动报警系统。
CN 200710040398 2007-05-08 2007-05-08 基于红外相机的森林火情动态监测报警系统 Pending CN101046908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200710040398 CN101046908A (zh) 2007-05-08 2007-05-08 基于红外相机的森林火情动态监测报警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200710040398 CN101046908A (zh) 2007-05-08 2007-05-08 基于红外相机的森林火情动态监测报警系统

Publications (1)

Publication Number Publication Date
CN101046908A true CN101046908A (zh) 2007-10-03

Family

ID=38771480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200710040398 Pending CN101046908A (zh) 2007-05-08 2007-05-08 基于红外相机的森林火情动态监测报警系统

Country Status (1)

Country Link
CN (1) CN101046908A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605248A (zh) * 2009-07-10 2009-12-16 浙江林学院 森林火灾远程视频监控同步跟踪方法
CN101797960A (zh) * 2010-02-26 2010-08-11 惠生(南通)重工有限公司 一种具有浮油监测装置的船
CN101968913A (zh) * 2010-08-13 2011-02-09 清华大学 一种森林火灾区域的火焰跟踪方法
CN101625267B (zh) * 2008-07-11 2011-07-20 财团法人工业技术研究院 热侦测系统及其侦测方法
CN102280005A (zh) * 2011-06-09 2011-12-14 广州飒特电力红外技术有限公司 基于红外热成像技术的森林防火预警系统及方法
CN102646311A (zh) * 2012-05-04 2012-08-22 中国科学院长春光学精密机械与物理研究所 实时动态巡航图像智能烟雾火情检测系统
CN102693602A (zh) * 2012-06-06 2012-09-26 长春理工大学 布点固定式森林火情监测系统
CN102722958A (zh) * 2012-07-09 2012-10-10 惠州学院 火警探测器及其构成森林防火报警系统及报警方法
CN102724483A (zh) * 2012-06-25 2012-10-10 南京威翔科技有限公司 一种移动式收发防爆一体化监控系统
CN102739963A (zh) * 2012-06-06 2012-10-17 山东神戎电子股份有限公司 一种昼夜两用型高温移动目标检测报警系统及检测方法
CN102915612A (zh) * 2012-11-15 2013-02-06 镇江石鼓文智能化系统开发有限公司 基于视频图像分析火焰检测装置的视频分析系统
CN103310617A (zh) * 2013-07-01 2013-09-18 广东惠利普路桥信息工程有限公司 桥梁施工信息的智能无线采集和勘测系统
CN103366488A (zh) * 2013-07-11 2013-10-23 国家电网公司 一种输电线路的山火监测装置
CN103377533A (zh) * 2012-04-21 2013-10-30 哈尔滨宝亮凯瑞科技发展有限公司 用于森林防火的彩色图像摄取处理识别的烟火探测方法
CN103456124A (zh) * 2013-03-27 2013-12-18 北京科实医学图像技术研究所 森林火灾早期报警系统
CN105774654A (zh) * 2016-03-02 2016-07-20 广州三晶智能电子技术有限公司 一种汽车盲点可视转向系统及控制方法
CN105841676A (zh) * 2016-03-24 2016-08-10 北京林业大学 一种林火夜间定位地面摄影测量方法
CN106156759A (zh) * 2016-07-29 2016-11-23 山东神戎电子股份有限公司 一种适用于森林火灾预警系统的方位校正方法
CN106713851A (zh) * 2016-12-05 2017-05-24 天津津航技术物理研究所 一种基于红外智能监控的组网联动集成系统
CN108805895A (zh) * 2018-08-17 2018-11-13 西安近代化学研究所 一种发射装药炮口闪光强度视频图像处理方法
WO2019104583A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 最高温度点跟踪方法、装置和无人机
CN110874907A (zh) * 2018-09-03 2020-03-10 中国石油化工股份有限公司 基于光谱相机的火焰识别方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625267B (zh) * 2008-07-11 2011-07-20 财团法人工业技术研究院 热侦测系统及其侦测方法
CN101605248A (zh) * 2009-07-10 2009-12-16 浙江林学院 森林火灾远程视频监控同步跟踪方法
CN101797960A (zh) * 2010-02-26 2010-08-11 惠生(南通)重工有限公司 一种具有浮油监测装置的船
CN101968913A (zh) * 2010-08-13 2011-02-09 清华大学 一种森林火灾区域的火焰跟踪方法
CN102280005A (zh) * 2011-06-09 2011-12-14 广州飒特电力红外技术有限公司 基于红外热成像技术的森林防火预警系统及方法
US9666050B2 (en) * 2011-06-09 2017-05-30 Guangzhou Sat Infrared Technology Co. Ltd. Forest fire early-warning system and method based on infrared thermal imaging technology
US20140192184A1 (en) * 2011-06-09 2014-07-10 Guangzhou Sat Infrared Technology Co., Ltd. Forest fire early-warning system and method based on infrared thermal imaging technology
WO2012167609A3 (zh) * 2011-06-09 2013-04-11 广州飒特红外股份有限公司 基于红外热成像技术的森林防火预警系统及方法
EP2720208A4 (en) * 2011-06-09 2014-12-31 Guangzhou Sat Infrared Technology Co Ltd FOREST FIRE-PREVIOUS WARNING SYSTEM AND METHOD THEREOF ON THE BASIS OF INFRARED HEAT-MADE TECHNOLOGY
CN102280005B (zh) * 2011-06-09 2014-10-29 广州飒特红外股份有限公司 基于红外热成像技术的森林防火预警系统及方法
EP2720208A2 (en) * 2011-06-09 2014-04-16 Guangzhou SAT Infrared Technology Co., Ltd. Forest fire early-warning system and method based on infrared thermal imaging technology
CN103377533B (zh) * 2012-04-21 2015-10-28 鲍鹏飞 用于森林防火的彩色图像摄取处理识别的烟火探测方法
CN103377533A (zh) * 2012-04-21 2013-10-30 哈尔滨宝亮凯瑞科技发展有限公司 用于森林防火的彩色图像摄取处理识别的烟火探测方法
CN102646311A (zh) * 2012-05-04 2012-08-22 中国科学院长春光学精密机械与物理研究所 实时动态巡航图像智能烟雾火情检测系统
CN102693602A (zh) * 2012-06-06 2012-09-26 长春理工大学 布点固定式森林火情监测系统
CN102739963A (zh) * 2012-06-06 2012-10-17 山东神戎电子股份有限公司 一种昼夜两用型高温移动目标检测报警系统及检测方法
CN102739963B (zh) * 2012-06-06 2016-01-27 山东神戎电子股份有限公司 一种昼夜两用型高温移动目标检测报警系统及检测方法
CN102724483A (zh) * 2012-06-25 2012-10-10 南京威翔科技有限公司 一种移动式收发防爆一体化监控系统
CN102722958A (zh) * 2012-07-09 2012-10-10 惠州学院 火警探测器及其构成森林防火报警系统及报警方法
CN102722958B (zh) * 2012-07-09 2014-06-04 惠州学院 火警探测器及其构成森林防火报警系统及报警方法
CN102915612B (zh) * 2012-11-15 2015-12-23 镇江石鼓文智能化系统开发有限公司 基于视频图像分析火焰检测装置的视频分析系统
CN102915612A (zh) * 2012-11-15 2013-02-06 镇江石鼓文智能化系统开发有限公司 基于视频图像分析火焰检测装置的视频分析系统
CN103456124A (zh) * 2013-03-27 2013-12-18 北京科实医学图像技术研究所 森林火灾早期报警系统
CN103310617A (zh) * 2013-07-01 2013-09-18 广东惠利普路桥信息工程有限公司 桥梁施工信息的智能无线采集和勘测系统
CN103366488A (zh) * 2013-07-11 2013-10-23 国家电网公司 一种输电线路的山火监测装置
CN105774654A (zh) * 2016-03-02 2016-07-20 广州三晶智能电子技术有限公司 一种汽车盲点可视转向系统及控制方法
CN105841676A (zh) * 2016-03-24 2016-08-10 北京林业大学 一种林火夜间定位地面摄影测量方法
CN106156759A (zh) * 2016-07-29 2016-11-23 山东神戎电子股份有限公司 一种适用于森林火灾预警系统的方位校正方法
CN106713851A (zh) * 2016-12-05 2017-05-24 天津津航技术物理研究所 一种基于红外智能监控的组网联动集成系统
WO2019104583A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 最高温度点跟踪方法、装置和无人机
US11153494B2 (en) 2017-11-30 2021-10-19 SZ DJI Technology Co., Ltd. Maximum temperature point tracking method, device and unmanned aerial vehicle
US11798172B2 (en) 2017-11-30 2023-10-24 SZ DJI Technology Co., Ltd. Maximum temperature point tracking method, device and unmanned aerial vehicle
CN108805895A (zh) * 2018-08-17 2018-11-13 西安近代化学研究所 一种发射装药炮口闪光强度视频图像处理方法
CN108805895B (zh) * 2018-08-17 2021-10-01 西安近代化学研究所 一种发射装药炮口闪光强度视频图像处理方法
CN110874907A (zh) * 2018-09-03 2020-03-10 中国石油化工股份有限公司 基于光谱相机的火焰识别方法

Similar Documents

Publication Publication Date Title
CN101046908A (zh) 基于红外相机的森林火情动态监测报警系统
CN111457844A (zh) 风力发电机中螺栓松动的检测方法、系统、设备及介质
CN202693038U (zh) 一种输电线路智能防山火在线监测系统
CN102280005A (zh) 基于红外热成像技术的森林防火预警系统及方法
CN202472850U (zh) 一种红外热像型火灾探测报警系统
CN111308283A (zh) 一种多功能开关柜工作状态传感器及预警方法
CN1900984A (zh) 周界全天候防范系统
CN204168005U (zh) 一种电网安全风险评估系统
CN111857178A (zh) 一种用于房建施工现场安全巡检的无人机系统
CN112326039A (zh) 一种光伏电站巡检辅助系统
CN102857683A (zh) 安保监控摄像头
CN211087455U (zh) 一种森林气象的检测与报警装置
KR20090011586U (ko) 본 고안은 환경상태 계측, 센서 상태 계측 ,영상 J-peg전송해서 볼 수 있고 그 모든 것이 SD 카드에 저장 되고네트워크 되는 지능형 태양광 LED 가로등
CN115297304A (zh) 一种输电线路的视觉监测系统及方法
CN206323496U (zh) 一种基于多供电多方式监控模式的输电线路视频监测系统
CN103606260A (zh) 基于gprs远程无线通信技术的无人职守野外光谱辐照度计系统
CN110031041B (zh) 一种自然雷击放电声、光、电、磁多物理过程监测系统
CN107818607A (zh) 一种基于nfc手持式数据采集器的智能巡检系统
CN112798915A (zh) 一种应用于电厂ais设备的超声波局部放电检测机器人
CN203179187U (zh) 多极智能防外力破坏预警装置
CN207215093U (zh) 基于激光技术的变电站避雷针倾斜监测装置
CN105654659A (zh) 基于模式识别的输电线路智能防外破集成预警系统
CN215219860U (zh) 森林防火预警系统
CN208460141U (zh) 禁区入侵报警系统
CN116343528A (zh) 桥梁船撞报警感知设备及包括该设备的安全监测应用平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication