CN105915856A - 无人机电力巡线影像数据采集及处理系统 - Google Patents

无人机电力巡线影像数据采集及处理系统 Download PDF

Info

Publication number
CN105915856A
CN105915856A CN201610409150.7A CN201610409150A CN105915856A CN 105915856 A CN105915856 A CN 105915856A CN 201610409150 A CN201610409150 A CN 201610409150A CN 105915856 A CN105915856 A CN 105915856A
Authority
CN
China
Prior art keywords
module
image
image data
data
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610409150.7A
Other languages
English (en)
Inventor
台海江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongxiangtenghang Science And Technology Co Ltd
Original Assignee
Tianjin Zhongxiangtenghang Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongxiangtenghang Science And Technology Co Ltd filed Critical Tianjin Zhongxiangtenghang Science And Technology Co Ltd
Priority to CN201610409150.7A priority Critical patent/CN105915856A/zh
Publication of CN105915856A publication Critical patent/CN105915856A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种无人机电力巡线影像数据采集及处理系统,该系统包括:安装在无人机内的影像数据采集装置(17)和设置在地面监控中心的影像数据处理系统(18);其中,影像数据采集装置(17)包括:控制处理模块(1)、电源模块(2)、可见光摄像头(3)、红外热成像仪(4)、激光测距仪(5)、无线通信模块(6)、数据存储模块(7)、GIS信息模块(8)、GPS导航模块(9)和高度计(10);影像数据处理系统(18)包括:地面通信模块(11)、影像处理模块(12)、影像识别模块(13)、影像数据显示模块(14)、影像数据存储模块(15)和状态监控模块(16)。本发明的无人机电力巡线影像数据采集及处理系统可有效提高无人机电力巡线影像数据的处理效率和缺陷识别的准确度,减轻人工筛查的负担,具有广阔的应用前景。

Description

无人机电力巡线影像数据采集及处理系统
技术领域
本发明属于图像处理领域,涉及一种影像数据采集与处理系统,具体为一种无人机电力巡线影像数据采集及处理系统。
背景技术
随着电网的日益扩大,巡线的工作量也日益加大。无人机应用在输电线路巡检中,可以提高巡线的效率,减轻电力服务人员的工作负荷,减少人工巡检可能发生的危险的机率,降低电力设备的维护成本,提高电网的安全性和可靠性。
无人机巡检后会产生大量的图像和视频数据,对于数据的处理目前存在较大的困难。巡线影像数据的整理需要消耗较长的时间,在目前人员现状条件下,对数据处理的效率极为底下,特别是无人机作业人员中具备丰富线路运维经验的人员较少,造成缺陷识别的效率和准确度较低。
目前,基于无人机航拍影像的输电线路设备状态检测技术尚处于起步阶段。图像处理技术在输电线路巡检中的应用时间尚短,研究成果较少,目前主要集中在图像采集的稳定性和提高图像拍摄的效果上,涉及输电线路设备影像的识别方面的研究很少。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:如何有效地提高无人机电力巡线图像和视频数据的处理效率和缺陷识别的准确度。
(二)技术方案
为解决上述技术问题,本发明提供一种无人机电力巡线影像数据采集及处理系统,该系统包括:安装在无人机内的影像数据采集装置和设置在地面监控中心的影像数据处理系统;其中,影像数据采集装置包括:控制处理模块、电源模块、可见光摄像头、红外热成像仪、激光测距仪、无线通信模块、数据存储模块、GIS信息模块、GPS导航模块和高度计;影像数据处理系统包括:地面通信模块、影像处理模块、影像识别模块、影像数据显示模块、影像数据存储模块和状态监控模块。
其中,所述无人机采用天津中翔腾航科技有限公司研制的X系列多旋翼无人机。
其中,所述控制处理模块,用于采集和处理所述各功能模块的数据。
其中,所述电源模块,采用12V或者24V的蓄电池,用于提供系统运行所需的电源。
其中,所述可见光摄像头,用于完成无人机输电线路白天巡检图像和视频数据的采集。
其中,所述红外热成像仪,用于完成输电线路设备发热影像数据的采集。
其中,所述激光测距仪,用于测量无人机与输电线路设备的距离。
其中,所述无线通信模块,用于传输所述各功能模块的数据,接收所述状态监控模块的控制指令。
其中,所述数据存储模块,用于存储所述各功能模块的数据,对存储的影像进行唯一性的命名。
其中,所述GIS信息模块,用于采集巡线影像数据中输电线路设备的地理位置、行政区域和地形状况信息。
其中,所述GPS导航模块,通过串口与所述控制处理模块相连,用于完成无人机GPS信息的接收和解析。
其中,所述高度计,通过串口与所述控制处理模块相连接,用于测量无人机的飞行高度。
其中,所述地面通信模块,用于接收所述无线通信模块传输的数据,传输所述状态监控模块的控制指令。
其中,所述影像处理模块,用于读取所述地面通信模块接收的影像数据,对影像数据进行清晰度检查和可用性检查。
其中,所述状态监控模块,接收所述地面通信模块传输的所述各功能模块的数据,与所述影像识别模块进行交互,根据所述影像识别模块反馈的影像拍摄效果,对所述可见光摄像头和所述红外热成像仪发送控制指令,进行实时姿态调整和校正。
其中,所述影像识别模块,对所述影像处理模块处理完成的影像进行识别,筛选出含有设备缺陷的影像;接收所述状态监控模块传输的所述各功能模块的数据,确定影像拍摄的GPS位置,与GIS信息相关联,完成影像属性信息的匹配,确定是否为对应的输电线路设备,若匹配结果为否,则将匹配结果反馈给所述状态监控模块。
其中,所述影像数据显示模块,用于显示所述影像识别模块匹配完成的影像信息,实现人机交互。
其中,所述影像数据存储模块,用于存储所述影像识别模块匹配完成的影像信息,以备后期调用。
(三)有益效果
本发明通过对巡线影像的快速识别可有效实现输电线路设备的定位和设备缺陷的识别;通过对可见光摄像头和红外热成像仪的实时姿态调整和校正,可有效提高影像的拍摄效果;同时,可对巡线影像进行筛选,减轻人工筛查的负担,具有广阔的应用前景。
附图说明
图1是本发明实施例的无人机电力巡线影像数据采集及处理系统的总体结构图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1所示,本实施例的无人机电力巡线影像数据采集及处理系统包括:安装在无人机内的影像数据采集装置17和设置在地面监控中心的影像数据处理系统18;其中,影像数据采集装置17包括:控制处理模块1、电源模块2、可见光摄像头3、红外热成像仪4、激光测距仪5、无线通信模块6、数据存储模块7、GIS信息模块8、GPS导航模块9和高度计10;影像数据处理系统18包括:地面通信模块11、影像处理模块12、影像识别模块13、影像数据显示模块14、影像数据存储模块15和状态监控模块16。
本发明所涉及的无人机采用天津中翔腾航科技有限公司研制的X系列多旋翼无人机。
控制处理模块1用于采集和处理各功能模块3、4、5、8、9和10的数据;电源模块2采用12V或者24V的蓄电池,用于提供系统运行所需的电源;可见光摄像头3用于完成无人机输电线路白天巡检图像和视频数据的采集;红外热成像仪4用于完成输电线路设备发热影像数据的采集;激光测距仪5用于测量无人机与输电线路设备的距离;无线通信模块6用于传输各功能模块3、4、5、8、9和10的数据,接收状态监控模块16的控制指令;数据存储模块7用于存储各功能模块3、4、5、8、9和10的数据,对存储的影像进行唯一性的命名;GIS信息模块8用于采集巡线影像数据中输电线路设备的地理位置、行政区域和地形状况信息;GPS导航模块9通过串口与控制处理模块1相连,用于完成无人机GPS信息的接收和解析;高度计10通过串口与控制处理模块1相连接,用于测量无人机的飞行高度。
地面通信模块11用于接收无线通信模块6传输的数据,传输状态监控模块16的控制指令;影像处理模块12用于读取地面通信模块11接收的影像数据,对影像数据进行清晰度检查和可用性检查;状态监控模块16接收地面通信模块11传输的各功能模块5、8、9和10的数据,与影像识别模块13进行交互,根据影像识别模块13反馈的影像拍摄效果,对可见光摄像头3和红外热成像仪4发送控制指令,进行实时姿态调整和校正。
影像识别模块13对影像处理模块12处理完成的影像进行识别,筛选出含有设备缺陷的影像;接收状态监控模块16传输的各功能模块5、8、9和10的数据,确定影像拍摄的GPS位置,与GIS信息相关联,完成影像属性信息的匹配,确定是否为对应的输电线路设备,若匹配结果为否,则将匹配结果反馈给状态监控模块16。影像数据显示模块14用于显示影像识别模块13匹配完成的影像信息,实现人机交互。影像数据存储模块15用于存储影像识别模块13匹配完成的影像信息,以备后期调用。
控制处理模块1采集和处理各功能模块3、4、5、8、9和10的数据,存储在数据存储模块7中,经无线通信模块6发送至地面监控中心的影像数据处理系统18,地面通信模块11接收无线通信模块6传输的数据。影像处理模块12读取地面通信模块11接收的影像数据,对影像数据进行清晰度检查和可用性检查,状态监控模块16接收地面通信模块11传输的各功能模块5、8、9和10的数据,影像处理模块12的处理结果和状态监控模块16接收的数据同时发送至影像识别模块13。影像识别模块13对影像进行识别,筛选出含有设备缺陷的影像,匹配影像的GPS和GIS信息,确定是否为对应的输电线路设备,若匹配结果为否,则反馈给状态监控模块16。状态监控模块16发送控制指令对可见光摄像头3和红外热成像仪4进行实时姿态调整和校正;否则,将匹配结果发送至影像数据显示模块14显示,并存储在影像数据存储模块15中,以备后期调用。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本发明的保护范围。

Claims (4)

1.一种无人机电力巡线影像数据采集及处理系统,其特征在于,该系统包括:
安装在无人机内的影像数据采集装置(17)和设置在地面监控中心的影像数据处理系统(18);
其中,影像数据采集装置(17)包括:控制处理模块(1)、电源模块(2)、可见光摄像头(3)、红外热成像仪(4)、激光测距仪(5)、无线通信模块(6)、数据存储模块(7)、GIS信息模块(8)、GPS导航模块(9)和高度计(10);
影像数据处理系统(18)包括:地面通信模块(11)、影像处理模块(12)、影像识别模块(13)、影像数据显示模块(14)、影像数据存储模块(15)和状态监控模块(16)。
2.如权利要求1所述的无人机电力巡线影像数据采集及处理系统,其特征在于,所述无人机采用天津中翔腾航科技有限公司研制的X系列多旋翼无人机。
3.如权利要求1所述的无人机电力巡线影像数据采集及处理系统,其特征在于,所述控制处理模块(1),用于采集和处理所述各功能模块(3、4、5、8、9、10)的数据;
所述电源模块(2),采用12V或者24V的蓄电池,用于提供系统运行所需的电源;
所述可见光摄像头(3),用于完成无人机输电线路白天巡检图像和视频数据的采集;
所述红外热成像仪(4),用于完成输电线路设备发热影像数据的采集;
所述激光测距仪(5),用于测量无人机与输电线路设备的距离;
所述无线通信模块(6),用于传输所述各功能模块(3、4、5、8、9、10)的数据,接收所述状态监控模块(16)的控制指令;
所述数据存储模块(7),用于存储所述各功能模块(3、4、5、8、9、10)的数据,对存储的影像进行唯一性的命名;
所述GIS信息模块(8),用于采集巡线影像数据中输电线路设备的地理位置、行政区域和地形状况信息;
所述GPS导航模块(9),通过串口与所述控制处理模块(1)相连,用于完成无人机GPS信息的接收和解析;
所述高度计(10),通过串口与所述控制处理模块(1)相连接,用于测量无人机的飞行高度。
4.如权利要求1所述的无人机电力巡线影像数据采集及处理系统,其特征在于,所述地面通信模块(11),用于接收所述无线通信模块(6)传输的数据,传输所述状态监控模块(16)的控制指令;
所述影像处理模块(12),用于读取所述地面通信模块(11)接收的影像数据,对影像数据进行清晰度检查和可用性检查;
所述状态监控模块(16),接收所述地面通信模块(11)传输的所述各功能模块(5、8、9、10)的数据,与所述影像识别模块(13)进行交互,根据所述影像识别模块(13)反馈的影像拍摄效果,对所述可见光摄像头(3)和所述红外热成像仪(4)发送控制指令,进行实时姿态调整和校正。
所述影像识别模块(13),对所述影像处理模块(12)处理完成的影像进行识别,筛选出含有设备缺陷的影像;接收所述状态监控模块(16)传输的所述各功能模块(5、8、9、10)的数据,确定影像拍摄的GPS位置,与GIS信息相关联,完成影像属性信息的匹配,确定是否为对应的输电线路设备,若匹配结果为否,则将匹配结果反馈给所述状态监控模块(16)。
所述影像数据显示模块(14),用于显示所述影像识别模块(13)匹配完成的影像信息,实现人机交互。
所述影像数据存储模块(15),用于存储所述影像识别模块(13)匹配完成的影像信息,以备后期调用。
CN201610409150.7A 2016-06-06 2016-06-06 无人机电力巡线影像数据采集及处理系统 Pending CN105915856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610409150.7A CN105915856A (zh) 2016-06-06 2016-06-06 无人机电力巡线影像数据采集及处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610409150.7A CN105915856A (zh) 2016-06-06 2016-06-06 无人机电力巡线影像数据采集及处理系统

Publications (1)

Publication Number Publication Date
CN105915856A true CN105915856A (zh) 2016-08-31

Family

ID=56750162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610409150.7A Pending CN105915856A (zh) 2016-06-06 2016-06-06 无人机电力巡线影像数据采集及处理系统

Country Status (1)

Country Link
CN (1) CN105915856A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331655A (zh) * 2016-10-19 2017-01-11 广东容祺智能科技有限公司 一种无人机机载网络红外热成像监测系统
CN106598064A (zh) * 2016-10-19 2017-04-26 广东容祺智能科技有限公司 一种无人机的电路线路智能识别装置及方法
CN106657885A (zh) * 2016-10-19 2017-05-10 广东容祺智能科技有限公司 一种智能机载双光巡检系统
CN106686354A (zh) * 2017-01-16 2017-05-17 广东容祺智能科技有限公司 一种无人机巡查测量系统及其测量方法
CN106816958A (zh) * 2017-02-14 2017-06-09 国网天津市电力公司检修公司 一种基于无人机巡线的输电通道隐患分析装置及方法
CN107016659A (zh) * 2017-05-11 2017-08-04 国网青海省电力公司海南供电公司 用于无人机电力巡检中图片清晰度增强的方法
CN107018361A (zh) * 2017-03-27 2017-08-04 上海斐讯数据通信技术有限公司 基于无人机航拍及图像分析识别违禁渔具的方法及系统
CN107067617A (zh) * 2017-05-16 2017-08-18 京东方科技集团股份有限公司 一种基于无人机的安全监控方法及安全监控系统
CN107628246A (zh) * 2017-07-26 2018-01-26 青岛万祥如光机械技术研究有限公司 一种无人机航拍巡线器
CN108111807A (zh) * 2017-11-20 2018-06-01 宁德师范学院 一种电力巡线设备及故障诊断方法
CN108470143A (zh) * 2018-01-31 2018-08-31 衡阳泰豪通信车辆有限公司 一种管线无人机巡线方法及系统
CN108900968A (zh) * 2018-07-02 2018-11-27 国网重庆市电力公司市区供电分公司 一种定位跟踪及远程图像采集回传的无人机巡视设备
CN109213189A (zh) * 2018-07-19 2019-01-15 安徽共生物流科技有限公司 一种无人机巡线系统及动作判定方法
CN109319108A (zh) * 2018-12-11 2019-02-12 广东烟草佛山市有限责任公司 一种实时影像巡检的无人机
CN109855596A (zh) * 2018-12-29 2019-06-07 国网山东省电力公司高唐县供电公司 一种搭载无人机式物体高度测量方法
CN110519557A (zh) * 2019-07-15 2019-11-29 武汉纳思系统技术有限公司 一种输电线路一组多重杆塔图像分析技术
CN111301680A (zh) * 2020-03-31 2020-06-19 长春工程学院 一种基于智能图像识别的电力巡检无人机
CN111301678A (zh) * 2020-02-27 2020-06-19 南京工程学院 基于多旋翼飞行器的智能电力巡检机器人及使用方法
CN112702579A (zh) * 2020-12-24 2021-04-23 苏州中飞遥感技术服务有限公司 一种基于无人机航拍影像的自动识别系统
CN113358971A (zh) * 2021-04-27 2021-09-07 国网山东省电力公司淄博供电公司 基于可见光图像分析的配电线路树障定位方法及监测装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331655A (zh) * 2016-10-19 2017-01-11 广东容祺智能科技有限公司 一种无人机机载网络红外热成像监测系统
CN106598064A (zh) * 2016-10-19 2017-04-26 广东容祺智能科技有限公司 一种无人机的电路线路智能识别装置及方法
CN106657885A (zh) * 2016-10-19 2017-05-10 广东容祺智能科技有限公司 一种智能机载双光巡检系统
CN106686354A (zh) * 2017-01-16 2017-05-17 广东容祺智能科技有限公司 一种无人机巡查测量系统及其测量方法
CN106816958A (zh) * 2017-02-14 2017-06-09 国网天津市电力公司检修公司 一种基于无人机巡线的输电通道隐患分析装置及方法
CN107018361A (zh) * 2017-03-27 2017-08-04 上海斐讯数据通信技术有限公司 基于无人机航拍及图像分析识别违禁渔具的方法及系统
CN107016659A (zh) * 2017-05-11 2017-08-04 国网青海省电力公司海南供电公司 用于无人机电力巡检中图片清晰度增强的方法
CN107067617A (zh) * 2017-05-16 2017-08-18 京东方科技集团股份有限公司 一种基于无人机的安全监控方法及安全监控系统
CN107628246A (zh) * 2017-07-26 2018-01-26 青岛万祥如光机械技术研究有限公司 一种无人机航拍巡线器
CN108111807A (zh) * 2017-11-20 2018-06-01 宁德师范学院 一种电力巡线设备及故障诊断方法
CN108470143A (zh) * 2018-01-31 2018-08-31 衡阳泰豪通信车辆有限公司 一种管线无人机巡线方法及系统
CN108900968A (zh) * 2018-07-02 2018-11-27 国网重庆市电力公司市区供电分公司 一种定位跟踪及远程图像采集回传的无人机巡视设备
CN108900968B (zh) * 2018-07-02 2020-08-11 国网重庆市电力公司市区供电分公司 一种定位跟踪及远程图像采集回传的无人机巡视设备
CN109213189A (zh) * 2018-07-19 2019-01-15 安徽共生物流科技有限公司 一种无人机巡线系统及动作判定方法
CN109319108A (zh) * 2018-12-11 2019-02-12 广东烟草佛山市有限责任公司 一种实时影像巡检的无人机
CN109319108B (zh) * 2018-12-11 2024-02-20 广东烟草佛山市有限责任公司 一种实时影像巡检的无人机
CN109855596A (zh) * 2018-12-29 2019-06-07 国网山东省电力公司高唐县供电公司 一种搭载无人机式物体高度测量方法
CN110519557A (zh) * 2019-07-15 2019-11-29 武汉纳思系统技术有限公司 一种输电线路一组多重杆塔图像分析技术
CN111301678A (zh) * 2020-02-27 2020-06-19 南京工程学院 基于多旋翼飞行器的智能电力巡检机器人及使用方法
CN111301680A (zh) * 2020-03-31 2020-06-19 长春工程学院 一种基于智能图像识别的电力巡检无人机
CN112702579A (zh) * 2020-12-24 2021-04-23 苏州中飞遥感技术服务有限公司 一种基于无人机航拍影像的自动识别系统
CN113358971A (zh) * 2021-04-27 2021-09-07 国网山东省电力公司淄博供电公司 基于可见光图像分析的配电线路树障定位方法及监测装置

Similar Documents

Publication Publication Date Title
CN105915856A (zh) 无人机电力巡线影像数据采集及处理系统
CN205581646U (zh) 无人机电力巡检图像采集及处理系统
CN205450784U (zh) 无人机电力巡线系统
CN106454209B (zh) 基于时空信息融合技术的无人机应急快反数据链系统及方法
CN106647804B (zh) 一种自动巡检方法及系统
CN204623851U (zh) 基于无人机的电气设备在线监测系统
CN105700547B (zh) 一种基于导航飞艇的空中立体视频街景系统及实现方法
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN105700544A (zh) 一种无人机光伏电站电气设备巡检系统及实现方法
CN110033103A (zh) 一种光伏板巡检系统及巡检方法
CN106504363A (zh) 一种智能机载双光巡检系统稳定平台自动跟踪方法
JP2019053024A (ja) 異常箇所検出システム
CN110393533A (zh) 一种结合惯性和红外的穿戴式动作捕捉系统及其方法
CN110069710A (zh) 一种可视化旅游信息服务终端及系统
JP2019053446A (ja) 異常箇所検出システム
CN106412393A (zh) 一种农用双目多光谱相机
CN108055003A (zh) 一种基于双光智能载荷的无人机自主巡检装置
CN202929486U (zh) 小型无人巡逻机监控系统
CN208639309U (zh) 养殖场疾控管理系统及其应用的巡查机器人
CN114200958A (zh) 一种光伏发电设备自动巡检系统和方法
CN110334820A (zh) 一种配电网智能巡检系统
CN106394918A (zh) 一种无人机搭载的全景相机系统及其操作方法
CN206350071U (zh) 一种独立式航拍云台系统
CN106454275A (zh) 一种基于计算机的可视移动通信终端
CN209356927U (zh) 一种输电线路巡检无人机系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160831

WD01 Invention patent application deemed withdrawn after publication