CN111667450A - 一种船只数量统计方法、装置及电子设备 - Google Patents
一种船只数量统计方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111667450A CN111667450A CN201911337681.XA CN201911337681A CN111667450A CN 111667450 A CN111667450 A CN 111667450A CN 201911337681 A CN201911337681 A CN 201911337681A CN 111667450 A CN111667450 A CN 111667450A
- Authority
- CN
- China
- Prior art keywords
- ship
- data set
- training
- data
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本发明涉及智能技术领域,具体涉及一种船只数量统计方法、装置及电子设备。获取船只数据集,并把所述船只数据集划分为训练数据集与测试数据集;采用所述训练数据集进行深度学习,构建训练模型;基于所述测试数据输入训练模型中训练,以获得船只测试结果数据;统计所述船只测试结果数据的数量进行求和,以获得预测船只数量;根据所述预设船只数量与预设误差参数相乘,以确定出实际船只数量。通过深度学习训练出实时检测的数据模型,在利用求和与修正误差,使最终输出结果更符合实际统计结果,并能够真实,直观及实时反馈当前海域内的船只数量,从而能够给海防人员对海上船只监控提供数据参考,保证海防的执行效率。
Description
技术领域
本发明涉及智能技术领域,具体涉及一种船只数量统计方法、装置及电子设备。
背景技术
对现今的海防监控来说,仅仅是通过监控摄像头进行视频监控于目标检测,缺乏对海域内的船只数量进行统计。以至于在海防监控中,海防人员不能够直观的获得当前海域内的船只数量,这样将会影响到海上交通的调度,并可能会影响到海防监控的执行效率。
发明内容
有鉴于此,本发明实施例提供了一种船只数量统计方法、装置及电子设备,以解决对监控范围内船只数量进行统计的问题。
根据第一方面,本发明实施例提供了一种船只数量统计方法,包括:
获取船只数据集,并把所述船只数据集划分为训练数据集与测试数据集;
采用所述训练数据集进行深度学习,构建训练模型;
基于所述测试数据输入训练模型中训练,以获得船只测试结果数据;
统计所述船只测试结果数据的数量进行求和,以获得预测船只数量,根据所述预设船只数量与预设误差参数相乘,以确定出实际船只数量。
通过深度学习训练出实时检测的数据模型,在利用求和与修正误差,使最终输出结果更符合实际统计结果,并能够真实,直观及实时反馈当前海域内的船只数量,从而能够给海防人员对海上船只监控提供数据参考,保证海防的执行效率。
结合第一方面,在第一方面第一实施方式中,获取船只数据集,包括:对所述获取船只数据进预处理。
结合第一方面,在第一方面第二实施方式中,预处理包括:对所述获取船只数据集中的图片信息进行像素裁切,使其图像像素为416*416;
对裁切像素的图片信息标注,其中,包括对图片信息中的船只信息识别,并标记出所识别出船只的位置和边界信息。
通过对船只数据集进行预处理从而保证了训练数据的一致性,有利于后续进行数据训练和检测。
结合第一方面,在第一方面第三实施方式中,构建训练模型,包括:
通过YOLO网络的基础框架对训练数据集进行特征提取,并将所提取的特征分别用3个检测器进行检测;
利用所述检测器输出的每个单元格中预测3个不同尺度和长宽比的边界框在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数,其中,每个边界框包含3个预测量。
根据训练数据集中的标注信息,对所检测到的所述预测量进行损失函数计算,以获得船只训练结果。
结合第一方面,在第一方面第四实施方式中,构建训练模型还包括设置损失,所述损失函数为:
其中,为第N个船只的位置信息和边界信息的预测值,(xi,yi,wi,hi)为第N个船只的位置和边界信息的标记值,是预测边界框与标签边界框的交叉部分,Ci是置信度得分,为给定种类概率,pi(c)为预测种类给定种类的概率,表示为有目标落在单元i的第j个检测框中,表示为有目标落在单元i的所有检测框,其中,λcoord为最高执信度惩罚的坐标预测值和λnoobj为最低置信度预测惩罚。
结合第一方面,在第一方面第五实施方式中,最高执信度惩罚的坐标预测值设置为λcoord=5和最低置信度预测惩罚设置为λnoobj=0.5。
通过构建YOLO训练模型,从而保证能够快速进行数据船只的识别,在通过设置损失函数从而使预测的结果准确与实际统计船只数量一致。
根据第二方面,本发明实施例提供了一种船只数量统计装置,包括:
获取模块,用于获取船只数据集,并把所述船只数据集划分为训练数据集与测试数据集;
训练模块,用于所述采用训练数据集进行深度学习,构建训练模型;
测试模块,基于所述测试数据输入训练模型中训练,以获得船只测试结果数据;
预测模块,用于对所述船只测试结果数据的数量进行求和,以获得预测船只数量;
确定模块,用于根据所述预设船只数量与预设误差参数相乘,以确定出实际船只数量。
通过模块与模块之间连接,并执行上述第一方面的船只数量统计方法,以保证能够对海上船只进行实时监控,以实现对海上船只的实时监控,有利用进行海防调度,提高海防人员在海上执行任务的执行效率。
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的船只数量统计方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的船只数量统计方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1是根据本发明实施例的一种船只数量统计方法的流程图;
图2是根据本发明实施例的一种船只数量统计方法的训练模型的流程图;
图3是根据本发明实施例的一种船只数量统计装置的结构示意图;
图4是根据本发明实施例的一种电子设备的结构示意图;
附图标记
10-获取模块;20-训练模块;30-测试模块;40-预测模块;50-确定模块;30-存储器;31-处理器;32-总线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种船只数量统计方法,包括:
S10,获取船只数据集,并把所述船只数据集划分为训练数据集与测试数据集;利用图像采集设备对海上船只进行图片采集,并对所采集到的船只图片数据划分占比为70%的训练图片,和30%的测试图片从而保证最终生成的结果数据的准确性。
S11,采用所述训练数据集进行深度学习,构建训练模型;利用卷积神经网络进行深度学习,从而保证能够进行智能识别目标船只。
S12,基于所述测试数据输入训练模型中训练,以获得船只测试结果数据;当用70%的训练图片进行船只识别后,在利用30%的测试图片进行数据验证,以保证能够准确进行目标船只识别。
S13,统计所述船只测试结果数据的数量进行求和,以获得预测船只数量;当确定好目标船只,并对所确定的目标船只进行数据统计识别,从而保证所统计数量的准确性。因此,通过70%的训练图片和30%的测试图片进行目标船只,以保证识别目标的准确,再利用数量求和保证统计数量的准确。
S14,根据所述预设船只数量与预设误差参数相乘,以确定出实际船只数量。由于通过求和统计的船只数据会存在与实际统计结果产生偏差的问题,因此需要设置预设误差参数,对所统计的数量结果进行误差修正保证统计数据的准确,其中,预设误差参数有用户确定,也可以是根据训练图片的失败率进行确定。
通过深度学习训练出实时检测的数据模型,再利用求和与修正误差,使最终输出结果更符合实际统计结果,并能够真实,直观及实时反馈当前海域内的船只数量,从而能够给海防人员提供数据参考,保证海防监控的执行效率。
本发明实施例提供一种船只数量统计方法,具体如图2所示,包括:
构建训练模型包括:
S20,通过YOLO网络的基础框架对训练数据集进行特征提取,并将所提取的特征分别用3个检测器进行检测;其中3个检测器可以是3个检测不同像素的检测框。例如:可以是检测13*13像素的最小检测框、检测26*26像素的中等检测框及检测52*52像素的最大检测框。
S21,利用所述检测器输出的每个单元格中预测3个不同尺度和长宽比的边界框在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数,其中,每个边界框包含3个预测量,具体的,对416*416像素进行预测,生成3个边界框其中每个边界框生成3个预测量为最小检测框:(10,13);(16,30);(33,23)、中等检测框:(30,61);(62,45);(59,119)、最大检测框(116,90);(156,198);(373,326)。
S22,根据训练数据集中的标注信息,对所检测到的所述预测量进行损失函数计算,以获得船只训练结果。其中,损失函数为:
其中,为第N个船只的位置信息和边界信息的预测值,(xi,yi,wi,hi)为第N个船只的位置和边界信息的标记值,是预测边界框与标签边界框的交叉部分,Ci是置信度得分,为给定种类概率,pi(c)为预测种类给定种类的概率,表示为有目标落在单元i的第j个检测框中,表示为有目标落在单元i的所有检测框,其中,λcoord为最高执信度惩罚的坐标预测值和λnoobj为最低置信度预测惩罚。
通过构建YOLO训练模型,从而保证能够快速进行数据船只的识别,在通过设置损失函数从而使预测的结果更加准确。
优选的,需要对所获取的船只进行预处理,其中,预处理包括对所述获取船只数据集中的图片信息进行像素裁切,使其图像像素为416X416;和,对裁切像素的图片信息标注,其中,包括对图片信息中的船只信息识别,并标记出所识别出船只的位置和边界信息。
优选的,最高执信度惩罚的坐标预测值设置为λcoord=5和最低置信度预测惩罚设置为λnoobj=0.5。
本发明实施例提供了一种船只数量统计装置,如图3所示,包括:
获取模块10,用于获取船只数据集,并把所述船只数据集划分为训练数据集与测试数据集;
训练模块20,用于所述采用训练数据集进行深度学习,构建训练模型;
测试模块30,基于所述测试数据输入训练模型中训练,以获得船只测试结果数据;
预测模块40,用于对所述船只测试结果数据的数量进行求和,以获得预测船只数量;
确定模块50,用于根据所述预设船只数量与预设误差参数相乘,以确定出实际船只数量。
利用获取模块获取图片数据,在利用测试模块和预测模块对图片数据进行目标识别,确定所识别的目标,在进行数量统计保证统计数量的准确性和真实性。
本发明实施例还提供了一种电子设备,如图4所示,该电子设备可以包括处理器31和存储器30,其中处理器31和存储器30可以通过总线32或者其他方式连接,图4中以通过总线连接为例。
处理器31可以为中央处理器(Central Processing Unit,CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器30作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的车载显示装置按键屏蔽方法对应的程序指令/模块(例如,图3所示的获取模块10、训练模块20、测试模块30、预测模块40和确定模块50)。处理器31通过运行存储在存储器30中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的船只数量统计方法。
存储器30可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器31所创建的数据等。此外,存储器30可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器30可选包括相对于处理器31远程设置的存储器,这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器30中,当被所述处理器31执行时,执行如图1-2所示实施例中的船只数量统计方法。
上述电子设备的具体细节可以对应参阅图1至图2所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (9)
1.一种船只数量统计方法,其特征在于,包括:
获取船只数据集,并把所述船只数据集划分为训练数据集与测试数据集;
采用所述训练数据集进行深度学习,构建训练模型;
基于所述测试数据输入训练模型中训练,以获得船只测试结果数据;
统计所述船只测试结果数据的数量进行求和,以获得预测船只数量;
根据所述预测船只数量与预设误差参数相乘,以确定出实际船只数量。
2.根据权利要求1所述的方法,其特征在于,所述获取船只数据集,包括:对所述获取船只数据进行预处理。
3.根据权利要求2所述的方法,其特征在于,所述预处理包括:
对所述获取船只数据集中的图片信息进行像素裁切,使其图像像素为416X416;和,对裁切像素的图片信息标注,其中,包括对图片信息中的船只信息识别,并标记出所识别出船只的位置和边界信息。
4.根据权利要求3所述的方法,其特征在于,所述构建训练模型,包括:
通过YOLO网络的基础框架对训练数据集进行特征提取,并将所提取的特征分别用3个检测器进行检测;
利用所述检测器输出的每个单元格中预测3个不同尺度和长宽比的边界框在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数;其中,每个边界框包含3个预测量。
根据训练数据集中的标注信息,对所检测到的所述预测量进行损失函数计算,以获得船只训练结果。
6.根据权利要求5所述的方法,其特征在于,所述最高执信度惩罚的坐标预测值设置为λcoord=5和最低置信度预测惩罚设置为λnoobj=0.5。
7.一种船只数量统计装置,其他特征在于,包括:
获取模块,用于获取船只数据集,并把所述船只数据集划分为训练数据集与测试数据集;
训练模块,用于所述采用训练数据集进行深度学习,构建训练模型;
测试模块,基于所述测试数据输入训练模型中训练,以获得船只测试结果数据;
预测模块,用于对所述船只测试结果数据的数量进行求和,以获得预测船只数量;
确定模块,用于根据所述预设船只数量与预设误差参数相乘,以确定出实际船只数量。
8.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-6中任一项所述的船只数量统计方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的船只数量统计方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911337681.XA CN111667450A (zh) | 2019-12-23 | 2019-12-23 | 一种船只数量统计方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911337681.XA CN111667450A (zh) | 2019-12-23 | 2019-12-23 | 一种船只数量统计方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111667450A true CN111667450A (zh) | 2020-09-15 |
Family
ID=72381449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911337681.XA Pending CN111667450A (zh) | 2019-12-23 | 2019-12-23 | 一种船只数量统计方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667450A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112183463A (zh) * | 2020-10-23 | 2021-01-05 | 珠海大横琴科技发展有限公司 | 基于雷达图像的船只识别模型的验证方法及装置 |
CN112762935A (zh) * | 2020-12-23 | 2021-05-07 | 赫星(厦门)电子有限公司 | 一种基于船体姿态监测的定位方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919930A (zh) * | 2019-03-07 | 2019-06-21 | 浙江大学 | 基于卷积神经网络yolo v3的树上果实数量的统计方法 |
CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
CN110147807A (zh) * | 2019-01-04 | 2019-08-20 | 上海海事大学 | 一种船舶智能识别跟踪方法 |
CN110245579A (zh) * | 2019-05-24 | 2019-09-17 | 北京百度网讯科技有限公司 | 人流密度预测方法及装置、计算机设备及可读介质 |
CN111695397A (zh) * | 2019-12-20 | 2020-09-22 | 珠海大横琴科技发展有限公司 | 一种基于yolo的船只识别方法及电子设备 |
-
2019
- 2019-12-23 CN CN201911337681.XA patent/CN111667450A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110147807A (zh) * | 2019-01-04 | 2019-08-20 | 上海海事大学 | 一种船舶智能识别跟踪方法 |
CN109919930A (zh) * | 2019-03-07 | 2019-06-21 | 浙江大学 | 基于卷积神经网络yolo v3的树上果实数量的统计方法 |
CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
CN110245579A (zh) * | 2019-05-24 | 2019-09-17 | 北京百度网讯科技有限公司 | 人流密度预测方法及装置、计算机设备及可读介质 |
CN111695397A (zh) * | 2019-12-20 | 2020-09-22 | 珠海大横琴科技发展有限公司 | 一种基于yolo的船只识别方法及电子设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112183463A (zh) * | 2020-10-23 | 2021-01-05 | 珠海大横琴科技发展有限公司 | 基于雷达图像的船只识别模型的验证方法及装置 |
CN112183463B (zh) * | 2020-10-23 | 2021-10-15 | 珠海大横琴科技发展有限公司 | 基于雷达图像的船只识别模型的验证方法及装置 |
CN112762935A (zh) * | 2020-12-23 | 2021-05-07 | 赫星(厦门)电子有限公司 | 一种基于船体姿态监测的定位方法及系统 |
CN112762935B (zh) * | 2020-12-23 | 2022-08-12 | 赫星(厦门)电子有限公司 | 一种基于船体姿态监测的定位方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807429B (zh) | 基于tiny-YOLOv3的施工安全检测方法及系统 | |
CN110796048B (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
CN111160469A (zh) | 一种目标检测系统的主动学习方法 | |
CN111709421B (zh) | 鸟类识别方法、装置、计算机设备及存储介质 | |
CN113076924A (zh) | 基于无人船的河面垃圾实时检测方法、装置及存储介质 | |
CN111523558A (zh) | 一种基于电子围网的船只遮挡检测方法、装置及电子设备 | |
CN108229494B (zh) | 网络训练方法、处理方法、装置、存储介质和电子设备 | |
CN115546630A (zh) | 基于遥感影像特征目标检测的工地提取方法和系统 | |
CN114881989A (zh) | 基于小样本目标对象缺陷检测的方法、装置、电子设备 | |
CN111667450A (zh) | 一种船只数量统计方法、装置及电子设备 | |
CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
CN111553184A (zh) | 一种基于电子围网的小目标检测方法、装置及电子设备 | |
CN113947188A (zh) | 目标检测网络的训练方法和车辆检测方法 | |
CN113420673A (zh) | 垃圾分类方法、装置、设备及存储介质 | |
CN111553183A (zh) | 一种船只检测模型训练方法、船只检测方法及装置 | |
CN117372424B (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
CN111695397A (zh) | 一种基于yolo的船只识别方法及电子设备 | |
CN111753729B (zh) | 一种假脸检测方法、装置、电子设备及存储介质 | |
CN111582012A (zh) | 一种检测小目标船只方法及装置 | |
CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
CN115953746B (zh) | 一种船只监测方法及装置 | |
CN112529836A (zh) | 高压线路缺陷检测方法、装置、存储介质及电子设备 | |
CN115131826B (zh) | 物品检测识别方法、网络模型的训练方法和装置 | |
CN112784691B (zh) | 一种目标检测模型训练方法、目标检测方法和装置 | |
CN114330542A (zh) | 一种基于目标检测的样本挖掘方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200915 |
|
RJ01 | Rejection of invention patent application after publication |