CN110971826A - 视频前端监控装置及方法 - Google Patents

视频前端监控装置及方法 Download PDF

Info

Publication number
CN110971826A
CN110971826A CN201911243634.9A CN201911243634A CN110971826A CN 110971826 A CN110971826 A CN 110971826A CN 201911243634 A CN201911243634 A CN 201911243634A CN 110971826 A CN110971826 A CN 110971826A
Authority
CN
China
Prior art keywords
target
video
structural
feature information
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911243634.9A
Other languages
English (en)
Inventor
罗茜
张斯尧
王思远
蒋杰
张�诚
李乾
谢喜林
黄晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Qianshitong Intelligent Technology Co ltd
Original Assignee
Changsha Qianshitong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Qianshitong Intelligent Technology Co ltd filed Critical Changsha Qianshitong Intelligent Technology Co ltd
Priority to CN201911243634.9A priority Critical patent/CN110971826A/zh
Publication of CN110971826A publication Critical patent/CN110971826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施方式提供一种视频前端监控装置，该装置包括：处理模块，用于利用神经网络模型对从视频监控图像里提取的目标进行结构化分析，得到所述目标的结构化特征信息；存储模块，用于存储所述目标的结构化特征信息；以及传输模块，用于在后端服务器调用时将所述目标的结构化特征信息传输至所述后端服务器。本发明的监控装置将后端平台处理的信息放在前端视频前端监控装置来处理，大大的节省了网络传输的网络带宽的消耗，并且及时的处理视频信息。

Description

视频前端监控装置及方法
技术领域
本发明涉及计算机视觉领域，具体地涉及一种视频前端监控装置及一种视频前端监控方法。
背景技术
目前，视频前端监控系统在安防、交通、侦查等领域得到广泛应用，视频侦查已成为平安社会的重要技术保障。随着视频图像处理算法的深入研究，计算机视觉技术辅助视频监控已成为趋势，已有厂家将机器算法、深度学习算法应用于视频监控领域。但目前产品的分析功能大部分基于后端服务器，需要将摄像机拍摄的视频流传输至后端服务器再进行分析。当前端摄像机点位增加时，视频流传输带宽占用高，后端服务器计算资源消耗大，且在传输过程中，视频流编码、解码及传输过程可能存在丢包，影响图像分析的准确性。
发明内容
本发明实施方式的目的提供一种视频前端监控系统及基于此系统的视频监控方法，用于减少网络传输量，提高图像分析的准确性。
为了实现上述目的，在本发明第一方面，提供一种视频前端监控装置，该装置包括：
处理模块，用于利用神经网络模型对从视频监控图像里提取的目标进行结构化分析，得到所述目标的结构化特征信息；
存储模块，用于存储所述目标的结构化特征信息；以及
传输模块，用于在后端服务器调用时将所述目标的结构化特征信息传输至所述后端服务器。
可选的，所述目标包括人脸、行人姿态或车辆，所述目标的结构化特征信息包括人脸特征、行人姿态特征或车辆特征。
可选的，所述处理模块还用于对结构化分析之后的目标特征信息进行去重处理，所述目标的结构化特征信息是经去重处理后的特征信息。
可选的，该装置还包括：
数据库模块，存储有预设目标的预设结构化特征信息；
比对模块，用于从所述数据库模块中提取所述预设目标的预设结构化特征信息，将所述目标的结构化特征信息与所述预设目标的预设结构化特征信息比对以进行相似性分析，得到相似性分析结果；
所述传输模块还用于在后端服务器调用时将所述相似性分析结果传输至所述后端服务器。
本发明的另一方面，还提供一种视频前端监控系统，包括视频采集装置，用于实时采集视频监控图像并存储有预先采集的视频监控图像，该系统还包括：
上述技术方案中所述的视频前端监控装置，与所述视频采集装置电性连接，用于从所述视频采集装置获取实时采集或预先采集的视频监控图像。
在本发明的第三方面，还提供一种视频前端监控方法，该方法包括：
获取视频监控图像；
利用神经网络模型对从所述视频监控图像里提取的目标进行结构化分析，得到所述目标的结构化特征信息；
对所述目标的结构化特征信息进行存储；以及
在后端服务器调用时将所述目标的结构化特征信息传输至所述后端服务器。
可选的，该方法还包括：
在利用神经网络模型对从所述视频监控图像里提取的目标进行结构化分析之后，对分析结果进行去重处理，得到所述目标的结构化特征信息。
可选的，该方法还包括：
从数据库中提取预设目标的预设结构化特征信息；
将所述目标的结构化特征信息与所述预设目标的预设结构化特征信息比对以进行相似性分析，得到相似性分析结果；
在后端服务器调用时将所述相似性分析结果传输至所述后端服务器。
在本发明的第四方面，还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述技术方案中任一项所述的视频前端监控方法。
本发明第五方面，还提供一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述技术方案中任一项所述的视频前端监控方法。
本发明的技术方案至少具有如下效果：
本发明通过视频监控装置将算法前置，在前端完成结构化分析，只需将分析结果传输至后端服务器，所占带宽小，同时避免因前端视频监控点位增加，后端服务器也需相应增加，降低了服务器搭建成本。另外前端视频监控装置可以与摄像头电性连接并获取视频，算法前置系统搭建时可以不将原有摄像机都更换，方便安装，节省成本。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是本发明实施方式提供的视频前端监控装置的结构图；
图2是本发明第一种实施方式提供的视频前端监控方法的流程图；
图3是本发明第二种实施方式提供的视频前端监控方法的流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
图1是本发明实施方式提供的视频前端监控系统的结构图；如图1所示，在本发明第一方面，提供一种视频前端监控装置，该装置包括：
处理模块，用于利用神经网络模型对从视频监控图像里提取的目标进行结构化分析，得到所述目标的结构化特征信息；
存储模块，用于存储所述目标的结构化特征信息；以及
传输模块，用于在后端服务器调用时将所述目标的结构化特征信息传输至所述后端服务器。
所述处理模块为神经网络处理模块，内嵌视频处理算法，将提取的监控视频用嵌入的算法进行结构化分析；所述算法包括机器算法、深度学习算法、视频监控管理算法等，机器算法、深度学习算法用于处理视频信息，视频监控管理算法用于管理、控制监控摄像机；
可选的，所述目标包括人脸、行人姿态或车辆，所述目标的结构化特征信息包括人脸特征、行人姿态特征或车辆特征。
所述视目标包括人脸、行人姿态或车辆，或者其他需要监控视频监控的目标，例如汽车牌照等。本技术方案将所述视频监控图像里的目标进行结构化分析，在前端完成结构化分析，不必将大量的视频图像发送至后端，节省了网络传输的成本。
可选的，所述处理模块还用于对结构化分析之后的目标特征信息进行去重处理，所述目标的结构化特征信息是经去重处理后的特征信息。
所述神经网络处理器在处理得到人脸、行人姿态或车辆的特征信息后，可以进一步进行去重处理，删除不同帧相同目标的特征信息，减少存储的信息量，将所述视频监控图像里的目标的唯一的目标结构化特征信息保存至存储模块。
可选的，该装置还包括：
数据库模块，存储有预设目标的预设结构化特征信息；所述预设目标包括人脸特征、行人姿态特征或车辆特征，或者其他需要监控视频监控的目标，例如汽车牌照特征等。所述数据库模块存储在固态硬盘中。固态硬盘具有体积小，存储量大的特点，适合于安装在本技术方案的前端。
比对模块，用于从所述数据库模块中提取所述预设目标的预设结构化特征信息，将所述目标的结构化特征信息与所述预设目标的预设结构化特征信息比对以进行相似性分析，得到相似性分析结果；例如，在数据库模块中存储有车辆特征，所述车辆为越野车、卡车等，而监控视频获取的图像里有越野车；则可以将所述监控视频里的越野车的图像采用处理模块提取所述越野车的结构化特征信息，并与所述数据库模块中的存储的越野车的结构化特征信息进行比对、分析相似性，如果所述监控视频里的越野车的结构化特征信息与所述数据库模块中的存储的越野车的结构化特征信息相似程度较高，则获取两者的比对结果。该比对结果所占资源相对于所述监控视频里的越野车的结构化特征信息和所述数据库模块中的存储的越野车的结构化特征信息是比较小的。
所述传输模块还用于在后端服务器调用时将所述相似性分析结果传输至所述后端服务器。本技术方案在前端对就进行了比对，并得到了比对结果，避免了在后端比对导致的需要将所述监控视频里的越野车的结构化特征信息和数据库模块中饭的存储的越野车的结构化特征信息都发送至后台，而产生的大量网络开销。
本发明的另一方面，还提供一种视频前端监控系统，包括视频采集装置，用于实时采集视频监控图像并存储有预先采集的视频监控图像，该系统还包括：
上述技术方案中所述的视频前端监控装置，与所述视频采集装置电性连接，用于从所述视频采集装置获取实时采集或预先采集的视频监控图像。
如图2所示，本发明的第三方面，还提供一种视频前端监控方法，该方法包括：
S1)获取视频监控图像；通过视频采集装置获取的视频图像，所述视频图像通常为数字图像。
S2)利用神经网络模型对从所述视频监控图像里提取的目标进行结构化分析，得到所述目标的结构化特征信息；所述神经网络模型为轻量神经网络模型；将所述神经网络模型嵌入在所述视频前端的处理模块中，所述轻量神经网络模型可用于人脸检测/识别、人脸/人形检测/识别、目标车辆检测，可以根据不同摄像机点位的不同要求配置不同需求的智能分析。
所述轻量神经网络模型可以采用全卷积结构，包括5层卷积层，所述卷积层包括批归一化层和激活层，前3层采用C.ReLU激活，C.ReLU激活函数表示为CReLU(x)＝[ReLU(x),ReLU(-x)]
后2层为起始层，即先并行卷积再把卷积结果作为层数维度上的合并。将第3、4、5层卷积获得的特征图融合，具体的将第3层卷积获得的特征图尺寸采用最大池化方式缩小1倍，将第5层卷积获得的特征图尺寸采用双线性插值方式扩大1倍，并将缩小和扩大的特征图与第4层卷积获得的特征图采用1×1卷积核卷积的方式融合，并将融合的特征图输入Faster R-CNN模型获得目标特征信息。
S3)对所述目标的结构化特征信息进行存储；以及
S4)在后端服务器调用时将所述目标的结构化特征信息传输至所述后端服务器。
可选的，该方法还包括：
在利用神经网络模型对从所述视频监控图像里提取的目标进行结构化分析之后，对分析结果进行去重处理，得到所述目标的结构化特征信息。
如图3所示，可选的，该方法还包括：
S5)从数据库中提取预设目标的预设结构化特征信息；
S6)将所述目标的结构化特征信息与所述预设目标的预设结构化特征信息比对以进行相似性分析，得到相似性分析结果；
S7)在后端服务器调用时将所述相似性分析结果传输至所述后端服务器。
在本发明的第四方面，还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述技术方案中任一项所述的视频前端监控方法。
本发明第五方面，还提供一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述技术方案中任一项所述的视频前端监控方法。
本发明通过智能前端视频前端监控系统将算法前置，在前端完成结构化分析，只需将分析结果传输至后端服务器，所占带宽小，同时避免因前端视频监控点位增加，后端服务器也需相应增加，降低了服务器搭建成本。另外智能前端视频监控装置可以与摄像头电性连接并获取视频，算法前置系统搭建时可以不将原有摄像机都更换，方便安装，节省成本。
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (10)

1.一种视频前端监控装置，其特征在于，该装置包括：
处理模块，用于利用神经网络模型对从视频监控图像里提取的目标进行结构化分析，得到所述目标的结构化特征信息；
存储模块，用于存储所述目标的结构化特征信息；以及
传输模块，用于在后端服务器调用时将所述目标的结构化特征信息传输至所述后端服务器。
2.根据权利要求1所述的视频前端监控装置，其特征在于，所述目标包括人脸、行人姿态或车辆，所述目标的结构化特征信息包括人脸特征、行人姿态特征或车辆特征。
3.根据权利要求1所述的视频前端监控装置，其特征在于，所述处理模块还用于对结构化分析之后的目标特征信息进行去重处理，所述目标的结构化特征信息是经去重处理后的特征信息。
4.根据权利要求1所述的视频前端监控装置，其特征在于，该装置还包括：
数据库模块，存储有预设目标的预设结构化特征信息；
比对模块，用于从所述数据库模块中提取所述预设目标的预设结构化特征信息，将所述目标的结构化特征信息与所述预设目标的预设结构化特征信息比对以进行相似性分析，得到相似性分析结果；
所述传输模块还用于在后端服务器调用时将所述相似性分析结果传输至所述后端服务器。
5.一种视频前端监控系统，包括视频采集装置，用于实时采集视频监控图像并存储有预先采集的视频监控图像，其特征在于，该系统还包括：
权利要求1所述的视频前端监控装置，与所述视频采集装置电性连接，用于从所述视频采集装置获取实时采集或预先采集的视频监控图像。
6.一种视频前端监控方法，其特征在于，该方法包括：
获取视频监控图像；
利用神经网络模型对从所述视频监控图像里提取的目标进行结构化分析，得到所述目标的结构化特征信息；
对所述目标的结构化特征信息进行存储；以及
在后端服务器调用时将所述目标的结构化特征信息传输至所述后端服务器。
7.根据权利要求6所述的视频前端监控方法，其特征在于，该方法还包括：
在利用神经网络模型对从所述视频监控图像里提取的目标进行结构化分析之后，对分析结果进行去重处理，得到所述目标的结构化特征信息。
8.根据权利要求6所述的视频前端监控方法，其特征在于，该方法还包括：
从数据库中提取预设目标的预设结构化特征信息；
将所述目标的结构化特征信息与所述预设目标的预设结构化特征信息比对以进行相似性分析，得到相似性分析结果；
在后端服务器调用时将所述相似性分析结果传输至所述后端服务器。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6-8中任一项所述的视频前端监控方法。
10.一种计算机可读介质，所述计算机可读介质存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现权利要求6-8中任一项所述的视频前端监控方法。
CN201911243634.9A 2019-12-06 2019-12-06 视频前端监控装置及方法 Pending CN110971826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911243634.9A CN110971826A (zh) 2019-12-06 2019-12-06 视频前端监控装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911243634.9A CN110971826A (zh) 2019-12-06 2019-12-06 视频前端监控装置及方法

Publications (1)

Publication Number Publication Date
CN110971826A true CN110971826A (zh) 2020-04-07

Family

ID=70033252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911243634.9A Pending CN110971826A (zh) 2019-12-06 2019-12-06 视频前端监控装置及方法

Country Status (1)

Country Link
CN (1) CN110971826A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565717A (zh) * 2021-02-18 2021-03-26 深圳市安软科技股份有限公司 视频结构化方法、相关设备、系统及存储介质
CN116248830A (zh) * 2022-12-17 2023-06-09 航天行云科技有限公司 一种基于天基物联网的野生动物识别方法、终端及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799876A (zh) * 2010-04-20 2010-08-11 王巍 一种视音频智能分析管控系统
CN101835034A (zh) * 2010-05-27 2010-09-15 王巍 一种人群特征统计系统
CN107071344A (zh) * 2017-01-22 2017-08-18 深圳英飞拓科技股份有限公司 一种大规模分布式监控视频数据处理方法及装置
CN107483889A (zh) * 2017-08-24 2017-12-15 北京融通智慧科技有限公司 智慧工地管控平台的隧道监控系统
CN108062349A (zh) * 2017-10-31 2018-05-22 深圳大学 基于视频结构化数据及深度学习的视频监控方法和系统
CN110351536A (zh) * 2019-08-20 2019-10-18 深圳江行联加智能科技有限公司 一种变电站环境异常检测系统、方法及装置
US20190340417A1 (en) * 2016-07-15 2019-11-07 Panasonic Intellectual Property Management Co., Ltd. Monitoring system, monitoring camera, and management device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799876A (zh) * 2010-04-20 2010-08-11 王巍 一种视音频智能分析管控系统
CN101835034A (zh) * 2010-05-27 2010-09-15 王巍 一种人群特征统计系统
US20190340417A1 (en) * 2016-07-15 2019-11-07 Panasonic Intellectual Property Management Co., Ltd. Monitoring system, monitoring camera, and management device
CN107071344A (zh) * 2017-01-22 2017-08-18 深圳英飞拓科技股份有限公司 一种大规模分布式监控视频数据处理方法及装置
CN107483889A (zh) * 2017-08-24 2017-12-15 北京融通智慧科技有限公司 智慧工地管控平台的隧道监控系统
CN108062349A (zh) * 2017-10-31 2018-05-22 深圳大学 基于视频结构化数据及深度学习的视频监控方法和系统
CN110351536A (zh) * 2019-08-20 2019-10-18 深圳江行联加智能科技有限公司 一种变电站环境异常检测系统、方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565717A (zh) * 2021-02-18 2021-03-26 深圳市安软科技股份有限公司 视频结构化方法、相关设备、系统及存储介质
CN112565717B (zh) * 2021-02-18 2021-05-25 深圳市安软科技股份有限公司 视频结构化方法、相关设备、系统及存储介质
CN116248830A (zh) * 2022-12-17 2023-06-09 航天行云科技有限公司 一种基于天基物联网的野生动物识别方法、终端及系统

Similar Documents

Publication Publication Date Title
CN104680795B (zh) 一种基于局部区域特征的车型识别方法和装置
US20220147751A1 (en) Region of interest selection for object detection
CN109472251B (zh) 一种物体碰撞预测方法及装置
CN106570439B (zh) 一种车辆检测方法及装置
US11978340B2 (en) Systems and methods for identifying vehicles using wireless device identifiers
CN109472262A (zh) 车牌识别方法、装置、计算机设备及存储介质
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN114170516B (zh) 一种基于路侧感知的车辆重识别方法、装置及电子设备
CN112907972B (zh) 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
EP3975133A1 (en) Processing of images captured by vehicle mounted cameras
CN108122245B (zh) 一种目标行为描述方法、装置和监控设备
CN110971826A (zh) 视频前端监控装置及方法
JP7382465B2 (ja) 車両データ収集システム及びその使用方法
CN113807298B (zh) 行人过街意图预测方法、装置、电子设备及可读存储介质
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质
Wen et al. Improved Haar wavelet feature extraction approaches for vehicle detection
CN115496775A (zh) 车门被夹物检测方法、装置、设备及存储介质
CN114267021A (zh) 对象识别方法和装置、存储介质及电子设备
CN116486392A (zh) 一种基于fpga的车牌人脸智能识别方法及系统
CN116012580A (zh) 一种辅助驾驶摄像设备优化方法及装置
Kolekar et al. Predicting vehicle pose in six degrees of freedom from single image in real-world traffic environments using deep pretrained convolutional networks and modified Centernet
CN117177004B (zh) 内容帧的提取方法、装置、设备及存储介质
CN116977949B (zh) 车辆停车巡检方法、装置和设备
CN117975416A (zh) 一种基于yolo模型的交通目标识别与测距方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200407

RJ01 Rejection of invention patent application after publication