CN105118061A - 用于将视频流配准至三维地理信息空间中的场景的方法 - Google Patents

用于将视频流配准至三维地理信息空间中的场景的方法 Download PDF

Info

Publication number
CN105118061A
CN105118061A CN201510512369.5A CN201510512369A CN105118061A CN 105118061 A CN105118061 A CN 105118061A CN 201510512369 A CN201510512369 A CN 201510512369A CN 105118061 A CN105118061 A CN 105118061A
Authority
CN
China
Prior art keywords
dimensional
geographic information
information space
point
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510512369.5A
Other languages
English (en)
Inventor
刘朔
刘卫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201510512369.5A priority Critical patent/CN105118061A/zh
Publication of CN105118061A publication Critical patent/CN105118061A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20108—Interactive selection of 2D slice in a 3D data set

Landscapes

  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于将视频流配准至三维地理信息空间中的场景的方法。所述方法包括：接收来自视频获取装置的视频流；对所述视频流进行解码以获取一系列的单帧视频图像；获取所述视频获取装置的位置信息和/或朝向信息；根据所述位置信息和/或朝向信息设置所述三维地理信息空间中的虚拟的图像获取装置；通过所述虚拟的图像获取装置将所述三维地理信息空间中的场景渲染为二维图像；以及将所述单帧视频图像与所述二维图像进行配准，进而将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现所述视频流与三维地理信息空间中的场景的配准。

Description

用于将视频流配准至三维地理信息空间中的场景的方法
技术领域
本发明涉及图像配准领域，具体地，涉及一种用于将视频流配准至三维地理信息空间中的场景的方法。
背景技术
随着航空航天技术的发展，侦察卫星或航空遥感器能够实时获得目标的高清晰度图像情报。由于各传感器通过的光路不同，或成像体制不相同，图像之间可能出现相对平移、旋转、比例缩放等现象。影像镶嵌或融合不能直接进行，而必须得进行图像配准。通过空间图像配准，可以在现有遥感数据的基础上，获取质量更高、位置更精确的信息，从而扩大遥感信息应用的深度和广度。
现阶段的图像配准主要是指静态图像的配准。在三维地理信息系统中，遥感图像经几何校正后映射至三维地理信息空间中与地形数据相结合，使观察者得到直观的地理信息。但遥感图像是静止的，无法反应现在或过去某一段时间的现场状态。也即是说，现阶段的图像配准无法实现动态图像与三维地理信息空间的配准。
发明内容
本发明的目的是提供一种用于将视频流配准至三维地理信息空间中的场景的方法。所述方法通过对单帧视频图像与由三维地理信息系统渲染生成的二维图像进行配准，并将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现了视频流与三维地理信息空间中的场景的配准。
为了实现上述目的，本发明提供一种用于将视频流配准至三维地理信息空间中的场景的方法。所述方法包括：接收来自视频获取装置的视频流；对所述视频流进行解码以获取一系列的单帧视频图像；获取所述视频获取装置的位置信息和/或朝向信息；根据所述位置信息和/或朝向信息设置所述三维地理信息空间中的虚拟图像获取装置；通过所述虚拟图像获取装置将所述三维地理信息空间中的场景渲染为二维图像；以及将所述单帧视频图像与所述二维图像进行配准，进而将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现所述视频流与三维地理信息空间中的场景的配准。
优选地，所述视频获取装置和所述虚拟图像获取装置分别为摄像头和虚拟摄影机。
优选地，所述方法还包括：所述虚拟摄影机通过将所述三维地理信息空间中的场景渲染至纹理的方式生成二维图像，并记录所述二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。
优选地，所述方法还包括：在保持所述虚拟摄影机的位置不变的情况下，改变所述虚拟摄影机的角度以使得所述虚拟摄影机从不同的角度拍摄一组二维图像，并记录每个二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。
优选地，所述方法还包括：使用检测算子或SUSAN角点检测法提取所述单帧视频图像与所述二维图像的特征点，并将所述单帧视频图像的特征点归为第一特征点集，所述二维图像的特征点归为第二特征点集。
优选地，所述第一特征点集与所述第二特征点集之间使用双向最大相似度特征点对应策略或单向最大相似度特征点对应策略进行匹配。
优选地，所述第一特征点集与所述第二特征点集之间使用Hausdorff距离度量准则进行匹配。
优选地，根据所记录的模型视图矩阵、投影矩阵以及视口变换矩阵进行点拾取操作以得到所述第二特征点集中被匹配的特征点的三维点，则所述第一特征点集中的单个特征点在三维地理信息空间中有一组三维点与之对应，对这组三维点进行取平均以得到与所述单帧视频图像的特征点相对应的三维地理信息空间中的三维点。
优选地，根据与所述单帧视频图像的特征点相对应的三维地理信息空间中的三维点生成三角网络，并对所述第一特征点集中的特征点进行归一化，通过第一特征点集中匹配的特征点将所述单帧视频图像映射到三维地理信息空间中，从而所述视频流被逐帧映射到三维地理信息空间中以实现所述视频流与三维地理信息空间中的场景的配准。
优选地，所述特征点包括以下中的至少一者：角点、线交叉点、封闭曲线的质心、轮廓上的曲率最大点、Gabor小波检测出的局部曲率不连续点以及小波变换的局部极大值点。
通过上述技术方案，对视频流进行解码以获取一系列的单帧视频图像，并将三维地理信息空间中的场景渲染为二维图像以及对单帧视频图像与二维图像进行配准，从而实现了视频流与三维地理信息空间中的场景的配准。
附图说明
图1是本发明提供的用于将视频流配准至三维地理信息空间中的场景的方法的流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
通常现阶段的图像配准主要是指静态图像的配准，无法反应现在或过去某一段时间的现场状态。因此，本发明特提供一种用于将视频流配准至三维地理信息空间中的场景的方法。
图1是本发明提供的用于将视频流配准至三维地理信息空间中的场景的方法的流程图。如图1所示，本发明提供的用于将视频流配准至三维地理信息空间中的场景的方法包括：在步骤S101中，接收来自视频获取装置的视频流。具体地，所述视频获取装置通过网络将视频流传输至三维地理信息系统中的IP视频设备。在步骤S102中，对所述视频流进行解码以获取一系列的单帧视频图像。在接收到视频流后，三维地理信息系统对视频流进行解码以获取一系列的单帧视频图像。可选择地，可手动从一系列的单帧视频图像中选取清楚的单帧视频图像，并将所选取的清楚单帧视频图像保存至三维信息系统的内存中。在步骤S103中，获取所述视频获取装置的位置信息和/或朝向信息；在步骤S104中，根据所述位置信息和/或朝向信息设置所述三维地理信息空间中的虚拟图像获取装置。其中，所述视频获取装置和所述虚拟图像获取装置分别为摄像头和虚拟摄影机。具体地，在获取到现实的摄像头的位置信息和朝向信息后，三维地理信息系统根据获取到的位置信息和朝向信息设置三维地理信息空间中的虚拟摄影机。藉此，能够使视频流中的场景与三维地理信息空间中的场景的二维图像基本一致。
在步骤S105中，通过所述虚拟图像获取装置将所述三维地理信息空间中的场景渲染为二维图像。具体地，三维地理信息系统通过其中的虚拟摄影机将三维地理信息空间中的场景渲染为二维图像。更为具体地，所述虚拟摄影机通过将所述三维地理信息空间中的场景渲染至纹理的方式生成二维图像，并将生成的二维图像保存至三维地理信息系统的内存中以及记录所述二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。可选择地，在保持所述虚拟摄影机的位置不变的情况下，三维地理信息系统可改变所述虚拟摄影机的角度以使得所述虚拟摄影机从不同的角度拍摄一组二维图像，并将这组二维图像保存至三维地理信息系统的内存中以及记录每个二维图像所对应的模型视图矩阵、投影矩阵以及视口转换矩阵。以上两种方式中的任意一种方式可将所述三维地理信息空间中的场景转换为二维图像。
在步骤S106中，将所述单帧视频图像与所述二维图像进行配准，进而将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现所述视频流与三维地理信息空间中的场景的配准。具体地，三维地理信息系统使用检测算子(Moravec算子、Forstner算子或Harris算子等)或SUSAN角点检测法提取所述单帧视频图像与所述二维图像的特征点，并将所述单帧视频图像的特征点归为第一特征点集，所述二维图像的特征点归为第二特征点集。其中，SUSAN角点检测法基于角点图像亮度在方向变化时都应该比较大的思想提取角点。首先三维地理信息系统通过对图像作小波变换，计算出小波变换的模值，图像中的边缘点即对应模的局部极大值点。以上所述的两种方法均基于小波变换的多分辨分析理论。需要说明的是，以上提到的检测算子或SUSAN角点检测法均为本领域技术人员所公知的方法。
所述第一特征点集与所述第二特征点集之间使用双向最大相似度特征点对应策略或单向最大相似度特征点对应策略进行匹配。在具体的实施方式中，第一特征点集为1P，第二特征点集为2P，所述双向最大相似度特征点对应策略要求第一特征点集1P中的第i个特征点在第二特征点集2P中相似度最大值所对应的特征点为第j个特征点，同时要求满足第二特征点集2P中的第j个特征点在第一特征点集1P中相似度最大值所对应的特征点为第i个特征点，而所述单向最大相似度特征点对应策略只要求较小点集中的特征点和较大点集中的特征点按照最大相似度量对应即可，从而便可完成两个点集中的特征点的匹配。另外，还有一种不利用点点匹配度量的方法，而是直接搜索对应。例如，所述第一特征点集与所述第二特征点集之间使用Hausdorff距离度量准则进行匹配。这种方法不需要点点精确相关，对局部非相似变形不敏感。对于上述提到的一组二维图像(三维地理信息空间中的场景渲染成的二维图像)中的每个二维图像按照上述方法进行图像的特征点的对应。
在完成两个点集中的特征点的匹配后，三维地理信息系统根据所记录的模型视图矩阵、投影矩阵以及视口变换矩阵进行点拾取操作以得到所述第二特征点集中被匹配的特征点的三维点，则所述第一特征点集中的单个特征点在三维地理信息空间中有一组三维点与之对应。单帧视频图像中的单个特征点在一组二维图像(三维地理信息空间中的场景转换成的二维图像)中有一组特征点与之对应，而这组特征点中的每个特征点在三维地理信息空间中有三维点与之对应，藉此，单帧视频图像中的单个特征点在三维地理信息空间中有一组三维点与之对应。对这组三维点进行取平均以得到与所述单帧视频图像的单个特征点相对应的三维地理信息空间中的三维点。简而言之，这个过程可称为反投射过程。反投射过程是指图形学中通过屏幕坐标得到空间中对应点三维坐标的过程。可选择地，当两个点集中匹配的特征点过少或者两个点集匹配的过程中有明显的错误时，可通过人工的方式添加能够被匹配的特征点或修正匹配的特征点。
三维地理信息系统根据与所述单帧视频图像中的单个特征点相对应的三维地理信息空间中的三维点生成三角网络，并对所述第一特征点集中的特征点进行归一化，通过第一特征点集中匹配的特征点将所述单帧视频图像映射到三维地理信息空间中，从而所述视频流被逐帧映射到三维地理信息空间中以实现所述视频流与三维地理信息空间中的场景的配准，即视频流实现空间转换。然后，便可在三维地理信息空间中的场景下逐帧播放视频。
其中，所述特征点包括以下中的至少一者：角点、线交叉点、封闭曲线的质心、轮廓上的曲率最大点、Gabor小波检测出的局部曲率不连续点以及小波变换的局部极大值点。
上述步骤S105-S106可概括为基于特征的图像配准。基于特征的图像配准一般先从基准图像和待配准图像中提取相同的特征，然后利用相似性度量找到匹配的特征对。进而，通过特征对找到图像间的变换关系进行图像变换，从而达到图像间的配准。该方法提取了图像的显著特征，大大压缩图像的信息量，使得计算量小，速度较快，而且它对图像灰度的变化具有鲁棒性，目前被较为广泛的应用。
可替换地，可使用全人工配准方式替换基于特征的图像配准。首先，操作人员通过鼠标或触控设备选中存储在三维地理信息系统的内存中的单帧图像中的控制点，并在三维地理信息空间的场景中选择与之对应的点便可。这样需要人工选取大量控制点，极其耗时。但配准的精确度高。
本发明通过对视频流进行解码以获取一系列的单帧视频图像，并将三维地理信息空间中的场景转换为二维图像以及对单帧视频图像与二维图像进行配准，从而实现了视频流与三维地理信息空间中的场景的配准，达到三维地理信息空间中的场景与视频流的完美结合。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述方法包括：
接收来自视频获取装置的视频流；
对所述视频流进行解码以获取一系列的单帧视频图像；
获取所述视频获取装置的位置信息和/或朝向信息；
根据所述位置信息和/或朝向信息设置所述三维地理信息空间中的虚拟图像获取装置；
通过所述虚拟图像获取装置将所述三维地理信息空间中的场景渲染为二维图像；以及
将所述单帧视频图像与所述二维图像进行配准，进而将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现所述视频流与三维地理信息空间中的场景的配准。
2.根据权利要求1所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述视频获取装置和所述虚拟图像获取装置分别为摄像头和虚拟摄影机。
3.根据权利要求2所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述方法还包括：
所述虚拟摄影机通过将所述三维地理信息空间中的场景渲染至纹理的方式生成二维图像，并记录所述二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。
4.根据权利要求2所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述方法还包括：
在保持所述虚拟摄影机的位置不变的情况下，改变所述虚拟摄影机的角度以使得所述虚拟摄影机从不同的角度拍摄一组二维图像，并记录每个二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。
5.根据权利要求3或4所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述方法还包括：
使用检测算子或SUSAN角点检测法提取所述单帧视频图像与所述二维图像的特征点，并将所述单帧视频图像的特征点归为第一特征点集，所述二维图像的特征点归为第二特征点集。
6.根据权利要求5所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述第一特征点集与所述第二特征点集之间使用双向最大相似度特征点对应策略或单向最大相似度特征点对应策略进行匹配。
7.根据权利要求5所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述第一特征点集与所述第二特征点集之间使用Hausdorff距离度量准则进行匹配。
8.根据权利要求6或7所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，根据所记录的模型视图矩阵、投影矩阵以及视口变换矩阵进行点拾取操作以得到所述第二特征点集中被匹配的特征点的三维点，则所述第一特征点集中的单个特征点在三维地理信息空间中有一组三维点与之对应，对这组三维点进行取平均以得到与所述单帧视频图像的特征点相对应的三维地理信息空间中的三维点。
9.根据权利要求8所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，根据与所述单帧视频图像的特征点相对应的三维地理信息空间中的三维点生成三角网络，并对所述第一特征点集中的特征点进行归一化，通过第一特征点集中匹配的特征点将所述单帧视频图像映射到三维地理信息空间中，从而所述视频流被逐帧映射到三维地理信息空间中以实现所述视频流与三维地理信息空间中的场景的配准。
10.根据权利要求5-9中任意一项权利要求所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述特征点包括以下中的至少一者：角点、线交叉点、封闭曲线的质心、轮廓上的曲率最大点、Gabor小波检测出的局部曲率不连续点以及小波变换的局部极大值点。
CN201510512369.5A 2015-08-19 2015-08-19 用于将视频流配准至三维地理信息空间中的场景的方法 Pending CN105118061A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510512369.5A CN105118061A (zh) 2015-08-19 2015-08-19 用于将视频流配准至三维地理信息空间中的场景的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510512369.5A CN105118061A (zh) 2015-08-19 2015-08-19 用于将视频流配准至三维地理信息空间中的场景的方法

Publications (1)

Publication Number Publication Date
CN105118061A true CN105118061A (zh) 2015-12-02

Family

ID=54666035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510512369.5A Pending CN105118061A (zh) 2015-08-19 2015-08-19 用于将视频流配准至三维地理信息空间中的场景的方法

Country Status (1)

Country Link
CN (1) CN105118061A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551048A (zh) * 2015-12-21 2016-05-04 华南理工大学 一种基于空间面片的三维角点检测方法
CN111640181A (zh) * 2020-05-14 2020-09-08 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN112053391A (zh) * 2020-09-11 2020-12-08 中德（珠海）人工智能研究院有限公司 一种基于动态三维模型的监控预警方法、系统及存储介质
CN113853577A (zh) * 2020-04-28 2021-12-28 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203420A1 (en) * 2003-12-08 2005-09-15 Martin Kleen Method for merging medical images
CN103136738A (zh) * 2011-11-29 2013-06-05 北京航天长峰科技工业集团有限公司 一种复杂场景下固定摄像机监控视频与三维模型配准方法
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203420A1 (en) * 2003-12-08 2005-09-15 Martin Kleen Method for merging medical images
CN103136738A (zh) * 2011-11-29 2013-06-05 北京航天长峰科技工业集团有限公司 一种复杂场景下固定摄像机监控视频与三维模型配准方法
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈临强: "基于视频的静止虚拟摄像机生成", 《计算机工程与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551048A (zh) * 2015-12-21 2016-05-04 华南理工大学 一种基于空间面片的三维角点检测方法
CN113853577A (zh) * 2020-04-28 2021-12-28 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
CN111640181A (zh) * 2020-05-14 2020-09-08 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN112053391A (zh) * 2020-09-11 2020-12-08 中德（珠海）人工智能研究院有限公司 一种基于动态三维模型的监控预警方法、系统及存储介质

Similar Documents

Publication Publication Date Title
Ji et al. Panoramic SLAM from a multiple fisheye camera rig
CN102646275B (zh) 通过跟踪和定位算法实现虚拟三维叠加的方法
Scaramuzza et al. Closing the loop in appearance-guided omnidirectional visual odometry by using vocabulary trees
Wang et al. CubemapSLAM: A piecewise-pinhole monocular fisheye SLAM system
WO2016181687A1 (ja) 画像処理装置と画像処理方法およびプログラム
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
CN110084243A (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN109308722A (zh) 一种基于主动视觉的空间位姿测量系统及方法
CN104584032A (zh) 混合式精确跟踪
CN107154014A (zh) 一种实时彩色及深度全景图像拼接方法
CN105118061A (zh) 用于将视频流配准至三维地理信息空间中的场景的方法
CN106295512A (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
US20200364900A1 (en) Point marking using virtual fiducial elements
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
Morelli et al. Photogrammetry now and then–from hand-crafted to deep-learning tie points–
Wu et al. Multi‐camera 3D ball tracking framework for sports video
Tang et al. A vertex-to-edge weighted closed-form method for dense RGB-D indoor SLAM
Guo et al. Research on DSO vision positioning technology based on binocular stereo panoramic vision system
Santner et al. Visual recovery of saliency maps from human attention in 3D environments
Dai et al. Multi-spectral visual odometry without explicit stereo matching
Li et al. Gyroflow+: Gyroscope-guided unsupervised deep homography and optical flow learning
Le et al. Sparse3D: A new global model for matching sparse RGB-D dataset with small inter-frame overlap
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
Weinmann et al. Fusing passive and active sensed images to gain infrared-textured 3D models
Kurz et al. Bundle adjustment for stereoscopic 3d

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151202

RJ01 Rejection of invention patent application after publication