CN108616693A - 一种用于子弹时间的对焦方法及对焦系统 - Google Patents

一种用于子弹时间的对焦方法及对焦系统 Download PDF

Info

Publication number
CN108616693A
CN108616693A CN201810496834.4A CN201810496834A CN108616693A CN 108616693 A CN108616693 A CN 108616693A CN 201810496834 A CN201810496834 A CN 201810496834A CN 108616693 A CN108616693 A CN 108616693A
Authority
CN
China
Prior art keywords
camera
focusing
video camera
monopod video
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810496834.4A
Other languages
English (en)
Inventor
刘娟
许会
陈捷
李文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Full Image Technology Co Ltd
Original Assignee
Changsha Full Image Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Full Image Technology Co Ltd filed Critical Changsha Full Image Technology Co Ltd
Priority to CN201810496834.4A priority Critical patent/CN108616693A/zh
Publication of CN108616693A publication Critical patent/CN108616693A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种用于子弹时间的对焦系统,其特征在于,所述系统包括云台摄像机组、服务器、对焦参照物、图像预览模块和相机校准控制器。本发明还提供了一种用于子弹时间的对焦方法。本发明能自动实现全区域对焦,无需手动实现,具有更准确、更可靠、更快捷的优势。该对焦操作简单,易于掌握,对焦效果好,拍摄的图像清晰、且能减缓子弹时间合成后视频的图像抖动。

Description

一种用于子弹时间的对焦方法及对焦系统
技术领域
本发明涉及子弹时间技术领域,具体为一种用于子弹时间的对焦方法及对焦系统。
背景技术
“子弹时间(Bullet time)”是一种用计算机辅助的摄影技术模拟变速特效,实现如强化的慢镜头、时间静止等效果。因在好莱坞华纳兄弟电影公司的电影《骇客帝国》中大量使用而名声大噪。目前被广泛应用于电影电视制作、广告宣发以及商业营销。
在使用相机阵列拍照时,需要针对感兴趣的物体进行对焦,对焦过程中,只有在对焦区域内的图像的对比度达到或超过一定阈值时,才能对焦成功,因此在对焦失败时,需要人为将摄像机头远离或靠近感兴趣的物体,才能找到使得对焦区域内的图像的对比度达到或超过一定阈值,这种人为对焦的方式,是比较耗费时间的,并且相机阵列拍摄模式中相机数量繁多,对焦过程更为复杂,且容易引起图像不清晰、视频抖动等问题。
发明内容
本发明的目的在于提供一种用于子弹时间的对焦方法及对焦系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种用于子弹时间的对焦系统,所述系统包括:
云台摄像机组,包括至少两个云台摄像机,所有的所述云台摄像机均匀间隔地固定于环形支架上,且所有的所述云台摄像机的摄像头均朝向所述环形支架中部的预定位置,其中所述云台摄像机中的云台用于承载摄像机进行水平和垂直两个方向转动;
服务器,用于相机校准控制器和所有的所述云台摄像机之间的通信,所述云台摄像机从所述服务器实时获取码流并在所述相机校准控制器的控制下转到合适位置以实现相机阵列中的所有所述摄像机均对准目标物体;
对焦参照物,用于在所述相机阵列的中心垂直线上设立对焦目标物体以辅助对焦,以及用于在图像预览画面中提供可自由移动的圆圈十字架区域以辅助对焦,其中所述圆圈十字架区域设置为对焦区域;
图像预览模块,用于获取预览图像,通过预览确定对焦区域位置;
相机校准控制器,通过所述服务器与所述云台摄像机组的各个所述摄像机通信,在对焦过程中控制云台带动摄像头转动到合适的位置以使目标物体的成像位置与所述圆圈十字架重合;且获取所述对焦区域内的预览图像的对比度,若对比度低于期望阈值时,产生控制信号带动摄像头靠近目标区域以使所述相机阵列中的所有所述摄像机都对准所述目标物体。
优选地,所述服务器配置为在所述相机校准控制器和每一所述云台摄像机组之间通过网线连接或者无线局域网通信。
本发明还提供了一种用于子弹时间的对焦方法,所述方法步骤包括:
S1:搭建子弹时间对焦系统,建立服务器与多个云台摄像机组以及相机校准控制器的通信连接;
S2:系统上电后,调用预设的预置位调整所有的所述云台摄像机的位置使其朝向预设位置;
S3:设立辅助对焦参照物;
S4:确定对焦区域;
S5:确定所述对焦区域内的预览图像的对比度;
S6:判断所述对焦区域内的预览图像的对比度是否小于预设阈值,若小于该预设阈值,则所述相机校准控制器发送控制信号给所述云台摄像机以控制所述云台摄像机沿Z轴向前移动,直到对焦区域内的预览图像对比度达到预设阈值。
优选地,所述步骤S1包括,将所有的所述云台摄像机组均匀间隔地固定在环形支架上。
优选地,所述服务器配置为在所述相机校准控制器和每一所述云台摄像机组之间通过网线连接或者无线局域网连接。
优选地,同一台所述服务器连接多台所述云台摄像机,且可通过所述相机校准控制器对任一所述云台摄像机进行控制调整。
优选地,所述步骤S3包括:在相机阵列的中心垂直线上设立对焦目标物体。
优选地,所述步骤S3包括:在图像预览画面中提供可自由移动的圆圈十字架区域,所述圆圈十字架区域作为对焦区域。
优选地,所述步骤S5包括:计算所述对焦区域内的像素中每对相邻像素的色差。
优选地,所述步骤S5包括:计算统计的色差之和作为所述对比度。
与现有技术相比,本发明的有益效果是:能自动实现全区域对焦,无需手动实现,具有更准确、更可靠、更快捷的优势。该对焦操作简单,易于掌握,对焦效果好,拍摄的图像清晰、且能减缓子弹时间合成后视频的图像抖动。
附图说明
图1是本发明提供的一种用于子弹时间的对焦系统的系统框图;
图2是本发明提供的一种用于子弹时间的对焦方法的流程图;
图3是本发明提供的一种用于子弹时间的辅助对焦示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
子弹时间的相机阵列拍摄模式,相机数量繁多,相机安装位置不固定,相机对焦依然是比较耗费时间的,且容易引起图像不清晰、视频抖动等问题。为解决上述问题,本发明提供一种用于子弹时间的对焦系统及方法,使得子弹时间相机阵列实现精准快速对焦。
本发明提供的一种用于子弹时间的对焦系统如图1所示,包括云台摄像机组11、服务器12、对焦参照物13、图像预览模块14、相机校准控制器15组成。
其中,所述云台摄像机组11由多个云台摄像机组成(依次为相机1至相机N),所有云台摄像机的所有摄像机均匀、间隔地固定在环形支架上,且所有摄像机的摄像头均朝向环形支架中部的指定位置。
其中,云台用于承载摄像机进行水平和垂直两个方向转动的装置,能使摄像机从多个角度进行摄像。
所述服务器12配置为在相机校准控制器15和云台摄像机组11之间通过网线连接或者无线局域网连接,云台摄像机组11可以实时获取码流,从而可以控制云台带动摄像头转到合适位置,使得相机阵列中所有相机都对准感兴趣的目标物体且拍照清晰。
所述对焦参照物13,用于辅助对焦,包括在相机阵列的中心垂直线上设立对焦目标物体,例如相机三脚架或棋盘格标定靶等;以及在图像预览画面中提供圆圈十字架区域,该区域设置为对焦区域,所述圆圈十字架区域可以自由移动,用户通过按键可实现上下左右移动,选取对焦区域位置;
所述图像预览模块14,用于获取预览图像,通过预览确定对焦区域位置,进一步优选地,可以任意选择云台摄像机组的各摄像机进行预览,告别盲对焦、盲拍摄;
所述相机校准控制器15,通过服务器12与云台摄像机组11的各个摄像机相连,在对焦过程中,控制云台带动摄像头转动到合适的位置,使得感兴趣目标物体的成像位置与圆圈十字架重合,另外,获取所述对焦区域内的预览图像的对比度,若对比度低于期望阈值时,产生控制信号带动摄像头靠近感兴趣目标区域,从而保证相机阵列中的所有相机都对准拍摄目标物体且拍照清晰。
根据本发明的另一方面,本发明还提供了一种用于子弹时间的对焦方法,如图2所示,可以包括如下步骤:
S1:搭建子弹时间拍摄系统,建立服务器与多个云台摄像机组以及控制器的通信连接;
具体地,所述步骤S1中,在需要拍摄的场景中搭建子弹时间拍摄系统,将云台摄像机组安装在支架上,云台摄像机组的所有摄像机均匀、间隔地固定在环形支架上,其中,优选地,摄像机均为带有云台的摄像机,云台用于承载摄像机进行水平和垂直两个方向转动的装置。
通过网络将服务器与各个摄像机以及控制器通讯连接。具体实施中,服务器配置为在控制器和云台摄像机组之间通过网线连接或者无线局域网连接。
优选地,同一台服务器连接多台云台摄像机,可通过控制器对各摄像机进行控制和调整。
S2:系统上电后,调用预设的预置位调整摄像机的位置,使其朝向预设的位置;
具体地,所述步骤S2中,建立服务器与控制器以及云台摄像机组的连接后,在系统上电后,调用预设的预置位调整摄像机的位置,
使所有摄像机的摄像头均朝向环形支架中部的指定位置,实现粗对焦。
S3:设立辅助对焦参照物;
具体地,所述步骤S3中辅助对焦参照物包括:在相机阵列的中心垂直线上设立对焦目标物体,以及在图像预览画面中提供圆圈十字架区域,该圆圈十字架区域作为对焦区域,可以自由移动;
另外,在本发明实施例中,PC控制软件中提供一个预览区域,在该预览区域显示指定摄像头获取到的图像,通过预览确定对焦区域位置;
优选地,图像预览界面中,可以任意选择云台摄像机组的各摄像机进行预览。
具体地,如图3所示,31是所述对焦目标物体在相机内的成像,32是云台摄像机组中的某一摄像机的图像预览界面,所述预览界面中提供一圆圈十字架区域33,用于辅助对焦,在具体实施中,可根据拍摄物体的景深来调整圆圈半径。
S4:确定对焦区域;
在使用相机阵列拍照时,可人为选定对焦区域的位置,以便于通过该选定的对焦区域选取感兴趣的目标,针对感兴趣的目标物体进行对焦,保证能够对感兴趣的目标物体进行清晰拍照。因此,本发明实施例中,在所述预览区域中确定对焦区域这一步骤包括:
从预览区域中选取所述指定的区域,将选择的区域作为所述对焦区域,用户可通过按键在预览区域中对圆圈十字架区域进行移动,通过移动该对焦区域的方式来选择感兴趣的目标物体,针对感兴趣的目标物体进行对焦;
相机校准模块通过控制云台,带动云台摄像机组中的每个摄像机的转动,使得对焦目标物体的成像位置与圆圈十字架区域重合,如此将每个摄像机对准拍摄物体。
S5:确定所述对焦区域内的预览图像的对比度;
为保证能够清晰拍摄感兴趣的目标物体,所述对焦区域内的对比度需达到预设阈值,具体地,所述步骤S5具体包括如下:
计算所述对焦区域内的像素中每对相邻像素的色差;
计算统计的色差之和,作为所述对比度,在本实施例中,将每对相邻像素的色差求和,作为该对焦区域内的预览图像的对比度,为保证对焦区域的清晰度,需感兴趣的目标的特征部分具有较大色差。
S6:判断所述对焦区域内的预览图像的对比度是否小于预设阈值,若小于该预设阈值,则相机校准控制器发送控制信号给云台摄像机,控制云台摄像机沿Z轴向前移动,直到对焦区域内的预览图像对比度达到预设阈值。
为保证对焦区域的清晰度,感兴趣的目标的特征部分需具有较大色差,在本发明实施例中,比较当前对比度是否小于预设阈值,若小于该预设阈值,则相机校准控制器发送控制信号给云台摄像机,控制云台摄像机沿Z轴向前移动,直到对焦区域内的预览图像对比度达到预设阈值,从而保证各个摄像机拍照清晰。
本发明用于子弹时间的对焦方法,能自动实现全区域对焦,无需手动实现,具有更准确、更可靠、更快捷的优势。该对焦操作简单,易于掌握,对焦效果好,拍摄的图像清晰、且能减缓子弹时间合成后视频的图像抖动。
应当理解的是,上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种用于子弹时间的对焦系统,其特征在于,所述系统包括:
云台摄像机组,包括至少两个云台摄像机,所有的所述云台摄像机均匀间隔地固定于环形支架上,且所有的所述云台摄像机的摄像头均朝向所述环形支架中部的预定位置,其中所述云台摄像机中的云台用于承载摄像机进行水平和垂直两个方向转动;
服务器,用于相机校准控制器和所有的所述云台摄像机之间的通信,所述云台摄像机从所述服务器实时获取码流并在所述相机校准控制器的控制下转到合适位置以实现相机阵列中的所有所述摄像机均对准目标物体;
对焦参照物,用于在所述相机阵列的中心垂直线上设立对焦目标物体以辅助对焦,以及用于在图像预览画面中提供可自由移动的圆圈十字架区域以辅助对焦,其中所述圆圈十字架区域设置为对焦区域;
图像预览模块,用于获取预览图像,通过预览确定对焦区域位置;
相机校准控制器,通过所述服务器与所述云台摄像机组的各个所述摄像机通信,在对焦过程中控制云台带动摄像头转动到合适的位置以使目标物体的成像位置与所述圆圈十字架重合;且获取所述对焦区域内的预览图像的对比度,若对比度低于期望阈值时,产生控制信号带动摄像头靠近目标区域以使所述相机阵列中的所有所述摄像机都对准所述目标物体。
2.根据权利要求1所述的用于子弹时间的对焦系统,其特征在于,所述服务器配置为在所述相机校准控制器和每一所述云台摄像机组之间通过网线连接或者无线局域网通信。
3.一种用于子弹时间的对焦方法,其特征在于,所述方法步骤包括:
S1:搭建子弹时间对焦系统,建立服务器与多个云台摄像机组以及相机校准控制器的通信连接;
S2:系统上电后,调用预设的预置位调整所有的所述云台摄像机的位置使其朝向预设位置;
S3:设立辅助对焦参照物;
S4:确定对焦区域;
S5:确定所述对焦区域内的预览图像的对比度;
S6:判断所述对焦区域内的预览图像的对比度是否小于预设阈值,若小于该预设阈值,则所述相机校准控制器发送控制信号给所述云台摄像机以控制所述云台摄像机沿Z轴向前移动,直到对焦区域内的预览图像对比度达到预设阈值。
4.根据权利要求3所述的对焦方法,其特征在于,所述步骤S1包括,将所有的所述云台摄像机组均匀间隔地固定在环形支架上。
5.根据权利要求3所述的对焦方法,其特征在于,所述服务器配置为在所述相机校准控制器和每一所述云台摄像机组之间通过网线连接或者无线局域网连接。
6.根据权利要求5所述的对焦方法,其特征在于,同一台所述服务器连接多台所述云台摄像机,且可通过所述相机校准控制器对任一所述云台摄像机进行控制调整。
7.根据权利要求5所述的对焦方法,其特征在于,所述步骤S3包括:在相机阵列的中心垂直线上设立对焦目标物体。
8.根据权利要求5所述的对焦方法,其特征在于,所述步骤S3包括:在图像预览画面中提供可自由移动的圆圈十字架区域,所述圆圈十字架区域作为对焦区域。
9.根据权利要求5所述的对焦方法,其特征在于,所述步骤S5包括:计算所述对焦区域内的像素中每对相邻像素的色差。
10.根据权利要求9所述的对焦方法,其特征在于,所述步骤S5包括:计算统计的色差之和作为所述对比度。
CN201810496834.4A 2018-05-22 2018-05-22 一种用于子弹时间的对焦方法及对焦系统 Pending CN108616693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810496834.4A CN108616693A (zh) 2018-05-22 2018-05-22 一种用于子弹时间的对焦方法及对焦系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810496834.4A CN108616693A (zh) 2018-05-22 2018-05-22 一种用于子弹时间的对焦方法及对焦系统

Publications (1)

Publication Number Publication Date
CN108616693A true CN108616693A (zh) 2018-10-02

Family

ID=63664035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810496834.4A Pending CN108616693A (zh) 2018-05-22 2018-05-22 一种用于子弹时间的对焦方法及对焦系统

Country Status (1)

Country Link
CN (1) CN108616693A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290379A (zh) * 2019-07-02 2019-09-27 珠海达明科技有限公司 一种相机焦距校准平台及校准方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572230A (zh) * 2010-12-30 2012-07-11 深圳华强数码电影有限公司 空间凝固拍摄方法及系统
CN104270562A (zh) * 2014-08-15 2015-01-07 广东欧珀移动通信有限公司 一种拍照对焦方法和拍照对焦装置
CN204697173U (zh) * 2015-06-25 2015-10-07 南京苏博工业设计有限公司 一种子弹时间拍摄系统
CN106231189A (zh) * 2016-08-02 2016-12-14 乐视控股(北京)有限公司 拍照处理方法和装置
CN106851109A (zh) * 2017-03-17 2017-06-13 惠州Tcl移动通信有限公司 一种基于移动终端摄像头的对焦处理方法及系统
CN206313885U (zh) * 2016-12-27 2017-07-07 湖南子午天地科技文化发展有限公司 一种用于子弹时间制作的云台摄像机阵列
US20170208238A1 (en) * 2016-01-14 2017-07-20 Xiaoyi Technology Co., Ltd. System and method for bullet-time photography
JP2018074386A (ja) * 2016-10-28 2018-05-10 光秀 松田 バレットタイム撮影システム、バレットタイム撮影方法、管理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572230A (zh) * 2010-12-30 2012-07-11 深圳华强数码电影有限公司 空间凝固拍摄方法及系统
CN104270562A (zh) * 2014-08-15 2015-01-07 广东欧珀移动通信有限公司 一种拍照对焦方法和拍照对焦装置
CN204697173U (zh) * 2015-06-25 2015-10-07 南京苏博工业设计有限公司 一种子弹时间拍摄系统
US20170208238A1 (en) * 2016-01-14 2017-07-20 Xiaoyi Technology Co., Ltd. System and method for bullet-time photography
CN106231189A (zh) * 2016-08-02 2016-12-14 乐视控股(北京)有限公司 拍照处理方法和装置
JP2018074386A (ja) * 2016-10-28 2018-05-10 光秀 松田 バレットタイム撮影システム、バレットタイム撮影方法、管理装置
CN206313885U (zh) * 2016-12-27 2017-07-07 湖南子午天地科技文化发展有限公司 一种用于子弹时间制作的云台摄像机阵列
CN106851109A (zh) * 2017-03-17 2017-06-13 惠州Tcl移动通信有限公司 一种基于移动终端摄像头的对焦处理方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290379A (zh) * 2019-07-02 2019-09-27 珠海达明科技有限公司 一种相机焦距校准平台及校准方法

Similar Documents

Publication Publication Date Title
US8879870B2 (en) Image creation with software controllable depth of field
US11586033B2 (en) High speed variable focal field lens assembly and related methods
CN101702076B (zh) 一种立体拍摄自动会聚跟踪方法及系统
WO2011132364A1 (ja) 立体画像撮影装置および立体画像撮影方法
EP3902236A1 (en) Terminal, photographing method, and storage medium
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
CN110785990A (zh) 一种视频拍摄方法、装置及控制设备
US20100321475A1 (en) System and method to quickly acquire three-dimensional images
CN108259828A (zh) 一种用于子弹时间拍摄的系统及其拍摄方法
WO2022262839A1 (zh) 现场演出的立体显示方法、装置、介质及系统
CN108924522A (zh) 一种超短焦投影设备的自动对焦装置及其使用方法
KR100986748B1 (ko) 입체영상 촬영장치 및 이를 이용한 입체영상 촬영방법
CN106303481B (zh) 一种投影电视对焦的方法及系统
CN108540720B (zh) 一种用于子弹时间自动选取最优图像的系统及方法
CN105516600B (zh) 自动对焦方法
CN108616693A (zh) 一种用于子弹时间的对焦方法及对焦系统
CN106210546A (zh) 一种全景照片拍摄系统、全景照片拍摄方法及移动终端
CN110557568B (zh) 一种基于人工智能模块的摄影设备结构及方法
CN104902179B (zh) 一种相机图像的预览方法和装置
WO2018096208A1 (en) Imaging device and method
WO2022017069A1 (zh) 多摄摄像模组、摄像系统、电子设备和成像方法
CN115442941A (zh) 一种控制灯光的方法、装置、相机、设备及存储介质
KR20200069078A (ko) 파노라마 이미지 생성 시스템 및 방법
CN105959571A (zh) 一种拍摄方法及拍摄装置
US20230396747A1 (en) Multiple camera sensor system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002

RJ01 Rejection of invention patent application after publication