CN110996000A - 一种多角度同时拍摄的方法及装置 - Google Patents

一种多角度同时拍摄的方法及装置 Download PDF

Info

Publication number
CN110996000A
CN110996000A CN201911293334.1A CN201911293334A CN110996000A CN 110996000 A CN110996000 A CN 110996000A CN 201911293334 A CN201911293334 A CN 201911293334A CN 110996000 A CN110996000 A CN 110996000A
Authority
CN
China
Prior art keywords
shooting
light environment
camera
cameras
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911293334.1A
Other languages
English (en)
Inventor
张远泽
曾鸣
苏文荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Benew Technology Co ltd
Original Assignee
Shenzhen Benew Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Benew Technology Co ltd filed Critical Shenzhen Benew Technology Co ltd
Priority to CN201911293334.1A priority Critical patent/CN110996000A/zh
Publication of CN110996000A publication Critical patent/CN110996000A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种多角度同时拍摄的方法及装置,包括以下步骤:A1、被摄物品放置到位;A2、设置光环境数值M;A3、i=1;A4、启动光环境i;A5、同时启动多于一个的摄像头进行拍摄;A6、将各摄像头拍摄的图片同时进行显示并保存;A7、判断i是否等于M;若是,转A9,若否,进入下一步;A8、i=i+1,转A4;A9、结束。多角度同时拍摄装置用于实现所述方法。本申请通过对同一被拍摄物,采用多个摄像头在同一光环境下从不同角度同时进行拍摄,然后改变光环境参数,再进行拍摄,实现了对同一物体大量图片的获得,减小了人工成本与时间成本,提高了效率。

Description

一种多角度同时拍摄的方法及装置
技术领域
本发明涉及拍摄技术领域,尤其是涉及一种多角度同时拍摄的方法及装置。
背景技术
目前,深度学习已经应用到生活的各方面,深度学习是基于大量的图片进行的,为了得到大量的深度学习用照片,需要对同一物体在不同光照强度、不同色温、不同角度进行拍照,目前采用的方法是一张张分别进行拍照,工作量很大,这种大量的重复性相对比较高的工作,浪费了大量的人工成本和时间成本,因此,如何减少人工成本与时间成本来获得大量的照片,是目前亟待解决的问题。
发明内容
本发明的目的是提供一种多角度同时拍摄的方法,通过在同一光环境下,对同一物体多角度同时进行拍照,再通过改变光环境,从而得到对同一物体在不同光环境下的多角度拍照,满足深度学习需要。
本发明的上述发明目的通过以下技术方案得以实现:
一种多角度同时拍摄的方法,包括以下步骤:
Q1、被摄物品放置到位;
Q2、设置光环境数值M;
Q3、i=1;
Q4、启动光环境i;
Q5、同时启动多于一个的摄像头进行拍摄;
Q6、将各摄像头拍摄的图片同时进行显示并保存;
Q7、判断i是否等于M;若是,转Q9,若否,进入下一步;
Q8、i=i+1,转Q4;
Q9、结束。
本发明进一步设置为:步骤Q4中,在启动光环境后,延迟一设定时段后再进入步骤Q5。
本发明进一步设置为:步骤Q5中,采用同步控制方法,启动多于一路的摄像头的同步拍摄。
本发明进一步设置为:步骤Q5中,对多于一路的摄像头拍摄的图片按照命名规则进行命名,并按照预设路径进行保存。
本发明进一步设置为:命名规则采用摄像头编号与光环境编号相结合的方式进行。
本发明进一步设置为:扫描预设路径中保存的文件,根据命名规则判断各摄像头的图片保存是否正常完成。
本发明进一步设置为:如果某一光环境下的缺少某个摄像头拍摄的图片,或某个摄像头缺少某一光环境下的图片,则控制所有摄像头在所述光环境下重新拍摄并保存,保证各摄像头的图片都存在。
本发明进一步设置为:还包括语音提示,在各步骤进行过程中,发出下一步骤的语音提示信号,控制语音提示器工作;在各步骤进行过程中进行检测,如果发现异常,输出报警信号。
本发明进一步设置为:控制各摄像头移动,在不同位置不同角度进行拍摄。
本发明进一步设置为:设置拍摄与存储图片的时间阈值,如超过时间阈值,则报警并放弃此次处理,进入下一个光环境的拍摄与保存。
本发明的上述发明目的还通过以下技术方案得以实现:
一种多角度同时拍摄的装置,包括主控制器、显示器、光环境控制器、多于一路的摄像头采集器、多于一路的受控光源,主控制器发出同步拍摄信号给多于一路的摄像头,控制摄像头同步拍摄;发出光源控制信号给光环境控制器,从而实现对多于一路的受控光源的控制,实现光环境控制,显示器用于同时显示多角度拍摄的图片。
本发明进一步设置为:还包括语音提示与报警器,用于在各步骤进行过程中的步骤提示或出现异常时的报警。
与现有技术相比,本发明的有益技术效果为:
1.本申请通过设置同一光环境下同时多角度对同一物体进行拍照,再通过改变光环境,从而实现在不同光环境下对同一物体多角度进行拍照,满足学习的需求,减小了人工成本与时间成本,提高了效率;
2.进一步地,通过对大量照片按照命名规则进行命名,便于发现是否完成了各种情况下的拍照,为提供需要的照片提供保证;也便于为后续深度学习提供图片筛选方式;
3.进一步地,在拍照过程中设置提示与预警,保证了拍摄照片光环境设置的多样。
附图说明
图1是本发明的一个具体实施例的拍摄方法流程示意图;
图2是本发明的一个具体实施例的启动摄像头流程示意图;
图3是本发明的一个具体实施例的摄像头拍摄方法流程示意图;
图4是本发明的一个具体实施例的多角度拍摄方法流程示意图;
图5是本发明的一个具体实施例的拍摄方法总流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本发明的一种多图像并行拍摄处理方法,包括主控制器、显示器、多于一路的摄像头采集器;主控制器发出开启信号,控制各摄像头采集器进行并行拍摄,如图1所示,包括以下步骤:
S1、启动各摄像头;
S2、设置拍摄次数N;
S3、接收开始录制信号;
S4、j=1;
S5、发送拍摄图片命令给各摄像头;
S6检查各摄像头拍摄的图片是否成功,并显示已成功拍摄的图片;
S7、判断j是否等于N,若否,进入下一步,若是,转S9;
S8、j=j+1,转S5;
S9、结束。
其中,N是大于等于1的正整数。
在本申请的一个具体实施例中,步骤S1中,还包括主控制器的启动,如图2所示,主控制器的启动包括以下步骤:
A1、发出启动信号给各摄像头;
A2、接收各摄像头发送的启动完成信号,并进行标记;
A3、判断接收时间是否超过设定时长,若是,进入下一步,若否,转A6;
A4、检测所有的摄像头是否都启动完成,若是,进入下一步,若否,转A2;
A5、输出启动完成并进行显示,转A9;
A6、报警,未完成摄像头启动;
A7、输出初始化异常并进行显示;
A8、进入等待再次启动状态,转A10;
A9、进入等待拍摄状态;
A10、结束。
在本申请的一个具体实施例中,步骤S1中,摄像头启动,如图3所示,包括以下步骤:
B1、摄像头接收主控制器发出的启动信号;
B2、参数初始化;
B3、判断初始化是否正常,若是,进入下一步,若否,转B2;
B4、发送启动完成信号给主控制器;
B5、等待拍摄命令。
在本申请的一个具体实施例中,摄像头进行拍摄,包括以下步骤:
C1、摄像头接收主控制器发送的拍摄命令;
C2、抓取一张图片;
C3、按照命名规则进行保存,并发送给主控制器;
C4、进入等待下一次拍摄状态。
各摄像头通过各自的通信线,与主控制器进行通信,也就是说主控制器与各摄像头之间采用并行信号传输方式。
在本申请的一个具体实施例中,各摄像头位于被摄物品不同的角度,进行多角度同时拍摄。
在本申请的一个具体实施例中,还包括光场景切换,在每次拍摄前,确定是否需要切换场景光环境数值,若需要,则进行场景光环境数值的切换后进行拍摄;否则,继续拍摄。
在本申请的一个具体实施例中,切换光环境数值进行拍摄,如图4所示,包括以下步骤:
Q1、被摄物品放置到位;
Q2、设置光环境数值M;
Q3、i=1;
Q4、启动光环境i;
Q5、同时启动多于一个的摄像头进行拍摄;
Q6、将各摄像头拍摄的图片同时进行显示并保存;
Q7、判断i是否等于M;若是,转Q9,若否,进入下一步;
Q8、i=i+1,转Q4;
Q9、结束。
具体地,M是大于等于1的正整数。如M=1,表明只需要进行一个光环境情况下的多角度多台摄像头的同时拍摄过程。
如图5所示,多角度多摄像头并行进行拍摄,包括初始化过程与录制过程,开始时,主控制器控制各摄像头进行初始化,并行接收各摄像头初始化是否完成,如果在设定时间内,所有的摄像头初始化完成,则显示摄像头就绪准备进入录制过程,如果在设定时间内,有摄像头初始化未完成,则报警未就绪,在人机交互界面显示初始化异常结果。
各摄像头在初始化过程中,接收主控制器发出的启动信号,初始化参数,同时检测初始化是否正常,如果初始化正常,则发送就绪信号给主控制器,如果初始化不正常,则继续初始化,直至初始化完成。
在进入录制过程中后,主控制器接收开始录制命令,按照顺序进行拍摄,同时根据需要进行光场景的切换。检测到拍摄完成后,发出结束本轮拍摄信号,拍摄系统进行就绪状态。
进入拍摄后,发送拍摄一张图片命令给各摄像头,各摄像头接收到拍摄命令后,抓取一张图片,按照命名规则保存在主控制器中,主控制器检查是否所有的摄像头是否保存成功,如果保存成功,则进入下一轮拍摄,如果有摄像头未能保存成功,放弃此次拍摄,进入另一轮拍摄。当所有的拍摄要求都完成后,结束拍摄。
人机交互界面在相应位置显示各摄像头拍摄的图片。
在拍摄场地,在不同角度设置多于一路的摄像头、至少一个的受控光源,对应每个受控光源设置有光环境控制器。摄像头、光环境控制器与主控制器连接,主控制器中设置有拍摄光环境参数、被摄照片数量、摄像头数量、光环境数目等参数,被摄物品放置到位后,主控制器发出角度控制信号给各摄像头调速机构,调整各摄像头的拍摄角度到设计角度;主控制器发出光环境控制信号给光环境控制器,光环境控制器根据接收到的光环境控制信号,控制受控光源工作,使光环境达到设定的光强度和光色温。
等待一段时间,使光环境稳定,再进行拍摄。
在光环境满足第一种光环境条件时,主控制器发出同步拍摄信号给所有的摄像头,驱动所有的摄像头从各个角度对被摄物品进行同时拍摄,拍摄完成后,主控制器将各摄像头拍摄的照片以设定的命名规则进行命名,存储在主控制器的预设路径的文件夹中。
主控制器检查文件夹里是否的缺少某个摄像头拍摄的图片,如果缺少,则控制所有摄像头重新拍摄并保存,如果图片数目完全,则改变光环境参数,进入下一个光环境的拍摄。
主控制器将同一光环境拍摄的所有图片在显示器中进行显示,用于对拍摄到的图片进行人工检查。
在每一个光环境拍摄完成后,检查是否对所有的光环境设置都完成了拍摄,如果没有,则进入下一步光环境的设置与拍摄,如果已经完成了所有光环境下的拍摄,则结束拍摄过程。
在拍摄完成后,按照存储图片的预设路径,进行图片保存是否正常完成的检查,如果发现有图片未正常保存,则再进行一次拍摄,如果所有图片都正常保存了,则结束检查过程。
在图片拍摄与保存过程中,设置图片拍摄与保存时间阈值,当超过时间阈值时,发出报警,放弃此次拍摄与保存处理过程,进入下一个光环境的拍摄与保存处理过程。此方案防止因出现异常程序卡壳而无法继续进行拍摄。
采用摄像头编号与光环境编号相结合的命名规则,便于对图片的检查。
为了使拍摄顺利进行,在外围设置音响设备,在拍摄的各步骤进行过程中进行语音提示,提示下一步要进行何种操作,或对光环境参数进行提示,如过程中出现异常,则进行报警。
为了扩大拍摄图片和数量,对多个摄像头进行位置的控制,将各摄像头安装在各自的运行控制装置上,主控制器输出位置控制信号,控制各摄像头进行移动,以便增加拍摄的角度与远近,丰富图片的内容。
主控制器控制各摄像头的位置,是分别对各摄像头进行控制,或在拍摄时同时对各摄像头进行控制。
本具体实施方式的实施例均为本发明的较佳实施例,并非依此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。

Claims (10)

1.一种多角度同时拍摄的方法,其特征在于:包括以下步骤:
A1、被摄物品放置到位;
A2、设置光环境数值M;
A3、i=1;
A4、启动光环境i;
A5、同时启动多于一个的摄像头进行拍摄;
A6、将各摄像头拍摄的图片同时进行显示并保存;
A7、判断i是否等于M;若是,转A9,若否,进入下一步;
A8、i=i+1,转A4;
A9、结束。
2.根据权利要求1所述的多角度同时拍摄的方法,其特征在于:步骤A4中,在启动光环境后,延迟一设定时段后再进入步骤A5。
3.根据权利要求1所述的多角度同时拍摄的方法,其特征在于:步骤A5中,采用同步控制方法,启动多于一路的摄像头的同步拍摄;或移动各摄像头的位置,同步拍摄。
4.根据权利要求1所述的多角度同时拍摄的方法,其特征在于:步骤A5中,对所拍摄的图片按照命名规则进行命名,并按照预设路径进行保存;设置拍摄与存储图片的时间阈值,如超过时间阈值,则报警并放弃此次处理,进入下一个光环境的拍摄与保存。
5.根据权利要求4所述的多角度同时拍摄的方法,其特征在于:命名规则采用摄像头编号与光环境编号相结合的方式进行。
6.根据权利要求4所述的多角度同时拍摄的方法,其特征在于:扫描预设路径中保存的文件,根据命名规则判断各摄像头的图片保存是否正常完成。
7.根据权利要求6所述的多角度同时拍摄的方法,其特征在于:如果某一光环境下的缺少某个摄像头拍摄的图片,则控制所有摄像头在所述光环境下重新拍摄并保存,保证各摄像头的图片都存在。
8.根据权利要求1所述的多角度同时拍摄的方法,其特征在于:还包括语音提示,在各步骤进行过程中,发出下一步骤的语音提示信号,控制语音提示器工作;在各步骤进行过程中进行检测,如果发现异常,输出报警信号。
9.一种多角度同时拍摄的装置,用于实现权利要求1-8任意一项所述的方法,其特征在于:包括主控制器、显示器、光环境控制器、多于一路的摄像头采集器、多于一路的受控光源,主控制器发出同步拍摄信号给多于一路的摄像头,控制摄像头同步拍摄;发出光源控制信号给光环境控制器,从而实现对多于一路的受控光源的控制,实现光环境控制,显示器用于同时显示多角度拍摄的图片。
10.根据权利要求9所述的多角度同时拍摄的装置,其特征在于:还包括语音提示与报警器,用于在各步骤进行过程中的提示或出现异常时的报警。
CN201911293334.1A 2019-12-16 2019-12-16 一种多角度同时拍摄的方法及装置 Pending CN110996000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911293334.1A CN110996000A (zh) 2019-12-16 2019-12-16 一种多角度同时拍摄的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911293334.1A CN110996000A (zh) 2019-12-16 2019-12-16 一种多角度同时拍摄的方法及装置

Publications (1)

Publication Number Publication Date
CN110996000A true CN110996000A (zh) 2020-04-10

Family

ID=70093919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911293334.1A Pending CN110996000A (zh) 2019-12-16 2019-12-16 一种多角度同时拍摄的方法及装置

Country Status (1)

Country Link
CN (1) CN110996000A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468730A (zh) * 2020-11-27 2021-03-09 广州富港生活智能科技有限公司 自动拍摄设备的拍摄效果控制方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050052553A1 (en) * 2003-09-09 2005-03-10 Toshihito Kido Image capturing apparatus
CN101330630A (zh) * 2007-06-22 2008-12-24 宋柏君 一种便携三维图像录制和播放装置
CN101872491A (zh) * 2010-05-21 2010-10-27 清华大学 基于光度立体的自由视角重光照方法和系统
CN101969565A (zh) * 2010-10-29 2011-02-09 清华大学 一种符合多视点视频标准的视频解码方法
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法
CN205158391U (zh) * 2015-11-20 2016-04-13 北京天诚盛业科技有限公司 一种导光装置及具有该导光装置的虹膜设备
CN105787130A (zh) * 2016-03-30 2016-07-20 北京金山安全软件有限公司 图片清理方法、装置和移动终端
CN205622770U (zh) * 2016-04-22 2016-10-05 微景天下(北京)科技有限公司 图像传输系统
CN106101525A (zh) * 2016-05-31 2016-11-09 北京奇虎科技有限公司 应用程序调用双摄像头进行拍摄的方法及装置
CN107291810A (zh) * 2017-05-18 2017-10-24 深圳云天励飞技术有限公司 数据处理方法、装置及存储介质
CN208654811U (zh) * 2018-09-13 2019-03-26 北京蜂盒科技有限公司 图像采集设备
CN109788249A (zh) * 2018-12-27 2019-05-21 浙江蓝卓工业互联网信息技术有限公司 基于工业互联网操作系统的视频监控控制方法
CN109922142A (zh) * 2019-02-21 2019-06-21 阿里巴巴集团控股有限公司 一种文件下载方法、装置及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050052553A1 (en) * 2003-09-09 2005-03-10 Toshihito Kido Image capturing apparatus
CN101330630A (zh) * 2007-06-22 2008-12-24 宋柏君 一种便携三维图像录制和播放装置
CN101872491A (zh) * 2010-05-21 2010-10-27 清华大学 基于光度立体的自由视角重光照方法和系统
CN101969565A (zh) * 2010-10-29 2011-02-09 清华大学 一种符合多视点视频标准的视频解码方法
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法
CN205158391U (zh) * 2015-11-20 2016-04-13 北京天诚盛业科技有限公司 一种导光装置及具有该导光装置的虹膜设备
CN105787130A (zh) * 2016-03-30 2016-07-20 北京金山安全软件有限公司 图片清理方法、装置和移动终端
CN205622770U (zh) * 2016-04-22 2016-10-05 微景天下(北京)科技有限公司 图像传输系统
CN106101525A (zh) * 2016-05-31 2016-11-09 北京奇虎科技有限公司 应用程序调用双摄像头进行拍摄的方法及装置
CN107291810A (zh) * 2017-05-18 2017-10-24 深圳云天励飞技术有限公司 数据处理方法、装置及存储介质
CN208654811U (zh) * 2018-09-13 2019-03-26 北京蜂盒科技有限公司 图像采集设备
CN109788249A (zh) * 2018-12-27 2019-05-21 浙江蓝卓工业互联网信息技术有限公司 基于工业互联网操作系统的视频监控控制方法
CN109922142A (zh) * 2019-02-21 2019-06-21 阿里巴巴集团控股有限公司 一种文件下载方法、装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468730A (zh) * 2020-11-27 2021-03-09 广州富港生活智能科技有限公司 自动拍摄设备的拍摄效果控制方法及装置

Similar Documents

Publication Publication Date Title
US8441542B2 (en) Self-timer photographing apparatus and method involving checking the number of persons
US9237272B2 (en) Imaging apparatus and method for displaying captured image with different colors associated with distances
US9838609B2 (en) Image capturing apparatus, control apparatus and control method for controlling zooming function
CN110022431B (zh) 摄像装置、摄像方法、显示装置和显示方法
US9270887B2 (en) Imaging apparatus and display method for displaying through image and image processing information
US10158798B2 (en) Imaging apparatus and method of controlling the same
WO2017133087A1 (zh) 拍摄控制装置及辅助闪光控制装置
JP5240213B2 (ja) 撮像装置および撮像装置の制御方法
KR20120119794A (ko) 특수 효과들을 사용한 촬영 방법 및 장치
CN105744178A (zh) 一种摄像头启动时亮度的控制方法、系统及摄像终端
CN110996000A (zh) 一种多角度同时拍摄的方法及装置
EP2890116A1 (en) Method of displaying a photographing mode by using lens characteristics, computer-readable storage medium of recording the method and an electronic apparatus
CN104735353A (zh) 一种拍摄全景照片的方法及装置
CN110996001A (zh) 一种多图像并行拍摄处理方法
US9538097B2 (en) Image pickup apparatus including a plurality of image pickup units and method of controlling the same
WO2017133208A1 (zh) 拍摄系统及氙气闪光装置
CN111787236B (zh) 用于全景图片拍摄的遥控装置、方法及全景图片拍摄系统
JP6661912B2 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
JP2008252348A (ja) デジタルカメラ及びデジタルカメラの制御方法
US9066020B2 (en) Image capture apparatus and method for controlling the same
JP2006087087A (ja) リモートキャプチャのユーザーインターフェースのライトボックス内、及び、ライトボックス外を区分する撮影方法
JP2010251977A (ja) 撮像装置及び撮像装置の制御方法
JP2016186518A (ja) 撮影装置、フォーカス制御方法及びプログラム
JP7349690B1 (ja) 交換レンズ、撮像装置、及びプログラム
JPH0638113A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410

RJ01 Rejection of invention patent application after publication