CN110933399A - 一种光源设备的检测方法及装置 - Google Patents

一种光源设备的检测方法及装置 Download PDF

Info

Publication number
CN110933399A
CN110933399A CN201911102746.2A CN201911102746A CN110933399A CN 110933399 A CN110933399 A CN 110933399A CN 201911102746 A CN201911102746 A CN 201911102746A CN 110933399 A CN110933399 A CN 110933399A
Authority
CN
China
Prior art keywords
light source
imaging
source equipment
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911102746.2A
Other languages
English (en)
Inventor
吴光斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Truly Opto Electronics Ltd
Original Assignee
Truly Opto Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truly Opto Electronics Ltd filed Critical Truly Opto Electronics Ltd
Priority to CN201911102746.2A priority Critical patent/CN110933399A/zh
Publication of CN110933399A publication Critical patent/CN110933399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种光源设备的检测方法,步骤如下:驱动至少一个摄像头在标准光源设备下进行成像,获取至少一张成像图像;对在所述标准光源设备下获取的每张成像图像进行处理,计算出每张成像图像的成像参数组;驱动至少一个摄像头在待检光源设备下进行成像,获取至少一张成像图像;对在所述待检光源设备下获取的成像图像进行处理,计算出每张成像图像的成像参数组;将同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异。该检测方法可对光源设备进行检测,以判断光源设备是否存在老化、损耗等问题。本发明还公开了一种光源设备的检测装置。

Description

一种光源设备的检测方法及装置
技术领域
本发明涉及光源检测技术,尤其涉及一种光源设备的检测方法及装置。
背景技术
在摄像头出厂前,厂商需要对每个摄像头的成像效果进行校准,以使每个摄像头的成像效果相一致。在进行校准时,往往需要使用光源设备来为摄像头提供校准光线,但是光源设备本身也是电子设备,也存在老化、损耗等问题,使用时间长了会发生色偏、色坐标变化等问题,会影响到摄像头的校准效果。因此,有必要对光源设备进行检测,以判断光源设备是否存在老化、损耗等问题。
发明内容
为了解决上述现有技术的不足,本发明提供一种光源设备的检测方法及装置,可对光源设备进行检测,以判断光源设备是否存在老化、损耗等问题。
本发明所要解决的技术问题通过以下技术方案予以实现:
一种光源设备的检测方法,步骤如下:
驱动至少一个摄像头在标准光源设备下进行成像,获取至少一张成像图像;
对在所述标准光源设备下获取的每张成像图像进行处理,计算出每张成像图像的成像参数组;
驱动至少一个摄像头在待检光源设备下进行成像,获取至少一张成像图像;
对在所述待检光源设备下获取的成像图像进行处理,计算出每张成像图像的成像参数组;
将同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异。
进一步地,对所述成像图像进行处理,计算出每张成像图像的成像参数组的步骤如下:
在每张成像图像上选取尺寸和位置均相同的至少一个取值区域;
计算出每个取值区域的成像参数组,得到对应于同一张成像图像的至少一组成像参数组。
进一步地,在每张成像图像上选取尺寸和位置均相同的至少一个取值区域的步骤如下:
将获取的每张成像图像等分为M*N个图像区域,M和N均为正整数;
在每张成像图像的至少一个相同位置上各选取m*n个图像区域,m*n个图像区域组成一个取值区域,m和n均为正整数且m<M、n<N。
进一步地,每个取值区域均位于对应的成像图像的外围区域上。
进一步地,每张成像图像上各选取四个取值区域,四个取值区域分别位于对应的成像图像的四个外围角上。
进一步地,每组成像参数组包括R通道亮度平均值、Gr通道亮度平均值、Gb通道亮度平均值和B通道亮度平均值。
进一步地,在所述标准光源设备下驱动每个摄像头进行成像时,驱动每个摄像头曝光至预定亮度,以获取每个摄像头在所述标准光源设备下的成像图像;在所述待检光源设备下驱动每个摄像头进行成像时,驱动每个摄像头曝光至预定亮度,以获取每个摄像头在所述待检光源设备下的成像图像。
进一步地,所述摄像头的数量至少有两个;在计算出每个摄像头在所述标准光源设备下的成像参数组后,将每个摄像头在所述标准光源设备下的成像参数组保存至对应的摄像头内;在将同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组进行比较时,从每个摄像头内读取该摄像头内所保存的其在所述标准光源设备下的成像参数组。
进一步地,将同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异的步骤如下:
计算同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组之间的参数差值组;
将每个摄像头的参数差值组与预设的差值阈值组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异。
一种光源设备的检测装置,包括处理器和与所述处理器连接的存储器,所述存储器内储存有供所述处理器执行的计算机程序,所述处理器执行该计算机程序时进行上述的检测方法。
本发明具有如下有益效果:该光源设备的检测方法及装置可对光源设备进行检测,以判断光源设备是否存在老化、损耗等问题。
附图说明
图1为本发明提供的光源设备的检测方法的步骤框图;
图2为本发明提供的光源设备的检测方法中取值区域的示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的说明。
实施例一
如图1所示,一种光源设备的检测方法,步骤如下:
S100:驱动至少一个摄像头在标准光源设备下进行成像,获取至少一张(标准)成像图像。
所述标准光源设备指的是发光效果(色温、亮度、波长和色坐标等)满足预定需求的光源设备,即未发生老化、损耗等问题的光源设备,可由光源设备厂家提供。
在该步骤S100中,在所述标准光源设备下驱动每个摄像头进行成像时,驱动每个摄像头曝光至预定亮度,比如预定亮度Y=160,以获取每个摄像头在所述标准光源设备下的(标准)成像图像。
S200:对在所述标准光源设备下获取的每张(标准)成像图像进行处理,计算出每张(标准)成像图像的(标准)成像参数组。
为了提高检测的准确性,同一待检光源设备可能需要与所述标准光源设备进行多次比较,或者,为了提到检测的效率,可能需要同时对多个待检光源设备进行检测,因而需要同时使用多个摄像头,这样就会造成数据量太大的困扰,此时,若将全部(标准)成像参数组都保存至同一存储单元(服务器或存储器)中的话,则在后续步骤S500中从所述存储单元中调取(标准)成像参数组时,难以将调取的(标准)成像参数组与摄像头一一对应。
因此,若所述摄像头的数量至少有两个,则在该步骤S200中优选地,在计算出每个摄像头在所述标准光源设备下的(标准)成像参数组后,将每个摄像头在所述标准光源设备下的(标准)成像参数组保存至对应的摄像头的存储模块(OTP或EEPROM等)内。
S300:驱动至少一个摄像头在待检光源设备下进行成像,获取至少一张(待检)成像图像。
所述待检光源设备若未发生老化、损耗等问题的话,其发光效果(色温、亮度、波长和色坐标等)应当与所述标准光源设备的发光效果相一致(相同或相近)。
在该步骤S300中,在所述待检光源设备下驱动每个摄像头进行成像时,驱动每个摄像头曝光至预定亮度,比如预定亮度Y=160,以获取每个摄像头在所述待检光源设备下的(待检)成像图像。
所述待检光源设备的数量可以为一个,也可以为至少两个,每个待检光源设备均采用至少一个摄像头进行检测。
S400:对在所述待检光源设备下获取的成像图像进行处理,计算出每张成像图像的成像参数组。
S500:将同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异。
若所述摄像头的数量至少有两个且每个摄像头的(标准)成像参数组均保存至其存储模块内,则在该步骤S500中优选地,在将同一摄像头在所述标准光源设备下的(标准)成像参数组与在所述待检光源设备下的(待检)成像参数组进行比较时,从每个摄像头内读取该摄像头内所保存的其在所述标准光源设备下的(标准)成像参数组。
具体的,如图2所示,在步骤S200/步骤S400中,对所述(标准/待检)成像图像进行处理,计算出每张(标准/待检)成像图像的(标准/待检)成像参数组的步骤如下:
S210/ S410:在每张(标准/待检)成像图像上选取尺寸和位置均相同的至少一个取值区域。
优选地,每个取值区域均位于对应的(标准/待检)成像图像的外围区域上,最优地,每个取值区域均位于对应的(标准/待检)成像图像的外围角上。
本实施例中,每张(标准/待检)成像图像上各选取四个取值区域,分别为取值区域A、取值区域B、取值区域C和取值区域D,四个取值区域分别位于对应的(标准/待检)成像图像的四个外围角上。
具体的,在该步骤S210/步骤S410中,在每张(标准/待检)成像图像上选取尺寸和位置均相同的至少一个取值区域的步骤如下:
S211/S411:将获取的每张(标准/待检)成像图像等分为M*N个图像区域,M和N均为正整数。
本实施例中,每张(标准/待检)成像图像等分为15*15个图像区域。
S212/S412:在每张(标准/待检)成像图像的至少一个相同位置上各选取m*n个图像区域,m*n个图像区域组成一个取值区域,m和n均为正整数且m<M、n<N。
本实施例中,每个取值区域由3*3个图像区域组成,其中取值区域A包括图像区域A1-A9,取值区域B包括图像区域B1-B9,取值区域C包括图像区域C1-C9,取值区域D包括图像区域D1-D9。
步骤S220/步骤S420:计算出每个取值区域的(标准/待检)成像参数组,得到对应于同一张(标准/待检)成像图像的至少一组(标准/待检)成像参数组。
本实施例中,每张(标准/待检)成像图像对应有四组(标准/待检)成像参数组,一组(标准/待检)成像参数组对应于一个取值区域。
其中,每组(标准/待检)成像参数组包括R通道亮度平均值、Gr通道亮度平均值、Gb通道亮度平均值和B通道亮度平均值。
本实施例中,每组(标准/待检)成像参数组包括对应于一个取值区域的R通道亮度平均值、Gr通道亮度平均值、Gb通道亮度平均值和B通道亮度平均值。以取值区域A为例,对应于取值区域A的(标准/待检)成像参数组中包括以下:
取值区域A的R通道亮度平均值
Avg_A_R=(R[A1]+R[A2]+R[A3]+R[A4]+R[A5]+R[A6]+R[A7]+R[A8]+R[A9])/9;
取值区域A的Gr通道亮度平均值
Avg_A_Gr=(Gr[A1]+Gr[A2]+Gr[A3]+Gr[A4]+Gr[A5]+Gr[A6]+Gr[A7]+Gr[A8]+Gr[A9])/9;
取值区域A的Gb通道亮度平均值
Avg_A_Gb=(Gb[A1]+Gb[A2]+Gb[A3]+Gb[A4]+Gb[A5]+Gb[A6]+Gb[A7]+Gb[A8]+Gb[A9])/9;
取值区域A的B通道亮度平均值
Avg_A_B=(B[A1]+B[A2]+B[A3]+B[A4]+B[A5]+B[A6]+B[A7]+B[A8]+B[A9])/9。
而取值区域B、取值区域C和取值区域D也以上述公式计算对应的(标准/待检)成像参数组。
具体的,在步骤S500中,将同一摄像头在所述标准光源设备下的(标准)成像参数组与在所述待检光源设备下的(待检)成像参数组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异的步骤如下:
S510:计算同一摄像头在所述标准光源设备下的(标准)成像参数组与在所述待检光源设备下的(待检)成像参数组之间的参数差值组。
在该步骤S510中,将同一摄像头的(标准)成像图像和(待检)成像图像中,对应于相同位置取值区域的(标准)成像参数组和(待检)成像参数组进行比较,即将同一摄像头的(标准)成像图像中取值区域A的(标准)成像参数组与(待检)成像图像中取值区域A的(待检)成像参数组进行比较,取值区域B、取值区域C和取值区域D也如此进行比较。
在同一摄像头的(标准)成像图像和(待检)成像图像中,对应于不同位置取值区域的(标准)成像参数组和(待检)成像参数组无需进行比较。
每组参数差值组包括R通道差值、Gr通道差值、Gb通道差值和B通道差值,同一摄像头的(标准)成像图像和(待检)成像图像中相同位置取值区域对应于一组参数差值组。以同一摄像头的(标准)成像图像和(待检)成像图像中取值区域A为例,对应于取值区域A的参数差值组中包括以下:
取值区域A的R通道参数差值
Avg_A_R_dif=(Avg_A_R_current/Avg_A_R_standard-1)*100%;
取值区域A的Gr通道参数差值
Avg_A_Gr_dif=(Avg_A_Gr_current/Avg_A_Gr_standard-1)*100%;
取值区域A的Gb通道参数差值
Avg_A_Gb_dif=(Avg_A_Gb_current/Avg_A_Gb_standard-1)*100%;
取值区域A的B通道参数差值
Avg_A_B_dif=(Avg_A_B_current/Avg_A_B_standard-1)*100%;
current指的是待检光源设备下的待检成像参数组,standard指的是标准光源设备下的标准成像参数组。
而同一摄像头的(标准)成像图像和(待检)成像图像中对应于取值区域B、取值区域C和取值区域D的参数差值组也以上述公式计算。
S520:将每个摄像头的参数差值组与预设的差值阈值组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异。
在该步骤S520中,预设的差值阈值组中包括分别对应于Avg_A_R_dif、Avg_A_Gr_dif、Avg_A_Gb_dif 和Avg_A_B_dif的四个差值阈值,任一摄像头的任一通道的参数差值大于对应的差值阈值均判断所述待检光源设备的发光效果与所述标准光源设备的发光效果不一致,对应的待检光源设备则存在老化、损耗等问题。
实施例二
一种光源设备的检测装置,包括处理器和与所述处理器连接的存储器,所述存储器内储存有供所述处理器执行的计算机程序,所述处理器执行该计算机程序时进行实施例一中所述的检测方法。
以上所述实施例仅表达了本发明的实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制,但凡采用等同替换或等效变换的形式所获得的技术方案,均应落在本发明的保护范围之内。

Claims (10)

1.一种光源设备的检测方法,其特征在于,步骤如下:
驱动至少一个摄像头在标准光源设备下进行成像,获取至少一张成像图像;
对在所述标准光源设备下获取的每张成像图像进行处理,计算出每张成像图像的成像参数组;
驱动至少一个摄像头在待检光源设备下进行成像,获取至少一张成像图像;
对在所述待检光源设备下获取的成像图像进行处理,计算出每张成像图像的成像参数组;
将同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异。
2.根据权利要求1所述的光源设备的检测方法,其特征在于,对所述成像图像进行处理,计算出每张成像图像的成像参数组的步骤如下:
在每张成像图像上选取尺寸和位置均相同的至少一个取值区域;
计算出每个取值区域的成像参数组,得到对应于同一张成像图像的至少一组成像参数组。
3.根据权利要求2所述的光源设备的检测方法,其特征在于,在每张成像图像上选取尺寸和位置均相同的至少一个取值区域的步骤如下:
将获取的每张成像图像等分为M*N个图像区域,M和N均为正整数;
在每张成像图像的至少一个相同位置上各选取m*n个图像区域,m*n个图像区域组成一个取值区域,m和n均为正整数且m<M、n<N。
4.根据权利要求2或3所述的光源设备的检测方法,其特征在于,每个取值区域均位于对应的成像图像的外围区域上。
5.根据权利要求4所述的光源设备的检测方法,其特征在于,每张成像图像上各选取四个取值区域,四个取值区域分别位于对应的成像图像的四个外围角上。
6.根据权利要求1所述的光源设备的检测方法,其特征在于,每组成像参数组包括R通道亮度平均值、Gr通道亮度平均值、Gb通道亮度平均值和B通道亮度平均值。
7.根据权利要求1所述的光源设备的检测方法,其特征在于,在所述标准光源设备下驱动每个摄像头进行成像时,驱动每个摄像头曝光至预定亮度,以获取每个摄像头在所述标准光源设备下的成像图像;在所述待检光源设备下驱动每个摄像头进行成像时,驱动每个摄像头曝光至预定亮度,以获取每个摄像头在所述待检光源设备下的成像图像。
8.根据权利要求1所述的光源设备的检测方法,其特征在于,所述摄像头的数量至少有两个;在计算出每个摄像头在所述标准光源设备下的成像参数组后,将每个摄像头在所述标准光源设备下的成像参数组保存至对应的摄像头内;在将同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组进行比较时,从每个摄像头内读取该摄像头内所保存的其在所述标准光源设备下的成像参数组。
9.根据权利要求1所述的光源设备的检测方法,其特征在于,将同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异的步骤如下:
计算同一摄像头在所述标准光源设备下的成像参数组与在所述待检光源设备下的成像参数组之间的参数差值组;
将每个摄像头的参数差值组与预设的差值阈值组进行比较,以判断所述待检光源设备的发光效果与所述标准光源设备的发光效果之间的差异。
10.一种光源设备的检测装置,包括处理器和与所述处理器连接的存储器,所述存储器内储存有供所述处理器执行的计算机程序,其特征在于,所述处理器执行该计算机程序时进行权利要求1-9中任一所述的检测方法。
CN201911102746.2A 2019-11-12 2019-11-12 一种光源设备的检测方法及装置 Pending CN110933399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911102746.2A CN110933399A (zh) 2019-11-12 2019-11-12 一种光源设备的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911102746.2A CN110933399A (zh) 2019-11-12 2019-11-12 一种光源设备的检测方法及装置

Publications (1)

Publication Number Publication Date
CN110933399A true CN110933399A (zh) 2020-03-27

Family

ID=69852821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911102746.2A Pending CN110933399A (zh) 2019-11-12 2019-11-12 一种光源设备的检测方法及装置

Country Status (1)

Country Link
CN (1) CN110933399A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003214954A (ja) * 2002-01-22 2003-07-30 Fuji Photo Film Co Ltd 光源の演色性判定方法
US20060000963A1 (en) * 2004-06-30 2006-01-05 Ng Kee Y Light source calibration
CN102288389A (zh) * 2011-05-11 2011-12-21 杭州远方光电信息股份有限公司 一种光源老化试验测量装置
CN103196653A (zh) * 2013-03-08 2013-07-10 信利光电(汕尾)有限公司 一种光源检测方法及装置
CN206648805U (zh) * 2017-01-03 2017-11-17 中华商务联合印刷(广东)有限公司 看色台灯光检测系统及看色台
CN109889818A (zh) * 2019-03-05 2019-06-14 信利光电股份有限公司 一种摄像模组用光源测试方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003214954A (ja) * 2002-01-22 2003-07-30 Fuji Photo Film Co Ltd 光源の演色性判定方法
US20060000963A1 (en) * 2004-06-30 2006-01-05 Ng Kee Y Light source calibration
CN102288389A (zh) * 2011-05-11 2011-12-21 杭州远方光电信息股份有限公司 一种光源老化试验测量装置
CN103196653A (zh) * 2013-03-08 2013-07-10 信利光电(汕尾)有限公司 一种光源检测方法及装置
CN206648805U (zh) * 2017-01-03 2017-11-17 中华商务联合印刷(广东)有限公司 看色台灯光检测系统及看色台
CN109889818A (zh) * 2019-03-05 2019-06-14 信利光电股份有限公司 一种摄像模组用光源测试方法

Similar Documents

Publication Publication Date Title
CN106097361B (zh) 一种缺陷区域检测方法及装置
US10043090B2 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
KR101941585B1 (ko) 인공지능 기반의 검사를 위한 임베디드 시스템, 제어 방법 및 이를 포함하는 검사 시스템
CN111866501B (zh) 一种摄像模组检测方法、装置、电子设备及介质
CN110769229A (zh) 投影画面颜色亮度的检测方法、装置及系统
WO2023109557A1 (zh) 连接器件检测方法、电子设备及存储介质
CN111598913A (zh) 一种基于机器人视觉的图像分割方法和系统
CN113630594B (zh) 一种显示面板坏点检测系统
CN115063342A (zh) 一种镜头坏点检测方法、装置、电子设备及存储介质
CN111385447A (zh) 摄像装置及其驱动方法
CN111598832A (zh) 一种槽孔缺陷标注方法、装置和存储介质
CN110933399A (zh) 一种光源设备的检测方法及装置
CN111145674B (zh) 显示面板的检测方法、电子设备和存储介质
JPH0793535A (ja) 画像修正処理方法
JPWO2018198916A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP3123275B2 (ja) 電子部品の欠品検査における検査データの作成方法
KR101383827B1 (ko) 인쇄회로기판의 솔더링 영역 자동검출 시스템 및 방법
CN116993654B (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN112858331A (zh) 一种vr屏幕的检测方法及检测系统
KR20090114565A (ko) 비젼 센서를 이용한 웨이퍼 위치 오차 인식 시스템 및웨이퍼 위치 오차 인식 방법
KR102028196B1 (ko) 영상 처리를 이용한 엘이디 모듈 검사 장치
KR20150024122A (ko) 차량용 부품 표면 검사 방법
JP6591176B2 (ja) 保護フィルムのギラツキ評価値算出方法及び保護フィルムのギラツキ評価値算出装置
US11578620B2 (en) Fixture for supporting a plurality of gas turbine engine components to be imaged
CN113469969B (zh) 图像生成方法、图像生成装置、检测设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327

RJ01 Rejection of invention patent application after publication