CN107894690A - 一种结构光三维测量中的投影系统 - Google Patents

一种结构光三维测量中的投影系统 Download PDF

Info

Publication number
CN107894690A
CN107894690A CN201711023844.8A CN201711023844A CN107894690A CN 107894690 A CN107894690 A CN 107894690A CN 201711023844 A CN201711023844 A CN 201711023844A CN 107894690 A CN107894690 A CN 107894690A
Authority
CN
China
Prior art keywords
projection system
optical projection
display chip
light
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711023844.8A
Other languages
English (en)
Inventor
杨军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Li Xin Optics Science And Technology Ltd
Original Assignee
Shanghai Li Xin Optics Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Li Xin Optics Science And Technology Ltd filed Critical Shanghai Li Xin Optics Science And Technology Ltd
Priority to CN201711023844.8A priority Critical patent/CN107894690A/zh
Publication of CN107894690A publication Critical patent/CN107894690A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/28Reflectors in projection beam
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/147Optical correction of image distortions, e.g. keystone

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例公开了一种结构光三维测量中的投影系统。该投影系统包括:显示芯片,用于调制从照明模块出射的光束,以显示微图像,且用于充当投影系统的物面;球面反射镜,设置于所述显示芯片出射的成像光束的光路上,所述球面反射镜与所述显示芯片的距离为预设距离值,用于校准所述投影系统的场曲和畸变,并反射由所述显示芯片出射的成像光束;至少两个自由曲面反射镜,设置于由所述球面反射镜反射的成像光束的光路上,用于平衡所述投影系统的像差,并反射所述成像光束,使所述成像光束的出射光轴与所述显示芯片的夹角为预设角度,并使图像成像于屏幕上。本实施例提供的投影系统,可以实现对结构光的投射,降低投影系统的体积。

Description

一种结构光三维测量中的投影系统
技术领域
本发明实施例涉及光学成像技术领域,尤其涉及一种结构光三维测量中的投影系统。
背景技术
随着信息技术的飞速发展,快速准确的获取生活中物体的三维信息在如产品质量检测、服装设计、文物鉴定及医学诊断等领域显得越来越重要。基于结构光的三维测量系统被广泛应用于各个领域中。
基于结构光的三维测量系统通常由至少一个投射结构光的投影系统及至少一个抓取图像的取像系统组成。取像系统抓取由至少一个投影系统投射的像,利用重构算法获得物体的三维信息。现有技术中,投射结构光的投影系统不仅结构复杂,而且体积庞大,使得制作成本较高。
发明内容
本发明实施例提供一种结构光三维测量中的投影系统,可以实现对结构光的投射,降低投影系统的体积。
第一方面,本发明实施例提供了一种结构光三维测量中的投影系统,该投影系统包括:
显示芯片,用于调制从照明模块出射的光束,以显示微图像,且用于充当投影系统的物面;
球面反射镜,设置于所述显示芯片出射的成像光束的光路上,所述球面反射镜与所述显示芯片的距离为预设距离值,用于校准所述投影系统的场曲和畸变,并反射由所述显示芯片出射的成像光束;
至少两个自由曲面反射镜,设置于由所述球面反射镜反射的成像光束的光路上,用于平衡所述投影系统的像差,并反射所述成像光束,使所述成像光束的出射光轴与所述显示芯片的夹角为预设角度,并使图像成像于屏幕上;
所述显示芯片、所述球面反射镜和所述至少两个自由曲面反射镜不在同一光轴上。
进一步地,还包括:
还包括:
照明模块,用于照射所述显示芯片。
进一步地,还包括:
棱镜组,设置于所述显示芯片和所述球面反射镜之间,用于扩大成像光束的照射角度,并转折所述照明模块的出射光,使得所处出射光照射至所述显示芯片上。
进一步地,所述棱镜组的厚度为25mm。
进一步地,所述照明模块包括:
LED光源,用于产生光束;
准直透镜组,设置于所述LED光源之后,用于准直所述LED光源产生的光束;
微透镜阵列,设置于所述准直透镜组之后,用于将由所述准直透镜组出射的光束均匀化;
聚焦透镜,设置于所述微透镜阵列之后,用于将由所述微透镜阵列出射的光束进行聚焦。
进一步地,所述球面反射镜的曲率半径、相对于出射光轴的偏置和相对于出射光轴的倾斜角由自由曲面反射镜的个数、所述预设距离值和所述预设角度确定。
进一步地,所述自由曲面反射镜为二项式曲面反射镜。
进一步地,所述至少两个自由曲面反射镜中每个自由曲面反射镜的面型参数、相对于出射光轴的偏置和相对于出射光轴的倾斜角由自由曲面反射镜的个数、所述预设距离值和所述预设角度确定。
进一步地,所述显示芯片的尺寸为0.65英寸。
本发明实施例提供的结构光三维测量中的投影系统,包括:显示芯片,用于调制从照明模块出射的光束,以显示微图像,且用于充当投影系统的物面;球面反射镜,设置于显示芯片出射的成像光束的光路上,球面反射镜与显示芯片的距离为预设距离值,用于校准投影系统的场曲和畸变,并反射由显示芯片出射的成像光束;至少两个自由曲面反射镜,设置于由球面反射镜反射的成像光束的光路上,用于平衡投影系统的像差,并反射成像光束,使成像光束的出射光轴与显示芯片的夹角为预设角度,并使图像成像于屏幕上;显示芯片、球面反射镜和至少两个自由曲面反射镜不在同一光轴上。本发明实施例中的投影系统,通过球面反射镜和至少两个自由曲面反射镜对成像光束进行多次反射后成像于屏幕上,缩短了成像光束的直线光程,从而降低投影系统的体积。
附图说明
图1是本发明实施例一中的一种结构光三维测量中的投影系统的结构示意图;
图2是本发明实施例二中的一种结构光三维测量中的投影系统的结构示意图;
图3是本发明实施例二中的一种投影系统在屏幕上各视场的MTF曲线。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种结构光三维测量中的投影系统的结构示意图,该投影系统可应用于结构光的三维测量中。如图1所示,该投影系统包括显示芯片110,球面反射镜120和至少两个自由曲面反射镜130。
显示芯片110,用于调制从照明模块出射的光束,以显示微图像,且用于充当投影系统的物面;球面反射镜120,设置于显示芯片出射的成像光束的光路上,球面反射镜与显示芯片的距离为预设距离值,用于校准投影系统的场曲和畸变,并反射由显示芯片出射的成像光束;至少两个自由曲面反射镜130,设置于由球面反射镜反射的成像光束的光路上,用于平衡投影系统的像差,并反射成像光束,使成像光束的出射光轴与显示芯片的夹角为预设角度,并使图像成像于屏幕上;显示芯片110、球面反射镜120和至少两个自由曲面反射镜130不在同一光轴上。
其中,显示芯片110可以是一种数字微镜器件(Digital Micro-mirror Device,DMD),用于调制从照明模块出射的光束,以显示微图像,充当投影系统的物面。本实施例中,投影系统的DMD的尺寸大小可以是0.65英寸。预设距离值可以设置为70-90mm之间的任意值,可以根据投影系统的体积选择合适的预设距离值。自由曲面反射镜可以是二项式曲面反射镜,预设角度可以设置为75-85度之间的任意角度。自由曲面反射镜的个数为至少两个,本实施例中,自由曲面反射镜的个数越多,成像的质量越高。像差可以包括球差、慧差、象散、场曲和色差等。
本应用场景下,显示芯片110、球面反射镜120和至少两个自由曲面反射镜130不在同一光轴上,即采用离轴设计。
可选的,球面反射镜120的曲率半径、相对于出射光轴的偏置和相对于出射光轴的倾斜角由自由曲面反射镜的个数、预设距离值和预设角度确定。本应用场景下,将自由曲面反射镜的个数、预设距离值和预设角度等参数输入优化程序中,可获得球面反射镜120的曲率半径、相对于出射光轴的偏置和相对于出射光轴的倾斜角。
可选的,至少两个自由曲面反射镜130中每个自由曲面反射镜的面型参数、相对于出射光轴的偏置和相对于出射光轴的倾斜角由自由曲面反射镜的个数、预设距离值和预设角度确定。本应用场景下,将自由曲面反射镜的个数、预设距离值和预设角度等参数输入优化程序中,可获得至少两个自由曲面反射镜130中每个自由曲面反射镜的面型参数、相对于出射光轴的偏置和相对于出射光轴的倾斜角。
其中,二项式曲面反射镜的面型参数的表达式为式中,c为曲面顶点的曲率半径,k为圆锥常数,an为偶次高阶项的系数。
可选的,该投影系统还包括棱镜组,棱镜组设置于显示芯片110和球面反射镜120之间,用于扩大成像光束的照射角度,并转折照明模块的出射光,使得出射光照射至所述显示芯片上。棱镜组的厚度可以是25mm,棱镜组材质可以是常见的环保型玻璃。
可选的,该投影系统还包括照明模块,用于照射显示芯片110。照明模块可以包括LED光源、准直透镜组、微透镜阵列和聚焦透镜。其中,LED光源,用于产生光束;准直透镜组,设置于LED光源之后,用于准直LED光源产生的光束;微透镜阵列,设置于准直透镜组之后,用于将由准直透镜组出射的光束均匀化;聚焦透镜,设置于微透镜阵列之后,用于将由微透镜阵列出射的光束进行聚焦。
本应用场景下,由LED光源产生的光束,依次经过准直透镜组、微透镜阵列、聚焦透镜分别进行准直、匀光及聚焦,经棱镜组转折后,照射显示芯片110,显示芯片110对入射的光束进行调制,显示微图像,然后从显示芯片110出射的光束到达棱镜组,棱镜组将成像光束的照射角度扩大后,成像光束到达球面反射镜120,球面反射镜120对成像光束反射的同时,校准投影系统的场区和畸变,由球面反射镜120反射的光束到达至少一个自由曲面反射镜130,至少一个自由曲面反射镜130平衡投影系统的像差,并反射成像光束,使成像光束的出射光轴与显示芯片的夹角为预设角度,从而使图像成像于屏幕上。
本实施例提供的结构光三维测量中的投影系统,包括:显示芯片,用于调制从照明模块出射的光束,以显示微图像,且用于充当投影系统的物面;球面反射镜,设置于显示芯片出射的成像光束的光路上,球面反射镜与显示芯片的距离为预设距离值,用于校准投影系统的场曲和畸变,并反射由显示芯片出射的成像光束;至少两个自由曲面反射镜,设置于由球面反射镜反射的成像光束的光路上,用于平衡投影系统的像差,并反射成像光束,使成像光束的出射光轴与显示芯片的夹角为预设角度,并使图像成像于屏幕上;显示芯片、球面反射镜和至少两个自由曲面反射镜不在同一光轴上。本发明实施例中的投影系统,通过球面反射镜和至少两个自由曲面反射镜对成像光束进行多次反射后成像于屏幕上,缩短了成像光束的直线光程,从而降低投影系统的体积。
实施例二
图2为本发明实施例二提供的一种结构光三维测量中的投影系统的结构示意图。如图2所示,该投影系统包括显示芯片110,球面反射镜120,第一自由曲面反射镜131,第二自由曲面反射镜132,棱镜组140和照明模块150。在本实施例中,自由曲面反射镜的个数为2个,显示芯片与水平方向的夹角为81度,成像光束的出射光轴的方向沿水平方向,球面反射镜120与显示芯片110的距离为76mm。
本实施例中,球面反射镜120的曲率半径为-23mm,相对于出射光轴的偏置为-35mm,相对于出射光轴的倾斜角为134度。
第一自由曲面反射镜131相对于出射光轴的偏置为-30mm。相对于出射光轴的倾斜角为12度。示例性的,表1为第一自由曲面反射镜131的面型参数。
表1
表1中,第一列为第一曲面反射镜131的面型参数表达式展开后的多项式,第二列为多项式对应的系数。
第二自由曲面反射镜132相对于出射光轴无偏置。相对于出射光轴的倾斜角为17度。示例性的,表2为第二自由曲面反射镜132的面型参数。
表2
表2中,第一列为第二曲面反射镜132的面型参数表达式展开后的多项式,第二列为多项式对应的系数。
示例性的,图3为本发明实施例二中一种投影系统在屏幕上各视场的MTF曲线。从图3可以看出,本实施例中的MTF整体在0.3以上,符合人眼理论上清晰辨识的标准。
本应用场景下,由照明模块150产生的光经棱镜组140转折后照射至显示芯片110,显示芯片110对照明模块150出射的光束进行调制显示微图像,然后从显示芯片110出射的光束到达棱镜组140,棱镜组140将成像光束的照射角度扩大后,成像光束到达球面反射镜120,球面反射镜120对成像光束反射的同时,校准投影系统的场区和畸变,由球面反射镜120反射的光束到达第一自由曲面反射镜131,第一自由曲面反射镜131平衡投影系统的像差,并反射成像光束,由第一自由曲面反射镜131出射的成像光束到达第二自由曲面反射镜132,第二自由曲面反射镜132平衡投影系统的像差,并反射成像光束,使成像光束的出射光轴与显示芯片的夹角为预设角度,从而使图像成像于屏幕上。
本实施例的投影系统,包括棱镜组、球面反射镜、第一自由曲面反射镜和第二自由曲面反射镜四个光学元件,实现对结构光的投射,同时利用多次反射可以大大缩短成像光束的直线光程,使得投影系统的结构紧凑,从而减少了投影系统的体积。
上述装置可执行本发明前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明前述所有实施例所提供的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种结构光三维测量中的投影系统,其特征在于,包括:
显示芯片,用于调制从照明模块出射的光束,以显示微图像,且用于充当投影系统的物面;
球面反射镜,设置于所述显示芯片出射的成像光束的光路上,所述球面反射镜与所述显示芯片的距离为预设距离值,用于校准所述投影系统的场曲和畸变,并反射由所述显示芯片出射的成像光束;
至少两个自由曲面反射镜,设置于由所述球面反射镜反射的成像光束的光路上,用于平衡所述投影系统的像差,并反射所述成像光束,使所述成像光束的出射光轴与所述显示芯片的夹角为预设角度,并使图像成像于屏幕上;
所述显示芯片、所述球面反射镜和所述至少两个自由曲面反射镜不在同一光轴上。
2.根据权利要求1所述的投影系统,其特征在于,还包括:
照明模块,用于照射所述显示芯片。
3.根据权利要求2所述的投影系统,其特征在于,还包括:
棱镜组,设置于所述显示芯片和所述球面反射镜之间,用于扩大成像光束的照射角度,并转折所述照明模块的出射光,使得所述出射光照射至所述显示芯片上。
4.根据权利要求3所述的投影系统,其特征在于,所述棱镜组的厚度为25mm。
5.根据权利要求2所述的投影系统,其特征在于,所述照明模块包括:
LED光源,用于产生光束;
准直透镜组,设置于所述LED光源之后,用于准直所述LED光源产生的光束;
微透镜阵列,设置于所述准直透镜组之后,用于将由所述准直透镜组出射的光束均匀化;
聚焦透镜,设置于所述微透镜阵列之后,用于将由所述微透镜阵列出射的光束进行聚焦。
6.根据权利要求1所述的投影系统,其特征在于,所述球面反射镜的曲率半径、相对于出射光轴的偏置和相对于出射光轴的倾斜角由自由曲面反射镜的个数、所述预设距离值和所述预设角度确定。
7.根据权利要求1所述的投影系统,其特征在于,所述自由曲面反射镜为二项式曲面反射镜。
8.根据权利要求7所述的投影系统,其特征在于,所述至少两个自由曲面反射镜中每个自由曲面反射镜的面型参数、相对于出射光轴的偏置和相对于出射光轴的倾斜角由自由曲面反射镜的个数、所述预设距离值和所述预设角度确定。
9.根据权利要求1所述的投影系统,其特征在于,所述显示芯片的尺寸为0.65英寸。
CN201711023844.8A 2017-10-27 2017-10-27 一种结构光三维测量中的投影系统 Pending CN107894690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711023844.8A CN107894690A (zh) 2017-10-27 2017-10-27 一种结构光三维测量中的投影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711023844.8A CN107894690A (zh) 2017-10-27 2017-10-27 一种结构光三维测量中的投影系统

Publications (1)

Publication Number Publication Date
CN107894690A true CN107894690A (zh) 2018-04-10

Family

ID=61803081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711023844.8A Pending CN107894690A (zh) 2017-10-27 2017-10-27 一种结构光三维测量中的投影系统

Country Status (1)

Country Link
CN (1) CN107894690A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110553585A (zh) * 2018-09-05 2019-12-10 天目爱视(北京)科技有限公司 一种基于光学阵列的3d信息获取装置
CN111343441A (zh) * 2018-12-19 2020-06-26 宁波舜宇车载光学技术有限公司 投影系统和投影方法
CN114647138A (zh) * 2020-12-18 2022-06-21 宁波舜宇车载光学技术有限公司 投影系统及其制备方法
EP4246131A1 (en) * 2022-03-14 2023-09-20 Bühler UK Limited Lighting for an optical monitoring apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5552922A (en) * 1993-04-12 1996-09-03 Corning Incorporated Optical system for projection display
EP1387207A2 (en) * 2002-07-30 2004-02-04 Canon Kabushiki Kaisha Projection optical system, projection type image display apparatus, and image display system
TW200615677A (en) * 2004-11-15 2006-05-16 Young Optics Inc Projection display system
CN1847924A (zh) * 2005-04-11 2006-10-18 日本电气视象技术株式会社 投影显示设备
CN103309140A (zh) * 2012-03-14 2013-09-18 卡西欧计算机株式会社 光源装置及投影机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5552922A (en) * 1993-04-12 1996-09-03 Corning Incorporated Optical system for projection display
EP1387207A2 (en) * 2002-07-30 2004-02-04 Canon Kabushiki Kaisha Projection optical system, projection type image display apparatus, and image display system
TW200615677A (en) * 2004-11-15 2006-05-16 Young Optics Inc Projection display system
CN1847924A (zh) * 2005-04-11 2006-10-18 日本电气视象技术株式会社 投影显示设备
CN103309140A (zh) * 2012-03-14 2013-09-18 卡西欧计算机株式会社 光源装置及投影机

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110553585A (zh) * 2018-09-05 2019-12-10 天目爱视(北京)科技有限公司 一种基于光学阵列的3d信息获取装置
CN111343441A (zh) * 2018-12-19 2020-06-26 宁波舜宇车载光学技术有限公司 投影系统和投影方法
CN114647138A (zh) * 2020-12-18 2022-06-21 宁波舜宇车载光学技术有限公司 投影系统及其制备方法
EP4246131A1 (en) * 2022-03-14 2023-09-20 Bühler UK Limited Lighting for an optical monitoring apparatus
WO2023174579A1 (en) * 2022-03-14 2023-09-21 Bühler Uk Ltd. Lighting for an optical monitoring apparatus

Similar Documents

Publication Publication Date Title
US9229200B2 (en) Panoramic optical systems
CN105988207B (zh) 放大光学系统、光学单元和投影仪设备
CN107209607B (zh) 照射光学系统和投影仪
CN107894690A (zh) 一种结构光三维测量中的投影系统
TW202006415A (zh) 光學透鏡系統和成像系統
US10048119B2 (en) Optical system intended to measure BRDF, BSDF and BTDF
JP2015108797A (ja) 広角投影光学システム
CN111031300A (zh) 一种投影装置及三维测量系统
CN105974560A (zh) 广角投影系统及镜头
CN111290101A (zh) 投影成像系统及激光投影设备
CN109188666B (zh) 350mm口径1778.9mm焦距0.4~5μm波段离轴三反光学系统
JP2002516650A (ja) 投影光源
CN107490846A (zh) 一种投影镜头
CN107238878A (zh) 一种用于扩展光源的透镜及其设计方法
CN105759543A (zh) 投影光学系统及投影装置
CN107817593B (zh) 一种超短焦投影镜头
TWI764536B (zh) 成像光學系統的設計方法
CN210781136U (zh) 一种投影装置及三维测量系统
CN210294682U (zh) 一种双通道红外场景模拟器装置
JP2002277741A (ja) 反射屈折型マクロ投影光学系
JP2002139696A (ja) ビーム強度分布変換光学系を備えた照明装置
CN207908819U (zh) 透镜系统、结构光投影模组及深度相机
JP2000089227A (ja) 投射型表示装置
CN112444930A (zh) 投影镜头、投影镜头的调焦方法及装置、投影仪
CN208110175U (zh) 透镜系统、结构光投影模组及深度相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180410

RJ01 Rejection of invention patent application after publication