CN111982026A - 一种高反射物体曲面的光栅投影三维测量装置和测量方法 - Google Patents

一种高反射物体曲面的光栅投影三维测量装置和测量方法 Download PDF

Info

Publication number
CN111982026A
CN111982026A CN202010876498.3A CN202010876498A CN111982026A CN 111982026 A CN111982026 A CN 111982026A CN 202010876498 A CN202010876498 A CN 202010876498A CN 111982026 A CN111982026 A CN 111982026A
Authority
CN
China
Prior art keywords
grating
ccd camera
reflection
phase
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010876498.3A
Other languages
English (en)
Inventor
杨海马
徐炜
虞梓豪
徐斌
汪磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Feite Xipu 3d Technology Co Ltd
Original Assignee
Suzhou Feite Xipu 3d Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Feite Xipu 3d Technology Co Ltd filed Critical Suzhou Feite Xipu 3d Technology Co Ltd
Priority to CN202010876498.3A priority Critical patent/CN111982026A/zh
Publication of CN111982026A publication Critical patent/CN111982026A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/08Optical projection comparators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种高反射物体曲面的光栅投影三维测量装置和测量方法,偏振镜为两组,分别设置在投影仪和CCD相机的前方,分束镜设置在位于CCD相机前方的那个偏振镜的前方,平面镜成像系统包括平面镜和成像板,置物台为二自由度的摆臂,包括控制置物台水平方向旋转360°的第一步进电机和控制置物台前后摆动45°的第二步进电机。本发明在系统光路中增加了平面镜成像系统,在平面镜成像过程中,对高反射物体的光强进行了一次削弱;同时,在CCD相机前增加偏振镜,用来排除和滤除光束中的直射光线,实现高反射物体光强的二次削弱,此时避免了CCD相机传感器的光饱和,完整的采集物体信息;结构简单、易于实现、价格便宜。

Description

一种高反射物体曲面的光栅投影三维测量装置和测量方法
技术领域
本发明属于光栅投影三维测量领域,具体涉及一种高反射物体曲面的光栅投影三维测量装置和测量方法。
背景技术
三维测量作为非接触式测量方法,其非接触、精度高、速度快等特点使其在生物医疗、文物恢复、航空航天、逆向工程等领域得到广泛应用。目前,相关非接触式测量方法大多应用于漫反射物体表面的三维测量及建模。对于制造行业中,针对高反射物体的测量需求也日益增加,如光学制造领域的光学元器件表面,航空航天领域的叶片表面修复等,这些具有高反射物体的表面需要研究出一套新的光学三维测量系统进行测量。
专利CN102607466A公开了高反射自由曲面光栅投影快速非接触测量方法及装置,该发明提供了用于光学器件曲面的高精度检测方案,通过精密的控制系统实现被测物体三自由度的运动,向被测物投射编码结构光,使用相移法和相位展开算法从被测物体的调制光栅中得到物体的绝对相位,使用虚拟参考平面技术根据相位偏移信息与被测物体表面梯度间的关系,实现对高反射自由曲面三维形貌的恢复;此方法类似相位偏折术,存在“法线不唯一的问题”。如何实现高反射自由曲面物体的高精度三维测量也成为近年来研究的重点之一。高反射物体存在镜面反射,CCD相机采集数据时,由于镜面反射导致CCD相机感光传感器光饱和,此处采集信息丢失,无法完整的重构出高反射自由曲面。
发明内容
为解决上述问题,本发明的目的是提供一种高反射物体曲面的光栅投影三维测量装置和测量方法,在系统光路中增加了平面镜成像系统,在平面镜成像过程中,对高反射物体的光强进行了一次削弱;同时,在CCD相机前增加偏振镜,用来排除和滤除光束中的直射光线,实现高反射物体光强的二次削弱,此时避免了CCD相机传感器的光饱和,完整的采集物体信息;结构简单、易于实现、价格便宜。
为实现上述技术目的,达到上述技术效果,本发明通过以下技术方案实现:
一种高反射物体曲面的光栅投影三维测量装置,包括偏振式三维扫描仪、CCD相机、偏振镜、分束镜、平面镜成像系统和固定有被测物的置物台;所述偏振式三维扫描仪包括投影仪,所述投影仪通过HDMI线与笔记本电脑连接;所述偏振镜为两组,分别设置在所述投影仪和所述CCD相机的前方,所述分束镜设置在位于所述CCD相机前方的那个所述偏振镜的前方,所述平面镜成像系统包括平面镜和成像板,所述置物台为二自由度的摆臂,包括控制所述置物台水平方向旋转360°的第一步进电机和控制所述置物台前后摆动45°的第二步进电机。
一种高反射物体曲面的光栅投影三维测量方法,包括以下步骤:
所述投影仪通过所述笔记本电脑发出相应的投射条纹光栅,经过所述偏振镜将所述投射条纹光栅投影至所述被测物表面得到变形光栅,所述变形光栅一部分经过所述平面镜,最终在所述成像板上成像,另一部分直接透过所述分束镜得到调制光栅,所述成像板上得到具有相移的条纹反射光栅,经过所述平面镜成像系统的所述被测物的部分光强得到削弱;
所述具有相移的条纹反射光栅透过所述分束镜与直接透过所述分束镜的所述调制光栅一起经过所述偏振镜对光照强度二次削弱;
所述CCD相机采集所述具有相移的条纹反射光栅和所述调制光栅的结合,通过数据线迅速将数据传输回所述笔记本电脑,此时完成所述被测物一面数据的采集,所述笔记本电脑编写相关算法进行三维形貌恢复;
所述置物台通过所述第一步进电机控制实现水平方向360°旋转,通过所述第二步进电机可控制所述置物台前后摆动,这样实现了所述被测物其他面的数据采集,旋转后重复以上的步骤,实现整体数据的采集;将采集的每个面的数据进行配准,最后得到物体三维模型。
进一步的,所述CCD相机采集的数据使用四步相移法进行单面数据的三维重建,所述投影仪作为光源将一定频率的结构光投射到所述被测物表面,其中投射的同一频率正弦光栅图四幅,四幅正弦光栅图的相位分别为0,π/2,π,3π/2,所述投射条纹光栅在所述被测物表面上会产生变形得到所述变形光栅图像,利用所述CCD相机采集得到二维的变形条纹图可表示为:
Figure BDA0002652751080000031
式中:a(x,y),b(x,y)分别为所述CCD相机接收到的光强和所述
被测物表面背景光强;
Figure BDA0002652751080000041
—要求出的相位函数,其中隐含了所述被测物表面的高度信息。
进一步的,相位包裹是反三角函数将深度信息截断至-π到π的相位之内,此时的包裹相位实际上是按照投射的正弦光栅的周期进行分布的,因此需要进行相位展开,获取连续相位,计算出的相位
Figure BDA0002652751080000042
与高度h的映射关系,可得物体真实高度为:
Figure BDA0002652751080000043
其中l和d分别是所述投影仪到参考平面距离、所述CCD相机到所述投影仪的距离,这样测量出了所述CCD相机采集的光栅的三维形貌。
进一步的,所述平面镜成像系统经所述分束镜被所述CCD相机采集的所述具有相移的条纹反射光栅,是基于梯度迭代检测原理,需要计算x,y两个方向条纹光栅的梯度值,其两个方向梯度分布与相位分布的关系为:
Figure BDA0002652751080000044
Figure BDA0002652751080000045
其中
Figure BDA0002652751080000046
分别为x,y方向光栅相位差,Tx,Ty分别是两个方向光栅周期,Lx,Ly为所述成像板到所述被测物距离,根据上述公式可求出两个方向的梯度分布,最终通过对梯度分布积分获取物体三维形貌。
进一步的,将所述CCD相机采集的所述调制光栅和所述成像板中所述具有相移的条纹反射光栅结合解相,为保证数据精度,可进一步采用Southwell格子模型提供的差分方程的基础上进行相关迭代算法,将所述调制光栅所得的高度值作为迭代的初始值,所述具有相移的条纹反射光栅作为迭代修正参数。
本发明的有益效果是:
本发明基于现有光栅投影的基本原理,在系统光路中增加了平面镜成像系统,在平面镜成像过程中,对高反射物体的光强进行了一次削弱;同时,在CCD相机前增加偏振镜,用来排除和滤除光束中的直射光线,实现高反射物体光强的二次削弱,此时避免了CCD相机传感器的光饱和,完整的采集物体信息;满足漫反射物体和镜面反射物体的测量要求,解决了某些镜面反射物体测量难题;采用的偏振滤光对强光二次削弱,实现了对不同粗糙程度物体的高精度,是高反射物体三维测量改进的又一创新;结构简单、易于实现、价格便宜,是非接触式三维测量。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
图1为本发明的结构示意图;
图2为本发明的系统原理图;
图3为本发明的具有相移的反射条纹光栅三维测量原理图。
图中标号说明:
1、投影仪,2、CCD相机,3、偏振镜,4、分束镜,5、成像板,6、平面镜,7、置物台,8、被测物。
具体实施方式
下面将参考附图并结合实施例,来详细说明本发明。
参见图1-图3所示,一种高反射物体曲面的光栅投影三维测量装置,包括偏振式三维扫描仪、CCD相机2、偏振镜3、分束镜4、平面镜成像系统和固定有被测物8的置物台7;偏振式三维扫描仪包括投影仪1,投影仪1通过HDMI线与笔记本电脑连接;偏振镜3为两组,分别设置在投影仪1和CCD相机2的前方,分束镜4设置在位于CCD相机2前方的那个偏振镜3的前方,平面镜成像系统包括平面镜6和成像板5,置物台7为二自由度的摆臂,包括控制置物台7水平方向旋转360°的第一步进电机和控制置物台7前后摆动45°的第二步进电机。
一种高反射物体曲面的光栅投影三维测量方法,包括以下步骤:
投影仪1通过笔记本电脑发出相应的投射条纹光栅,经过偏振镜3将投射条纹光栅投影至被测物8表面得到变形光栅,变形光栅一部分经过平面镜6,最终在成像板5上成像,另一部分直接透过分束镜4得到调制光栅,成像板5上得到具有相移的条纹反射光栅,经过平面镜成像系统的被测物8的部分光强得到削弱;
具有相移的条纹反射光栅透过分束镜4与直接透过分束镜4的调制光栅一起经过偏振镜3对光照强度二次削弱;
CCD相机2采集具有相移的条纹反射光栅和调制光栅的结合,通过USB3.0数据线迅速将数据传输回笔记本电脑,此时完成被测物8一面数据的采集,笔记本电脑编写相关算法进行三维形貌恢复;
置物台7通过第一步进电机控制实现水平方向360°旋转,通过第二步进电机可控制置物台7前后摆动,这样实现了被测物8其他面的数据采集,旋转后重复以上的步骤,实现整体数据的采集;将采集的每个面的数据进行配准,最后得到物体三维模型。
进一步的,CCD相机2采集的数据使用四步相移法进行单面数据的三维重建,投影仪1作为光源将一定频率的结构光投射到被测物8表面,其中投射的同一频率正弦光栅图四幅,四幅正弦光栅图的相位分别为0,π/2,π,3π/2,投射条纹光栅在被测物8表面上会产生变形得到变形光栅图像,利用CCD相机2采集得到二维的变形条纹图可表示为:
Figure BDA0002652751080000071
式中:a(x,y),b(x,y)分别为CCD相机2接收到的光强和被测物8表面背景光强;
Figure BDA0002652751080000072
—要求出的相位函数,其中隐含了被测物8表面的高度信息。
进一步的,相位包裹是反三角函数将深度信息截断至-π到π的相位之内,此时的包裹相位实际上是按照投射的正弦光栅的周期进行分布的,因此需要进行相位展开,获取连续相位,计算出的相位
Figure BDA0002652751080000074
与高度h的映射关系,可得物体真实高度为:
Figure BDA0002652751080000073
其中l和d分别是投影仪1到参考平面距离、CCD相机2到投影仪1的距离,这样测量出了CCD相机2采集的光栅的三维形貌。
进一步的,平面镜成像系统经分束镜4被CCD相机2采集的具有相移的条纹反射光栅,是基于梯度迭代检测原理,如图3所示,需要计算x,y两个方向条纹光栅的梯度值,其两个方向梯度分布与相位分布的关系为:
Figure BDA0002652751080000081
Figure BDA0002652751080000082
其中
Figure BDA0002652751080000083
分别为x,y方向光栅相位差,Tx,Ty分别是两个方向光栅周期,Lx,Ly为成像板5到被测物8距离,根据上述公式可求出两个方向的梯度分布,最终通过对梯度分布积分获取物体三维形貌。
进一步的,将CCD相机2采集的调制光栅和成像板5中具有相移的条纹反射光栅结合解相,为保证数据精度,可进一步采用Southwell格子模型提供的差分方程的基础上进行相关迭代算法,将调制光栅所得的高度值作为迭代的初始值,具有相移的条纹反射光栅作为迭代修正参数,这样既能消除噪声,也能恢复梯度数据中包含的细节;且此方法对于漫反射物体也同样适用,若是漫反射系统,则迭代修正参数值为0。
以上所述仅为发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种高反射物体曲面的光栅投影三维测量装置,其特征在于:包括偏振式三维扫描仪、CCD相机(2)、偏振镜(3)、分束镜(4)、平面镜成像系统和固定有被测物(8)的置物台(7);所述偏振式三维扫描仪包括投影仪(1),所述投影仪(1)通过HDMI线与笔记本电脑连接;所述偏振镜(3)为两组,分别设置在所述投影仪(1)和所述CCD相机(2)的前方,所述分束镜(4)设置在位于所述CCD相机(2)前方的那个所述偏振镜(3)的前方,所述平面镜成像系统包括平面镜(6)和成像板(5),所述置物台(7)为二自由度的摆臂,包括控制所述置物台(7)水平方向旋转360°的第一步进电机和控制所述置物台(7)前后摆动45°的第二步进电机。
2.一种权利要求1所述的高反射物体曲面的光栅投影三维测量方法,其特征在于,包括以下步骤:
所述投影仪(1)通过所述笔记本电脑发出相应的投射条纹光栅,经过所述偏振镜(3)将所述投射条纹光栅投影至所述被测物(8)表面得到变形光栅,所述变形光栅一部分经过所述平面镜(6),最终在所述成像板(5)上成像,另一部分直接透过所述分束镜(4)得到调制光栅,所述成像板(5)上得到具有相移的条纹反射光栅,经过所述平面镜成像系统的所述被测物(8)的部分光强得到削弱;
所述具有相移的条纹反射光栅透过所述分束镜(4)与直接透过所述分束镜(4)的所述调制光栅一起经过所述偏振镜(3)对光照强度二次削弱;
所述CCD相机(2)采集所述具有相移的条纹反射光栅和所述调制光栅的结合,将数据传输回所述笔记本电脑,此时完成所述被测物(8)一面数据的采集,所述笔记本电脑编写相关算法进行三维形貌恢复;
所述置物台(7)通过所述第一步进电机控制实现水平方向360°旋转,通过所述第二步进电机可控制所述置物台(7)前后摆动,这样实现了所述被测物(8)其他面的数据采集,旋转后重复以上的步骤,实现整体数据的采集;将采集的每个面的数据进行配准,最后得到物体三维模型。
3.根据权利要求2所述的高反射物体曲面的光栅投影三维测量方法,其特征在于:所述CCD相机(2)采集的数据使用四步相移法进行单面数据的三维重建,所述投影仪(1)作为光源将一定频率的结构光投射到所述被测物(8)表面,其中投射的同一频率正弦光栅图四幅,四幅正弦光栅图的相位分别为0,π/2,π,3π/2,所述投射条纹光栅在所述被测物(8)表面上会产生变形得到所述变形光栅图像,利用所述CCD相机(2)采集得到二维的变形条纹图可表示为:
Figure FDA0002652751070000021
式中:a(x,y),b(x,y)分别为所述CCD相机(2)接收到的光强和所述被测物(8)表面背景光强;
Figure FDA0002652751070000022
—要求出的相位函数,其中隐含了所述被测物(8)表面的高度信息。
4.根据权利要求3所述的高反射物体曲面的光栅投影三维测量方法,其特征在于:相位包裹是反三角函数将深度信息截断至-π到π的相位之内,此时的包裹相位实际上是按照投射的正弦光栅的周期进行分布的,因此需要进行相位展开,获取连续相位,计算出的相位
Figure FDA0002652751070000031
与高度h的映射关系,可得物体真实高度为:
Figure FDA0002652751070000032
其中l和d分别是所述投影仪(1)到参考平面距离、所述CCD相机(2)到所述投影仪(1)的距离,这样测量出了所述CCD相机(2)采集的光栅的三维形貌。
5.根据权利要求4所述的高反射物体曲面的光栅投影三维测量方法,其特征在于:所述平面镜成像系统经所述分束镜(4)被所述CCD相机(2)采集的所述具有相移的条纹反射光栅,是基于梯度迭代检测原理,需要计算x,y两个方向条纹光栅的梯度值,其两个方向梯度分布与相位分布的关系为:
Figure FDA0002652751070000033
Figure FDA0002652751070000034
其中
Figure FDA0002652751070000035
分别为x,y方向光栅相位差,Tx,Ty分别是两个方向光栅周期,Lx,Ly为所述成像板(5)到所述被测物(8)距离,根据上述公式可求出两个方向的梯度分布,最终通过对梯度分布积分获取物体三维形貌。
6.根据权利要求5所述的高反射物体曲面的光栅投影三维测量方法,其特征在于:将所述CCD相机(2)采集的所述调制光栅和所述成像板(5)中所述具有相移的条纹反射光栅结合解相,为保证数据精度,可进一步采用Southwell格子模型提供的差分方程的基础上进行相关迭代算法,将所述调制光栅所得的高度值作为迭代的初始值,所述具有相移的条纹反射光栅作为迭代修正参数。
CN202010876498.3A 2020-08-27 2020-08-27 一种高反射物体曲面的光栅投影三维测量装置和测量方法 Withdrawn CN111982026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010876498.3A CN111982026A (zh) 2020-08-27 2020-08-27 一种高反射物体曲面的光栅投影三维测量装置和测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010876498.3A CN111982026A (zh) 2020-08-27 2020-08-27 一种高反射物体曲面的光栅投影三维测量装置和测量方法

Publications (1)

Publication Number Publication Date
CN111982026A true CN111982026A (zh) 2020-11-24

Family

ID=73439915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010876498.3A Withdrawn CN111982026A (zh) 2020-08-27 2020-08-27 一种高反射物体曲面的光栅投影三维测量装置和测量方法

Country Status (1)

Country Link
CN (1) CN111982026A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112432000A (zh) * 2021-01-26 2021-03-02 西南石油大学 一种管道双目三维测量装置
WO2022179259A1 (zh) * 2021-02-26 2022-09-01 中国科学院深圳先进技术研究院 一种偏振相位偏折测量方法和装置
CN115451820A (zh) * 2022-10-21 2022-12-09 哈尔滨师范大学 三通道偏振信息采集系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112432000A (zh) * 2021-01-26 2021-03-02 西南石油大学 一种管道双目三维测量装置
WO2022179259A1 (zh) * 2021-02-26 2022-09-01 中国科学院深圳先进技术研究院 一种偏振相位偏折测量方法和装置
CN115451820A (zh) * 2022-10-21 2022-12-09 哈尔滨师范大学 三通道偏振信息采集系统
CN115451820B (zh) * 2022-10-21 2024-05-14 哈尔滨师范大学 三通道偏振信息采集系统

Similar Documents

Publication Publication Date Title
Hu et al. Microscopic fringe projection profilometry: A review
CN111982026A (zh) 一种高反射物体曲面的光栅投影三维测量装置和测量方法
CN105783775B (zh) 一种镜面及类镜面物体表面形貌测量装置与方法
CN106931910B (zh) 一种基于多模态复合编码和极线约束的高效三维图像获取方法
Sansoni et al. Three-dimensional optical measurements and reverse engineering for automotive applications
Jia et al. Two-step triangular-pattern phase-shifting method for three-dimensional object-shape measurement
Liu et al. Real-time 3D surface-shape measurement using background-modulated modified Fourier transform profilometry with geometry-constraint
CN100443854C (zh) 三维扫描系统中基于格雷码的相位展开方法
CN104299211B (zh) 一种自由移动式三维扫描方法
WO2022179259A1 (zh) 一种偏振相位偏折测量方法和装置
CN103234482B (zh) 一种基于正弦光栅的结构光测量系统标定方法
Acosta et al. Laser triangulation for shape acquisition in a 3D scanner plus scan
Petz et al. Reflection grating photogrammetry: a technique for absolute shape measurement of specular free-form surfaces
CN100581460C (zh) 测量颜面缺损患者面部三维形貌的方法
CN109781033B (zh) 一种透明材质三维轮廓重构的深紫外结构光精密检测装置
CN1766522A (zh) 测量物体形状的方法和装置
CN108332684A (zh) 一种基于结构光照明显微技术的三维轮廓测量方法
CN106595523A (zh) 一种基于智能手机的便携式三维形貌测量系统及方法
CN106091978B (zh) 斜入式激光干涉法测量中干涉条纹图像的拼接方法
CN105953749A (zh) 一种光学三维形貌测量方法
Sansoni et al. 3-D optical measurements in the field of cultural heritage: the case of the Vittoria Alata of Brescia
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
CN102269575B (zh) 一种视觉测量中基于映射的相位匹配方法
Li et al. An improved 2+ 1 phase-shifting algorithm
CN116433841A (zh) 一种基于全局优化的实时模型重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201124

WW01 Invention patent application withdrawn after publication