CN105491315B - 一种投影仪伽马校正方法 - Google Patents
一种投影仪伽马校正方法 Download PDFInfo
- Publication number
- CN105491315B CN105491315B CN201610109658.5A CN201610109658A CN105491315B CN 105491315 B CN105491315 B CN 105491315B CN 201610109658 A CN201610109658 A CN 201610109658A CN 105491315 B CN105491315 B CN 105491315B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- image
- msubsup
- projecting apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明公开了一种投影仪伽马校正方法。首先搭建硬件校正系统,利用计算机生成两幅不同的单一灰度值图像,经投影仪投射到表面平整的平面,同时相机采集平面上的图像并将其传送到计算机中进行图像处理;然后在频域分析图像的分布特征,进而提取特征点求得投影仪伽马,最后将投影仪伽马预编码到正弦光栅条纹中,经投影仪投射即可得到保持良好正弦性的光栅条纹。该方法操作简单,由于只处理两幅图像,在保证精度的前提下,可快速实现伽马校正,极大提高了系统的整体测量速度。
Description
技术领域
本发明设及三维光学测量领域,具体为一种投影仪伽马校正方法。
背景技术
三维光学测量技术具有非接触、无损害等测量优点,可轻易获取复杂物体表面的三维信息,因此在文物保护、工业制造、医学成像等领域被广泛应用。其中光栅投影测量法作为一种可靠的三维光学测量技术,通过投影仪向被测物体投射正弦光栅条纹,相机采集变形条纹图像,运用相移算法以及相位展开技术,将调制在变形条纹的物体深度信息调转化为相位信息,最后通过系统标定得到被测物体的三维信息。
在进行三维测量时,需要投射正弦光栅条纹,由于现在商用投影仪都具有伽马非线性失真的性质,使投影仪投射的正弦光栅条纹产生畸变,从而严重影响测量精度。为此,国内外学者进行了研究并提出了许多相位校正方法。目前,相位校正方法主要分为相位补偿和伽马校正两大类。Zhang(Song Z,Shing-Tung Y.Generic nonsinusoidal phaseerror correction for three-dimensional shape measurement using a digitalvideo projector.[J].Applied Optics,2007,46(1):36-43.)提出一种查表法,属于相位补偿法,通过分析相位误差的分布,建立相位误差参照表,进而补偿相位误差;但此方法容易受到系统噪声的影响,使校正后的相位精度仍然不能满足要求。李中伟(Zhongwei L,Youfu L.Gamma-distorted fringe image modeling and accurate gamma correctionfor fast phase measuring profilometry.[J].Optics Letters,2011,36(2):154-156.)提出一种伽马校正方法,采用预编码原理进行相位校正,通过建立系统成像模型求得投影仪伽马,将投影仪伽马预编到正弦光栅条纹,使光栅条纹的预变形与投影仪产生的畸变相抵消,从而投射出具有良好正弦性的光栅条纹,可得到精确的相位值。然而,这种方法需要大量图像(32幅),计算时间长,严重影响测量速度。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是,提供一种投影仪伽马校正方法,该方法采用预编码原理实现伽马校正,但只需投射两幅灰度图像即可求得投影仪伽马,操作简单,计算时间大大缩短,极大提高了校正速度,而且精度极高。
本发明解决所述技术问题的技术方案是,提供一种投影仪伽马校正方法,包括以下步骤:
1)搭建硬件校正系统:相机、投影仪和平面形成三角关系;投影仪的视场覆盖整个平面;平面占相机的60%-100%视场;
2)计算机生成两幅不同的单一灰度值图像:同一幅图像上每个像素的灰度值都相等,而且两幅图像间的像素灰度值不同,将两幅图像的灰度值分别用I1和I2表示,所述灰度值不小于0.3;
3)投影图像与采集图像:将计算机生成的两幅灰度图像经投影仪投射到表面平整的平面上;同时相机采集平面上的图像并将其传送到计算机中进行图像处理;相机采集的图像可以表示为
式中:表示相机采集的第一幅图像,为相机采集的第二幅图像,α∈[0,1]为待测物体表面反射率,γ为投影仪伽马,表示卷积运算,[I1]γ表示I1的γ次幂,[I2]γ表示I2的γ次幂,g(x,y)表示系统散焦作用的点分布函数,即
g(x,y)=(1/2πσ2)exp[-(x2+y2)/2σ2] (3)
式中:σ为系统的散焦系数;g(x,y)的傅里叶变换式表示系统的光学传递函数,即
式中F{}为傅里叶变换,fx和fy分别对应于变量x和y的频域变量,即为沿x轴和y轴的空间频率;
4)频域变换:将等式(1)、(2)两边同时进行傅里叶变换
式中
5)特征点提取:通过对采集图像的频域分析,提取图像在频域内的特征点,求取投影仪伽马
6)预编码图像:将求得的投影仪伽马预编码到正弦条纹图像中,经投影仪投射,即可得到保持良好正弦性的正弦光栅条纹;预编码后的正弦条纹图像表示为
IY=[a+b cos(2πfx+δ)]1/γ (8)
式中:a为正弦函数的基本偏移量,b为正弦函数的幅值,f为正弦函数的数字频率,x为沿x轴的变化量,δ为相移变化量。
与现有技术相比,本发明有益效果在于:本发明方法操作简单,根据系统成像在频域内的分布特征提取特征点,在保证精度的前提下,可实现快速伽马校正,进而提高了系统的整体测量速度。
附图说明
图1是本发明投影仪伽马校正方法的工作原理示意图;
图2是本发明投影仪伽马校正方法的流程图;
图3是投影仪投射光栅条纹到茶壶表面的图像;
图4是未采用本投影仪伽马校正方法得到的茶壶相位分布图;
图5是采用本投影仪伽马校正方法得到的茶壶相位分布图;
图6是校正前后沿图3所示茶壶截面得到的轮廓曲线对比图;
图7是校正前后测量平面得到的相位误差分布图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明设计的投影仪伽马校正方法,基于如下硬件设计(参见图1),硬件包括计算机1、DLP投影仪(简称投影仪)2、CCD相机(简称相机)4和平面3;所述投影仪2和相机4分别通过导线与计算机1控制连接;所述计算机1中包含与投影仪2配套的软件、与相机4配套的图像采集软件、图像处理软件等。这些软件为公知技术,可以商购获得。
1)搭建硬件校正系统:相机4、投影仪2和平面3三者之间没有严格垂直和平行位置要求,只需相机4、投影仪2和平面3形成三角关系;投影仪2的视场覆盖整个平面;平面3占据相机4的60%以上视场。
优选的,投影仪2的光轴与相机4的光轴相交于平面3的中心。
2)计算机生成两幅不同的单一灰度值图像:同一幅图像上每个像素的灰度值都相等,而且两幅图像间的像素灰度值不同,将两幅图像的灰度值分别用I1和I2表示;并且对于图片灰度值的选取不能太小,由于系统量化的影响,图片灰度值过低会使相机拍摄的图片灰度为零,对于归一化的灰度图像,所述灰度值选取不小于0.3。
3)投影图像与采集图像:将计算机1生成的两幅灰度图像经投影仪2投射到表面平整的平面3上;同时相机4采集平面3上的图像并将其传送到计算机1中进行图像处理。相机4采集的图像可以表示为
式中:表示相机采集的第一幅图像,为相机采集的第二幅图像,α∈[0,1]为待测物体表面反射率,γ为投影仪伽马,表示卷积运算,[I1]γ表示I1的γ次幂,[I2]γ表示I2的γ次幂,g(x,y)表示系统散焦作用的点分布函数,即
g(x,y)=(1/2πσ2)exp[-(x2+y2)/2σ2] (3)
式中:σ为系统的散焦系数。g(x,y)的傅里叶变换式表示系统的光学传递函数,即
式中F{}为傅里叶变换,fx和fy分别对应于变量x和y的频域变量,即为沿x轴和y轴的空间频率。
4)频域变换:将等式(1)、(2)两边同时进行傅里叶变换
式中
5)特征点提取:通过对采集图像的频域分析,提取图像在频域内的特征点,求取投影仪伽马
6)预编码图像:将求得的投影仪伽马预编码到正弦条纹图像中,使正弦条纹产生反变形,然后与投影仪产生的变形相抵消,经投影仪2投射,即可得到保持良好正弦性的正弦光栅条纹。预编码后的正弦条纹图像可以表示为
IY=[a+b cos(2πfx+δ)]1/γ (8)
式中:a为正弦函数的基本偏移量,b为正弦函数的幅值,f为正弦函数的数字频率,x为沿x轴的变化量,δ为相移变化量。
为了说明本发明方法的校正效果,采用现有的相移技术对一只茶壶进行了测量,实验结果参见图3-6。从图4和图5可以看出:校正前茶壶的相位分布有一定波动性,这是由于投影仪伽马引起的相位误差;而校正后茶壶的相位分布更为平滑。图6是沿图3中线AB得到的校正前后茶壶轮廓曲线,由图6可以看出校正后由投影仪伽马引起的波动相对于校正前被大大减小。
为了定量的说明本发明方法的校正精度,采用现有的相移技术对一个平面进行了测量。图7是校正前后测量平面得到相位误差分布图,由图7可以看出:校正后相位误差极大的减小了。表1是由图7得到的校正前后测量平面得到的相位误差结果:校正前最大相位误差和均方根相位误差分别为0.1943rad和0.1253rad;校正后的最大相位误差和均方根相位误差分别为0.0122rad和0.0375rad。校正后最大相位误差减小了至少15倍。
表1
最大相位误差(rad) | 均方根相位误差(rad) | |
校正前 | 0.1943 | 0.1253 |
校正后 | 0.0122 | 0.0375 |
本发明未述及之处适用于现有技术。
Claims (2)
1.一种投影仪伽马校正方法,包括以下步骤:
1)搭建硬件校正系统:相机、投影仪和平面形成三角关系;投影仪的视场覆盖整个平面;平面占相机的60%-100%视场;
2)计算机生成两幅不同的单一灰度值图像:同一幅图像上每个像素的灰度值都相等,而且两幅图像间的像素灰度值不同,将两幅图像的灰度值分别用I1和I2表示,所述两幅图像的灰度值均不小于0.3;
3)投影图像与采集图像:将计算机生成的两幅灰度图像经投影仪投射到表面平整的平面上;同时相机采集平面上的图像并将其传送到计算机中进行图像处理;相机采集的图像可以表示为
<mrow>
<msubsup>
<mi>I</mi>
<mn>1</mn>
<mi>C</mi>
</msubsup>
<mo>=</mo>
<mi>&alpha;</mi>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>&gamma;</mi>
</msup>
<mo>&CircleTimes;</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>I</mi>
<mn>2</mn>
<mi>C</mi>
</msubsup>
<mo>=</mo>
<mi>&alpha;</mi>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>I</mi>
<mn>2</mn>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>&gamma;</mi>
</msup>
<mo>&CircleTimes;</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
式中:表示相机采集的第一幅图像,为相机采集的第二幅图像,α∈[0,1]为待测物体表面反射率,γ为投影仪伽马,表示卷积运算,[I1]γ表示I1的γ次幂,[I2]γ表示I2的γ次幂,g(x,y)表示系统散焦作用的点分布函数,即
g(x,y)=(1/2πσ2)exp[-(x2+y2)/2σ2] (3)
式中:σ为系统的散焦系数;g(x,y)的傅里叶变换式表示系统的光学传递函数,即
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>F</mi>
<mo>{</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>}</mo>
<mo>=</mo>
<mi>exp</mi>
<mo>&lsqb;</mo>
<mo>-</mo>
<mn>2</mn>
<msup>
<mi>&pi;</mi>
<mn>2</mn>
</msup>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>f</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
式中F{}为傅里叶变换,fx和fy分别对应于变量x和y的频域变量,即为沿x轴和y轴的空间频率;
4)频域变换:将等式(1)、(2)两边同时进行傅里叶变换
F1 C(fx,fy)=F1(fx,fy)·G(fx,fy) (5)
<mrow>
<msubsup>
<mi>F</mi>
<mn>2</mn>
<mi>C</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>F</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
式中
5)特征点提取:通过对采集图像的频域分析,提取图像在频域内的特征点,求取投影仪伽马
<mrow>
<mi>&gamma;</mi>
<mo>=</mo>
<msubsup>
<mi>log</mi>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<msub>
<mi>I</mi>
<mn>2</mn>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msubsup>
<mi>F</mi>
<mn>1</mn>
<mi>C</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>F</mi>
<mn>2</mn>
<mi>C</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
6)预编码图像:将求得的投影仪伽马预编码到正弦条纹图像中,经投影仪投射,即可得到正弦光栅条纹;预编码后的正弦条纹图像表示为
IY=[a+b cos(2πfx+δ)]1/γ (8)
式中:a为正弦函数的基本偏移量,b为正弦函数的幅值,f为正弦函数的数字频率,x为沿x轴的变化量,δ为相移变化量。
2.根据权利要求1所述的投影仪伽马校正方法,其特征在于所述步骤1)中投影仪的光轴与相机的光轴相交于平面的中心。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610109658.5A CN105491315B (zh) | 2016-02-29 | 2016-02-29 | 一种投影仪伽马校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610109658.5A CN105491315B (zh) | 2016-02-29 | 2016-02-29 | 一种投影仪伽马校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105491315A CN105491315A (zh) | 2016-04-13 |
CN105491315B true CN105491315B (zh) | 2018-05-18 |
Family
ID=55677995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610109658.5A Active CN105491315B (zh) | 2016-02-29 | 2016-02-29 | 一种投影仪伽马校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105491315B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109496265B (zh) * | 2016-06-20 | 2023-04-28 | 康耐视公司 | 用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法 |
CN106197321B (zh) * | 2016-07-06 | 2019-06-28 | 太原科技大学 | 基于红蓝棋盘格标定板的投影仪标定方法 |
CN114838674A (zh) * | 2022-07-06 | 2022-08-02 | 三亚学院 | 一种用于结构光三维面形测量重建的相位校正方法 |
CN115900580B (zh) * | 2022-10-12 | 2024-05-28 | 广东工业大学 | 一种结构光三维成像系统及非线性误差抑制方法 |
CN115731139B (zh) * | 2022-12-08 | 2023-09-01 | 深圳明锐理想科技有限公司 | 图像的校正方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009032342A1 (en) * | 2007-09-06 | 2009-03-12 | Olympus Corporation | Gamma correction for adjustable light source |
CN103383249A (zh) * | 2013-07-12 | 2013-11-06 | 西安交通大学 | 灰度条纹投影光强非线性校正方法及基于该方法的相位校正方法 |
CN104897083A (zh) * | 2015-06-11 | 2015-09-09 | 东南大学 | 一种基于投影仪散焦解相位的光栅投影三维快速测量方法 |
CN105091750A (zh) * | 2015-07-30 | 2015-11-25 | 河北工业大学 | 一种基于双四步相移的投影仪标定方法 |
-
2016
- 2016-02-29 CN CN201610109658.5A patent/CN105491315B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009032342A1 (en) * | 2007-09-06 | 2009-03-12 | Olympus Corporation | Gamma correction for adjustable light source |
CN103383249A (zh) * | 2013-07-12 | 2013-11-06 | 西安交通大学 | 灰度条纹投影光强非线性校正方法及基于该方法的相位校正方法 |
CN104897083A (zh) * | 2015-06-11 | 2015-09-09 | 东南大学 | 一种基于投影仪散焦解相位的光栅投影三维快速测量方法 |
CN105091750A (zh) * | 2015-07-30 | 2015-11-25 | 河北工业大学 | 一种基于双四步相移的投影仪标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105491315A (zh) | 2016-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105491315B (zh) | 一种投影仪伽马校正方法 | |
CN107607060B (zh) | 一种应用于光栅三维投影测量中的相位误差补偿方法 | |
CN108053450B (zh) | 一种基于多约束的高精度双目相机标定方法 | |
CN107167169B (zh) | 基于机器视觉系统的指针式仪表读数识别测量方法 | |
CN109141291A (zh) | 一种快速相位解包裹算法 | |
CN103729841B (zh) | 一种基于方靶模型和透视投影的相机畸变校正方法 | |
CN107218928B (zh) | 一种复杂多管路系统检测方法 | |
CN102622747B (zh) | 一种用于视觉测量的摄像机参数优化方法 | |
WO2018119771A1 (zh) | 基于条纹投影轮廓术的高效相位-三维映射方法及系统 | |
CN105783775A (zh) | 一种镜面及类镜面物体表面形貌测量装置与方法 | |
CN110672020A (zh) | 一种基于单目视觉的立木高度测量方法 | |
CN102288131A (zh) | 物体360°轮廓误差的自适应条纹测量装置和方法 | |
CN108833912A (zh) | 一种摄像机机芯光轴中心和视场角的测量方法及系统 | |
CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
CN102183214A (zh) | 一种大口径非球面镜结构光检测方法 | |
CN105066904B (zh) | 基于相位梯度阈值的流水线产品三维面型检测方法 | |
CN105528770A (zh) | 一种投影仪镜头畸变校正方法 | |
CN103994732A (zh) | 一种基于条纹投影的三维测量方法 | |
CN104406770B (zh) | 波像差测量模块的畸变测量装置和畸变校正方法 | |
Yu et al. | High sensitivity fringe projection profilometry combining optimal fringe frequency and optimal fringe direction | |
CN113587852A (zh) | 一种基于改进三步相移的彩色条纹投影三维测量方法 | |
Xiao et al. | Large-scale structured light 3D shape measurement with reverse photography | |
Wang et al. | Precise full-field distortion rectification and evaluation method for a digital projector | |
CN112985258B (zh) | 一种三维测量系统的标定方法及测量方法 | |
Yu et al. | An improved projector calibration method for structured-light 3D measurement systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |