CN112556849B - 高光谱成像装置 - Google Patents
高光谱成像装置 Download PDFInfo
- Publication number
- CN112556849B CN112556849B CN202011430602.2A CN202011430602A CN112556849B CN 112556849 B CN112556849 B CN 112556849B CN 202011430602 A CN202011430602 A CN 202011430602A CN 112556849 B CN112556849 B CN 112556849B
- Authority
- CN
- China
- Prior art keywords
- spectral
- light
- response
- photoelectric
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 18
- 230000003595 spectral effect Effects 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 52
- 238000001228 spectrum Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000009826 distribution Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims abstract description 3
- 238000002834 transmittance Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000000576 coating method Methods 0.000 claims description 8
- 239000011248 coating agent Substances 0.000 claims description 7
- 238000005342 ion exchange Methods 0.000 claims description 3
- 238000005468 ion implantation Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 238000011835 investigation Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000007747 plating Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明提供了一种保留了所有入射光能量,提高了光谱的分辨率的高光谱成像装置。本发明的高光谱成像装置,包括:扫描单元,用于沿着光谱筛调制方向对目标进行扫描,得到所述目标的系列图像;光电探测单元,用于对所述系列图像进行调制并光电转换生成图像数据,所述图像数据包括对监测目标的物点在相平面上运动过程中所经历的像元信息及产生的相应信号;光谱处理单元,用于对所述相应信号进行计算处理,得到所述物点的光谱分布信息,并对所述目标的所有物点进行处理,得到所述目标的高光谱图像,其中,所述光电探测单元的像元的光电响应受到调制,使得所述光电探测单元的不同的像元对于所研究的光谱范围内的光具有不同的光电响应曲线。
Description
技术领域
本发明涉及光谱分析领域,具体涉及一种高光谱成像装置。
背景技术
现有的高光谱相机扫描二维图像的行信息获取目标的光谱信息,而后根据获得的光谱信息生成对应的高光谱图像,对高光谱图像进行识别从而完成目标识别,但是高光谱相机采用的光栅会影响图像的分辨率,致使无法从高光谱图像中捕捉与待测物体相关的详细光谱信息。
发明内容
因此,为了克服上述现有技术的缺点,本发明提供了一种保留了所有入射光能量,提高了光谱的分辨率的高光谱成像装置。
为了实现上述目的,本发明提供一种高光谱成像装置,包括:扫描单元,用于沿着光谱筛调制方向对目标进行扫描,得到所述目标的系列图像;光电探测单元,用于对所述系列图像进行调制并光电转换生成图像数据,所述图像数据包括对监测目标的物点在相平面上运动过程中所经历的像元信息及产生的相应信号;光谱处理单元,用于对所述相应信号进行计算处理,得到所述物点的光谱分布信息,并对所述目标的所有物点进行处理,得到所述目标的高光谱图像,其中,所述光电探测单元的像元的光电响应受到调制,使得所述光电探测单元的不同的像元对于所研究的光谱范围内的光具有不同的光电响应曲线。
在一个实施例中,所述光电探测单元包括:光谱调制板,对所述扫描单元传输后的光进行调制;阵列传感器,对调制后的所述光进行响应,生成光电响应,对所述光电响应进行数据处理,获得所述光的光谱分布信息,其中,所述阵列探测器的不同的像元对于所研究的光谱范围内的光具有不同的光电响应曲线。
在一个实施例中,所述像元上设置有透射率响应连续变化的膜层,使得不同像元具有一一对应的光谱透射率。
在一个实施例中,所述膜层采用镀膜的方式形成。
在一个实施例中,所述光谱调制板是采用离子注入、离子交换或者印刷中的任意一种方式形成的。
在一个实施例中,所述光电探测单元包括:阵列传感器,对所述扫描单元传输后的光进行响应,生成光电响应,对所述光电响应进行数据处理,获得所述光的光谱分布信息,其中,所述阵列传感器上设置有像元,所述传感器上设置有膜层,使得所述阵列探测器的不同的像元具有一一对应的光谱透射率,让所述阵列传感器对于所研究的光谱范围内的光具有不同的光电响应曲线。
在一个实施例中,所述阵列探测器还用于接收预定波长单位强度的单色光,生成与所述单色光对应的光谱响应标定信息e(i,λj),所述单色光的数量与所述像元的数量一致,λj为单色光的波长,i对应不同位置的像元,λ1≤λj≤λ2,λ1为最小波长,λ2为最大波长。
在一个实施例中,所述阵列传感器根据所述光谱响应标定信息e(i,λj)生成与所述阵列探测器对应的n阶标定矩阵,n为像元数;所述光谱处理单元用于根据各个像元和被测的所述光对应的光电响应构建与所述n阶标定矩阵对应的n阶方程,计算所述n阶方程的唯一解,得到所述光的光谱分布信息I(λj)。
与现有技术相比,本发明的优点在于:保留了所有入射光能量,提高了光谱的分辨率,使得高光谱相机的光谱识别灵敏度提高,且识别设备结构简单、体积小、成本低、便携性提高。
附图说明
图1是本发明的实施例中高光谱成像装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
如图1所示,本实施例的高光谱成像装置100包括扫描单元10、光电探测单元20和光谱处理单元30。
扫描单元10用于沿着光谱筛调制方向对目标进行扫描,得到目标的系列图像。扫描单元10可以包括成像镜头以及扫描驱动部件。成像镜头可以是由透镜、反射镜或其组合等构成的。待测对象发出的辐射光被成像镜头采集并准直。成像镜头可以根据不同的需要选用不同的焦距,保证目标发出的辐射光被完全收集、准直和减小杂散光。扫描驱动部件和成像镜头一体设置,可以用于驱动成像镜头的移动。扫描驱动部件可以带动成像镜头在光学焦面的垂直方向上做横向移动完成横向扫描。
光电探测单元20用于对系列图像进行调制并光电转换生成图像数据,图像数据包括对监测目标的物点在相平面上运动过程中所经历的像元信息及产生的相应信号。光电探测单元20的像元的光电响应受到调制,使得光电探测单元的不同的像元对于所研究的光谱范围内的光具有不同的光电响应曲线。
光电探测单元20的光电响应可以用表示,e(i)是输出的光电响应,e(i,λ)是第i个像元与入射波长为λ的单色光一一对应的光电响应,i=1, 2,…N,N是像元数,I(λ)为入射光强,λ是入射光的波长,λ1≤λ≤λ2,λ1是输入光的最小波长,λ2是输入光的最大波长。当i1≠i2时,函数e(i1, λ)≠函数e(i2 , λ),i1 , i2 =1, 2, …N,e(i1,λ)是第i1个像元与入射波长为λ的单位强度的单色光对应的光电响应函数, e(i2,λ)是第i2个像元与入射波长为λ的单位强度的单色光对应的光电响应函数。
光电探测单元20可以包括光谱调制板21和阵列传感器22。
光谱调制板21对入射光进行调制。光谱调制板21的透射率不恒为0。光谱调制板21的透射率(或反射率)随空间位置和光的波长按照规定的方式变化。光谱调制板21调制的方式可以用镀膜的方式,但不局限于镀膜,还可以采用其他方式如采用离子注入、离子交换或者印刷等中的任意一种方式形成的。
当光谱调制板21采用镀膜方式制备时,光谱调制板可以通过调整镀膜的厚度调制光谱调制板的透射率(或反射率)。
阵列传感器22对光谱调制板21调制后的入射光进行响应,生成光电响应。阵列传感器22可以是常见的CMOS或CCD芯片。CMOS(或CCD)芯片设置有多个相互之间独立产生光电响应的像元221。像元221上也可设置有透射率响应连续变化的膜层,使得不同像元具有一一对应的光谱透射率。其中,各个像元221对接受到的光的光电响应输出为,i=1,2,……N,N为像元数,I(λi)是待测光在波长λj处的强度分布。
辐射光被聚焦到阵列传感器22上,阵列传感器扑捉整个波长范围输出光电响应,一个像元对应一个图像通道,每一个通道扑捉指定波长的光。
光谱调制板和阵列传感器上的膜层均可以采用化学镀膜或物理镀膜等的方式的生成,阵列传感器中各个像元最终测得的光谱分布符合下述公式:
I(λj)=[e(i,λj)]-1[e(i)],
其中,e(i,λj)是第i个像元与入射波长为λj单位强度的单色光对应的光电响应,
[e(i,λj)]-1是[e(i,λj)]的逆矩阵,
e(i)是输出的光电响应。
光谱处理单元30与光电探测单元20电连接,用于对相应信号进行计算处理,得到物点的光谱分布信息,并对目标的所有物点进行处理,得到目标的高光谱图像。光谱处理单元30获取包含监测的物点在相平面上运动过程中所经历的像元及产生的相应信号的图像数据,对图像数据中的相应信号进行计算处理得到该物点的光谱分布信息。光谱处理单元30将光谱分布信息与目标进行对应存储,根据光谱分布信息生成与目标对应的高光谱图像,生成与目标的高光谱信息,即、目标的图像立方体数据。光谱处理单元30将所有物点的相应信号分别进行计算处理得到该物点的光谱分布信息,将所有物点的光谱分布信息进行整合得到与目标对应的高光谱图像。高光谱图像是根据多个像元的图像通道得到的。光谱处理单元30最终生成的高光谱图像作为一个“图像立方体”("Image Cube")存储。其中图像的两维是空间两维,由图像中的像素组成;第三维是光谱——对于每一个像素都有许多波长的采样。在传统的彩色图像中,维数的深度是3(红绿蓝)。在高光谱图像中维数等价于通道数(即、像元数)。每一个像素的采样都可以针对此像素生成一个“光谱特征”。
上述高光谱成像装置中,保留了所有入射光能量,提高了光谱的分辨率,使得高光谱相机的光谱识别灵敏度提高,且识别设备结构简单、体积小、成本低、便携性提高。
在另一实施例中,光电探测单元可以仅包括阵列传感器,该阵列传感器可以在各个像元上设置有涂层,使得各个像元的光电响应满足上述一一对应的光谱响应关系;该传感器也可以在光电探测单元的窗口上设置涂层,使得窗口下方的像元输出与一一对应的光谱响应对应的光谱信息。可以采用光学镀膜或光刻的方式在像元上生成膜层。
也可以在光电探测单元的传感器入射光进入的窗口上采用光学镀膜的方式或其他方式涂覆上透射率响应连续变化的膜层,保证其后面的不同像元具有一一对应的光谱透射率。光谱透射率函数与像元本身的光谱响应函数的乘积决定了器件的光谱响应矩阵。
不同像元与不同波长的入射光具有一一对应的光谱透射率,且不同像元对于在所研究的光谱范围内的单色光具有不同的透射率曲线,因而不同像元对于在所研究的光谱范围内的单色光具有不同的光电响应曲线。
上述高光谱成像装置中,光谱分辨率仅与像元数有关,像元数越高,光谱分辨率也就越高。但是光谱分辨率与像元的体积、探测器的体积关系不大,因而,获取光谱的方式也不需要复杂的光学系统。本实施例的光电探测单元结构简单,且光电探测单元中的分光器件可以仅是一个已对像元的光谱响应调制过的阵列光电探测单元,体积可以根据需要设置,且没有任何运动部件,结构牢固紧凑,制作过程也很简单。而且,在工作时每个像元都可以接收所有波长的光,并生成光电响应,所以,在同一情况下,光电探测单元可分析的光通量远高于现有设备可分析的光通量,利于对入射光中弱信号的检测分析。
在一个实施例中,阵列探测器还用于接收预定波长单位强度的单色光,生成与单色光对应的光谱响应标定信息e(i,λj),单色光的数量与像元的数量一致,λj为单色光的波长,i对应不同位置的像元,λ1≤λj≤λ2,λ1为最小波长,λ2为最大波长。
i对应着不同位置的像元,i=1,2,……N,N为像元数。可以将波长区间[λ1,λ2]分成N-1等分,得到N个不同波长的λj。采用N个波长的单色光对像元器件进行标定,即用单位强度的单色光Io(λj)作为输入信号照射在阵列探测器上,并测量阵列探测器的光电输出信号。阵列探测器对于每一个λj,都可以得到相应的e(i ,λj)。这里标定用的波长为λj单色光的带宽δλj要满足:
δλj<(λ2-λ1)/(N-1)。
在一个实施例中,阵列传感器根据光谱响应标定信息e(i,λj)生成与阵列探测器对应的n阶标定矩阵,n为像元数;光谱处理单元用于根据各个像元和被测的光对应的光电响应构建与n阶标定矩阵对应的n阶方程,计算n阶方程的唯一解,得到光的光谱分布信息I(λj)。
采用不同单色光照射光电探测单元,记录光电探测单元照射后的试验数据,得到光谱响应矩阵元e(i,λj),根据像元i在阵列探测器的位置,将光谱响应矩阵元对应形成矩阵。用光电探测单元接收待测的电磁波I(λ),λ1≤λ≤λ2,λ1为最小波长,λ2为最大波长。
将e(i,λi)生成与光电探测单元对应的n阶标定矩阵,即、得系数矩阵:
i , j =1, 2, …N,N是像元数。
光电响应,所以I(λj)=[e(i,λj)]-1[e(i)]。光谱处理单元根据检测到的光电响应可以逆推出对应的光的波长,从而得到光的光谱分布信息I(λj)。而且在本实施例中,对像元的光谱响应一一对应的调制方式保证了n阶行列式的线性方程组有唯一的解。
光谱处理单元生成的光谱可以用光强随波长变化的函数来表示,也可以用光强随频率的变化函数来表示,也可以用光强随波数的变换函数来表示。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。
Claims (7)
1.一种高光谱成像装置,其特征在于,包括:
扫描单元,用于沿着光谱筛调制方向对目标进行扫描,得到所述目标的系列图像;
光电探测单元,用于对所述系列图像进行调制并光电转换生成图像数据,所述图像数据包括对监测目标的物点在相平面上运动过程中所经历的像元信息及产生的相应信号;
光谱处理单元,用于对所有物点的所述相应信号分别进行计算处理,得到所述物点的光谱分布信息,并对所述目标的所有物点的光谱分布信息进行整合处理,得到所述目标的高光谱图像,所述高光谱图像作为一个图像立方体存储,其中图像的两维是空间两维,由图像中的像素组成;第三维是对于每一个像素都有许多波长的采样的光谱,在高光谱图像中维数等价于通道数,每一个像素的采样都可以针对此像素生成一个光谱特征,
其中,所述光电探测单元的像元的光电响应受到调制,使得所述光电探测单元中的阵列探测器的不同的像元具有一一对应的光谱透射率,让所述阵列传感器对于所研究的光谱范围内的光具有不同的光电响应曲线,
所述阵列探测器还用于接收预定波长单位强度的单色光,生成与所述单色光对应的光谱响应标定信息e(i,λj),所述单色光的数量与所述像元的数量一致,λj为单色光的波长,i对应不同位置的像元,λ1≤λj≤λ2,λ1为最小波长,λ2为最大波长。
2.根据权利要求1所述的高光谱成像装置,其特征在于,所述光电探测单元包括:
光谱调制板,对所述扫描单元传输后的光进行调制;
阵列传感器,对调制后的所述光进行响应,生成光电响应,对所述光电响应进行数据处理,获得所述光的光谱分布信息。
3.根据权利要求2所述的高光谱成像装置,其特征在于,所述像元上设置有透射率响应连续变化的膜层,使得不同像元具有一一对应的光谱透射率。
4.根据权利要求3所述的高光谱成像装置,其特征在于,所述膜层采用镀膜的方式形成。
5.根据权利要求2所述的高光谱成像装置,其特征在于,所述光谱调制板是采用离子注入、离子交换或者印刷中的任意一种方式形成的。
6.根据权利要求1所述的高光谱成像装置,其特征在于,所述光电探测单元包括:
阵列传感器,对所述扫描单元传输后的光进行响应,生成光电响应,对所述光电响应进行数据处理,获得所述光的光谱分布信息,
其中,所述阵列传感器上设置有像元,
所述传感器上设置有膜层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011430602.2A CN112556849B (zh) | 2020-12-07 | 2020-12-07 | 高光谱成像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011430602.2A CN112556849B (zh) | 2020-12-07 | 2020-12-07 | 高光谱成像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112556849A CN112556849A (zh) | 2021-03-26 |
CN112556849B true CN112556849B (zh) | 2022-09-23 |
Family
ID=75059921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011430602.2A Active CN112556849B (zh) | 2020-12-07 | 2020-12-07 | 高光谱成像装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112556849B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102914323A (zh) * | 2012-10-17 | 2013-02-06 | 厦门大学 | 一种光电探测器绝对光谱响应的校准方法及其装置 |
CN103928561A (zh) * | 2013-12-23 | 2014-07-16 | 南昌大学 | 基于单根氧化锌纳米线的光电响应探测器及制备方法 |
JP5898771B2 (ja) * | 2012-08-30 | 2016-04-06 | パイオニア株式会社 | 分光器および測定方法 |
JP6245620B2 (ja) * | 2014-05-16 | 2017-12-13 | 国立研究開発法人産業技術総合研究所 | 光源評価装置 |
CN110108358A (zh) * | 2019-03-28 | 2019-08-09 | 浙江大学 | 一种高光谱成像方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8687055B2 (en) * | 2010-03-16 | 2014-04-01 | Eli Margalith | Spectral imaging of moving objects with a stare down camera |
US9189704B2 (en) * | 2013-04-25 | 2015-11-17 | Raytheon Company | Kernel with iterative computation |
-
2020
- 2020-12-07 CN CN202011430602.2A patent/CN112556849B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5898771B2 (ja) * | 2012-08-30 | 2016-04-06 | パイオニア株式会社 | 分光器および測定方法 |
CN102914323A (zh) * | 2012-10-17 | 2013-02-06 | 厦门大学 | 一种光电探测器绝对光谱响应的校准方法及其装置 |
CN103928561A (zh) * | 2013-12-23 | 2014-07-16 | 南昌大学 | 基于单根氧化锌纳米线的光电响应探测器及制备方法 |
JP6245620B2 (ja) * | 2014-05-16 | 2017-12-13 | 国立研究開発法人産業技術総合研究所 | 光源評価装置 |
CN110108358A (zh) * | 2019-03-28 | 2019-08-09 | 浙江大学 | 一种高光谱成像方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112556849A (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cao et al. | A prism-mask system for multispectral video acquisition | |
US6392748B1 (en) | Radiation filter, spectrometer and imager using a micro-mirror array | |
RU2535640C2 (ru) | Формирование многоспектральных изображений | |
EP2637004B1 (en) | Multispectral imaging color measurement system and method for processing imaging signals thereof | |
US6046808A (en) | Radiation filter, spectrometer and imager using a micro-mirror array | |
US5627639A (en) | Coded aperture imaging spectrometer | |
JP7422224B2 (ja) | 電磁場のシングルピクセルイメージング | |
Du et al. | A prism-based system for multispectral video acquisition | |
US7768641B2 (en) | Spatial image modulation to improve performance of computed tomography imaging spectrometer | |
EP1178333A2 (en) | Method and apparatus for a color scannerless range imaging system | |
US10101206B2 (en) | Spectral imaging method and system | |
EP3161437B1 (en) | Measuring polarisation | |
WO2018194920A1 (en) | Polarization sensitive devices, methods and applications | |
US20230204418A1 (en) | High-speed and high-precision spectral video system and method for flame shooting | |
US20150116705A1 (en) | Spectral imager | |
CN114279564B (zh) | 一种并行压缩感知计算层析成像光谱仪及其成像光谱重建方法 | |
CN113188660B (zh) | 一种多维度参数可调的新型快照式偏振光谱成像系统 | |
US7876434B2 (en) | Color camera computed tomography imaging spectrometer for improved spatial-spectral image accuracy | |
CN112556849B (zh) | 高光谱成像装置 | |
CN113390507B (zh) | 光谱信息获取方法及光谱探测装置 | |
WO2021179226A1 (zh) | 光谱信息获取方法及光谱探测装置 | |
CN113108908B (zh) | 一种宽波段成像传感器的相对光谱响应测量装置及方法 | |
CN112964360B (zh) | 高光谱成像装置 | |
CN111504917A (zh) | 一种低成本快速线型光谱成像系统 | |
CN117091700B (zh) | 一种使用非阵列探测器实现高光谱成像的系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |