CN116228551B - 一种改进的遥感湖泊表面温度时空填补方法 - Google Patents

一种改进的遥感湖泊表面温度时空填补方法 Download PDF

Info

Publication number
CN116228551B
CN116228551B CN202211514326.7A CN202211514326A CN116228551B CN 116228551 B CN116228551 B CN 116228551B CN 202211514326 A CN202211514326 A CN 202211514326A CN 116228551 B CN116228551 B CN 116228551B
Authority
CN
China
Prior art keywords
data
lswt
lake
surface temperature
filling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211514326.7A
Other languages
English (en)
Other versions
CN116228551A (zh
Inventor
宋春桥
范晨雨
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Geography and Limnology of CAS
Original Assignee
Nanjing Institute of Geography and Limnology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Geography and Limnology of CAS filed Critical Nanjing Institute of Geography and Limnology of CAS
Publication of CN116228551A publication Critical patent/CN116228551A/zh
Application granted granted Critical
Publication of CN116228551B publication Critical patent/CN116228551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明公开一种改进的遥感湖泊表面温度时空填补方法,获取遥感反演地表温度数据,对湖泊永久水域边界向内做缓冲区以提取湖泊表面温度LSWT数据;基于有效像元数将LSWT数据划分为高质量影像和低质量影像;利用DCT‑PLS方法填充高质量影像;构建每隔n天的LSWT的距平值作为背景场,与低质量影像的对应日期的LSWT中值叠加后,得到空间填充的低质量影像,之后对填充后的所有影像的时间序列进行线性插值,从而完成所有影像数据的时空填补。该方法不依赖于湖泊的其他环境要素,为提高长时序湖泊温度监测水平提供了一种实用的遥感方法,有助于进一步了解湖泊表面温度变化对全球气候变化的响应。

Description

一种改进的遥感湖泊表面温度时空填补方法
技术领域
本发明涉及遥感科学技术领域,特别涉及一种改进的遥感湖泊表面温度时空填补方法。
背景技术
湖泊对水循环和生态平衡至关重要(Verpoorter et al., 2014)。湖泊表面温度(LSWT)是理解气候变化和能量交换对湖泊影响的一个重要物理变量(Doney et al.,2012;Pachauri et al., 2014)。它可以灵敏地检测湖泊环境特征和反应过程、生物多样性和水动力学的变化(Yang et al., 2019)。已有研究显示,全球大型湖泊普遍表现出显著变暖的趋势(O'Reilly et al., 2015)。
早期监测LSWT的传统方法是使用现场传感器测量特定站点的温度(Ptak et al.,2019)。然而,尽管该方法精度高、操作灵活,但其存在各种局限性,如人力物力成本高、时间和空间分辨率低(Kumari et al., 2018)。遥感是克服这些困难和获得更全面的温度信息的有效方法(Hong et al., 2021)。近年来,用于地表温度反演的卫星数据主要包括微波和热红外(TIR)两种类型。由于TIR数据的多样性,这种遥感方法被广泛应用于温度监测。TIR数据包括高分辨率辐射计(AVHRR)、沿轨扫描辐射计(ATSR)、陆地卫星和中分辨率成像光谱仪(MODIS)。其中,MODIS地表温度产品是较为常用的数据集。它具有相对较高的时间和空间分辨率、较宽的光谱范围、较高的辐射灵敏度和合适的TIR通道设置。在以往的研究中,MODIS陆地表面温度(LST)数据集被广泛用于监测陆地和水面温度(Hu et al., 2020)。然而,由于云效应和其他大气干扰,MODIS LST产品有大面积的缺失或“噪声”像元,导致时空信息空缺严重,进而限制了湖泊表面温度的长期监测。为此,研究人员提出了一系列MODISLST产品重构方法,以填补缺失数据,提高遥感数据的有效性。
现有的LSWT间隙填充方法多与LST方法相似,一般通过多个卫星产品的数据融合或添加相应的辅助数据集和外部环境因素来实现LSWT的预测(Layden et al., 2016)。这些方法依靠与LST或LSWT密切相关的外部环境因素,如气象变量(如温度和降水)和数字高程模型,来预测缺失的像元。然而,在缺乏辅助数据集的情况下,重构的LSWT精度可能会显著下降。这些条件使填充方法变得复杂,并在一定程度上限制了它们的应用,特别是对于可用辅助数据有限的湖泊。
综上所述,现有的湖泊温度数据获取,往往地表温度产品空缺严重、现有方法在填补LSWT产品时空空白方面仍存在障碍,而无法获得完整的长时序湖泊温度数据。在此背景下,开展湖泊温度时空间隙填充方法的研究,可为水文环境变化相关科学问题的探索提供重要的数据保障和方法支撑,具有重要的科学意义。
发明内容
为填补基于遥感的地表温度原始影像的时空间隙,实现对湖泊表面温度的长期监测。本发明提出一种在空间域上采用基于离散余弦变换的惩罚最小二乘法(DCT-PLS)与在时间域上采用的线性插值(LI)算法相结合的改进的间隙填补方法,采用可公开免费获取的MODIS遥感影像数据以及Yearly Water Classification History数据集,借助时空域填充相结合的方法,实现了长时序湖泊表面温度信息的重建。
为实现上述技术目的,本发明采用如下技术方案:
一种改进的遥感湖泊表面温度时空填补方法,包括:
获取遥感反演地表温度数据,对湖泊永久水域边界向内做缓冲区以提取湖泊表面温度LSWT数据;
基于有效像元数将LSWT数据划分为高质量影像和低质量影像;
利用DCT-PLS方法填充高质量影像;
构建每隔n天的LSWT的距平值作为背景场,与低质量影像的对应日期的LSWT中值叠加后,得到空间填充的低质量影像,之后对填充的所有影像的时间序列进行插值,从而完成所有影像数据的时空填补。
作为一种优选的实施方式,所述方法还包括,利用质量控制QC控制地表温度数据质量,基于通过质量控制的像元提取LSWT数据。
作为一种优选的实施方式,比较湖泊多年的水域边界,选取多年最小的永久水体的水域边界作为湖泊永久水域边界。
作为一种优选的实施方式,所述方法还包括,对提取的LSWT数据,采用随机消隐的方法选择验证数据集,用于数据验证。
作为一种优选的实施方式,在每个LSWT影像上随机选取若干像元,将对应的原始温度值替换为空值,对替换空值后的LSWT数据进行填充,并利用所述若干像元验证填补准确性。
作为一种优选的实施方式,预设有效像元数阈值,有效像元数高于阈值的影像为高质量影像,低于阈值的影像为低质量影像。
作为一种优选的实施方式,采用线性插值方法对填充后的所有影像的时间序列进行插值。
作为一种优选的实施方式,在完成所有影像数据的时空填补后,通过R2、MAE、MSE和RMSE 4个误差指标评价LSWT数据填充的准确性。
作为一种优选的实施方式,所述遥感反演地表温度数据选用MOD11A2地表温度数据产品。
作为一种优选的实施方式,基于Yearly Water Classification History数据集获取湖泊多年的水域边界数据。
本发明具有以下两点优势:
(1)本发明对数据的要求较低,基于可公开获取的遥感影像数据和地表水体数据,不依赖于其他湖泊环境要素,即可完成湖泊表面温度时空间隙的填充,进而构建长时序湖泊温度数据。
(2)本发明提出了一种改进的湖泊表面温度(LSWT)时空间隙填充方法,不仅不局限于研究区域、湖泊面积的大小,还可以在长时序、多时间尺度上开展湖泊温度变化分析,为进一步了解湖泊水文环境变化对全球气候变化的响应提供了重要的基础数据和技术支撑。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过研究案例并参考附图来描述本发明的各个步骤,其中:
图1是本发明实施例1呼伦湖及周边地形图。
图2是本发明方法流程图。
图3是实施例1中基于DCT-PLS方法空间填充后的呼伦湖多年平均LSWT影像:(a)白天;(b)晚上。
图4是实施例1中采用线性插值方法前后的呼伦湖8天尺度的LSWT时间序列。
图5是实施例1呼伦湖湖泊温度时间序列线性插值结果精度评价。
图6是实施例1呼伦湖湖泊温度空间填充结果精度评价。
实施方式
下面结合附图和实施例1,对本发明的具体实施方式作进一步详细描述。以下实施案例用于说明本发明,但不用来限制本发明的范围。
实施例
本申请的实施例1以内蒙古高原最大的湖泊呼伦湖为研究对象。内蒙古高原范围广、海拔高,其周边地区通过独特的大气相互作用在全球气候变化中发挥着重要作用。内蒙古高原具有典型的温带大陆性气候,区域平均温度差异很大。内蒙古高原有许多大湖,大多分布在西北部。这些湖泊在水、冰冻圈和能量循环中发挥着重要作用。呼伦湖作为中国第四大淡水湖,内蒙古高原第一大湖泊,其对于气候变化的响应十分强烈,比较适合作为研究对象。
如图2所示,是实施例1的流程图,本实施例1包括以下步骤:
步骤1、获取遥感影像数据,并对MODIS遥感影像数据进行预处理。首先从EARTHDATA(https://modis.ornl.gov/globalsubset/)数据网站下载2000年以来覆盖呼伦湖的所有MODIS LST遥感影像,包括Day和Night两套数据。MODIS地表温度数据的预处理选用MOD11A2地表温度数据产品中的质量控制QC和地表温度LST两个数据层。利用质量控制数据QC来控制MODIS地表温度的质量,并保留较好的质量像元(QC值为1的像元)。比较湖泊多年的水域边界,选取多年最小的永久水体作为最终边界,并向内做缓冲区来提取呼伦湖湖泊LSWT数据,对于面积大于50 km2的湖泊,设置内部缓冲区1000 m,小于50 km2的湖泊设置内部缓冲区500 m,湖泊的永久水域边界源于Yearly Water Classification History数据集。
步骤2、构建验证数据集,并评估空间填充LSWT的精度。
本实施例采用“随机消隐”方法选择验证数据集,用于评估填充LSWT的准确性;
具体的,分别在步骤1提取的LSWT数据空间影像和时间序列上随机抽样10%的像元,并将对应的原始LSWT值假设为空值,将这些像元作为验证数据集。
步骤3、这一步骤是LSWT间隙填充过程的核心。它涉及基于DCT-PLS模型填充质量相对较好的影像,进而构建背景场来填充质量相对较差的影像。
(1)影像分类:首先根据有效像元数将影像(部分像元值设为空值后的原始LSWT数据)分为高质量影像和低质量影像。本实施例中设置有效像元数阈值为30%,即有效像元大于30%的影像为高质量影像,反之为低质量影像。
(2)DCT-PLS模型的应用:利用DCT-PLS方法填充高质量影像。
(3)LSWT影像背景场的构建:基于高质量的填充影像,构建多时相平均LSWT背景场,辅助低质量影像的填充。假设大多数湖泊在不同季节或不同日期有一定的空间变化规律。因此,在已有LSWT完整影像的基础上,构建每隔8天LSWT的距平值作为背景场,加上对应低质量影像的LSWT中值则得到填充的低质量LSWT影像。如图3所示,呼伦湖的白天LSWT均显示从湖岸到湖心的温度逐渐降低(图3a)。白天和夜间LSWT变化趋势相反。在夜间,呼伦湖从湖岸到湖心呈现出变暖的趋势(图3b)。
步骤4、由于在冬季影像缺失验证,所以在空间填充后,呼伦湖LSWT在时间序列中仍存在缺失。该方法进一步采用线性插值方法对LSWT数据的时间序列缺口进行了填补。图4a和图4b分别显示了采用线性插值方法前后的呼伦湖8天尺度的LSWT时间序列。
步骤5、时空LSWT填充结果评价。基于模拟缺失数据和相应的原始LSWT,通过R2、MAE、MSE和RMSE 4个误差指标评价呼伦湖LSWT数据时空填充的准确性。对于湖泊温度的时空填充结果(图5),呼伦湖白天和晚上重建的LSWT与实测LSWT值较为吻合, R2、MAE、MSE、RMSE分别为0.99、0.21 ℃、0.17 ℃、0.42 ℃和0.99、0.18 ℃、0.10 ℃、0.32 ℃。结合图4和图5,可以看出湖泊温度时间序列线性插值的效果也很好。
通过上述方法即可得到呼伦湖长时序湖泊温度,不仅不局限于研究区域、湖泊范围的大小,还可以在长时序、多时间尺度上开展湖泊温度变化分析,为进一步了解湖泊水文环境变化对全球气候变化的响应提供了重要的基础数据和技术支撑。

Claims (10)

1.一种改进的遥感湖泊表面温度时空填补方法,其特征在于,包括:
获取遥感反演地表温度数据,对湖泊永久水域边界向内做缓冲区以提取湖泊表面温度LSWT数据;
基于有效像元数将LSWT数据划分为高质量影像和低质量影像;
利用DCT-PLS方法填充高质量影像;
构建每隔n天的LSWT的距平值作为背景场,与低质量影像的对应日期的LSWT中值叠加后,得到空间填充的低质量影像,之后对填充后的所有影像的时间序列进行插值,从而完成所有影像数据的时空填补。
2.根据权利要求1所述的方法,其特征在于,还包括,利用质量控制QC控制地表温度数据质量,基于通过质量控制的像元提取LSWT数据。
3.根据权利要求1所述的方法,其特征在于,比较湖泊多年的水域边界,选取多年最小的永久水体的水域边界作为湖泊永久水域边界。
4.根据权利要求1所述的方法,其特征在于,还包括,对提取的LSWT数据,采用随机消隐的方法选择验证数据集,用于数据验证。
5.根据权利要求4所述的方法,其特征在于,在每个LSWT影像上随机选取若干像元,将对应的原始温度值替换为空值,对替换空值后的LSWT数据进行填充,并利用所述若干像元验证填补准确性。
6.根据权利要求1所述的方法,其特征在于,预设有效像元数阈值,有效像元数高于阈值的影像为高质量影像,低于阈值的影像为低质量影像。
7.根据权利要求1所述的方法,其特征在于,采用线性插值方法对填充后的所有影像的时间序列进行填充。
8. 根据权利要求4所述的方法,其特征在于,在完成所有影像数据的时空填补后,通过R2、MAE、MSE和RMSE 4个误差指标评价LSWT数据填充的准确性。
9.根据权利要求1所述的方法,其特征在于,所述遥感反演地表温度数据选用MOD11A2地表温度数据产品。
10. 根据权利要求3所述的方法,其特征在于,基于Yearly Water ClassificationHistory数据集获取湖泊多年的水域边界数据。
CN202211514326.7A 2022-10-21 2022-11-30 一种改进的遥感湖泊表面温度时空填补方法 Active CN116228551B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211297169 2022-10-21
CN2022112971699 2022-10-21

Publications (2)

Publication Number Publication Date
CN116228551A CN116228551A (zh) 2023-06-06
CN116228551B true CN116228551B (zh) 2025-06-27

Family

ID=86573724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211514326.7A Active CN116228551B (zh) 2022-10-21 2022-11-30 一种改进的遥感湖泊表面温度时空填补方法

Country Status (1)

Country Link
CN (1) CN116228551B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117539855B (zh) * 2023-11-16 2024-06-11 中国科学院东北地理与农业生态研究所 利用modis提取湖泊表面温度的方法
CN117475324B (zh) * 2023-11-16 2024-09-13 中国科学院东北地理与农业生态研究所 基于湖泊表面温度时间序列的湖冰物候信息提取方法
CN120047839A (zh) * 2025-01-24 2025-05-27 中国科学院东北地理与农业生态研究所 一种基于冰水像元比例的湖冰物候信息自动提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399322A (zh) * 2013-08-02 2013-11-20 中国科学院寒区旱区环境与工程研究所 一种基于modis地表温度的多年冻土图自动更新方法
CN107655574A (zh) * 2017-08-23 2018-02-02 中国科学院光电研究院 时序热红外遥感地表温度/发射率同时反演的方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3772604B2 (ja) * 1999-10-04 2006-05-10 株式会社日立製作所 監視システム
KR102739244B1 (ko) * 2018-11-20 2024-12-05 서울대학교산학협력단 해양 표층 표류부이 관측 수온자료와 인공위성 적외영상자료를 활용한 해양 표층 해수면온도 산출 방법
CN113313194B (zh) * 2021-06-17 2023-04-07 西北工业大学 一种基于线性插值偏差的推进剂制备数据缺失值填补方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399322A (zh) * 2013-08-02 2013-11-20 中国科学院寒区旱区环境与工程研究所 一种基于modis地表温度的多年冻土图自动更新方法
CN107655574A (zh) * 2017-08-23 2018-02-02 中国科学院光电研究院 时序热红外遥感地表温度/发射率同时反演的方法及系统

Also Published As

Publication number Publication date
CN116228551A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN116228551B (zh) 一种改进的遥感湖泊表面温度时空填补方法
CN116011342B (zh) 一种高分辨率热红外地表温度全天候重建方法
Xia et al. Combining kernel-driven and fusion-based methods to generate daily high-spatial-resolution land surface temperatures
Sun et al. Reconstructing daily 30 m NDVI over complex agricultural landscapes using a crop reference curve approach
CN110378858A (zh) 一种基于经验正交函数分解法的静止海洋水色卫星数据重构方法
CN110287457B (zh) 基于卫星雷达遥感数据的玉米生物量反演测算方法
Xu et al. Reconstructing all-weather land surface temperature using the bayesian maximum entropy method over the Tibetan plateau and Heihe river basin
KR20250011047A (ko) 시공간 의존성 및 표현 학습을 통한 연안 해역 해수면 온도 예측을 위한 생성적 적대 네트워크 기반 다중 소스 심층 데이터 융합 및 셀프 어텐션 기반의 2경로 접근 방법
CN116778354B (zh) 基于深度学习的可见光合成云图海上强对流云团识别方法
Fan et al. Detection of surface water temperature variations of Mongolian lakes benefiting from the spatially and temporally gap-filled MODIS data
CN107093196B (zh) 视频卫星面阵相机在轨相对辐射定标方法
CN110987063A (zh) 一种遥感监测河湖水文水生态要素的方法
CN113221997B (zh) 一种基于深度学习算法的高分影像油菜提取方法
Tang et al. Filling then spatio-temporal fusion for all-sky MODIS land surface temperature generation
Zhang et al. A novel winter wheat yield prediction framework using fused spatial–temporal-spectral (STS) information from Sentinel-2 and Landsat 8 via improved Pix2Pix network
CN111177652A (zh) 一种遥感降水数据的空间降尺度方法及系统
CN116229284A (zh) 一种基于多视角和多尺度的遥感图像时空融合方法
CN112285808A (zh) 一种aphrodite降水数据的降尺度方法
CN113779863B (zh) 一种基于数据挖掘的地表温度降尺度方法
CN109359264B (zh) 一种基于modis的叶绿素产品降尺度方法及装置
CN107576399B (zh) 面向modis林火探测的亮温预测方法和系统
Leng et al. Enhanced surface soil moisture retrieval at high spatial resolution from the integration of satellite observations and soil pedotransfer functions
CN119226955B (zh) 一种基于fy4a agri地表温度的山区气温直减率时空分布估算方法
CN102867184A (zh) 一种sar图像中海冰运动特征的提取方法
Chen et al. A unified spatial-spectral-temporal fusion model using Landsat and MODIS imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant