CN113298746A - 一种基于机器学习算法的有监督假彩色图像合成方法 - Google Patents

一种基于机器学习算法的有监督假彩色图像合成方法 Download PDF

Info

Publication number
CN113298746A
CN113298746A CN202110757895.3A CN202110757895A CN113298746A CN 113298746 A CN113298746 A CN 113298746A CN 202110757895 A CN202110757895 A CN 202110757895A CN 113298746 A CN113298746 A CN 113298746A
Authority
CN
China
Prior art keywords
channel
false color
color image
multispectral
supervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110757895.3A
Other languages
English (en)
Other versions
CN113298746B (zh
Inventor
吴铭
黄意翔
张闯
陈凯彦
粟孙鼎凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110757895.3A priority Critical patent/CN113298746B/zh
Publication of CN113298746A publication Critical patent/CN113298746A/zh
Application granted granted Critical
Publication of CN113298746B publication Critical patent/CN113298746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

一种基于机器学习算法的有监督假彩色图像合成方法涉及多光谱/高光谱影像处理技术领域，解决了现有实现复杂、适用范围窄的问题，包括：对带目标分割标签的n通道多/高光谱图像进行数据处理得到具有二分类标签的特征向量；将具有二分类标签的特征向量作为进行训练数据对XGBoost模型进行训练，XGBoost模型训练完成后，根据训练过程计算各个通道的对提取目标的重要性排序及权重；选取重要性排名在前的3个通道，根据3个通道中每个通道的权重进行像素值的缩放得到3个像素值调整后的通道图像，将3个像素值调整后的通道图像合成得到假彩色图像。本发明的任务导向性强、合成图质量高适用于任意领域多光谱/高光谱影像合成假彩色图像。

Description

一种基于机器学习算法的有监督假彩色图像合成方法
技术领域
本发明涉及遥感图像处理技术领域，具体涉及一种基于机器学习算法的有监督假彩色图像合成方法。
背景技术
在医疗、遥感等领域，利用多光谱/高光谱影像(高光谱图像比多光谱图像的波段更多，即通道数更多)合成的假彩色图像对特定目标信息的提取以及目视解译任务有重要的辅助作用，如何针对特定类别目标利用多光谱/高光谱影像合成符合目视解译需求的假彩色图像是其中至关重要的一个部分。
多光谱/高光谱图像是在电磁光谱的特定波长范围内捕获图像数据的图像。这些波长可以通过滤波器分离，也可以通过使用对特定波长敏感的仪器检测，包括来自可见光范围以外的频率的光。利用多光谱/高光谱影像可以提取人眼无法通过可见光捕捉到的额外的信息。多光谱/高光谱影像通常包含三个以上波段的影像，不同波段的光谱影像对不同类型目标有不同的敏感性，利用各个波段影像的成像特性可以提取特定感兴趣目标的信息。针对不同应用领域的需求，波段数可多至数百个。
利用三幅单通道影像数据(8bit图像)分别作为R(红)、G(绿)、B(蓝)通道输入数据进行彩色图像合成即为假彩色合成影像，利用多光谱/高光谱影像中各波段数据对不同类型目标敏感性的差异，选取合适的三个波段影像进行假彩色图像合成，能够获得使特定目标更具有辨识性的假彩色图像，从而辅助实现目视解译等任务的需求。如何选取合适波段的影像进行假彩色图合成则是该过程中的关键问题。
现有的假彩色图像合成多依赖于专业知识及主观经验人工选取适应不同需求的光谱影像数据(以遥感领域中Landsat7卫星获取的多光谱/高光谱影像数据为例，其8个波段数据中的Band4对绿色植物类别差异最敏感，处于水体强吸收区；Band5位于水的吸收带，能够较好的穿透大气、云雾；Band7处于水的强吸收带，对植物水分敏感。因此依据上述专业知识选用Band4、Band5和Band7三个通道影像数据合成假彩色图像，可用于探测云、雪和冰。)
一般在遥感、医学、农业、食品等领域会有多光谱/高光谱图像，如多光谱/高光谱遥感影像用于气象分析，医疗多光谱/高光谱成像用于探测病理成分、显示病理特征和变化，无人机采集多光谱/高光谱数据用于农作物监控与农情分析，多光谱/高光谱图像技术用于食品品质检测等。
专利申请CN201810201837.0《一种基于主成分加权假彩色合成和颜色直方图驱动的高光谱超像元分割方法》，该技术方案将高光谱图像的主要光谱信息放入假彩色图像中，对高光谱数据进行降维；将主成分加权假彩色合成图像分割成网格区域后，采用像元级和块级两个尺度对分割后的主成分加权假彩色合成图像的每一个超像元的边界进行遍历迭代，每次完整的迭代后均获得新的图像分割方案，采用直方图驱动函数对每次完整的迭代后得到的新分割方案进行评估，最终获得最佳的图像分割方案，实现对高光谱图像的超像元分割。专利申请CN201711464992.3《一种基于联合信息的高光谱图像伪彩色可视化方法》，该技术方案在考虑波段信息量的同时，增加对波段之间相关性的抑制，通过定义高光谱图像的联合信息，实现了高光谱波段信息量和相关性的统一描述。
现有技术存在如下问题：针对不同任务需求需要人工设计假彩色图合成方案，并且无法保证合成最适应任务需求的假彩色图，高光谱通道多，排列组合情况多，进一步考虑三个通道的不同权重，枚举情况太多，实现起来不现实，对相关任务的专业知识依赖程度高。
发明内容
为了解决上述问题，本发明提供一种基于机器学习算法的有监督假彩色图像合成方法。
本发明为解决技术问题所采用的技术方案如下：
一种基于机器学习算法的有监督假彩色图像合成方法，包括如下步骤：
步骤一、对带目标分割标签的n通道多光谱/高光谱图像进行数据处理得到具有二分类标签的特征向量；所述二分类标签用于目标分割，n为大于2的整数；
步骤二、将具有二分类标签的特征向量作为训练数据对XGBoost模型进行训练，XGBoost模型训练完成后，根据训练过程计算各个通道的对提取目标的重要性排序及权重；
步骤三、选取重要性排名在前的3个通道，根据所述3个通道中每个通道的权重进行像素值的缩放得到3个像素值调整后的通道图像，将3个像素值调整后的通道图像合成得到假彩色图像。
本发明的有益效果是：
1、本发明的一种基于机器学习算法的有监督假彩色图像合成方法的任务导向性强：针对不同任务目标生成不同假彩色图合成方案，自适应性强，生成的假彩色图能更好适应不同需求，任务导向性强。
2、本发明的一种基于机器学习算法的有监督假彩色图像合成方法的合成图质量高：使用机器学习方法获得假彩色图合成最佳方案，相较人工设计方案误差更小、质量更高。
3、本发明的一种基于机器学习算法的有监督假彩色图像合成方法的普适性高：本发明提出的假彩色图像合成方案可适用于任意领域多光谱/高光谱影像合成假彩色图像，不依赖于各领域专业知识，使用门槛低且更便捷。
附图说明
图1为本发明的一种基于机器学习算法的有监督假彩色图像合成方法的流程图。
图2为本发明的一种基于机器学习算法的有监督假彩色图像合成方法的单幅多光谱/高光谱图像数据格式转换示意图。
图3为本发明的一种基于机器学习算法的有监督假彩色图像合成方法的多光谱/高光谱图像中通道与特征向量(样本)的对应关系示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
一种基于机器学习算法的有监督假彩色图像合成方法，如图1所示，包括如下步骤：
下述使用的多光谱图像/高光谱图像为带有目标分割标签(即任务目标标签)的多光谱/高光谱图像。目标分割标签为二分类标签，是二值掩码/掩膜(binary mask)，用于目标分割，数值可为0/1，分别表示背景/目标。
步骤一、对n通道的多光谱/高光谱图像进行数据处理得到具有二分类标签的特征向量；二分类标签用于分割目标和背景，一类表示目标，另一类表示非目标(即背景)。下文用光谱图像表示多光谱图像或高光谱图像。
将n通道的光谱图像根据其通道数量n转换为n幅M bit图，M为大于0小于255的整数，光谱图像带有用于目标分割的二分类标签，光谱图像的像素为w×h，像素长为w，宽为h，此时二分类标签对应n通道w×h的光谱图像。按照像素位置读取每幅M bit图中各个像素位置对应的像素值，则每个像素位置可获得一个维度为1×n的特征向量，像素位置的像素值构成一个特征向量，将光谱图像转存为w×h个维度为1×n的特征向量作为样本。其中，n为大于2的整数，w×h表示光谱图像的像素，w和h均为正整数；将光谱图像对应的目标分割标签按像素位置重新分配，与w×h个特征向量(样本)进行一一对应，得到w×h个具有二分类标签的特征向量(样本)，此时二分类标签对应w×h个特征向量。
例如，图2所示，以单幅光谱图像为例，对于输入的一幅n通道尺寸为w×h的带特定类别目标分割标注的光谱图像，将其按通道存为n张8bit图，每个通道对应一张8bit图，8bit图即含有颜色数量是256个，按照像素位置分别读取n张8bit图中对应的像素值，则每个像素位置可获得一个维度为1*n的特征向量(样本)，由此则可将光谱图像转存为w×h个维度为1×n的特征向量(样本)。同时，将光谱图像的目标分割标签按照像素位置重新分配，与w×h个特征向量进行一一对应，编码为0和1(编码0表示该像素位置位于目标外部，即表示非目标；编码1表示该像素位置属于目标内部，即表示目标)，由此可得w×h个标签，每个训练样本包括一个特征向量(即样本)和一个与该特征向量对应的二分类编码值(即标签)，也就是每个训练样本为一个载有二分类编码值的特征向量(具有二分类标签的特征向量)。训练样本作为步骤二的输入，即作为模型训练的训练数据，如图3为通道与特征向量(样本)的对应关系示意图。
当输入多幅光谱图像时，同样按照上述方法对每幅光谱图像进行处理，处理所得的所有载有二分类编码值的特征向量将都作为训练样本。
步骤二、将步骤一得到的具有二分类编码值的特征向量作为进行训练数据对XGBoost模型进行训练，训练完成后，根据训练过程计算得到各个通道的重要性排序及各个通道的权重。
本实施方式中选用XGBoost(eXtreme Gradient Boosting，极端梯度提升)算法进行模型训练，XGBoost算法利用boosting思想(即将多个弱分类器集成为强分类器)，集成多个CART(Classification And Regression Trees，分类回归树)模型，得到提升树模型。利用提升树算法特点，在模型训练完成后，统计各特征向量在训练过程中被用于构建决策树的次数，可计算得到各个特征向量的重要性排序及相应的权重。根据各特征向量权重可知各个通道光谱图像的权重，依据各通道的权重可获得每个通道光谱图像对提取任务目标的重要性排序。
在训练模型部分，使用其他分类树模型及提升树模型均可以获得特征向量重要性排序及特征向量权重，也就是能获得通道重要性排序及通道权重。分类树模型不止可采用CART算法，还可采用ID3算法或C4.5算法等。提升树算法了采用GBDT(Gradient BoostingDecision Tree，梯度提升树)、LGBM(Light Gradient Boosting Machine)或CatBoost(Categorical Boosting)等。
步骤三、选取重要性排名在前的3个通道，并根据这3个通道中每个通道的重要性权重进行像素值的缩放，各通道像素值按照对应通道重要性权重进行缩放得到3个像素值调整后的通道图像，将3个像素值调整后的通道图像合成得到一幅假彩色图像，即完成了假彩图合成。
具体为利用XGBoost算法学习得到的各通道重要性排序及各通道权重，选取重要性排名前三的通道，同时各通道像素值按照对应通道重要性权重进行缩放，而后分别作为R(红)、G(绿)、B(蓝)通道输入进行假彩图合成。
本发明使用有监督机器学习方法生成假彩色图合成最佳方案，针对不同任务目标生成不同假彩色图合成方案，以XGBoost特征重要性排序反映适应不同任务目标的通道重要性，以通道权重调整相应通道像素值合成假彩色图像。
本发明的一种基于机器学习算法的有监督假彩色图像合成方法的任务导向性强：针对不同任务目标生成不同假彩色图合成方案，自适应性强，生成的假彩色图能更好适应不同需求，任务导向性强。本发明的一种基于机器学习算法的有监督假彩色图像合成方法的合成图质量高：使用机器学习方法获得假彩色图合成最佳方案，相较人工设计方案误差更小、质量更高。本发明的一种基于机器学习算法的有监督假彩色图像合成方法的普适性高：本发明提出的假彩色图像合成方案可适用于任意领域多光谱/高光谱影像合成假彩色图像，不依赖于各领域专业知识，使用门槛低且更便捷。

Claims (7)

1.一种基于机器学习算法的有监督假彩色图像合成方法，其特征在于，包括如下步骤：
步骤一、对带二分类标签的n通道多光谱/高光谱图像进行数据处理得到具有二分类标签的特征向量；所述二分类标签用于目标分割，n为大于2的整数；
步骤二、将具有二分类标签的特征向量作为进行训练数据对XGBoost模型进行训练，XGBoost模型训练完成后，根据训练过程计算各个通道的对提取目标的重要性排序及权重；
步骤三、选取重要性排名在前的3个通道，根据所述3个通道中每个通道的权重进行像素值的缩放得到3个像素值调整后的通道图像，将3个像素值调整后的通道图像合成得到假彩色图像。
2.如权利要求1所述的一种基于机器学习算法的有监督假彩色图像合成方法，其特征在于，所述步骤一具体过程为：将n通道的多光谱/高光谱图像根据其通道数量n转换为n幅Mbit图，所述多光谱/高光谱图像带有目标分割标签，多光谱/高光谱图像的像素为w×h，按照像素位置读取每幅M bit图中各个像素位置对应的像素值，则每个像素位置获得一个维度为1×n的特征向量，将多光谱/高光谱图像转存为w×h个维度为1×n的特征向量，其中，w×h表示多光谱/高光谱图像的像素，w和h均为正整数，M为大于0小于255的整数；
将多光谱/高光谱图像对应的目标分割标签按照像素位置重新分配，使得目标分割标签与w×h个维度为1×n的特征向量进行一一对应，得到w×h个具有二分类标签的特征向量。
3.如权利要求2所述的一种基于机器学习算法的有监督假彩色图像合成方法，其特征在于，所述二分类标签包括编码0和编码1，编码0表示像素位置位于目标外部，编码1表示像素位置位于目标内部。
4.如权利要求1所述的一种基于机器学习算法的有监督假彩色图像合成方法，其特征在于，在所述XGBoost模型训练完成后，通过统计各特征向量在训练过程中被用于构建决策树的次数，能够计算得到各个特征向量的重要性排序及各个特征向量的权重，依据各特征向量权重能够获得各个通道的光谱图像对提取目标的重要性排序及权重。
5.如权利要求1所述的一种基于机器学习算法的有监督假彩色图像合成方法，其特征在于，所述步骤三中3个像素值调整后的通道图像作为R通道、G通道、B通道输入进行假彩色图像的合成。
6.如权利要求1所述的一种基于机器学习算法的有监督假彩色图像合成方法，其特征在于，所述XGBoost模型训练中的分类树模型采用CART算法、ID3算法或C4.5算法。
7.如权利要求1所述的一种基于机器学习算法的有监督假彩色图像合成方法，其特征在于，所述提升树算法采用GBDT、LGBM或CatBoost。
CN202110757895.3A 2021-07-05 2021-07-05 一种基于机器学习算法的有监督假彩色图像合成方法 Active CN113298746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110757895.3A CN113298746B (zh) 2021-07-05 2021-07-05 一种基于机器学习算法的有监督假彩色图像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110757895.3A CN113298746B (zh) 2021-07-05 2021-07-05 一种基于机器学习算法的有监督假彩色图像合成方法

Publications (2)

Publication Number Publication Date
CN113298746A true CN113298746A (zh) 2021-08-24
CN113298746B CN113298746B (zh) 2022-10-28

Family

ID=77330463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110757895.3A Active CN113298746B (zh) 2021-07-05 2021-07-05 一种基于机器学习算法的有监督假彩色图像合成方法

Country Status (1)

Country Link
CN (1) CN113298746B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147558A1 (en) * 2002-02-07 2003-08-07 Loui Alexander C. Method for image region classification using unsupervised and supervised learning
CN104102929A (zh) * 2014-07-25 2014-10-15 哈尔滨工业大学 基于深度学习的高光谱遥感数据分类方法
CN110675462A (zh) * 2019-09-17 2020-01-10 天津大学 一种基于卷积神经网络的灰度图像彩色化方法
CN111814685A (zh) * 2020-07-09 2020-10-23 西安电子科技大学 基于双支路卷积自编码器的高光谱图像分类方法
CN112950231A (zh) * 2021-03-19 2021-06-11 广州瀚信通信科技股份有限公司 一种基于XGBoost算法的异常用户识别方法、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147558A1 (en) * 2002-02-07 2003-08-07 Loui Alexander C. Method for image region classification using unsupervised and supervised learning
CN104102929A (zh) * 2014-07-25 2014-10-15 哈尔滨工业大学 基于深度学习的高光谱遥感数据分类方法
CN110675462A (zh) * 2019-09-17 2020-01-10 天津大学 一种基于卷积神经网络的灰度图像彩色化方法
CN111814685A (zh) * 2020-07-09 2020-10-23 西安电子科技大学 基于双支路卷积自编码器的高光谱图像分类方法
CN112950231A (zh) * 2021-03-19 2021-06-11 广州瀚信通信科技股份有限公司 一种基于XGBoost算法的异常用户识别方法、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈玉春 等: "一种基于HSI空间的异类传感器假彩色图像融合算法", 《计算机应用》 *

Also Published As

Publication number Publication date
CN113298746B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
Tan et al. Recognising blueberry fruit of different maturity using histogram oriented gradients and colour features in outdoor scenes
Zhu et al. In-field automatic observation of wheat heading stage using computer vision
CN114120037B (zh) 一种基于改进yolov5模型的发芽马铃薯图像识别方法
CN107392130B (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
Okamoto et al. Green citrus detection using hyperspectral imaging
Abdalla et al. Nutrient status diagnosis of infield oilseed rape via deep learning-enabled dynamic model
CN109063754B (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
He et al. A robust method for wheatear detection using UAV in natural scenes
Concepcion et al. Estimation of photosynthetic growth signature at the canopy scale using new genetic algorithm-modified visible band triangular greenness index
CN112699756B (zh) 一种基于高光谱图像的茶叶原产地识别方法和系统
Zhang et al. Cloud detection method using CNN based on cascaded feature attention and channel attention
Bhookya et al. Yield estimation of Chilli crop using image processing techniques
Rao et al. Automatic auroral detection in color all-sky camera images
CN109784205B (zh) 一种基于多光谱巡检图像的杂草智能识别方法
Li et al. Temporal attention networks for multitemporal multisensor crop classification
CN110516648B (zh) 基于无人机遥感和模式识别的苎麻株数识别方法
CN114965501A (zh) 基于冠层参数处理的花生病害检测与产量预测方法
Wohlfarth et al. Dense cloud classification on multispectral satellite imagery
CN112818880B (zh) 基于深度学习的航拍图像植被提取与分类方法
CN113298746B (zh) 一种基于机器学习算法的有监督假彩色图像合成方法
CN116863341A (zh) 基于时间序列卫星遥感影像的作物分类和识别方法和系统
CN108416297A (zh) 一种基于叶绿素荧光的植被信息快速识别方法
Du et al. Diagnostic model for wheat leaf conditions using image features and a support vector machine
CN113989509B (zh) 基于图像识别的农作物虫害检测方法、检测系统及设备
CN110135481B (zh) 一种农作物病变检测方法以及检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant