CN113255451B - 遥感图像的变化检测方法、装置、电子设备及存储介质 - Google Patents
遥感图像的变化检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113255451B CN113255451B CN202110450313.7A CN202110450313A CN113255451B CN 113255451 B CN113255451 B CN 113255451B CN 202110450313 A CN202110450313 A CN 202110450313A CN 113255451 B CN113255451 B CN 113255451B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- network structure
- image
- network
- change detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种遥感图像的变化检测方法、装置、电子设备及存储介质,该方法包括:获取具有不同时相的第一待处理图像和第二待处理图像;将第一待处理图像及第二待处理图像输入变化检测模型,并获得变化检测模型输出的变化检测结果;根据变化检测结果,确定第一待处理图像和第二待处理图像中的地表变化。由于变化检测模型是预先利用多个第一类训练样本,按照预设网络性能评价策略以及预设网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分网络结构进行交叉、变异得到的神经网络模型,因而通过网络结构搜索策略实现了自动获取可用于实现遥感图像变化检测的最优全连接网络结构,进而解决人工设计网络结构耗时耗力的问题。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种遥感图像的变化检测方法、装置、电子设备及存储介质。
背景技术
随着遥感技术的不断发展,以合成孔径雷达(Synthetic Aperture Radar,SAR)为代表的主动式微波传感器得到了广泛应用。相较于光学遥感成像易受到天气变化、光照、云层遮挡等因素的影响,SAR成像则几乎不受空气状况和天气因素的限制,甚至可以在夜晚进行工作。
近年来,由于深度学习技术的兴起以及对神经网络这一机器学习方法的深入研究,利用神经网络对差异图进行分析、甚至在不产生差异图的情况下直接对多时相遥感图像提取差异特征信息,并进行分析和分类,已成为遥感影像变化检测领域的热点。相关技术中,基于深度学习的遥感图像变化检测方法中,使用的神经网络都有一个预先确定的网络结构,但不同遥感数据集的数据组成的复杂程度的不同使其对于网络结构的要求也不相同,这使得基于固定神经网络结构的遥感图像变化检测算法在不同数据集上的检测效果不稳定且不理想,而如果仅依靠人工进行网络结构的设计又十分耗时费力。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种遥感图像的检测方法、装置、电子设备及存储介质。本发明要解决的技术问题通过以下技术方案实现:
第一方面,本发明实施例提供一种遥感图像的变化检测方法,包括:
获取具有不同时相的第一待处理图像和第二待处理图像;
将所述第一待处理图像及所述第二待处理图像输入变化检测模型,并获得所述变化检测模型输出的变化检测结果;所述变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分所述网络结构进行交叉、变异得到的神经网络模型;
根据所述变化检测结果,确定所述第一待处理图像和所述第二待处理图像中的地表变化。
在本发明的一个实施例中,所述变化检测模型采用如下步骤训练得到:
根据预设的网络结构编码方式,对网络结构种群进行初始化,得到第一种群,所述第一种群包括多个第一网络结构;
每次迭代过程中,随机选取所述第一种群中的至少部分第一网络结构作为母体进行交叉和变异,获得新生成的多个第二网络结构;
将预设数量个所述第一类训练样本输入至所述第一网络结构和所述第二网络结构,对所述第一网络结构及所述第二网络结构进行性能评价,并根据性能评价的得分从所述第一网络结构和所述第二网络结构中确定多个第三网络结构;其中,所述第三网络结构的数量与所述第一网络结构的数量相等;
判断迭代次数是否达到预设迭代次数;如果是,则对各个所述第三网络结构进行性能评价,对性能评价得分最低的第三网络结构解码,并确定第三网络结构中输入层和输出层中的神经元个数,得到训练完成的变化检测模型;其中,性能评价的得分越低,则表示所述第一网络结构、所述第二网络结构或所述第三网络结构的性能越好;
如果否,则将所述多个第三网络结构作为第一种群,并返回每次迭代过程中,随机选取所述第一种群中的至少部分第一网络结构作为母体进行交叉和变异,获得新生成的多个第二网络结构的步骤。
在本发明的一个实施例中,按照如下公式对所述网络结构进行性能评价:
式中,D表示所述网络结构的网络深度,S1,S2,…,SD表示所述网络结构第1层、第2层、……、第D层中每层的神经元个数,S表示所述网络结构中每层神经元个数的集合,F表示所述网络结构性能评价的得分,其中,F∈(1,20),所述网络结构为所述第一网络结构、所述第二网络结构或所述第三网络结构中的一者。
在本发明的一个实施例中,所述第一类训练样本采用如下步骤得到:
获取第二类训练样本,所述第二类训练样本包括多个第一遥感图像、以及分别与多个第一遥感图像对应的第二遥感图像,所述第一遥感图像和对应的所述第二遥感图像具有不同时相;
获取所述第一遥感图像的第一特征样本、以及与第一遥感图像对应的第二遥感图像的第二特征样本,将所述第一特征样本与所述第二特征样本拼接后得到第三特征样本;
对所述第一遥感图像和对应的第二遥感图像进行预变化检测,并根据所述预变化检测结果确定所述第三特征样本对应的伪标签。
在本发明的一个实施例中,所述获取所述第一遥感图像的第一特征样本、以及与第一遥感图像对应的第二遥感图像的第二特征样本,将所述第一特征样本与所述第二特征样本拼接后得到第三特征样本的步骤,包括:
以所述第一遥感图像的任一像素点为中心像素点、利用预设窗口确定所述中心像素点的邻域,并将所述邻域内各个像素点的像素值按行展开成一维向量,得到所述中心像素点的特征样本;
利用所述预设窗口遍历所述第一遥感图像的所有像素点,获得第一特征样本;
以所述第二遥感图像的任一像素点为中心像素点、利用预设窗口确定所述中心像素点的邻域,并将所述邻域内各个像素点的像素值按行展开成一维向量,得到所述中心像素点的特征样本;
利用所述预设窗口遍历所述第二遥感图像的所有像素点,获得第二特征样本;
对所述第一特征样本和所述第二特征样本进行拼接,得到第三特征样本。
在本发明的一个实施例中,所述对所述第一遥感图像和对应的第二遥感图像进行预变化检测,并根据所述预变化检测结果确定所述第三特征样本对应的伪标签的步骤,包括:
确定所述第一遥感图像和所述第二遥感图像的差异图;
根据所述差异图,对所述第一遥感图像及对应的所述第二遥感图像进行预变化检测;
根据所述预变化检测结果,从所述第三特征样本中确定第一类训练样本;其中,所述第一类训练样本包括伪标签为变化类的像素点、和伪标签为未变化类的像素点。
在本发明的一个实施例中,所述根据所述预变化检测结果,从所述第三特征样本中确定第一类训练样本的步骤,包括:
判断所述差异图中的像素点是否满足如下的第一条件;若满足第一条件,则将所述像素点的伪标签确定为变化类:
Ni,j[(i,j)∈Mij,(i,j)∈wij,wij=wc]>Pc;
若不满足第一条件,则判断该像素点满足是否满足如下第二条件;若满足第二条件,则将该像素点的伪标签确定为非变化类;
Ni,j[(i,j)∈Mij,(i,j)∈wij,wij=wu]>Pu;
若所述像素点不满足所述第一条件及所述第二条件,则该像素点不被选为第一类训练样本;
式中,(i,j)表示遍历时所述差异图中位于第i行、第j列的像素点,Mij表示以像素点(i,j)为中心像素点的邻域,wij表示所述差异图内中心像素点的类别,wc表示变化类,wu表示未变化类,Pc和Pu为预设的控制训练样本选择的参数,Ni,j表示以像素点(i,j)为中心像素点的邻域内满足[]内条件的像素点数,其中,Pc=7,Pu=8。
第二方面,本发明实施例提供一种遥感图像的变化检测装置,包括:
获取模块,用于获取具有不同时相的第一待处理图像和第二待处理图像;
检测模块,用于将所述第一待处理图像及所述第二待处理图像输入变化检测模型,并获得所述变化检测模型输出的变化检测结果;所述变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分所述网络结构进行交叉、变异得到的神经网络模型;
确定模块,用于根据所述变化检测结果,确定所述第一待处理图像和所述第二待处理图像中的地表变化。
第三方面,本发明实施例提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法步骤。
本发明的有益效果:
在本发明提供的遥感图像的变化检测方法中,由于变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分网络结构进行交叉、变异得到的神经网络模型,因而通过网络结构搜索策略实现了自动获取可用于实现遥感图像变化检测的最优全连接网络结构,进而解决人工设计网络结构耗时耗力的问题。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的遥感图像的变化检测方法的一种示意图;
图2是本发明实施例提供的遥感图像的变化检测方法的另一种示意图;
图3是本发明实施例提供的遥感图像的变化检测方法中交叉变异的一种示意图;
图4是本发明实施例提供的遥感图像的变化检测方法中交叉变异的另一种示意图;
图5是本发明实施例提供的遥感图像的变化检测方法的另一种示意图;
图6是本发明实施例提供的遥感图像的变化检测方法的另一种示意图;
图7是本发明实施例提供的遥感图像的变化检测装置的另一种结构示意图;
图8是本发明实施例提供的电子设备的一种示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
如图1所示,本发明实施例提供的遥感图像的变化检测方法,包括:
S101,获取具有不同时相的第一待处理图像和第二待处理图像;
S102,将第一待处理图像及第二待处理图像输入变化检测模型,并获得变化检测模型输出的变化检测结果;变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分所述网络结构进行交叉、变异得到的神经网络模型;
S103,根据变化检测结果,确定第一待处理图像和第二待处理图像中的地表变化。
本实施例中,第一待处理图像和第二待处理图像均为遥感图像,且二者具有不同的时相,即第一待处理图像与第二待处理图像为不同时间内同一地区的影像。具体地,在获取第一待处理图像和第二待处理图像后,将两幅遥感图像输入预先训练好的变化检测模型,进而可根据变化检测结果定量分析地表变化。
由于变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分网络结构进行交叉、变异得到的神经网络模型,因而通过网络结构搜索策略实现了自动获取可用于实现遥感图像变化检测的最优全连接网络结构,进而解决人工设计网络结构耗时耗力的问题。
可选地,请参见图2,上述变化检测模型采用如下步骤训练得到:
S201,根据预设的网络结构编码方式,对网络结构种群进行初始化,得到第一种群,第一种群包括多个第一网络结构;
S202,每次迭代过程中,随机选取第一种群中的至少部分第一网络结构作为母体进行交叉和变异,获得新生成的多个第二网络结构;
S203,将预设数量个第一类训练样本输入至第一网络结构和第二网络结构,对第一网络结构及第二网络结构进行性能评价,并根据性能评价的得分从第一网络结构和第二网络结构中确定多个第三网络结构;其中,第三网络结构的数量与第一网络结构的数量相等;
S204,判断迭代次数是否达到预设迭代次数;
S205,如果是,则对各个第三网络结构进行性能评价,对性能评价得分最低的第三网络结构解码,并确定第三网络结构中输入层和输出层中的神经元个数,得到训练完成的变化检测模型;其中,性能评价的得分越低,则表示第一网络结构、第二网络结构或第三网络结构的性能越好;
S206,如果否,则将多个第三网络结构作为第一种群,并返回上述步骤S202,执行每次迭代过程中,随机选取第一种群中的至少部分第一网络结构作为母体进行交叉和变异,获得新生成的多个第二网络结构的步骤。
需要说明的是,由于在本实施例提供的遥感图像的变化检测方法中,网络结构的输入层神经元个数与输入的第一类训练样本的长度一致、且输出层神经元个数与变化检测的分类(包括变化类和非变化类)数量一致,因此本实施例仅对网络结构的隐藏层数量、以及每个隐藏层所包含的神经元数量进行编码。
具体地,以第一种群的种群规模是N为例,首先随机生成一个整数n,整数n应大于第一网络结构的最小深度、且小于第一网络结构的最大深度,整数n表示初始化时第一种群中任意一个第一网络结构的深度;然后,随机生成n个整数(x1,x2,…,xn),这n个整数组成一维向量X=(x1,x2,…,xn),该一维向量表示深度为n的第一网络结构中每层网络包含的神经元个数,其中,x1、x2、…、xn大于每层网络包含的神经元最小数目、且小于每层网络包含的神经元最大数目,如此可得到初始化完成的一个第一网络结构。
进一步地,重复N次上述操作,则可完成种群规模为N的第一种群的初始化。
请结合图2及图3,上述步骤S202中,从第一种群中随机选取至少部分第一网络结构作为母体,先对M个母体做基于顺序匹配的交叉操作,再对经过交叉操作的第一网络结构个体进行变异操作,获得新生成的第二网络结构,并对第一网络结构和新生成的第二网络结构进行性能评价,记录相应数据。具体来说,当迭代次数k=1时,从初始化完成的第一种群中随机选取M个第一网络结构作为母体,首先将M个母体进行随机的两两配对,得到配对成功的两个第一网络结构的编码序列(Xi,Xj),i≠j;然后,将已配对的两个第一网络结构的编码序列(Xi,Xj)进行随机对齐,较短的编码序列Xi=(xi1,xi2,...,xik)中的每一个元素必须在较长的编码序列Xj=(xj1,xj2,...,xjl)中有一个对应点,即在Xi=(xi1,xi2,...,xik)中的每一个元素都在Xj=(xj1,xj2,...,xjl)中都能找到对应点,其中,xi1对应Xj中的xji,xik对应Xj中的xj(i+k),且(i+k)≤l。最后,遍历较短的编码序列Xi=(xi1,xi2,...,xik)的每一个元素,以一定的交叉概率Pc决定在第m个元素xim是否与另一编码序列Xj=(xj1,xj2,...,xji,...,xjl)相对应位置的元素xj(i+m)进行交换;若决定交换,则将处于交叉点的两个第一网络结构的编码序列上的元素对相交换,即将xim和xj(i+m)交换,生成两个新的网络结构X′i=(xi1,xi2,...,xj(i+m),...,xik)和X′j=(xj1,xj2,...,xim,...,xjl)。若不交换,则直接进行下一步操作。
可选地,请参见图4,变异操作包含三种方式:添加一层隐藏层、删除一层隐藏层或改变隐藏层的神经元个数。对于一个第一网络结构Xr的变异操作具体步骤为:首先,遍历该第一网络结构编码序列Xr=(xr1,xr2,...,xrp),以预设的变异概率寻找变异点。其次,通过抽签的方法为每一个变异点选择变异方式,也就是说,若xri为一个变异点,则通过抽签确定变异方式。最后,在变异点执行相应的变异操作,生成新的网络结构X′r=(xr1,xr2,...,x′ri,...,xrp)。仍以图4为例,H1、H2、H3、......、H7分别表示第1层隐藏层、第2层隐藏层、第3层隐藏层、......、第7层隐藏层的神经元个数,确变异点后,通过抽签确定变异方式,若所选的变异方式为改变隐藏层的神经元个数,则在预设范围内随机选取一个数值,并将H2中的神经元个数改变为该数值。
对每组母体都进行上述交叉操作和变异操作后,获得新生成的第二网络结构。用第一类训练样本训练每个第一网络结构和新生成的第二网络结构,并获得每个第一网络结构及第二网络结构的权重和偏差,以进行网络性能评价。
而后将第一种群中的第一网络结构与新生成的第二网络结构合并,并根据性能评价的得分对所有网络结构进行排序,基于二元锦标赛算法从中确定出性能评价最好的N个网络结构,作为第三网络结构。
可选地,在比较多个网络结构的性能时,首先比较各网络结构的网络损失函数,网络损失函数越小,则该网络结构的网络性能越好,因此应优先选择网络损失函数更小的网络结构。当两个网络结构的网络损失函数差异较小时,则比较两个网络结构的网络结构性能,例如可使用网络结构中神经元的数目来评价网络结构的简易,神经元个数越少,则网络结构越简单,因此选取结构更简单的网络结构重新作为第一种群中的个体。
令迭代次数为k=k+1,如果k等于预设迭代次数,则输出性能评价最好的第三网络结构,并从个体编码状态解码为真实网络结构状态,并根据输入第三网络结构的第一类训练样本的长度和分类类别数设置输入层和输出层,获得训练完成的变化检测模型。
应当理解,网络结构是影响网络性能的一个重要因素,当两个网络结构的学习能力相同时,显然选择结构越简单的网络结构收益越高,这意味着结构更简单的网络可以使用更少的计算资源和更快的速度,以在保证检测效果的前提下完成变化检测任务。但是,网络结构越深,所提取的特征越抽象,越能提取到深度特征、网络鲁棒性也越强,有利于能更好的表示两幅遥感图像的差异,但是随着网络深度的加深,网络的神经元总数也会变多。本实施例中,可按照如下公式对网络结构进行性能评价:
式中,D表示网络结构的网络深度,S1,S2,…,SD表示网络结构第1层、第2层、……、第D层中每层的神经元个数,S表示网络结构中每层神经元个数的集合,F表示网络结构性能评价的得分,其中,F∈(1,20),网络结构为第一网络结构、第二网络结构或第三网络结构中的一者。
可选地,第一类训练样本采用如下步骤得到:
S501,获取第二类训练样本,第二类训练样本包括多个第一遥感图像、以及分别与多个第一遥感图像对应的第二遥感图像,第一遥感图像和对应的第二遥感图像具有不同时相;
S502,获取第一遥感图像的第一特征样本、以及与第一遥感图像对应的第二遥感图像的第二特征样本,将第一特征样本与第二特征样本拼接后得到第三特征样本;
S503,对第一遥感图像和对应的第二遥感图像进行预变化检测,并根据预变化检测结果确定第三特征样本对应的伪标签。
进一步地,在上述步骤S502中,获取第一遥感图像的第一特征样本、以及与第一遥感图像对应的第二遥感图像的第二特征样本,将第一特征样本与第二特征样本拼接后得到第三特征样本的步骤,包括:
S601,以第一遥感图像的任一像素点为中心像素点、利用预设窗口确定中心像素点的邻域,并将邻域内各个像素点的像素值按行展开成一维向量,得到中心像素点的特征样本;
S602,利用预设窗口遍历第一遥感图像的所有像素点,获得第一特征样本;
S603,以第二遥感图像的任一像素点为中心像素点、利用预设窗口确定中心像素点的邻域,并将邻域内各个像素点的像素值按行展开成一维向量,得到中心像素点的特征样本;
S604,利用预设窗口遍历第二遥感图像的所有像素点,获得第二特征样本;
S605,对第一特征样本和第二特征样本进行拼接,得到第三特征样本。
具体而言,提取第一遥感图像的第一特征样本时,若第一遥感图像的尺寸为row×col,那么在第一遥感图像中任取一点(i,j),以(i,j)为中心像素点、以n×n的预设窗口取该中心像素点的邻域并将所得到的邻域内各个像素点的像素值按行展开成长度为n2的一维向量,该一维向量即为中心像素点(i,j)的特征样本然后,利用n×n大小的预设窗口按此方法遍历第一遥感图像中的所有像素点,并得到第一遥感图像的第一特征样本
在上述步骤S405中,将第一遥感图像的第一特征样本T1和第二遥感图像的第二特征样本T2按照提取位置对应关系一一拼接起来,进而可得到第三特征样本。
具体地,利用n×n大小的预设窗口获取第一特征样本T1和第二特征样本T2后,第一特征样本T1和第二特征样本T2中均包含row×col个特征样本(第一遥感图像/第二遥感图像中各个像素点的特征样本),将第一遥感图像中的像素点(i,j)与第二遥感图像中相同位置的像素点(i,j)进行拼接,得到长度为2n2的一维向量,按照上述方式对第一遥感图像和第二遥感图像中的各个像素点拼接后,会得到row×col个长度为2n2的一维向量,将这些一维向量放在一个矩阵当中,即可得到row×col×2n2的第三特征样本。
示例性地,预设窗口的大小为3×3。
可选地,上述步骤S503中,对第一遥感图像和对应的第二遥感图像进行预变化检测,并根据预变化检测结果确定第三特征样本对应的伪标签的步骤,包括:
确定第一遥感图像和第二遥感图像的差异图;
根据差异图,对第一遥感图像及对应的第二遥感图像进行预变化检测;
根据预变化检测结果,从第三特征样本中确定第一类训练样本;其中,第一类训练样本包括伪标签为变化类的像素点、和伪标签为未变化类的像素点。
本实施例中,对第一遥感图像和第二遥感图像使用无监督变化检测算法模糊C均值方法(Fuzzy C-means,FCM)得到二者的差异图,再将差异图通过变化向量分析(ChangeVectorAnalysis,CVA)方法得到预变化检测结果,以确定第一类训练样本。
具体地,根据预变化检测结果,从第三特征样本中确定第一类训练样本的步骤,包括:
判断差异图中的像素点是否满足如下的第一条件;若满足第一条件,则将像素点的伪标签确定为变化类:
Ni,j[(i,j)∈Mij,(i,j)∈wij,wij=wc]>Pc;
若不满足第一条件,则判断该像素点满足是否满足如下第二条件;若满足,则将该像素点的伪标签确定为非变化类;
Ni,j[(i,j)∈Mij,(i,j)∈wij,wij=wu]>Pu;
若像素点不满足第一条件、也不满足第二条件,则该像素点不被选为第一类训练样本;
式中,(i,j)表示遍历时差异图中位于第i行、第j列的像素点,Mij表示以像素点(i,j)为中心像素点的邻域,wij表示差异图内中心像素点的类别,wc表示变化类,wu表示未变化类,Pc和Pu为预设的控制训练样本选择的参数,Ni,j表示以像素点(i,j)为中心像素点的邻域内满足[]内条件的像素点数,其中,Pc=7,Pu=8。
需要说明的是,本实施例中预设的控制训练样本选择的参数Pc、Pu可根据实际需要灵活设置,本申请对此不做限定。
基于同一发明构思,如图7所示,本发明实施例提供了一种遥感图像的变化检测装置,包括:
获取模块710,用于获取具有不同时相的第一待处理图像和第二待处理图像;
检测模块720,用于将第一待处理图像及第二待处理图像输入变化检测模型,并获得变化检测模型输出的变化检测结果;变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分网络结构进行交叉、变异得到的神经网络模型;
确定模块730,用于根据变化检测结果,确定第一待处理图像和第二待处理图像中的地表变化。
本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,
存储器803,用于存放计算机程序;
处理器801,用于执行存储器803上所存放的程序时,实现如下步骤:
获取具有不同时相的第一待处理图像和第二待处理图像;
将所述第一待处理图像及所述第二待处理图像输入变化检测模型,并获得所述变化检测模型输出的变化检测结果;所述变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分所述网络结构进行交叉、变异得到的神经网络模型;
根据所述变化检测结果,确定所述第一待处理图像和所述第二待处理图像中的地表变化。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的方法可以应用于电子设备。具体的,该电子设备可以为:台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定,任何可以实现本发明的电子设备,均属于本发明的保护范围。
对于装置/电子设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,本发明实施例的装置、电子设备及存储介质分别是应用上述遥感图像的变化检测方法的装置、电子设备及存储介质,则上述遥感图像的变化检测方法的所有实施例均适用于该装置、电子设备及存储介质,且均能达到相同或相似的有益效果。
该终端设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子装置。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
本领域技术人员应明白,本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式,这里将它们都统称为“模块”或“系统”。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中,与其它硬件一起提供或作为硬件的一部分,也可以采用其他分布形式,如通过Internet或其它有线或无线电信系统。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (8)
1.一种遥感图像的变化检测方法,其特征在于,包括:
获取具有不同时相的第一待处理图像和第二待处理图像;
将所述第一待处理图像及所述第二待处理图像输入变化检测模型,并获得所述变化检测模型输出的变化检测结果;所述变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分所述网络结构进行交叉、变异得到的神经网络模型;
根据所述变化检测结果,确定所述第一待处理图像和所述第二待处理图像中的地表变化;
所述变化检测模型采用如下步骤训练得到:
根据预设的网络结构编码方式,对网络结构种群进行初始化,得到第一种群,所述第一种群包括多个第一网络结构;
每次迭代过程中,随机选取所述第一种群中的至少部分第一网络结构作为母体进行交叉和变异,获得新生成的多个第二网络结构;
将预设数量个所述第一类训练样本输入至所述第一网络结构和所述第二网络结构,对所述第一网络结构及所述第二网络结构进行性能评价,并根据性能评价的得分从所述第一网络结构和所述第二网络结构中确定多个第三网络结构;其中,所述第三网络结构的数量与所述第一网络结构的数量相等;
判断迭代次数是否达到预设迭代次数;如果是,则对各个所述第三网络结构进行性能评价,对性能评价得分最低的第三网络结构解码,并确定第三网络结构中输入层和输出层中的神经元个数,得到训练完成的变化检测模型;其中,性能评价的得分越低,则表示所述第一网络结构、所述第二网络结构或所述第三网络结构的性能越好;
如果否,则将所述多个第三网络结构作为第一种群,并返回每次迭代过程中,随机选取所述第一种群中的至少部分第一网络结构作为母体进行交叉和变异,获得新生成的多个第二网络结构的步骤;
所述第一类训练样本采用如下步骤得到:
获取第二类训练样本,所述第二类训练样本包括多个第一遥感图像、以及分别与多个第一遥感图像对应的第二遥感图像,所述第一遥感图像和对应的所述第二遥感图像具有不同时相;
获取所述第一遥感图像的第一特征样本、以及与第一遥感图像对应的第二遥感图像的第二特征样本,将所述第一特征样本与所述第二特征样本拼接后得到第三特征样本;
对所述第一遥感图像和对应的第二遥感图像进行预变化检测,并根据所述预变化检测结果确定所述第三特征样本对应的伪标签,所述第一类训练样本包括伪标签为变化类的像素点、和伪标签为未变化类的像素点。
3.根据权利要求1所述的遥感图像的变化检测方法,其特征在于,所述获取所述第一遥感图像的第一特征样本、以及与第一遥感图像对应的第二遥感图像的第二特征样本,将所述第一特征样本与所述第二特征样本拼接后得到第三特征样本的步骤,包括:
以所述第一遥感图像的任一像素点为中心像素点、利用预设窗口确定所述中心像素点的邻域,并将所述邻域内各个像素点的像素值按行展开成一维向量,得到所述中心像素点的特征样本;
利用所述预设窗口遍历所述第一遥感图像的所有像素点,获得第一特征样本;
以所述第二遥感图像的任一像素点为中心像素点、利用预设窗口确定所述中心像素点的邻域,并将所述邻域内各个像素点的像素值按行展开成一维向量,得到所述中心像素点的特征样本;
利用所述预设窗口遍历所述第二遥感图像的所有像素点,获得第二特征样本;
对所述第一特征样本和所述第二特征样本进行拼接,得到第三特征样本。
4.根据权利要求3所述的遥感图像的变化检测方法,其特征在于,所述对所述第一遥感图像和对应的第二遥感图像进行预变化检测,并根据所述预变化检测结果确定所述第三特征样本对应的伪标签的步骤,包括:
确定所述第一遥感图像和所述第二遥感图像的差异图;
根据所述差异图,对所述第一遥感图像及对应的所述第二遥感图像进行预变化检测;
根据所述预变化检测结果,从所述第三特征样本中确定第一类训练样本。
5.根据权利要求4所述的遥感图像的变化检测方法,其特征在于,所述根据所述预变化检测结果,从所述第三特征样本中确定第一类训练样本的步骤,包括:
判断所述差异图中的像素点是否满足如下的第一条件;若满足第一条件,则将所述像素点的伪标签确定为变化类:
Ni,j[(i,j)∈Mij,(i,j)∈wij,wij=wc]>Pc;
若不满足第一条件,则判断该像素点满足是否满足如下第二条件;若满足第二条件,则将该像素点的伪标签确定为非变化类;
Ni,j[(i,j)∈Mij,(i,j)∈wij,wij=wu]>Pu;
若所述像素点不满足所述第一条件及所述第二条件,则该像素点不被选为第一类训练样本;
式中,(i,j)表示遍历时所述差异图中位于第i行、第j列的像素点,Mij表示以像素点(i,j)为中心像素点的邻域,wij表示所述差异图内中心像素点的类别,wc表示变化类,wu表示未变化类,Pc和Pu为预设的控制训练样本选择的参数,Ni,j表示以像素点(i,j)为中心像素点的邻域内满足[]内条件的像素点数,其中,Pc=7,Pu=8。
6.一种遥感图像的变化检测装置,其特征在于,包括:
获取模块,用于获取具有不同时相的第一待处理图像和第二待处理图像;
检测模块,用于将所述第一待处理图像及所述第二待处理图像输入变化检测模型,并获得所述变化检测模型输出的变化检测结果;所述变化检测模型是预先利用多个第一类训练样本,按照预设的网络性能评价策略以及预设的网络结构搜索策略,对每次迭代得到的网络结构进行性能评价后,选取至少部分所述网络结构进行交叉、变异得到的神经网络模型;
确定模块,用于根据所述变化检测结果,确定所述第一待处理图像和所述第二待处理图像中的地表变化;
所述变化检测模型采用如下步骤训练得到:
根据预设的网络结构编码方式,对网络结构种群进行初始化,得到第一种群,所述第一种群包括多个第一网络结构;
每次迭代过程中,随机选取所述第一种群中的至少部分第一网络结构作为母体进行交叉和变异,获得新生成的多个第二网络结构;
将预设数量个所述第一类训练样本输入至所述第一网络结构和所述第二网络结构,对所述第一网络结构及所述第二网络结构进行性能评价,并根据性能评价的得分从所述第一网络结构和所述第二网络结构中确定多个第三网络结构;其中,所述第三网络结构的数量与所述第一网络结构的数量相等;
判断迭代次数是否达到预设迭代次数;如果是,则对各个所述第三网络结构进行性能评价,对性能评价得分最低的第三网络结构解码,并确定第三网络结构中输入层和输出层中的神经元个数,得到训练完成的变化检测模型;其中,性能评价的得分越低,则表示所述第一网络结构、所述第二网络结构或所述第三网络结构的性能越好;
如果否,则将所述多个第三网络结构作为第一种群,并返回每次迭代过程中,随机选取所述第一种群中的至少部分第一网络结构作为母体进行交叉和变异,获得新生成的多个第二网络结构的步骤;
所述第一类训练样本采用如下步骤得到:
获取第二类训练样本,所述第二类训练样本包括多个第一遥感图像、以及分别与多个第一遥感图像对应的第二遥感图像,所述第一遥感图像和对应的所述第二遥感图像具有不同时相;
获取所述第一遥感图像的第一特征样本、以及与第一遥感图像对应的第二遥感图像的第二特征样本,将所述第一特征样本与所述第二特征样本拼接后得到第三特征样本;
对所述第一遥感图像和对应的第二遥感图像进行预变化检测,并根据所述预变化检测结果确定所述第三特征样本对应的伪标签,所述第一类训练样本包括伪标签为变化类的像素点、和伪标签为未变化类的像素点。
7.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-5任一项所述的方法步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110450313.7A CN113255451B (zh) | 2021-04-25 | 2021-04-25 | 遥感图像的变化检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110450313.7A CN113255451B (zh) | 2021-04-25 | 2021-04-25 | 遥感图像的变化检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113255451A CN113255451A (zh) | 2021-08-13 |
CN113255451B true CN113255451B (zh) | 2023-04-07 |
Family
ID=77221647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110450313.7A Active CN113255451B (zh) | 2021-04-25 | 2021-04-25 | 遥感图像的变化检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113255451B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842328B (zh) * | 2022-03-22 | 2024-03-22 | 西北工业大学 | 基于协同分析自主感知网络结构的高光谱变化检测方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222267A (zh) * | 2010-04-14 | 2011-10-19 | 同济大学 | 一种遗传算法改进神经网络遥感分类处理方法 |
CN107256414A (zh) * | 2017-06-27 | 2017-10-17 | 哈尔滨工业大学 | 基于空域特征图谱的极化sar图像卷积神经网络分类方法 |
WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
CN110211109A (zh) * | 2019-05-30 | 2019-09-06 | 西安电子科技大学 | 基于深度神经网络结构寻优的图像变化检测方法 |
CN110263845A (zh) * | 2019-06-18 | 2019-09-20 | 西安电子科技大学 | 基于半监督对抗深度网络的sar图像变化检测方法 |
CN110263705A (zh) * | 2019-06-19 | 2019-09-20 | 上海交通大学 | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 |
CN110827330A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种时序集成的多光谱遥感图像变化检测方法及系统 |
CN110826458A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种基于深度学习的多光谱遥感图像变化检测方法及系统 |
CN111339827A (zh) * | 2020-01-18 | 2020-06-26 | 中国海洋大学 | 基于多区域卷积神经网络的sar图像变化检测方法 |
WO2020232905A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技(深圳)有限公司 | 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质 |
CN112190250A (zh) * | 2020-09-01 | 2021-01-08 | 中山大学肿瘤防治中心 | 垂体瘤影像分类方法、系统及电子设备 |
EP3789922A1 (en) * | 2019-09-06 | 2021-03-10 | Imec VZW | A neural network for identifying radio technologies |
CN112509017A (zh) * | 2020-11-18 | 2021-03-16 | 西北工业大学 | 一种基于可学习差分算法的遥感影像变化检测方法 |
-
2021
- 2021-04-25 CN CN202110450313.7A patent/CN113255451B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222267A (zh) * | 2010-04-14 | 2011-10-19 | 同济大学 | 一种遗传算法改进神经网络遥感分类处理方法 |
WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
CN107256414A (zh) * | 2017-06-27 | 2017-10-17 | 哈尔滨工业大学 | 基于空域特征图谱的极化sar图像卷积神经网络分类方法 |
WO2020232905A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技(深圳)有限公司 | 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质 |
CN110211109A (zh) * | 2019-05-30 | 2019-09-06 | 西安电子科技大学 | 基于深度神经网络结构寻优的图像变化检测方法 |
CN110263845A (zh) * | 2019-06-18 | 2019-09-20 | 西安电子科技大学 | 基于半监督对抗深度网络的sar图像变化检测方法 |
CN110263705A (zh) * | 2019-06-19 | 2019-09-20 | 上海交通大学 | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 |
EP3789922A1 (en) * | 2019-09-06 | 2021-03-10 | Imec VZW | A neural network for identifying radio technologies |
CN110827330A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种时序集成的多光谱遥感图像变化检测方法及系统 |
CN110826458A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种基于深度学习的多光谱遥感图像变化检测方法及系统 |
CN111339827A (zh) * | 2020-01-18 | 2020-06-26 | 中国海洋大学 | 基于多区域卷积神经网络的sar图像变化检测方法 |
CN112190250A (zh) * | 2020-09-01 | 2021-01-08 | 中山大学肿瘤防治中心 | 垂体瘤影像分类方法、系统及电子设备 |
CN112509017A (zh) * | 2020-11-18 | 2021-03-16 | 西北工业大学 | 一种基于可学习差分算法的遥感影像变化检测方法 |
Non-Patent Citations (3)
Title |
---|
Unsupervised Deep Change Vector Analysis for Multiple-Change Detection in VHR Images;Sudipan Saha 等;《IEEE Transactions on Geoscience and Remote Sensing》;20190630;第57卷(第6期);3677-3693 * |
基于深度学习的无人机航拍图像差异性检测算法研究;张怡;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20201115;第2020年卷(第11期);C028-38 * |
用于遥感图像变化检测的不同深度神经网络研究;张浪浪;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200215;第2020年卷(第2期);C028-186 * |
Also Published As
Publication number | Publication date |
---|---|
CN113255451A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960409B (zh) | 标注数据生成方法、设备及计算机可读存储介质 | |
CN111680176B (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
CN107506793B (zh) | 基于弱标注图像的服装识别方法及系统 | |
Shakhnarovich et al. | Nearest-neighbor methods in learning and vision | |
CN110276406B (zh) | 表情分类方法、装置、计算机设备及存储介质 | |
CN113297975A (zh) | 表格结构识别的方法、装置、存储介质及电子设备 | |
CN110334357A (zh) | 一种命名实体识别的方法、装置、存储介质及电子设备 | |
CN111241992B (zh) | 人脸识别模型构建方法、识别方法、装置、设备及存储介质 | |
CN109829065B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
KR102134472B1 (ko) | 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법 | |
CN110490221A (zh) | 多标签分类方法、电子装置及计算机可读存储介质 | |
Rad et al. | Image annotation using multi-view non-negative matrix factorization with different number of basis vectors | |
CN115017418A (zh) | 基于强化学习的遥感影像推荐系统及方法 | |
CN112381227B (zh) | 神经网络生成方法、装置、电子设备及存储介质 | |
CN112347284A (zh) | 一种组合商标图像检索方法 | |
CN112287144B (zh) | 图片检索方法、设备及存储介质 | |
CN113034331A (zh) | 一种基于多模态融合的安卓赌博应用识别方法和系统 | |
CN113255451B (zh) | 遥感图像的变化检测方法、装置、电子设备及存储介质 | |
CN117992805B (zh) | 基于张量积图融合扩散的零样本跨模态检索方法、系统 | |
CN113849679A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
CN114692750A (zh) | 一种细粒度图像分类方法、装置、电子设备及存储介质 | |
CN111985616B (zh) | 一种图像特征提取方法、图像检索方法、装置及设备 | |
CN109543114A (zh) | 异构信息网络链接预测方法、可读存储介质和终端 | |
CN114780863B (zh) | 基于人工智能的项目推荐方法、装置、计算机设备及介质 | |
CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |