CN114037912A - 遥感图像的变化检测方法、装置及计算机可读存储介质 - Google Patents
遥感图像的变化检测方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114037912A CN114037912A CN202210011974.4A CN202210011974A CN114037912A CN 114037912 A CN114037912 A CN 114037912A CN 202210011974 A CN202210011974 A CN 202210011974A CN 114037912 A CN114037912 A CN 114037912A
- Authority
- CN
- China
- Prior art keywords
- region
- detected
- target
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种遥感图像的变化检测方法、装置及计算机可读存储介质,方法包括:识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中目标对象所在的第二待测区域;待测图像和基准图像为对应相同拍摄区域的遥感图像;确定第一待测区域对应的目标第二待测区域;将第一待测区域与第一待测区域对应的目标第二待测区域进行交并比运算,确定出待测图像相对于基准图像的变化区域。上述实现方案,提供了一种新的可以实现对于图像中变化区域识别的方法,可以满足遥感图像中变化区域的识别需求。且该方案资源消耗少,利于对遥感图像中的建筑物、水体、耕地中的一种或多种目标进行变化监测。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种遥感图像数据的遥感图像的变化检测方法、装置及计算机可读存储介质。
背景技术
在实际应用中,存在识别出遥感图像中变化区域的需求。而当前的变化检测技术主要基于深度神经网络模型,通过采用对称遥感图像(即两张图像除了拍摄时间不同外,具有相同的拍摄区域、相同的分辨率)进行训练,使用训练好的深度神经网络模型来实现对称遥感图像中的变化区域的识别。
目前公开的用于深度学习的变化检测数据集较少,对于需要大量数据进行训练的深度模型来说,很难取得较高的准确率,同时由于数据分布较为单一,模型不能学习到足够多的经验,使得模型在遇到未见过的数据时,不能很好的预测结果,且现有深度学习模型需要大量标注的数据集,制作数据集的标签需要大量人力耗费大量时间。
发明内容
本申请实施例的目的在于提供一种遥感图像的变化检测方法、装置及计算机可读存储介质,用以提供另一种实现遥感图像中的变化区域的识别的方案。
本申请实施例提供了一种遥感图像的变化检测方法,包括:识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中所述目标对象所在的第二待测区域;所述待测图像和所述基准图像为对应相同拍摄区域的遥感图像;确定所述第一待测区域对应的目标第二待测区域;所述目标第二待测区域为与该第一待测区域存在交集的第二待测区域;将所述第一待测区域与所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域。
在上述实现过程中,通过分别识别出目标对象在待测图像所在的第一待测区域,和该目标对象在基准图像中所在的第二待测区域,进而通过将第一待测区域分别与对应的目标第二待测区域(即在区域上与该第一待测区域存在交集的第二待测区域)进行交并比运算,这样即可实现对应性比较,快速确定出待测图像相对于基准图像的变化区域。上述实现方案,提供了一种新的可以实现对于遥感图像中变化区域识别的方法,可以满足实际应用中存在的识别出遥感图像中变化区域的需求。且该方案无需进行两幅遥感图像之间的整体对比,资源消耗少,利于对遥感图像中的建筑物、水体、耕地中的一种或多种目标进行变化监测。
进一步地,识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中所述目标对象所在的第二待测区域,包括:将所述待测图像输入至预先训练好的语义分割模型中,得到第一概率图,确定出所述第一概率图中像素值大于预设像素阈值的各第一目标像素点;各所述第一目标像素点所在的区域构成所述第一待测区域;将所述基准图像输入至预先训练好的语义分割模型中,得到第二概率图,确定出所述第二概率图中像素值大于预设像素阈值的各第二目标像素点;各所述第二目标像素点所在的区域构成所述第二待测区域。
应理解,在现有技术中,由于需要采用对称遥感图像(即两张图像除了拍摄时间不同外,具有相同的拍摄区域、相同的分辨率)进行训练,但是目前公开的遥感图像中,可以用于进行深度神经网络模型的训练的对称遥感图像较少,对于需要大量数据进行训练的深度神经网络模型来说,很难取得较高的准确率。且现有可用于进行深度神经网络模型的训练的对称遥感图像分布较为单一,深度神经网络模型不能学习到足够多的经验,使得深度神经网络模型在遇到未见过的数据时,不能很好的预测结果。
而在上述实现过程中,通过语义分割模型来识别出待测图像中的第一待测区域和基准图像中的第二待测区域,而由于语义分割模型每次是针对单张图像进行的处理,因此语义分割模型的训练无需采用对称遥感图像,对于非对称遥感图(即多张图像之间除了拍摄时间不同外,拍摄区域、分辨率等也可以不同)构成的样本集,同样可以用于进行语义分割模型的训练,从而使得本申请的方案在遥感图像的处理领域中具有更广地可应用性,可以得到更好的预测效果。同时,由于语义分割模型的训练无需采用对称遥感图像,这就降低了模型对对称遥感图像的依赖程度,同时也降低了模型训练过程对内存等资源的消耗,可以在消耗相同资源的情况下,增加单批次训练数据,降低模型训练时长。
进一步地,在确定出所述第一目标像素点和所述第二目标像素点之后,所述方法还包括:按照相同的坐标设定规则,确定出各所述第一目标像素点和各所述第二目标像素点的坐标值;将所述第一待测区域与所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域,包括:将所述第一待测区域内各所述第一目标像素点的坐标值,和所述目标第二待测区域内各所述第二目标像素点的坐标值进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域。
在上述实现过程中,通过将第一待测区域和第二待测区域内的各像素点坐标化,从而基于第一待测区域和对应的目标第二待测区域内各像素点的坐标值进行交并比运算,可以快速确定出待测图像相对于基准图像的变化区域。
进一步地,在确定出各所述第一目标像素点和各所述第二目标像素点的坐标值之后,所述方法还包括:使用B+Tree索引对各所述第一目标像素点的坐标值和各所述第二目标像素点的坐标值进行存储和管理。
在上述实现过程中,通过使用B+Tree索引对各第一目标像素点的坐标值和各第二目标像素点的坐标值进行存储和管理。而由于B+Tree索引是一种便于数据查找与添加的树状链表,在所有非叶子节点中只存储键值信息,所有的键值信息按从大到小排列,所有叶子节点之间都有一个链指针,将数据(在本申请中为各第一目标像素点的坐标值和各第二目标像素点的坐标值)存储在叶子节点中。在进行坐标值查询时,首先是通过键值进行索引,只有在需要对坐标值进行操作时才会读取坐标值,从而可以有效减少在进行坐标值比较以确定出变化区别的过程中,对于坐标值的读取次数,提高对比效率。
进一步地,所述第一待测区域和/或所述第二待测区域为多个。
进一步地,将各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域,包括:按照公式,分别计算各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域的第一交并比;其中,为第一待测区域对应的同一闭环下的点坐标的集合,为目标第二待测区域所对应的同一闭环下的点坐标的集合,且所表征的目标第二待测区域为第一待测区域对应的目标第二待测区域,所述值代表各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域在同一闭环下的点坐标集合的交合面积占总面积的比值;确定第一交并比小于预设第一交并比阈值的第一待测区域为所述变化区域;确定第一交并比大于等于所述预设第一交并比阈值的第一待测区域为未变化区域。
在实际应用过程中,交并比反映了两个区域之间的交叠率,在两个区域完全重叠时,交并比的值将为1。而在上述实现过程中,如果某第一待测区域与对应的目标第二待测区域之间的第一交并比大于等于预设第一交并比阈值,那么即可以认为该区域基本没有发生变化,反之即可认为该区域发生了变化,从而可以据此确定出待测图像相对于基准图像的变化区域。
进一步地,在确定出所述变化区域之后,所述方法还包括:验证所述待测图像对于所述基准图像的变化区域检测结果;更新验证的变化区域检测结果。
进一步地,在确定出所述变化区域和所述未变化区域后,验证所述待测图像对于所述基准图像的变化区域检测结果包括:按照公式,分别计算各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域的第二交并比;其中,为包含第一待测区域a的第一待测区域集合,为包含第二待测区域的第二待测区域集合,且所述A中每一个第一待测区域通过与所述B中的至少一个第二待测区域形成坐标连续的点坐标集合,所述中每一个第二待测区域与所述中的至少一个第一待测区域形成坐标连续的点坐标集合;
所述更新验证的变化区域检测结果,包括:若任一被确定为变化区域的第一待测区域的所述第二交并比,大于等于预设第二交并比阈值,将该第一待测区域重新确定为未变化区域;若任一被确定为未变化区域的第一待测区域的所述第二交并比,小于所述预设第二交并比阈值,将该第一待测区域重新确定为变化区域。
应理解,在实际应用过程中,在对待测图像中目标对象所在的第一待测区域和基准图像中目标对象所在的第二待测区域进行识别时,可能存在一定偏差,比如可能将目标对象所在的一个区域识别为两个独立区域,这就可能导致之前的判断结果存在偏差。为此,通过上述方式进行纠正,可以有效降低算法导致的误识别风险,提高识别结果的准确性。
本申请实施例还提供了一种遥感图像的变化检测装置,包括:识别模块和确定模块;所述识别模块,用于识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中所述目标对象所在的第二待测区域;所述待测图像和所述基准图像为对应相同拍摄区域的遥感图像;所述确定模块,用于确定所述第一待测区域对应的目标第二待测区域;将所述第一待测区域与所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域;所述目标第二待测区域为与该第一待测区域存在交集的第二待测区域。
本申请实施例还提供了一种电子设备,包括处理器、存储器、内部通信总线和图像输入组件;所述内部通信总线用于实现所述处理器、所述存储器和所述图像输入组件之间的连接通信;所述图像输入组件用于输入待测图像和基准图像;所述处理器用于执行所述存储器中存储的程序,以实现上述任一种的遥感图像的变化检测方法。
本申请实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述任一种的遥感图像的变化检测方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种遥感图像的变化检测方法的流程示意图;
图2为本申请实施例提供的一种第一待测区域与第二待测区域的示例图;
图3为本申请实施例提供的一种遥感图像的变化检测装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
实施例一:
为了满足实际应用中存在的识别出遥感图像中变化区域的需求,本申请实施例中提供了一种遥感图像的变化检测方法。可以参见图1所示,图1为本申请实施例中提供的遥感图像的变化检测方法的流程示意图,包括:
S101:识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中目标对象所在的第二待测区域。
需要说明的是,在本申请实施例中,待测图像和基准图像为对应相同拍摄区域的遥感图像,且待测图像和基准图像可以为对称遥感图像或非对称遥感图像。
由于非对称遥感图像的图像差异大,肉眼即可识别,因此,本申请实施例主要针对两张图像差异小的对称遥感图像进行变化区域检测。
示例性的,基准图像可以取历史拍摄的遥感图像,而待测图像可以取最新拍摄的遥感图像,从而通过本申请实施例的方案,可以识别出待测图像相对于基准图像的变化区域。
在本申请实施例中,为了识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中目标对象所在的第二待测区域,可以预先进行算法模型的训练,从而通过算法模型自动从待测图像中识别出目标对象所在的第一待测区域,以及自动从基准图像中识别出目标对象所在的第二待测区域。
应理解,现有基于深度神经网络模型的变化检测技术中,由于需要采用对称遥感图像进行深度神经网络模型的训练,但目前公开的遥感图像中,可以用于进行深度神经网络模型的训练的对称遥感图像较少,因此对于需要大量数据进行训练的深度神经网络模型来说,现有变化检测技术很难取得较高的准确率。
此外,现有可用于进行深度神经网络模型的训练的对称遥感图像分布较为单一,深度神经网络模型也不能学习到足够多的经验,因此现有变化检测技术中,在深度神经网络模型遇到未见过的数据时,也不能很好的预测结果。
为此,在本申请实施例中,所采用的算法模型可以是对于训练样本没有对称性要求的对象识别模型,例如可以是语义分割模型、目标检测算法模块、实例分割模型等,从而在训练时,除了可以采用对称遥感图像进行训练外,还可以采用非对称遥感图(即多张图像之间除了拍摄时间不同外,拍摄区域、分辨率等也可以不同)来进行训练,降低了模型对对称遥感图像的依赖程度,从而使得本申请的方案在遥感图像的处理领域中具有更广地可应用性,可以得到更好的预测效果。同时,由于每次训练时无需基于对称遥感图像进行训练,也降低了模型训练过程对内存等资源的消耗,可以在消耗相同资源的情况下,增加单批次训练数据,降低模型训练时长。
示例性的,假设算法模型采用的语义分割模型,在执行时,可以将待测图像输入至预先训练好的语义分割模型中,得到第一概率图,进而确定出第一概率图中像素值大于预设像素阈值的各第一目标像素点。此外,将基准图像输入至预先训练好的语义分割模型中,得到第二概率图,确定出第二概率图中像素值大于预设像素阈值的各第二目标像素点。
其中,各第一目标像素点所在的区域即构成第一待测区域,各第二目标像素点所在的区域即构成第二待测区域。
应理解,语义分割模型会将图像中的各像素点按照该像素点属于目标对象的概率,为各像素点赋予像素值,得到概率图。概率图中各像素点的像素值越大,即表明该像素点属于目标对象的概率越高。
还应理解,在本申请实施例中,预设像素阈值可以由工程师根据大量实验后设置得到。
值得注意的是,在本申请实施例中,目标对象可以是建筑物、水体、耕地等对象中的一种或多种,目标对象的具体类型可以由工程师根据实际需要进行预先设定。
S102:确定第一待测区域对应的目标第二待测区域。
在本申请实施例中,在得到各第一待测区域和第二待测区域后,可以对各第一待测区域与各第二待测区域进行交集判断,从而确定出各第一待测区域对应的目标第二待测区域。
需要说明的是,本申请实施例中第一待测区域对应的目标第二待测区域是指,与该第一待测区域存在交集的第二待测区域。
还需要说明的是,本申请实施例中所谓的存在交集是指,第一待测区域所覆盖的坐标区域,与第二待测区域所覆盖的坐标区域,在坐标系空间中存在相交区域。
S103:将第一待测区域与该第一待测区域对应的目标第二待测区域进行交并比运算,确定出待测图像相对于基准图像的变化区域。
在本申请实施例中,为了便于进行第一待测区域与该第一待测区域对应的目标第二待测区域之间的交并比运算,可以按照相同的坐标设定规则,为构成第一待测区域的各第一目标像素点和构成第二待测区域的各第二目标像素点确定出坐标值,进而根据第一待测区域内各第一目标像素点的坐标值,和该第一待测区域对应的目标第二待测区域内,各第二目标像素点的坐标值进行交并比运算,确定出待测图像相对于基准图像的变化区域。
需要注意的是,为了减少在进行坐标值比较以确定出变化区别的过程中,对于坐标值的读取次数,提高对比效率,在本申请实施例中,可以使用B+Tree索引对各第一目标像素点的坐标值和各第二目标像素点的坐标值进行存储和管理。
B+Tree索引为树状结构,树状结构由父节点和叶子节点构成,父节点用于索引,叶子节点用于存储各像素点的坐标值。
需要说明的是,在本申请实施例中,第一待测区域和第二待测区域可以为一个,也可以为多个。在存储时,可以针对每一个第一待测区域的各像素点的坐标值集合,以及每一个第二待测区域的各像素点的坐标值集合,分别采用独立的B+Tree索引进行管理。
应当理解的是,为了准确识别出每一个第一待测区域,以及每一个第二待测区域,在本申请实施例中,在得到所有的第一目标像素点和第二目标像素点之后,可以对第一目标像素点进行聚类分析,提取出勾勒成闭环的各第一目标像素点集合,每一个第一目标像素点集合即构成一个第一待测区域。
类似的,对第二目标像素点进行聚类分析,提取出勾勒成闭环的各第二目标像素点集合,每一个第二目标像素点集合即构成一个第二待测区域。
此时,分别比较各第一待测区域对应的与预设第一交并比阈值。如果某一第一待测区域对应的小于预设第一交并比阈值,即确定该第一待测区域为变化区域。相反,如果某一第一待测区域对应的大于等于预设第一交并比阈值,即确定该第一待测区域为未变化区域。
其中,第一交并比阈值可以由工程师设定,也可以通过采用大量训练集数据的方式,进行迭代产生。
所谓采用大量训练集数据的方式,进行迭代产生是指:可以预先设定一个初始第一交并比阈值,例如设为0.5,然后采用一些预先知晓变化区域的遥感图像按照上述方式进行确定出变化区域,并将确定出的变化区域与训练集中的实际变化区域进行比较,确定准确率。如果准确率低于预设阈值,或者准确率未收敛,则将第一交并比阈值增加预设大小,然后重新执行上述过程,直至准确率达到预设阈值,或者准确率收敛,此时得到的第一交并比阈值即为最终迭代得到的第一交并比阈值。
需要说明的是,在实际应用中,可能存在一个第一待测区域具有多个目标第二待测区域的情况。此时,需要分别针对每一个目标第二待测区域,按照上述方式分别计算出第一交并比。若与任一个目标第二待测区域对应的小于预设第一交并比阈值,即确定该第一待测区域为变化区域。
需要注意的是,在实际应用中,在对待测图像中目标对象所在的第一待测区域和基准图像中目标对象所在的第二待测区域进行识别时,可能存在一定偏差,比如可能将目标对象所在的一个区域识别为两个独立区域,这就可能导致之前的判断结果存在偏差。例如参见图2所示,图2中第一待测区域A1和A2可能在实际待测图像中为同一目标对象所在区域,但是由于算法可靠性问题,将其识别为了A1和A2两个区域;类似的,第二待测区域B1和B2也为在实际基准图像中为同一目标对象所在区域,但是由于算法可靠性问题,将其识别为了B1和B2两个区域。
假设,A1同时与B1和B2相交,而A2仅与B2相交。那么,仅按照上述方案进行判断,对于A1区域而言,其分别与B1和B2的相交区域实质较小,对于A2区域而言,由于其与B2相交区域实质较小,从而可能导致算法识别认为A1和A2均为变化区域,但是实质上该区域并未变化,导致误识别。
为此,在本申请实施例中,在按照前述方式确定出变化区域和未变化区域后,还可以进一步验证待测图像对于基准图像的变化区域检测结果,进而更新验证的变化区域检测结果,以提高输出结果的可靠性。
示例性的,可以通过下述方式进行核验校正,以提高输出结果的可靠性:
其中,为包含第一待测区域的第一待测区域集合,为包含第二待测区域的第二待测区域集合,且中每一个第一待测区域与中的至少一个第二待测区域形成坐标连续的点坐标集合,中每一个第二待测区域与中的至少一个第一待测区域形成坐标连续的点坐标集合。
对于其他情况,则无需进行结果修正。
这样,以上述图2所示的示例为例,原本A1和A2均被识别为变化区域,而将A1、A2、B1和B2代入上述计算的公式,即有,从而的值将会远大于原本A1和A2对应的的值(在第二交并比阈值合理设定后,该会大于第二交并比阈值),从而可以将原本A1和A2的识别结果修改为未变化区域。
需要理解的是,在本申请实施例中,第二交并比阈值可以由工程师设定,也可以通过采用大量训练集数据的方式,进行迭代产生,迭代方式与前文介绍的第一交并比阈值的迭代方式类似,在此不再赘述。
应理解,在实际应用过程中,可能存在某些第一待测区域不具有对应的目标第二待测区域,以及某些第二待测区域不具有相交的第一待测区域的情况。例如参见图2中,第一待测区域C在基准图像中即不具有相交的第二待测区域,而基准图像中的第二待测区域D在待测图像中也不具有相交的第一待测区域。
而第一待测区域不具有对应的目标第二待测区域,说明在拍摄基准图像时,该区域还不存在目标对象,该处的目标对象是后期出现的,因此可以直接将该第一待测区域确定为变化区域。
而若第二待测区域不具有相交的第一待测区域,说明在拍摄基准图像时,该区域存在目标对象,但是随着时间推移,该区域中的目标对象消灭了(比如目标对象为建筑物时,该建筑物可能被拆除了)。此时,也可以直接将该第一待测区域确定为变化区域。
对于这两种情况所确定出的变化区域,可以在反馈时,标明其是新增目标对象的情况,或是目标对象消灭的情况,以便于工程师更好的进行信息了解。
需要注意的是,本申请实施例所提供的方案,除了可以应用于遥感图像的处理领域外,还可以应用于其他图像的处理过程中,在本申请实施例中不做限制。
还需要注意的是,本申请实施例所提供的上述方法,可以应用于服务器、电脑等具有图像处理功能的电子设备中,但不作为限制。
本申请实施例所提供的遥感图像的变化检测方法,通过分别识别出目标对象在待测图像所在的第一待测区域,和该目标对象在基准图像中所在的第二待测区域,进而通过将第一待测区域分别与对应的目标第二待测区域(即在区域上与该第一待测区域存在交集的第二待测区域)进行交并比运算,这样即可实现对应性比较,快速确定出待测图像相对于基准图像的变化区域。上述实现方案,提供了一种新的可以实现对于图像中变化区域识别的方法,可以满足实际应用中存在的识别出遥感图像中变化区域的需求。且该方案无需进行两幅图像之间的整体对比,资源消耗少,利于对遥感图像中的建筑物、水体、耕地中的一种或多种目标进行变化监测。
此外,本申请实施例提供的方案,可以采用对于训练样本没有对称性要求的对象识别模型来进行第一待测区域和第二待测区域的识别,降低了模型对对称遥感图像的依赖程度,从而使得本申请的方案在遥感图像的处理领域中具有更广地可应用性,可以得到更好的预测效果。同时,由于每次训练时无需基于对称遥感图像进行训练,也降低了模型训练过程对内存等资源的消耗,可以在消耗相同资源的情况下,增加单批次训练数据,降低模型训练时长。
此外,本申请实施例提供的方案,可以采用B+Tree索引来进行坐标值管理,可以有效减少在进行坐标值比较以确定出变化区别的过程中,对于坐标值的读取次数,提高对比效率。
实施例二:
本实施例在实施例一的基础上,以一种目标对象为建筑物,基于语义分割模型实现变化区域检测识别的情况为例,为本申请做进一步示例说明。
首先,构建训练集,训练集为由大量标注有建筑物的遥感图像构成,这些遥感图像之间的关系可以是对称遥感图像,也可以是非对称遥感图像,在本申请实施例中不做限制。
然后,基于训练集,对语义分割模型进行训练。训练过程为现有技术,在此不做展开说明。
获取待测图像(记为遥感图像A)和基准图像(记为遥感图像B)。遥感图像A和遥感图像B为对称遥感图像,且遥感图像B的拍摄时间早于遥感图像A。比如,遥感图像B为2016年拍摄的,遥感图像A为2018年拍摄的。
依次将遥感图像A和B分别输入至训练好的语义分割模型中,输出遥感图像A的概率图A1,遥感图像B的概率图B1。
对概率图A1和B1中的像素点进行阈值分析,确定出概率图A1中像素值大于预设像素阈值的各第一目标像素点,以及概率图B1中像素值大于预设像素阈值的各第二目标像素点。
对概率图A1中的第一目标像素点进行聚类分析,提取到能勾勒成闭环图像的第一关键像素点。对概率图B1中的第二目标像素点进行聚类分析,提取到能勾勒成闭环图像的第二关键像素点。
按照相同的坐标设定规则,对提取到的第一关键像素点和第二关键像素点进行坐标转换,得到各第一关键像素点和第二关键像素点的坐标值。
将同一闭环图像的第一关键像素点或第二关键像素点对应的坐标值聚合为坐标值集合。
使用B+Tree索引分别对每一坐标值集合进行索引,以便分类管理和读取。
其中,B+Tree索引为树状结构,树状结构由父节点和子节点构成,父节点用于索引,子节点用于存储真实数据(即坐标值集合中的各坐标值)。
每一个第一关键像素点对应的坐标值集合表征一个第一待测区域,每一个第二关键像素点对应的坐标值集合表征一个第二待测区域。
对遥感图像A和遥感图像B对应的各坐标值集合进行区域相交判断,确定出遥感图像A中第一待测区域在遥感图像B中对应的目标第二待测区域。
针对每一个第一待测区域,按照公式,求取得到对应的第一交并比。其中,为当前计算的第一待测区域对应的同一闭环下的点坐标的集合,为目标第二待测区域所对应的同一闭环下的点坐标的集合,且所表征的目标第二待测区域为第一待测区域对应的目标第二待测区域。
确定第一交并比小于0.75的第一待测区域为变化区域;确定第一交并比大于等于0.75的第一待测区域为未变化区域。
其中,A为包含当前计算的第一待测区域a的第一待测区域集合,B为包含第二待测区域b的第二待测区域集合,且A中每一个第一待测区域与B中的至少一个第二待测区域形成坐标连续的点坐标集合,B中每一个第二待测区域与A中的至少一个第一待测区域形成坐标连续的点坐标集合。
若任一被确定为变化区域的第一待测区域的第二交并比大于等于0.75,将该第一待测区域重新确定为未变化区域;若任一被确定为未变化区域的第一待测区域的第二交并比小于0.75,将该第一待测区域重新确定为变化区域。
实施例三:
基于同一发明构思,本申请实施例中还提供了一种遥感图像的变化检测装置300。请参阅图3所示,图3示出了采用图1所示的方法的遥感图像的变化检测装置。应理解,装置300具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。装置300包括至少一个能以软件或固件的形式存储于存储器中或固化在装置300的操作系统中的软件功能模块。具体地:
参见图3所示,装置300包括:识别模块301和确定模块302。其中:
所述识别模块301,用于识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中所述目标对象所在的第二待测区域;所述待测图像和所述基准图像为对应相同拍摄区域的遥感图像;
所述确定模块302,用于确定所述第一待测区域对应的目标第二待测区域;将所述第一待测区域与所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域;所述目标第二待测区域为与该第一待测区域存在交集的第二待测区域。
在本申请实施例的一种可行实施方式中,所述识别模块301具体用于,将所述待测图像输入至预先训练好的语义分割模型中,得到第一概率图,确定出所述第一概率图中像素值大于预设像素阈值的各第一目标像素点;各所述第一目标像素点所在的区域构成所述第一待测区域;将所述基准图像输入至预先训练好的语义分割模型中,得到第二概率图,确定出所述第二概率图中像素值大于预设像素阈值的各第二目标像素点;各所述第二目标像素点所在的区域构成所述第二待测区域。
在上述可行实施方式中,所述确定模块302具体用于,在所述识别模块301确定出所述第一目标像素点和所述第二目标像素点之后,按照相同的坐标设定规则,确定出各所述第一目标像素点和各所述第二目标像素点的坐标值;将所述第一待测区域内各所述第一目标像素点的坐标值,和所述目标第二待测区域内各所述第二目标像素点的坐标值进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域。
在上述可行实施方式中,装置300还可以包括管理模块,用于在所述确定模块302确定出各所述第一目标像素点和各所述第二目标像素点的坐标值之后,使用B+Tree索引对各所述第一目标像素点的坐标值和各所述第二目标像素点的坐标值进行存储和管理。
在本申请实施例的一种可行实施方式中,所述第一待测区域和/或所述第二待测区域为多个。
在上述可行实施方式中,所述确定模块302具体用于,按照公式,分别计算各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域的第一交并比;其中,为第一待测区域对应的同一闭环下的点坐标的集合,为目标第二待测区域所对应的同一闭环下的点坐标的集合,且所表征的目标第二待测区域为第一待测区域对应的目标第二待测区域,所述值代表各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域在同一闭环下的点坐标集合的交合面积占总面积的比值;确定第一交并比小于预设第一交并比阈值的第一待测区域为所述变化区域;确定第一交并比大于等于所述预设第一交并比阈值的第一待测区域为未变化区域。
在上述可行实施方式中,所述确定模块302具体还用于,在确定出所述变化区域之后,验证所述待测图像对于所述基准图像的变化区域检测结果;更新验证的变化区域检测结果。
在上述可行实施方式中,所述确定模块302具体用于,在确定出所述变化区域和所述未变化区域后,按照公式,分别计算各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域的第二交并比;其中,为包含第一待测区域a的第一待测区域集合,为包含第二待测区域的第二待测区域集合,且所述A中每一个第一待测区域与所述B中的至少一个第二待测区域形成坐标连续的点坐标集合,所述中每一个第二待测区域与所述中的至少一个第一待测区域形成坐标连续的点坐标集合;若任一被确定为变化区域的第一待测区域的所述第二交并比,大于等于预设第二交并比阈值,将该第一待测区域重新确定为未变化区域;若任一被确定为未变化区域的第一待测区域的所述第二交并比,小于所述预设第二交并比阈值,将该第一待测区域重新确定为变化区域。
需要理解的是,出于描述简洁的考量,部分实施例一中描述过的内容在本实施例中不再赘述。
实施例四:
本实施例提供了一种电子设备,参见图4所示,其包括处理器401、存储器402、内部通信总线403和图像输入组件404。其中:
内部通信总线403用于实现处理器401、存储器402和图像输入组件404之间的连接通信。
图像输入组件404用于输入待测图像和基准图像。
处理器401用于执行存储器402中存储的一个或多个程序,以实现上述实施例一和/或实施例二中的遥感图像的变化检测方法。
可以理解,图4所示的结构仅为示意,电子设备还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。
电子设备可以为终端、服务器、主机等设备,在本申请实施例中不做限制。
本实施例还提供了一种计算机可读存储介质,如软盘、光盘、硬盘、闪存、U盘、SD(Secure Digital Memory Card,安全数码卡)卡、MMC(Multimedia Card,多媒体卡)卡等,在该计算机可读存储介质中存储有实现上述各个步骤的一个或者多个程序,这一个或者多个程序可被一个或者多个处理器执行,以实现上述实施例一和/或实施例二中的遥感图像的变化检测方法。在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
在本文中,多个是指两个或两个以上。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种遥感图像的变化检测方法,其特征在于,包括:
识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中所述目标对象所在的第二待测区域;所述待测图像和所述基准图像为对应相同拍摄区域的遥感图像;
确定所述第一待测区域对应的目标第二待测区域;所述目标第二待测区域为与该第一待测区域存在交集的第二待测区域;
将所述第一待测区域与所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域。
2.如权利要求1所述的遥感图像的变化检测方法,其特征在于,识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中所述目标对象所在的第二待测区域,包括:
将所述待测图像输入至预先训练好的语义分割模型中,得到第一概率图,确定出所述第一概率图中像素值大于预设像素阈值的各第一目标像素点;各所述第一目标像素点所在的区域构成所述第一待测区域;
将所述基准图像输入至预先训练好的语义分割模型中,得到第二概率图,确定出所述第二概率图中像素值大于预设像素阈值的各第二目标像素点;各所述第二目标像素点所在的区域构成所述第二待测区域。
3.如权利要求2所述的遥感图像的变化检测方法,其特征在于,在确定出所述第一目标像素点和所述第二目标像素点之后,所述方法还包括:
按照相同的坐标设定规则,确定出各所述第一目标像素点和各所述第二目标像素点的坐标值;
将所述第一待测区域与所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域,包括:
将所述第一待测区域内各所述第一目标像素点的坐标值,和所述目标第二待测区域内各所述第二目标像素点的坐标值进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域。
4.如权利要求3所述的遥感图像的变化检测方法,其特征在于,在确定出各所述第一目标像素点和各所述第二目标像素点的坐标值之后,所述方法还包括:
使用B+Tree索引对各所述第一目标像素点的坐标值和各所述第二目标像素点的坐标值进行存储和管理。
5.如权利要求1所述的遥感图像的变化检测方法,其特征在于,所述第一待测区域和/或所述第二待测区域为多个。
6.如权利要求1所述的遥感图像的变化检测方法,其特征在于,将所述第一待测区域与所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域,包括:
按照公式,分别计算各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域的第一交并比;其中,为第一待测区域对应的同一闭环下的点坐标的集合,为目标第二待测区域所对应的同一闭环下的点坐标的集合,且所表征的目标第二待测区域为第一待测区域对应的目标第二待测区域,所述值代表各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域在同一闭环下的点坐标集合的交合面积占总面积的比值;
确定第一交并比小于预设第一交并比阈值的第一待测区域为所述变化区域;
确定第一交并比大于等于所述预设第一交并比阈值的第一待测区域为未变化区域。
7.如权利要求6所述的遥感图像的变化检测方法,其特征在于,在确定出所述变化区域之后,所述方法还包括:
验证所述待测图像对于所述基准图像的变化区域检测结果;
更新验证的变化区域检测结果。
8.如权利要求7所述的遥感图像的变化检测方法,其特征在于,在确定出所述变化区域后,验证所述待测图像对于所述基准图像的变化区域检测结果包括:
按照公式,分别计算各所述第一待测区域与各所述第一待测区域对应的目标第二待测区域的第二交并比;其中,为包含第一待测区域a的第一待测区域集合,为包含第二待测区域的第二待测区域集合,且所述A中每一个第一待测区域与所述B中的至少一个第二待测区域形成坐标连续的点坐标集合,所述中每一个第二待测区域与所述中的至少一个第一待测区域形成坐标连续的点坐标集合;
所述更新验证的变化区域检测结果,包括:
若任一被确定为变化区域的第一待测区域的所述第二交并比,大于等于预设第二交并比阈值,将该第一待测区域重新确定为未变化区域;
若任一被确定为未变化区域的第一待测区域的所述第二交并比,小于所述预设第二交并比阈值,将该第一待测区域重新确定为变化区域。
9.一种遥感图像的变化检测装置,其特征在于,包括:识别模块和确定模块;
所述识别模块,用于识别出待测图像中目标对象所在的第一待测区域,以及识别出基准图像中所述目标对象所在的第二待测区域;所述待测图像和所述基准图像为对应相同拍摄区域的遥感图像;
所述确定模块,用于确定所述第一待测区域对应的目标第二待测区域;将所述第一待测区域与所述第一待测区域对应的目标第二待测区域进行交并比运算,确定出所述待测图像相对于所述基准图像的变化区域;所述目标第二待测区域为与该第一待测区域存在交集的第二待测区域。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1至8任一项所述的遥感图像的变化检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210011974.4A CN114037912A (zh) | 2022-01-07 | 2022-01-07 | 遥感图像的变化检测方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210011974.4A CN114037912A (zh) | 2022-01-07 | 2022-01-07 | 遥感图像的变化检测方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114037912A true CN114037912A (zh) | 2022-02-11 |
Family
ID=80147338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210011974.4A Pending CN114037912A (zh) | 2022-01-07 | 2022-01-07 | 遥感图像的变化检测方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114037912A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115965639A (zh) * | 2022-12-26 | 2023-04-14 | 浙江南自建设集团有限公司 | 一种智慧水利图像处理方法、装置及系统 |
CN117115479A (zh) * | 2023-09-04 | 2023-11-24 | 北京和德宇航技术有限公司 | 一种遥感图像的比对方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346033A (zh) * | 2010-08-06 | 2012-02-08 | 清华大学 | 基于卫星观测角误差估计的直接定位方法及系统 |
CN109927944A (zh) * | 2019-05-07 | 2019-06-25 | 赵宏杰 | 微纳卫星智能设计平台 |
US20200074690A1 (en) * | 2018-08-30 | 2020-03-05 | Fujitsu Limited | Apparatus and method for image recognition |
US20210003697A1 (en) * | 2019-07-02 | 2021-01-07 | Wuyi University | Method and apparatus for end-to-end sar image recognition, and storage medium |
CN112489096A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图匹配模型的低配准精度下遥感图像变化检测方法 |
CN112508033A (zh) * | 2021-02-03 | 2021-03-16 | 新东方教育科技集团有限公司 | 检测方法、存储介质和电子装置 |
CN113158856A (zh) * | 2021-04-08 | 2021-07-23 | 成都国星宇航科技有限公司 | 一种提取遥感图像中目标区域的处理方法和装置 |
CN113609896A (zh) * | 2021-06-22 | 2021-11-05 | 武汉大学 | 基于对偶相关注意力的对象级遥感变化检测方法及系统 |
-
2022
- 2022-01-07 CN CN202210011974.4A patent/CN114037912A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346033A (zh) * | 2010-08-06 | 2012-02-08 | 清华大学 | 基于卫星观测角误差估计的直接定位方法及系统 |
US20200074690A1 (en) * | 2018-08-30 | 2020-03-05 | Fujitsu Limited | Apparatus and method for image recognition |
CN109927944A (zh) * | 2019-05-07 | 2019-06-25 | 赵宏杰 | 微纳卫星智能设计平台 |
US20210003697A1 (en) * | 2019-07-02 | 2021-01-07 | Wuyi University | Method and apparatus for end-to-end sar image recognition, and storage medium |
CN112489096A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图匹配模型的低配准精度下遥感图像变化检测方法 |
CN112508033A (zh) * | 2021-02-03 | 2021-03-16 | 新东方教育科技集团有限公司 | 检测方法、存储介质和电子装置 |
CN113158856A (zh) * | 2021-04-08 | 2021-07-23 | 成都国星宇航科技有限公司 | 一种提取遥感图像中目标区域的处理方法和装置 |
CN113609896A (zh) * | 2021-06-22 | 2021-11-05 | 武汉大学 | 基于对偶相关注意力的对象级遥感变化检测方法及系统 |
Non-Patent Citations (5)
Title |
---|
LIU J等: "Anchor points prediciton for target detection in remote sensing images", 《REMOTE SENSING IMAGE PROCESSING AND GEOGRAPHIC INFORMATION SYSTEMS》 * |
X JIANG等: "Robust feature matching for remote sensing image registration via linear adaptive filtering", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
丁丁: "违章建筑定点监控关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
李秀智等: "基于深度学习的机器人最优抓取姿态检测方法", 《仪器仪表学报》 * |
高雪艳: "基于遥感图像配准的建筑物变化检测算法研究", 《中国优秀硕士学位论文全文数据库工程科技II辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115965639A (zh) * | 2022-12-26 | 2023-04-14 | 浙江南自建设集团有限公司 | 一种智慧水利图像处理方法、装置及系统 |
CN115965639B (zh) * | 2022-12-26 | 2023-08-29 | 浙江南自建设集团有限公司 | 一种智慧水利图像处理方法、装置及系统 |
CN117115479A (zh) * | 2023-09-04 | 2023-11-24 | 北京和德宇航技术有限公司 | 一种遥感图像的比对方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | A unified convolutional neural network integrated with conditional random field for pipe defect segmentation | |
CN110399800B (zh) | 基于深度学习vgg16框架的车牌检测方法及系统、存储介质 | |
CN110363049B (zh) | 图形元素检测识别和类别确定的方法及装置 | |
CN114037912A (zh) | 遥感图像的变化检测方法、装置及计算机可读存储介质 | |
CN112200193B (zh) | 基于多属性融合的分布式车牌识别方法、系统、装置 | |
CN109710628B (zh) | 信息处理方法及装置、系统、计算机及可读存储介质 | |
CN111738290B (zh) | 图像检测方法、模型构建和训练方法、装置、设备和介质 | |
CN114418021A (zh) | 模型优化方法、装置及计算机程序产品 | |
CN113821630B (zh) | 一种数据聚类的方法和装置 | |
CN110570490B (zh) | 显著性图像生成方法及设备 | |
CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
CN116776157A (zh) | 支持模态增加的模型学习方法及其装置 | |
CN115345600B (zh) | 一种rpa流程的生成方法和装置 | |
CN116958809A (zh) | 一种特征库迁移的遥感小样本目标检测方法 | |
CN112906824B (zh) | 车辆聚类方法、系统、设备及存储介质 | |
Jia et al. | Sample generation of semi‐automatic pavement crack labelling and robustness in detection of pavement diseases | |
US11789903B1 (en) | Tagging tool for managing data | |
CN114329978A (zh) | 斜坡单元的融合方法、装置、电子设备及存储介质 | |
CN111091198B (zh) | 一种数据处理方法及装置 | |
CN113128496B (zh) | 一种从图像中提取结构化数据的方法、装置和设备 | |
CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
CN114663760A (zh) | 模型训练的方法、目标检测方法、存储介质及计算设备 | |
CN113935034A (zh) | 基于图神经网络的恶意代码家族分类方法、装置和存储介质 | |
CN111143626A (zh) | 团伙识别方法、装置、设备及计算机可读存储介质 | |
Dai et al. | FMAP: Learning robust and accurate local feature matching with anchor points |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220211 |
|
RJ01 | Rejection of invention patent application after publication |