CN115205700A - 地物变化检测方法、装置及非易失性存储介质 - Google Patents

地物变化检测方法、装置及非易失性存储介质 Download PDF

Info

Publication number
CN115205700A
CN115205700A CN202210765083.8A CN202210765083A CN115205700A CN 115205700 A CN115205700 A CN 115205700A CN 202210765083 A CN202210765083 A CN 202210765083A CN 115205700 A CN115205700 A CN 115205700A
Authority
CN
China
Prior art keywords
image
remote sensing
feature
sensing image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210765083.8A
Other languages
English (en)
Inventor
周恺
张睿哲
谭磊
叶宽
赵留学
任志刚
蔡瀛淼
李春生
王雅妮
李鸿达
吴磊
王肖
李进田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhen Blue Space Remote Sensing Technology Co ltd
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Original Assignee
Beijing Shenzhen Blue Space Remote Sensing Technology Co ltd
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhen Blue Space Remote Sensing Technology Co ltd, State Grid Corp of China SGCC, State Grid Beijing Electric Power Co Ltd filed Critical Beijing Shenzhen Blue Space Remote Sensing Technology Co ltd
Priority to CN202210765083.8A priority Critical patent/CN115205700A/zh
Publication of CN115205700A publication Critical patent/CN115205700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种地物变化检测方法、装置及非易失性存储介质。其中，该方法包括：获取第一遥感图像和第二遥感图像，第一遥感图像和第二遥感图像均覆盖目标地理区域中的目标地物；根据目标分割尺度分别对第一遥感图像和第二遥感图像进行分割，得到第一地物图像和第二地物图像，第一地物图像和第二地物图像均为目标地物的图像；根据第一遥感图像，确定第一地物图像的第一特征，根据第二遥感图像，确定第二地物图像的第二特征；根据第一特征和第二特征确定特征差异影像；根据特征差异影像，确定第一遥感图像和第二遥感图像中的地物变化。本发明解决了检测遥感图像中的地物是否变化时基于像元进行检测时精度低的技术问题。

Description

地物变化检测方法、装置及非易失性存储介质
技术领域
本发明涉及遥感检测领域，具体而言，涉及一种地物变化检测方法、装置及非易失性存储介质。
背景技术
近年来，随着城市经济的快速发展，城市扩展、高速公路、铁路等规划建设也迎来迅猛发展，不断翻建新建房屋，输电线路的外破风险日益增加。同时电网快速发展，输电线路的公里数不断增长，沿线环境越来越复杂，防外力破坏形势异常严峻给输电线路运行带来了前所未有的挑战。遥感技术可以给输电线路外力破坏监测带来了全新的技术方法，利用遥感技术可实现大范围监测，获取信息速度快、周期短，极大程度的提高了输电线路外力破坏监测的效率。
在利用卫星遥感进行输电线路外力破坏监测过程中需要提取卫星影像的信息，对输电线路周围地物进行变化监测。地物变化检测方案中，影像分割是分类关键技术之一，分割尺度对地物的提取精度具有重要的影响，确定最优分割尺度是影像分类的前提。在以往的确定最优分割尺度方法中，主要是依靠人工经验目视判别最优分割尺度，此方法操作简单，但有一定的主观性且效率低下。地物提取中可以充分使用影像对象光谱、纹理特征，纹理特征之间具有一定的相关性，特征数量的增多会造成信息冗余，不一定能提高地物变化检测精度，甚至精度会降低。因此，现有的地物变化检测方法具有一定的不足和局限性。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种地物变化检测方法、装置及非易失性存储介质，以至少解决检测遥感图像中的地物是否变化时基于像元进行检测时精度低的技术问题。
根据本发明实施例的一个方面，提供了一种地物变化检测方法，包括：获取第一遥感图像和第二遥感图像，其中，所述第一遥感图像和所述第二遥感图像均覆盖目标地理区域中的目标地物；根据目标分割尺度分别对所述第一遥感图像和所述第二遥感图像进行分割，得到所述第一遥感图像对应的第一地物图像和所述第二遥感图像对应的第二地物图像，其中，所述第一地物图像和所述第二地物图像均为所述目标地物的图像；根据所述第一遥感图像，确定所述第一地物图像的第一特征，以及根据所述第二遥感图像，确定所述第二地物图像的第二特征；根据所述第一特征和所述第二特征，确定所述第一遥感图像和所述第二遥感图像的特征差异影像；根据所述特征差异影像，确定所述第一遥感图像和所述第二遥感图像中的地物变化。
可选地，所述根据目标分割尺度分别对所述第一遥感图像和所述第二遥感图像进行分割之前，还包括：根据灰度共生矩阵纹理信息熵，确定对象内同质性指标；根据对象光谱均值与邻域光谱均值的差分绝对值，确定对象间异质性指标；根据所述对象内同质性指标和所述对象间异质性指标，构建分割质量评价函数；根据所述分割质量评价函数，确定与所述目标地物对应的所述目标分割尺度。
可选地，所述根据所述分割质量评价函数，确定与所述目标地物对应的所述目标分割尺度，包括：在所述目标地物包括多个地物的情况下，根据所述分割质量评价函数依次确定多个所述目标分割尺度，其中，多个所述目标分割尺度与多个所述目标地物一一对应。
可选地，所述根据所述第一遥感图像，确定所述第一地物图像的第一特征，以及根据所述第二遥感图像，确定所述第二地物图像的第二特征，包括：根据所述第一遥感图像，计算得到所述第一地物图像的第一模糊相似度，以及根据所述第二遥感图像，计算得到所述第二地物图像的第二模糊相似度；根据所述第一模糊相似度，确定所述第一地物图像的第一角度纹理特征，以及根据所述第二模糊相似度，确定所述第二地物图像的第二角度纹理特征，其中，所述第一特征包括所述第一角度纹理特征，所述第二特征包括所述第二角度纹理特征。
可选地，所述根据所述第一遥感图像，计算得到所述第一地物图像的第一模糊相似度，以及根据所述第二遥感图像，计算得到所述第二地物图像的第二模糊相似度，包括：取所述第一地物图像内的多个第一矩形模板，确定每个所述第一矩形模板对应的第一模糊相似度，其中，所述第一模糊相似度根据其对应的第一矩形模板内的各个像素点与该第一矩形模板的中心像素点的像素差值和第一隶属度函数确定；取所述第二地物图像内的多个第二矩形模板，确定每个所述第二矩形模板对应的第二模糊相似度，其中，所述第二模糊相似度根据其对应的第二矩形模板内的各个像素点与该第二矩形模板的中心像素点的像素差值和第二隶属度函数确定。
可选地，所述根据所述第一模糊相似度，确定所述第一地物图像的第一角度纹理特征，以及根据所述第二模糊相似度，确定所述第二地物图像的第二角度纹理特征，包括：根据所述第一模糊相似度，确定多个所述第一矩形模板各自对应的多个第一模糊角度纹理特征；取多个所述第一模糊角度纹理特征中的第一最小特征值的方向为第一估计方向，根据所述第一估计方向确定所述第一地物图像的第一角度纹理特征；根据所述第二模糊相似度，确定多个所述第二矩形模板各自对应的多个第二模糊角度纹理特征；取多个所述第二模糊角度纹理特征中的第二最小特征值的方向为第二估计方向，根据所述第二估计方向确定所述第二地物图像的第二角度纹理特征。
可选地，所述根据所述第一特征和所述第二特征，确定所述第一遥感图像和所述第二遥感图像的特征差异影像，包括：采用图像二维熵分离阈值算法，从所述第一特征中选出第一有效特征，并从所述第二特征中选出第二有效特征，其中，所述第一有效特征和所述第二有效特征均为多个且一一对应；根据所述第一有效特征和所述第二有效特征，生成与多个初始差异影像，其中，每个所述初始差异影像根据相互对应的一个第一有效特征和一个第二有效特征确定；采用PCNN算法对所述多个初始差异影像进行图像融合，得到所述第一遥感图像和所述第二遥感图像的所述特征差异影像。
根据本发明实施例的另一方面，还提供了一种地物变化检测装置，包括：第一获取模块，用于获取第一遥感图像和第二遥感图像，其中，所述第一遥感图像和所述第二遥感图像均覆盖目标地理区域中的目标地物；分割模块，用于根据目标分割尺度分别对所述第一遥感图像和所述第二遥感图像进行分割，得到所述第一遥感图像对应的第一地物图像和所述第二遥感图像对应的第二地物图像，其中，所述第一地物图像和所述第二地物图像均为所述目标地物的图像；第一确定模块，用于根据所述第一遥感图像，确定所述第一地物图像的第一特征，以及根据所述第二遥感图像，确定所述第二地物图像的第二特征；第二确定模块，用于根据所述第一特征和所述第二特征，确定所述第一遥感图像和所述第二遥感图像的特征差异影像；第三确定模块，用于根据所述特征差异影像，确定所述第一遥感图像和所述第二遥感图像中的地物变化。
根据本发明实施例的又一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述任意一项所述地物变化检测方法。
根据本发明实施例的再一方面，还提供了一种计算机设备，所述计算机设备包括处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述地物变化检测方法。
在本发明实施例中，通过获取第一遥感图像和第二遥感图像，第一遥感图像和第二遥感图像均覆盖目标地理区域中的目标地物；根据目标分割尺度分别对第一遥感图像和第二遥感图像进行分割，得到第一地物图像和第二地物图像，第一地物图像和第二地物图像均为目标地物的图像；根据第一遥感图像，确定第一地物图像的第一特征，根据第二遥感图像，确定第二地物图像的第二特征；根据第一特征和第二特征确定特征差异影像；根据特征差异影像，确定第一遥感图像和第二遥感图像中的地物变化，达到了基于遥感图像中的地物对象对地物是否发生变化进行检测的目的，从而实现了提高遥感检测领域中的地物变化检测精度的技术效果，进而解决了检测遥感图像中的地物是否变化时基于像元进行检测时精度低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了一种用于实现地物变化检测方法的计算机终端的硬件结构框图；
图2是根据本发明实施例提供的地物变化检测方法的流程示意图；
图3是根据本发明可选实施例提供的遥感图像地物检测方法的流程示意图；
图4是根据本发明实施例提供的地物变化检测装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种地物变化检测的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现地物变化检测方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的地物变化检测方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的地物变化检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。
图2是根据本发明实施例提供的地物变化检测方法的流程示意图，如图2所示，该方法包括如下步骤：
步骤S201，获取第一遥感图像和第二遥感图像，其中，第一遥感图像和第二遥感图像均覆盖目标地理区域中的目标地物。本步骤中，第一遥感图像和第二遥感图像可以为同一或者相近地理区域的遥感图像且均覆盖目标地理区域中的目标地物。地物是地球表面上各种有形物的总称，可以泛指地球表面上相对固定的物体。
步骤S202，根据目标分割尺度分别对第一遥感图像和第二遥感图像进行分割，得到第一遥感图像对应的第一地物图像和第二遥感图像对应的第二地物图像，其中，第一地物图像和第二地物图像均为目标地物的图像。
需要说明的是，目标分割尺度为针对目标地物确定的用于分割地物的图像尺度值，相关技术中分割尺度的确定为根据经验做出的而不是根据分割地物的效果进行确定，因此相关技术中的图像分割结果主观性较强，甚至无法达到最优的地物变化检测精度。
步骤S203，根据第一遥感图像，确定第一地物图像的第一特征，以及根据第二遥感图像，确定第二地物图像的第二特征。
可选的，第一特征和第二特征可以均包括多个特征，多个第一特征和多个第二特征一一对应，特征类型相同，用于比较第一遥感图像和第二遥感图像的图像差异以确定目标地物在两相卫星图像中是否发生了变化，其中，两相卫星图像即为第一遥感图像和第二遥感图像。
步骤S204，根据第一特征和第二特征，确定第一遥感图像和第二遥感图像的特征差异影像。
步骤S205，根据特征差异影像，确定第一遥感图像和第二遥感图像中的地物变化。需要说明的是，地物变化即指目标地物在第一遥感图像和第二遥感图像中是否发生了变化，例如发生了地理位置的移动、姿态改变、大小改变等。
通过上述步骤，通过获取第一遥感图像和第二遥感图像，第一遥感图像和第二遥感图像均覆盖目标地理区域中的目标地物；根据目标分割尺度分别对第一遥感图像和第二遥感图像进行分割，得到第一地物图像和第二地物图像，第一地物图像和第二地物图像均为目标地物的图像；根据第一遥感图像，确定第一地物图像的第一特征，根据第二遥感图像，确定第二地物图像的第二特征；根据第一特征和第二特征确定特征差异影像；根据特征差异影像，确定第一遥感图像和第二遥感图像中的地物变化，达到了基于遥感图像中的地物对象对地物是否发生变化进行检测的目的，从而实现了提高遥感检测领域中的地物变化检测精度的技术效果，进而解决了检测遥感图像中的地物是否变化时基于像元进行检测时精度低的技术问题。
可选的，获取第一遥感图像和第二遥感图像时，可以获取第一初始遥感图像和第二初始遥感图像，然后对获取的初始遥感图像进行预处理，得到第一遥感图像和第二遥感图像。其中，初始遥感图像为遥感卫星影像，具体预处理过程可以有辐射定标、大气校正、几何校正、融合和图像配准。
作为一种可选的实施例，根据目标分割尺度分别对第一遥感图像和第二遥感图像进行分割之前，还包括：根据灰度共生矩阵纹理信息熵，确定对象内同质性指标；根据对象光谱均值与邻域光谱均值的差分绝对值，确定对象间异质性指标；根据对象内同质性指标和对象间异质性指标，构建分割质量评价函数；根据分割质量评价函数，确定与目标地物对应的目标分割尺度。
可选的，计算灰度共生矩阵纹理信息熵，可以作为对象内部同质性评价指标，计算对象光谱均值与邻域光谱均值差分绝对值，可以作为对象之间的异质性评价指标，对象可以是遥感图像中的地物，例如目标地物。对遥感图像中的目标地物进行分割时，最优的影像分割尺度是分割后地物图像内部具有较好的同质性，相邻地物图像之间具有较好的异质性。具体的，可以构建分割质量评价函数RMNE(the Ratio of mean difference toneighbor(abs)to entropy)，分割质量评价函数RMNE的值越大，表示地物内部具有较好的同质性，相近地物之间具有较好的异质性。因此，可以设定初始分割参数，分割尺度范围为50-230，以固定步长对目标地物的地物图像进行分割，依次计算每个分割尺度下地物图像的RMNE值，RMNE最大值对应的分割尺度为该目标地物对应的最优分割尺度。
作为一种可选的实施例，根据分割质量评价函数，确定与目标地物对应的目标分割尺度，包括：在目标地物包括多个地物的情况下，根据分割质量评价函数依次确定多个目标分割尺度，其中，多个目标分割尺度与多个目标地物一一对应。不同的地物对应着不同的最优分割尺度，针对不同地物，选取最优分割尺度对高分辨率卫星影像进行分割。
作为一种可选的实施例，根据第一遥感图像，确定第一地物图像的第一特征，以及根据第二遥感图像，确定第二地物图像的第二特征，包括：根据第一遥感图像，计算得到第一地物图像的第一模糊相似度，以及根据第二遥感图像，计算得到第二地物图像的第二模糊相似度；根据第一模糊相似度，确定第一地物图像的第一角度纹理特征，以及根据第二模糊相似度，确定第二地物图像的第二角度纹理特征，其中，第一特征包括第一角度纹理特征，第二特征包括第二角度纹理特征。
基于遥感图像分析的常用特征集的分类结果，建筑物和道路容易出现错提取和漏提取，因此，在提取道路类别的特征中，可以加入改进后的角度纹理特征提高道路提取的精度。例如，取角度纹理模板的中心点单个矩形模板的一端，再以该点为中心进行180°的旋转，可更快速地计算角度纹理特征。
作为一种可选的实施例，根据第一遥感图像，计算得到第一地物图像的第一模糊相似度，以及根据第二遥感图像，计算得到第二地物图像的第二模糊相似度，包括：取第一地物图像内的多个第一矩形模板，确定每个第一矩形模板对应的第一模糊相似度，其中，第一模糊相似度根据其对应的第一矩形模板内的各个像素点与该第一矩形模板的中心像素点的像素差值和第一隶属度函数确定；取第二地物图像内的多个第二矩形模板，确定每个第二矩形模板对应的第二模糊相似度，其中，第二模糊相似度根据其对应的第二矩形模板内的各个像素点与该第二矩形模板的中心像素点的像素差值和第二隶属度函数确定。
可选的，第一模糊相似度和第二模糊相似度可以基于如下公式计算：
Figure BDA0003724967000000081
其中，S表示模糊相似度，矩形模板长为L，宽为W，i表示矩形模板中的第i个像素点，以道路中的某一点为中心，以角度θ为矩形模板间的间隔旋转180°；矩形模板中心点的灰度值为gc，计算矩形模板内每个像素点gi与中心像素的模糊相似度，F表示隶属度函数。其中，矩形模板表示地物图像内的一个计算单元，每个矩形模板中可以包括图像中的多个像元，矩形模板将多个像元“罩”住，以矩形模板为单位计算模糊相似度。
可选的，第一隶属度函数和第二隶属度函数可以采用如下形式的函数：
Figure BDA0003724967000000082
其中，z＝|gi-gc|，ε1、ε2和ε3表示隶属度函数的分段点，即z值的参数范围，参数范围可以根据经验以及试验性的计算确定，其大小可根据实际情况进行调整。隶属度函数属于模糊评价方法中的概念，基于隶属度可以将矩形模板中的不同像素点对于整个矩形模板的模糊相似度的贡献进行区分，使得根据模糊相似度计算得到的角度纹理特征更加精确，更能反应出目标地物例如道路的角度纹理特征。
作为一种可选的实施例，根据第一模糊相似度，确定第一地物图像的第一角度纹理特征，以及根据第二模糊相似度，确定第二地物图像的第二角度纹理特征，包括：根据第一模糊相似度，确定多个第一矩形模板各自对应的多个第一模糊角度纹理特征；取多个第一模糊角度纹理特征中的第一最小特征值的方向为第一估计方向，根据第一估计方向确定第一地物图像的第一角度纹理特征；根据第二模糊相似度，确定多个第二矩形模板各自对应的多个第二模糊角度纹理特征；取多个第二模糊角度纹理特征中的第二最小特征值的方向为第二估计方向，根据第二估计方向确定第二地物图像的第二角度纹理特征。
由S的特性可以得出模糊角度纹理特征α的计算公式为α＝L×W－S。计算得到每张遥感图像中目标地物的地物图像中的多个方向的模糊角度纹理特征值后，在目标地物为道路的情况下，可以取最小特征值所在的方向为道路的估计方向，每个像素点的特征值取该点估算方向的角度纹理特征，即得到第一角度纹理特征和第二角度纹理特征。
作为一种可选的实施例，根据第一特征和第二特征，确定第一遥感图像和第二遥感图像的特征差异影像，包括：采用图像二维熵分离阈值算法，从第一特征中选出第一有效特征，并从第二特征中选出第二有效特征，其中，第一有效特征和第二有效特征均为多个且一一对应；根据第一有效特征和第二有效特征，生成与多个初始差异影像，其中，每个初始差异影像根据相互对应的一个第一有效特征和一个第二有效特征确定；采用PCNN算法对多个初始差异影像进行图像融合，得到第一遥感图像和第二遥感图像的特征差异影像。
结合图像二维熵的分离阈值(EMISE)算法，选出有效表征地物类别的特征。假设纹理特征集合为Fp＝(f1,f2,…,fp)，地物类别为Cn＝(c1,c2,…,cn)，典型地物的样本数为Kn＝(k1,k2,…,kn)。以两个类别为例进行说明，类内距离计算公式如下：
Figure BDA0003724967000000091
Figure BDA0003724967000000092
式中，di(i＝1,2)为类别ci(i＝1,2)中某个样本与其他同样本在特征fj(j＝1,2,…,p)上的距离累加和；ki(i＝1,2)表示某类样本的数量；
Figure BDA0003724967000000093
和
Figure BDA0003724967000000094
分别为ci类第l个样本和第m个样本的特征值。
构建类间距离与类内距离的比值作为类间可分性的评价准则：
T＝J/D
J＝2(1-e-B)
Figure BDA0003724967000000095
式中，B表示巴氏距离；ai和σi(i＝1,2)分别表示两个类别在某特征上的均值和标准差，根据类间距离大和类内距离小的原则可知：T的值越大，表示两类别间的可分性越大；反之，可分性越小。
图像二维熵可以反映图像灰度的空间分布特征，将图像中的相邻区域灰度均值作为灰度空间分布特征量与像素灰度值构成特征二维组，并记为(ii,jj)，其中ii表示像素的灰度值，jj表示邻域灰度均值。定义离散的图像二维熵为：
Figure BDA0003724967000000096
Figure BDA0003724967000000097
式中，g(ii,jj)为特征二维组(ii,jj)出现的次数；N为图像的尺度。
通过计算在同一特征上与其他所有类别的类间距离和类内距离的比值之和，同时将反映图像信息含量的二维熵N融合到特征选择过程中，构建了结合信息熵和类间可分性的评价指标为：
Figure BDA0003724967000000098
Rci,fi值越大，说明特征fj包含的信息量越大，与其他类别的可分性越大，即该特征具有更高的重要性。计算所有类别的评价指标得分，求得ci类在所有特征上的前t个最高评价得分所对应的特征后即可选出特征子集，可选的，t可以取5。
进一步的，假设p1和p2分别是T1时相和T2时相相同位置的两个对象，由它们在各个波段的像元值构成它们的特征向量，分别表示为p1(p11,p12,p13,p14)和p2(p21,p22,p23,p24)，那么变化向量就可以表示为pc(P21-p11,p22-p12,p23-p13,p24-p14)。
Figure BDA0003724967000000101
式中，i为第i个对象，通过计算每个对象的变化强度pc，就可以获取两个时相影像的变化强度影像N1。
以3*3像元窗口分别获取两期影像的相关性纹理特征数据Wx，计算公式如下：
Figure BDA0003724967000000102
式中，q为灰度量化等级；p(i,j)为联合条件概率密度；μi为共生矩阵第i行的均值；μj为共生矩阵第j行的均值；σi为共生矩阵第i行的标准差；σj为共生矩阵第j行的标准差。
Figure BDA0003724967000000103
式中，i为第i个对象，
Figure BDA0003724967000000104
为第二时相第i个对象的相关性纹理特征数据，
Figure BDA0003724967000000105
第一时相第i个对象的相关性纹理特征数据，
Figure BDA0003724967000000106
为第二时相第i个对象的角度纹理特征数据，
Figure BDA0003724967000000107
第一时相第i个对象的角度纹理特征数据。通过计算每个对象的纹理变化强度||W||，就可以获取两个时相影像(即第一遥感图像和第二遥感图像)的地物变化强度影像N2。
采用自适应PCNN神经网络方法对这两种差异信息进行融合，得到融合的多特征差异影像。可选的，对融合后的影像可以利用Chan-Vese方法进行阈值分割，获取变化检测结果，即目标地物在第一遥感图像和第二遥感图像中是否发生了变化的检测结果。
图3是根据本发明可选实施例提供的遥感图像地物检测方法的流程示意图，如图3所示，针对现有技术中存在的技术问题，图3示出的可选方法可以利用分割质量评价函数RMNE针对不同地物自动确定最优分割尺度，并引入模糊隶属度，通过计算矩形模板内像素的模糊相似度来提取角度纹理特征，用于优化道路的提取的精度；结合图像二维熵的分离阈值算法对遥感图像的常用纹理特征集进行特征筛选，选出有效表征地物类别的最优特征(即第一遥感图像对应的第一有效特征和第二遥感图像对应的第二有效特征)，计算两时相卫星影像每个对象的光谱特征差异影像和纹理特征差异影像，并对两种特征的差异影像进行自适应PCNN图像融合，得到融合的多特征差异影像。对融合后的影像利用Chan-Vese方法进行阈值分割，获取变化检测结果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
根据本发明实施例，还提供了一种用于实施上述地物变化检测方法的地物变化检测装置，图4是根据本发明实施例提供的地物变化检测装置的结构框图，如图4所示，该地物变化检测装置包括：第一获取模块41，分割模块42，第一确定模块43，第二确定模块44和第三确定模块45，下面对该地物变化检测装置进行说明。
第一获取模块41，用于获取第一遥感图像和第二遥感图像，其中，第一遥感图像和第二遥感图像均覆盖目标地理区域中的目标地物；
分割模块42，用于根据目标分割尺度分别对第一遥感图像和第二遥感图像进行分割，得到第一遥感图像对应的第一地物图像和第二遥感图像对应的第二地物图像，其中，第一地物图像和第二地物图像均为目标地物的图像；
第一确定模块43，用于根据第一遥感图像，确定第一地物图像的第一特征，以及根据第二遥感图像，确定第二地物图像的第二特征；
第二确定模块44，用于根据第一特征和第二特征，确定第一遥感图像和第二遥感图像的特征差异影像；
第三确定模块45，用于根据特征差异影像，确定第一遥感图像和第二遥感图像中的地物变化。
此处需要说明的是，上述第一获取模块41，分割模块42，第一确定模块43，第二确定模块44和第三确定模块45对应于实施例中的步骤S201至步骤S205，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例提供的计算机终端10中。
本发明的实施例可以提供一种计算机设备，可选地，在本实施例中，上述计算机设备可以位于计算机网络的多个网络设备中的至少一个网络设备。该计算机设备包括存储器和处理器。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的地物变化检测方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的地物变化检测方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取第一遥感图像和第二遥感图像，其中，第一遥感图像和第二遥感图像均覆盖目标地理区域中的目标地物；根据目标分割尺度分别对第一遥感图像和第二遥感图像进行分割，得到第一遥感图像对应的第一地物图像和第二遥感图像对应的第二地物图像，其中，第一地物图像和第二地物图像均为目标地物的图像；根据第一遥感图像，确定第一地物图像的第一特征，以及根据第二遥感图像，确定第二地物图像的第二特征；根据第一特征和第二特征，确定第一遥感图像和第二遥感图像的特征差异影像；根据特征差异影像，确定第一遥感图像和第二遥感图像中的地物变化。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一非易失性存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本发明的实施例还提供了一种非易失性存储介质。可选地，在本实施例中，上述非易失性存储介质可以用于保存上述实施例所提供的地物变化检测方法所执行的程序代码。
可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：获取第一遥感图像和第二遥感图像，其中，第一遥感图像和第二遥感图像均覆盖目标地理区域中的目标地物；根据目标分割尺度分别对第一遥感图像和第二遥感图像进行分割，得到第一遥感图像对应的第一地物图像和第二遥感图像对应的第二地物图像，其中，第一地物图像和第二地物图像均为目标地物的图像；根据第一遥感图像，确定第一地物图像的第一特征，以及根据第二遥感图像，确定第二地物图像的第二特征；根据第一特征和第二特征，确定第一遥感图像和第二遥感图像的特征差异影像；根据特征差异影像，确定第一遥感图像和第二遥感图像中的地物变化。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种地物变化检测方法，其特征在于，包括：
获取第一遥感图像和第二遥感图像，其中，所述第一遥感图像和所述第二遥感图像均覆盖目标地理区域中的目标地物；
根据目标分割尺度分别对所述第一遥感图像和所述第二遥感图像进行分割，得到所述第一遥感图像对应的第一地物图像和所述第二遥感图像对应的第二地物图像，其中，所述第一地物图像和所述第二地物图像均为所述目标地物的图像；
根据所述第一遥感图像，确定所述第一地物图像的第一特征，以及根据所述第二遥感图像，确定所述第二地物图像的第二特征；
根据所述第一特征和所述第二特征，确定所述第一遥感图像和所述第二遥感图像的特征差异影像；
根据所述特征差异影像，确定所述第一遥感图像和所述第二遥感图像中的地物变化。
2.根据权利要求1所述的方法，其特征在于，所述根据目标分割尺度分别对所述第一遥感图像和所述第二遥感图像进行分割之前，还包括：
根据灰度共生矩阵纹理信息熵，确定对象内同质性指标；
根据对象光谱均值与邻域光谱均值的差分绝对值，确定对象间异质性指标；
根据所述对象内同质性指标和所述对象间异质性指标，构建分割质量评价函数；
根据所述分割质量评价函数，确定与所述目标地物对应的所述目标分割尺度。
3.根据权利要求2所述的方法，其特征在于，所述根据所述分割质量评价函数，确定与所述目标地物对应的所述目标分割尺度，包括：
在所述目标地物包括多个地物的情况下，根据所述分割质量评价函数依次确定多个所述目标分割尺度，其中，多个所述目标分割尺度与多个所述目标地物一一对应。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一遥感图像，确定所述第一地物图像的第一特征，以及根据所述第二遥感图像，确定所述第二地物图像的第二特征，包括：
根据所述第一遥感图像，计算得到所述第一地物图像的第一模糊相似度，以及根据所述第二遥感图像，计算得到所述第二地物图像的第二模糊相似度；
根据所述第一模糊相似度，确定所述第一地物图像的第一角度纹理特征，以及根据所述第二模糊相似度，确定所述第二地物图像的第二角度纹理特征，其中，所述第一特征包括所述第一角度纹理特征，所述第二特征包括所述第二角度纹理特征。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一遥感图像，计算得到所述第一地物图像的第一模糊相似度，以及根据所述第二遥感图像，计算得到所述第二地物图像的第二模糊相似度，包括：
取所述第一地物图像内的多个第一矩形模板，确定每个所述第一矩形模板对应的第一模糊相似度，其中，所述第一模糊相似度根据其对应的第一矩形模板内的各个像素点与该第一矩形模板的中心像素点的像素差值和第一隶属度函数确定；
取所述第二地物图像内的多个第二矩形模板，确定每个所述第二矩形模板对应的第二模糊相似度，其中，所述第二模糊相似度根据其对应的第二矩形模板内的各个像素点与该第二矩形模板的中心像素点的像素差值和第二隶属度函数确定。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一模糊相似度，确定所述第一地物图像的第一角度纹理特征，以及根据所述第二模糊相似度，确定所述第二地物图像的第二角度纹理特征，包括：
根据所述第一模糊相似度，确定多个所述第一矩形模板各自对应的多个第一模糊角度纹理特征；
取多个所述第一模糊角度纹理特征中的第一最小特征值的方向为第一估计方向，根据所述第一估计方向确定所述第一地物图像的第一角度纹理特征；
根据所述第二模糊相似度，确定多个所述第二矩形模板各自对应的多个第二模糊角度纹理特征；
取多个所述第二模糊角度纹理特征中的第二最小特征值的方向为第二估计方向，根据所述第二估计方向确定所述第二地物图像的第二角度纹理特征。
7.根据权利要求1至6中任意一项所述方法，其特征在于，所述根据所述第一特征和所述第二特征，确定所述第一遥感图像和所述第二遥感图像的特征差异影像，包括：
采用图像二维熵分离阈值算法，从所述第一特征中选出第一有效特征，并从所述第二特征中选出第二有效特征，其中，所述第一有效特征和所述第二有效特征均为多个且一一对应；
根据所述第一有效特征和所述第二有效特征，生成与多个初始差异影像，其中，每个所述初始差异影像根据相互对应的一个第一有效特征和一个第二有效特征确定；
采用PCNN算法对所述多个初始差异影像进行图像融合，得到所述第一遥感图像和所述第二遥感图像的所述特征差异影像。
8.一种地物变化检测装置，其特征在于，包括：
第一获取模块，用于获取第一遥感图像和第二遥感图像，其中，所述第一遥感图像和所述第二遥感图像均覆盖目标地理区域中的目标地物；
分割模块，用于根据目标分割尺度分别对所述第一遥感图像和所述第二遥感图像进行分割，得到所述第一遥感图像对应的第一地物图像和所述第二遥感图像对应的第二地物图像，其中，所述第一地物图像和所述第二地物图像均为所述目标地物的图像；
第一确定模块，用于根据所述第一遥感图像，确定所述第一地物图像的第一特征，以及根据所述第二遥感图像，确定所述第二地物图像的第二特征；
第二确定模块，用于根据所述第一特征和所述第二特征，确定所述第一遥感图像和所述第二遥感图像的特征差异影像；
第三确定模块，用于根据所述特征差异影像，确定所述第一遥感图像和所述第二遥感图像中的地物变化。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述地物变化检测方法。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述地物变化检测方法。
CN202210765083.8A 2022-06-30 2022-06-30 地物变化检测方法、装置及非易失性存储介质 Pending CN115205700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210765083.8A CN115205700A (zh) 2022-06-30 2022-06-30 地物变化检测方法、装置及非易失性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210765083.8A CN115205700A (zh) 2022-06-30 2022-06-30 地物变化检测方法、装置及非易失性存储介质

Publications (1)

Publication Number Publication Date
CN115205700A true CN115205700A (zh) 2022-10-18

Family

ID=83578872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210765083.8A Pending CN115205700A (zh) 2022-06-30 2022-06-30 地物变化检测方法、装置及非易失性存储介质

Country Status (1)

Country Link
CN (1) CN115205700A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688514A (zh) * 2024-02-04 2024-03-12 广东格绿朗节能科技有限公司 基于多源数据的遮阳篷健康状况检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688514A (zh) * 2024-02-04 2024-03-12 广东格绿朗节能科技有限公司 基于多源数据的遮阳篷健康状况检测方法及系统
CN117688514B (zh) * 2024-02-04 2024-04-30 广东格绿朗节能科技有限公司 基于多源数据的遮阳篷健康状况检测方法及系统

Similar Documents

Publication Publication Date Title
CN109472199B (zh) 一种图像融合分类的方法及装置
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
Qin et al. Spatiotemporal inferences for use in building detection using series of very-high-resolution space-borne stereo images
CN113887472B (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
Xu et al. An automatic optical and SAR image registration method with iterative level set segmentation and SIFT
CN114140637B (zh) 图像分类方法、存储介质和电子设备
CN113378897A (zh) 基于神经网络的遥感图像分类方法、计算设备及存储介质
CN110598705B (zh) 图像的语义标注方法及装置
CN115205700A (zh) 地物变化检测方法、装置及非易失性存储介质
Luo et al. Extraction of bridges over water from IKONOS panchromatic data
Dong et al. A cloud detection method for GaoFen-6 wide field of view imagery based on the spectrum and variance of superpixels
Adu-Gyamfi et al. Functional evaluation of pavement condition using a complete vision system
CN110910379A (zh) 一种残缺检测方法及装置
CN111079807A (zh) 一种地物分类方法及装置
Gu et al. Thermal image colorization using Markov decision processes
Serati et al. Digital surface model generation from high-resolution satellite stereo imagery based on structural similarity
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN109726679B (zh) 一种遥感分类误差空间分布制图方法
Sun et al. Locality Preservation for Unsupervised Multimodal Change Detection in Remote Sensing Imagery
CN117058548A (zh) 遥感图像目标检测方法、装置、存储介质和电子设备
CN111444833A (zh) 果实测产方法、装置、计算机设备及存储介质
CN115829996A (zh) 基于深度特征图的无监督合成孔径雷达图像变化检测方法
Chen et al. Urban damage estimation using statistical processing of satellite images
CN115270841A (zh) 条码检测方法、装置、存储介质及计算机设备
CN114708260A (zh) 图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination