CN117693664A - 用于感测星球地形的系统和方法 - Google Patents

用于感测星球地形的系统和方法 Download PDF

Info

Publication number
CN117693664A
CN117693664A CN202280049477.1A CN202280049477A CN117693664A CN 117693664 A CN117693664 A CN 117693664A CN 202280049477 A CN202280049477 A CN 202280049477A CN 117693664 A CN117693664 A CN 117693664A
Authority
CN
China
Prior art keywords
sensor
data sets
spatially
processor
planet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280049477.1A
Other languages
English (en)
Inventor
苏亚什·辛格
丹尼尔·恰达
基山·塔卡
拉卡希特·巴哈特
普拉尼特·梅塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Galaxy Space Solutions Private Ltd
Original Assignee
Galaxy Space Solutions Private Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Galaxy Space Solutions Private Ltd filed Critical Galaxy Space Solutions Private Ltd
Publication of CN117693664A publication Critical patent/CN117693664A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/303Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/08Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本公开揭示了一种用于感测星球地形的传感器系统。该系统包括至少一个板载处理器。该系统还包括至少一个第一和第二,其配置在距星球地壳部分某高度处移动的运载工具上,用于感测星球样本区域的地形。传感器通信地耦合至板载处理器。该系统包括通信地耦合到板载处理器的存储器,其中存储器存储可执行指令,当可执行指令由处理器执行时,使得处理器促使实现传感器在朝向样本区域的方向上的同步和定向对准,以感测空间上和时间上匹配的数据集。然后,处理器接收并处理空间上和时间上匹配的数据集以实现其像素级共同配准。

Description

用于感测星球地形的系统和方法
具体实施方式
如前文所述,现有的光学传感器和微波传感器获取的原始数据来自不同的源,并且各自具有自己的技术规格和参数。此外,考虑到传感器的操作方式不同,在从不同的各来源获得数据集的情况下,对这些数据集进行共同配准具有挑战性,从而导致很多错误。因此,目前整个过程消耗大量的时间和精力,而且数据融合结果的准确性仍然受到限制。
为了克服上述问题,本主题设想了一种用于感测星球地形的传感器系统,其涉及使用配备有光学感测、红外感测和微波感测的两种不同传感器,这些传感器被同步、对准并配置为同时操作。此外,三个传感器被配置用于感测地形的样本区域以捕获与样本区域的特征相关联的、在空间上和时间上匹配的数据集。
图1A示出的框图描绘了根据本主题的实施例的用于感测星球100的地形的传感器系统(下文中称为系统100)的操作原理。系统100包括至少一个板载处理器102和通信地耦合到该至少一个板载处理器的存储器104,该存储器存储用于系统100操作的可执行指令。系统100还包括至少一个第一传感器106和至少一个第二传感器108。第一传感器106和第二传感器108通信地耦合到板载处理器102(下文中可互换地称为处理器102)。
系统100还包括同步器单元112,其通信地耦合到处理器102以及第一传感器106和第二传感器108。同步器单元112被配置成接收处理器102的指令以实现第一传感器106与第二传感器108的同步对准。在一个实施例中,同步器单元112还被配置成启动第一传感器106和第二传感器108的同时操作。在一个实施例中,至少一个第一传感器106是光学传感器和红外传感器,并且至少一个第二传感器108包括微波传感器。可以理解,系统100包括附加感测特征,与本文背景部分中讨论的常规传感器系统相比,该附加感测特征是红外感测。此外,同步器单元112实现第一传感器106与第二传感器108朝向所观测的地形的样本区域的同时操作和同步对准。
在像素级融合中,使用特定数学运算对全部数据集中的对应像素进行组合,以生成信息更丰富的新像素。为了实现高质量的像素级融合,需要在空间和时间上将这些数据集对准,使得一个数据集中的任何像素尽可能与另一数据集中的相应像素重叠。这种空间和时间上对准的数据集称为共同配准数据集。
因此,在共同配准过程中,从所有传感器获得的数据集在空间上和时间上相互匹配,因此两个数据集中的对应像素指向样本区域中的同一对象。这使得像素级融合成为可能,其中来自两个数据集的对应像素被组合到一起。在决策级或特征级融合的情况下,共同配准不是必需的,因为不涉及与两个数据集的像素同时交互。如前文所述,这会导致妥协于只能在像素级看到复杂性和次要细节。例如,在绘制海上船舶地图时,决策级融合将仅对数据集一和数据集二绘制了海上如此多船舶的事实进行比较。特征级融合将对图像中不同特征获得的数据进行比较,例如,每艘船将相应地映射到其他数据集并给出有关其位置的详细信息。像素级融合提供有关区域和特征的更多详细信息,每个像素都对应地映射到其他数据集。这会得到对各船只的大小和体积、已有集装箱数量等的解读。因此,可以看出,像素级融合能够得到可以访问的新信息,从而能够得出新的解读。
图1B示出了根据本主题的系统100的示例性实施例的示意图。如图1B所示,传感器106、108安装在运载工具V上,运载工具V处于距星球地壳C某高度处。从图1B可以看出,传感器106、108被对准以同时感测星球的地形。
图2示出了根据本主题的系统100的示例性实施例的示意图。下面参照图1和图2。触发系统100的操作的第一步是指示板载处理器102告知已请求对特定样本区域进行观测。当板载处理器102接收到指令,板载处理器102经由同步器单元112触发第一传感器106和第二传感器108的同步。如前文所述,同步器单元112可以被配置成促使实现第一传感器106、第二传感器108朝向所观测的地形的样本区域同时操作和同步对准。
在一个实施例中,如图2所示,跨航迹方向上的第一传感器106和第二传感器108的波束中心被对准,并且同时开始进行数据收集。这种特征的一个有利方面在于其有利于获得所需参数的在空间上和时间上匹配的数据集。根据另一实施例,第一传感器106(光学传感器和红外传感器)数据集中的像素数量是微波传感器数据集中的像素数量的倍数,以有助于实现数据集的平滑像素级共同配准。根据又一实施例,使第一传感器106和第二传感器108同时操作和同步对准的有利方面在于,其允许捕获在时间戳和方位角元素方面相匹配的像素,这最终有利于实现两个传感器的不同数据集的平滑像素级共同配准。
根据一个实施例,第一传感器106和第二传感器108被配置在飞行器、航天器以及卫星中至少一者上。更具体地,第一传感器106和第二传感器108可以安装在能够在距星球地壳某高度处移动的任何运载工具上。
返回参照图2,当第一传感器106和第二传感器108捕捉到空间上和时间上匹配的数据集,板载处理器102接收并处理这些数据集。如前文所述,处理器102促使实现数据集的处理以实现对由配置用于光学感测、红外感测和微波感测的两个不同传感器获得的数据集的像素级共同配准。数据集的像素级共同配准有助于实现更有效的后处理,以获得常规系统相比更准确的有意义的数据集。
图3示出了根据本主题的实施例、在系统100中使用的同步器单元112的示意图。根据本主题的实施例,同步器单元112包括同步器控制单元114。至少一个运动传感器116通信地耦合到同步器控制单元114以及第一传感器106和第二传感器108,用于检测其位置。同步器单元112还包括至少一个致动器118,其通信地耦合到同步器控制单元114。致动器118还耦合到第一传感器106和第二传感器108,用于促使实现第一传感器106和第二传感器108的同步和定向对准,朝向样本区域的方向以用于感测空间上和时间上匹配的数据集。
运动传感器116被配置成检测传感器106、108的精确位置。关于位置的信息被送回同步器控制单元114作为反馈,同步器控制单元114基于该反馈控制致动器118以促使实现第一传感器106和第二传感器106的同步和定向对准。
应当注意,同步器控制单元114还通信地耦合至运载工具的运载工具稳定单元402,系统100可以安装在该运载工具上。这确保在促使实现第一传感器106和第二传感器108朝向期望的样本区域的同步和定向对准时,同步器控制单元114不仅考虑传感器的位置,而且考虑运载工具的位置。
图4描绘的框图描绘了根据本主题的实施例的感测星球地形的方法500(下文中称为方法500)。参照图5,在框502处,该方法包括接收捕获命令的步骤。在实施例中,捕获命令经由板载处理器102接收。可以通过以下方式将捕获命令提供给板载处理器102:经由可以设置在地面上的远程服务器、或者通过板载处理器102中设置的内部触发逻辑、或者通过安装有系统100的运载工具中的车载人员。
在框504处,方法500包括激活同步器单元的步骤。更具体地,至少一个第一传感器和至少一个第二传感器被配置在距星球地壳部分某高度处移动的运载工具上,用于感测星球的样本区域的地形。激活同步器单元的步骤包括实现至少一个第一传感器和至少一个第二传感器的同步和定向对准,朝向样本区域的方向以感测空间上和时间上匹配的数据集。
在框506处,方法500包括同时激活可见光传感器(也称为光学传感器、红外传感器和第一传感器)和微波传感器(也称为第二传感器)的操作以获得空间上和时间上匹配的数据集。
在框508处,方法500包括接收和处理空间上和时间上匹配的数据集,以实现对空间上和时间上匹配的数据集进行像素级共同配准的步骤,如框510所示。根据本主题的一个实施例,该步骤由系统100的板载处理器102执行。
从以上描述可以看出,系统100实现对第一传感器106和第二传感器108获得的数据集的像素级共同配准。此外,系统100利用各传感器的互补性质并且组合两个传感器的各数据集,以实现第一传感器和第二传感器获得的数据集的平滑像素级共同配准。
系统100的有利方面在于:将各个传感器容纳在公共系统中有利于对同一地点“同时”获取数据。这在以前不可能是因为各个传感器数据集目前来自不同的来源。因此,保持了数据集的完整性和一致性。
应注意的是,光学传感器106无法透过云层进行感测,因而,很多所获取的数据由于云层覆盖的存在而变得没有意义。通常,任何云量超过10%的数据集都不会用于数据处理、分析和解读。因此,利用雷达传感器110和第一传感器的红外感测特征,即使在多云天气下也能够获取数据,并且可以进一步推高10%的云量阈值,从而提高了处理更高云量的潜力。因此,捕获的有意义数据量显著增加。
根据本主题的实施例的系统100具有利用地球观测和遥感的各种应用。系统100的应用可以大致分为三个用例:资产检测、资产监控(检查/跟踪)和变化检测。这三个用例可以应用于各个行业,包括但不限于农业、房地产、公用事业、国防、金融、供应链、采矿、基础设施、灾害管理等。而光学数据广泛用于对感兴趣领域的视觉理解,雷达数据有助于解锁无法从光学数据获得的更深入的解读。新的数据集可用于捕获被感测对象的颜色和几何形状,从而更好地了解感兴趣的样本区域。
对于农业,系统100可以用于生成数据集的像素级共同配准,可以帮助检测土壤的类型(例如,颜色)以及土壤的水分含量,从而帮助制定适合于感兴趣样品区域的施肥和灌溉协议。
系统100的又一个应用可以是森林测绘。数据集的像素级共同配准可以促进监测林业类型(树木形状)和植被健康(基于叶子的颜色),从而帮助跟踪感兴趣样本区域中的森林砍伐程度。
系统100的又一应用可以是检测和绘制感兴趣样本区域内的伪装对象。由传感器106、108获得的数据集的像素级共同配准还可证明有利于绘制伪装对象,该应用在单独使用光学传感器的情况下是受限的。在大多数情况下,雷达传感器能在有伪装的情况下指出该区域的异常情况,但无法对该对象的状况做出更多准确解释。一个实时的例子来自非洲,那里农村聚居区的水管理系统即是基于该应用规划的。住宅里房屋的屋顶既有金属板制成的,也有茅草制成的。后者利用地面进行伪装,而前者则被雷达传感器捕捉到。选择这些点后,使用光学传感器对这些区域进行详细采集,可以了解人口和覆盖区域。与对这些区域进行手动地面检查相比,该应用节省了大量时间、金钱和精力。雷达传感器还能够检测地下水位。因此,由系统100获得的新数据集将能够给出该区域的视觉地图,以及该特定位置处的地下水位。正如前文所解释的,使用从常规来源获得的数据来执行此操作会带来大量错误和复杂性。
参照附图中例示并在前文中详细描述的实施例/方面,可以充分地揭示不同的特征和有益细节。出于突出本主题并且不使本主题及其有利特征变得模糊的目的,未描述和/或介绍本领域技术人员公知的技术、方法、部件和设备或形成本主题所属领域中的公知常识的技术、方法、部件和设备。同时,本文在详细描述和具体示例中所解释的本主题及其特征仅以说明的方式给出,而不是以限制的方式给出。应当理解,本领域技术人员可以并且能够想到各种替选的替代、修改、附加和/或重布置方案,这些被认为处于基本发明构思的精神和/或范围内。
在本说明书中,词语“包括”或其变体例如“包含”或“具有”意指包括所陈述的元素、整体或步骤,或者元件、整体或步骤的组,但不排除任何其他元素、整体或步骤,或元素、整体或步骤的组。
此外,使用表述“至少”或“至少一个”表明使用一个或多个元素或成分或数量,这样的使用能在本发明的实施例中实现一个或多个期望的目的或结果。

Claims (10)

1.一种用于感测星球地形的传感器系统,所述系统包括:
至少一个板载处理器;
至少一个第一传感器和至少一个第二传感器,其被配置于在距所述星球的地壳部分某高度处移动的至少一个运载工具上,用于感测所述星球的样本区域的地形,所述至少一个第一传感器和至少一个第二传感器通信地耦合至所述至少一个板载处理器;
至少一个存储器,其通信地耦合至所述至少一个板载处理器,所述存储器存储可执行指令,当所述可执行指令被所述处理器执行时,使得计算机处理器执行以下操作:
i.促使所述至少一个第一传感器和所述至少一个第二传感器的的同步和定向对准,朝向所述样本区域的方向以感测空间上和时间上匹配的数据集,其中,所述至少一个第一传感器和所述至少一个第二传感器的同步和定向对准通过通信地耦合至所述处理器的同步器单元来实现;以及
ii.接收并处理所述空间上和时间上匹配的数据集,以实现所述空间上和时间上匹配的数据集的像素级共同配准。
2.根据权利要求1所述的传感器系统,其中,所述至少一个第一传感器包括光学传感器和红外传感器,并且所述至少一个第二传感器包括微波传感器。
3.根据权利要求1所述的传感器系统,其中,所述运载工具是下述之一:航天器、飞行器、以及卫星。
4.根据权利要求2所述的传感器系统,其中,在跨航迹方向上,所述第一传感器和所述第二传感器的波束中心对准。
5.根据权利要求2所述的传感器系统,其中,所述光学传感器和红外传感器的数据集中的像素数量是所述微波传感器的数据集中的像素数量的倍数。
6.根据权利要求1所述的传感器系统,其中,所述同步器单元包括:
同步器控制单元;
至少一个运动传感器,其通信地耦合到所述同步器控制单元,所述至少一个运动传感器耦合到所述至少一个第一传感器和所述至少一个第二传感器,用于检测所述第一传感器和所述第二传感器的位置;以及
至少一个致动器,其通信地耦合到所述同步器控制单元,所述至少一个致动器耦合到所述至少一个第一传感器和所述至少一个第二传感器,用于促使所述至少一个第一传感器和所述至少一个第二传感器的同步和定向对准,朝向所述样本区域的方向以感测所述空间上和时间上匹配的数据集。
7.根据权利要求1所述的传感器系统,其中,所述至少一个第一传感器和所述至少一个第二传感器被配置在至少单个运载工具上。
8.一种用于感测星球地形的方法,包括:
配置至少一个第一传感器和至少一个第二传感器,所述第一传感器和所述第二传感器被配置于在距所述星球的地壳部分某高度处移动的至少一个运载工具上,用于感测所述星球的样本区域的地形;
促使所述至少一个第一传感器和所述至少一个第二传感器的同步和定向对准,朝向所述样本区域的方向以感测空间上和时间上匹配的数据集;
接收并处理所述空间上和时间上匹配的数据集,以生成与所述空间上和时间上匹配的数据集相对应的像素级共同配准数据集。
9.根据权利要求8所述的传感器系统,其中,所述至少一个第一包括光学传感器和红外传感器,并且所述至少一个第二传感器包括微波传感器,并且在跨航迹方向上,所述第一传感器和所述第二传感器的波束中心对准。
10.根据权利要求9所述的传感器系统,其中,所述光学传感器和红外传感器的数据集中的像素数量是所述微波传感器的数据集中的像素数量的倍数。
CN202280049477.1A 2021-07-12 2022-05-11 用于感测星球地形的系统和方法 Pending CN117693664A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN202141031282 2021-07-12
IN202141031282 2021-07-12
PCT/IN2022/050460 WO2023286075A1 (en) 2021-07-12 2022-05-11 A system and method for sensing topology of a planet

Publications (1)

Publication Number Publication Date
CN117693664A true CN117693664A (zh) 2024-03-12

Family

ID=84920179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280049477.1A Pending CN117693664A (zh) 2021-07-12 2022-05-11 用于感测星球地形的系统和方法

Country Status (6)

Country Link
US (1) US20240337482A1 (zh)
EP (1) EP4370871A1 (zh)
JP (1) JP2024526778A (zh)
CN (1) CN117693664A (zh)
AU (1) AU2022312768A1 (zh)
WO (1) WO2023286075A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10060741B2 (en) * 2015-11-23 2018-08-28 Kespry Inc. Topology-based data gathering
US10684137B2 (en) * 2017-11-29 2020-06-16 Deere & Company Work site monitoring system and method

Also Published As

Publication number Publication date
EP4370871A1 (en) 2024-05-22
AU2022312768A1 (en) 2024-03-07
US20240337482A1 (en) 2024-10-10
JP2024526778A (ja) 2024-07-19
WO2023286075A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
Schmitt et al. The SEN1-2 dataset for deep learning in SAR-optical data fusion
Ajayi et al. Generation of accurate digital elevation models from UAV acquired low percentage overlapping images
Iizuka et al. Advantages of unmanned aerial vehicle (UAV) photogrammetry for landscape analysis compared with satellite data: A case study of postmining sites in Indonesia
Nguyen et al. A novel intelligence approach based active and ensemble learning for agricultural soil organic carbon prediction using multispectral and SAR data fusion
Hugenholtz et al. Spatial accuracy of UAV-derived orthoimagery and topography: Comparing photogrammetric models processed with direct geo-referencing and ground control points
Šašak et al. Combined use of terrestrial laser scanning and UAV photogrammetry in mapping alpine terrain
EP2267409B1 (en) System and method for displaying information on a display element
Mayr et al. Disturbance feedbacks on the height of woody vegetation in a savannah: a multi-plot assessment using an unmanned aerial vehicle (UAV)
Liang et al. A cross comparison of spatiotemporally enhanced springtime phenological measurements from satellites and ground in a northern US mixed forest
Stone et al. Alternatives to LiDAR-derived canopy height models for softwood plantations: a review and example using photogrammetry
Nota et al. Improving UAV-SfM time-series accuracy by co-alignment and contributions of ground control or RTK positioning
Dilmurat et al. AI-driven maize yield forecasting using unmanned aerial vehicle-based hyperspectral and lidar data fusion
Schmullius et al. Radar time series for land cover and forest mapping
Barazzetti et al. Evaluation of registration accuracy between Sentinel-2 and Landsat 8
Abdullah et al. Satellite vs. UAVs remote sensing of arid ecosystems: A review with in an ecological perspective
Herawan et al. Object-Based on Land Cover Classification on LAPAN-A3 Satellite Imagery Using Tree Algorithm (Case Study: Rote Island)
Leonardo et al. Comparison of TanDEM-X InSAR data and high-density ALS for the prediction of forest inventory attributes in plantation forests with steep terrain
Seyyedhasani et al. Utility of a commercial unmanned aerial vehicle for in-field localization of biomass bales
CN117693664A (zh) 用于感测星球地形的系统和方法
Kustiyo et al. Annual Forest Monitoring as part of Indonesia's National Carbon Accounting System
Oppelt et al. Fundamentals of remote sensing for terrestrial applications: Evolution, current state of the art, and future possibilities
Gastellu-Etchegorry et al. Correction of Directional Effects in Sentinel-2 and-3 Images with Sentinel-3 Time Series and Dart 3D Radiative Transfer Model
Coppock et al. Real-time creation and dissemination of digital elevation mapping products using total sight flash LiDAR
Lopez et al. Fusion of very high resolution sar and optical images for the monitoring of urban areas
Bitelli et al. A land in its setting: remote sensing satellite imagery for the characterization of the Eblaite Chora

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination