CN117372877A - 一种基于神经网络的星图识别方法、装置及相关介质 - Google Patents

一种基于神经网络的星图识别方法、装置及相关介质 Download PDF

Info

Publication number
CN117372877A
CN117372877A CN202311561890.9A CN202311561890A CN117372877A CN 117372877 A CN117372877 A CN 117372877A CN 202311561890 A CN202311561890 A CN 202311561890A CN 117372877 A CN117372877 A CN 117372877A
Authority
CN
China
Prior art keywords
star
brightness
polar
feature vector
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311561890.9A
Other languages
English (en)
Inventor
刘晓利
林俊填
汤其剑
王三宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202311561890.9A priority Critical patent/CN117372877A/zh
Publication of CN117372877A publication Critical patent/CN117372877A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的星图识别方法、装置及相关介质,该方法包括:在星图训练图像中选取主星;通过Log‑Polar算法构建坐标特征向量,获取主星的第一亮度值以及其他邻星的第二亮度值;根据第一亮度值和第二亮度值设置相对亮度因子,按照预设亮度阈值对相对亮度因子进行映射,得到亮度特征向量;根据坐标特征向量和亮度特征向量构建恒星特征向量集,并输入至神经网络训练学习,由神经网络输出主星编号,以构建星图识别模型;利用星图识别模型对目标星进行编号预测。本发明通过Log‑Polar算法构建坐标特征向量,然后利用相对亮度因子映射得到亮度特征向量,并以此对神经网络训练学习,构建星图识别模型对目标星进行编号预测,提高了识别准确率和识别速度。

Description

一种基于神经网络的星图识别方法、装置及相关介质
技术领域
本发明涉及星图识别技术领域,特别涉及一种基于神经网络的星图识别方法、装置及相关介质。
背景技术
星敏感器是一种自主、高精度天文导航设备,被广泛应用在航空航天航海领域中,用于为载体提供姿态或位置信息。星敏感器工作的前提是需要先对其所拍摄星图进行星图识别,星图识别是根据星图中星点分布的相对位置关系,识别出星图对应的星空中的恒星,从而执行接下来的姿态或位置解算。但现有的星图识别方法普遍存在着一些缺陷,例如当星图中存在的恒星数量较少时,现有的星图识别方法的识别准确率较低,此外,现有的星图识别方法一般都需要建立庞大的导航星识别库,并通过将星图识别的内容与导航星识别库进行匹配从而得到识别结果,其匹配过程较为繁琐,且由于星图识别方法和导航星识别库所需的内存空间要求较大,还会出现识别速度较慢,无法满足实时性要求的问题。因此,如何提高星图识别方法的识别准确率和识别速度,是本领域技术人员待解决的问题。
发明内容
本发明实施例提供了一种基于神经网络的星图识别方法、装置、计算机设备及存储介质,旨在提高星图识别方法的准确率和识别速度。
第一方面,本发明实施例提供了一种基于神经网络的星图识别方法,包括:
获取星图训练图像,并在所述星图训练图像中任意选取一颗待观测星作为主星;其中,星图训练图像包括所述主星和至少一颗其他邻星,所述主星和邻星均为恒星;
通过Log-Polar算法对所述主星构建坐标特征向量,并基于星图训练图像获取所述主星的第一亮度值以及所述星图训练图像中其他每一颗邻星的第二亮度值;
根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量;
根据所述坐标特征向量和亮度特征向量构建得到恒星特征向量集,并将所述恒星特征向量集输入至神经网络训练学习,然后由所述神经网络输出所述主星的编号,以此构建得到星图识别模型;
利用所述星图识别模型对指定的目标星进行编号预测。
第二方面,本发明实施例提供了一种基于神经网络的星图识别装置,包括:
图像获取单元,用于获取星图训练图像,并在所述星图训练图像中任意选取一颗待观测星作为主星;其中,星图训练图像包括所述主星和至少一颗其他邻星,所述主星和邻星均为恒星;
坐标向量构建单元,用于通过Log-Polar算法对所述主星构建坐标特征向量,并基于星图训练图像获取所述主星的第一亮度值以及所述星图训练图像中其他每一颗邻星的第二亮度值;
亮度向量构建单元,用于根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量;
模型构建单元,用于根据所述坐标特征向量和亮度特征向量构建得到恒星特征向量集,并将所述恒星特征向量集输入至神经网络训练学习,然后由所述神经网络输出所述主星的编号,以此构建得到星图识别模型;
编号预测单元,用于利用所述星图识别模型对指定的目标星进行编号预测。
第三方面,本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于神经网络的星图识别方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的基于神经网络的星图识别方法。
本发明实施例公开了一种基于神经网络的星图识别方法、装置及相关介质,该方法包括:获取星图训练图像,并在所述星图训练图像中任意选取一颗待观测星作为主星;其中,星图训练图像包括所述主星和至少一颗其他邻星,所述主星和邻星均为恒星;通过Log-Polar算法对所述主星构建坐标特征向量,并基于星图训练图像获取所述主星的第一亮度值以及所述星图训练图像中其他每一颗邻星的第二亮度值;根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量;根据所述坐标特征向量和亮度特征向量构建得到恒星特征向量集,并将所述恒星特征向量集输入至神经网络训练学习,然后由所述神经网络输出所述主星的编号,以此构建得到星图识别模型;利用所述星图识别模型对指定的目标星进行编号预测。本发明实施例首先从星图训练图像中选取主星并通过Log-Polar算法对其构建坐标特征向量,然后分别获取主星和邻星的亮度值并根据亮度值设置相对亮度因子,以及利用相对亮度因子映射得到亮度特征向量,再然后根据坐标特征向量和亮度特征向量构建恒星特征向量集对神经网络训练学习,从而构建得到星图识别模型,最终利用星图识别模型对指定的目标星进行编号预测。本发明实施例通过提取并结合恒星的坐标和亮度对应的特征向量,来扩充星图识别的特征维度,从而提高了星图识别的准确率,以及通过训练构建星图识别模型进行编号预测,可以提高星图识别的速度。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于神经网络的星图识别方法的流程示意图;
图2为本发明实施例提供的一种基于神经网络的星图识别方法中Log-Polar算法的示例图;
图3为本发明实施例提供的一种基于神经网络的星图识别方法的子流程示意图;
图4为本发明实施例提供的一种基于神经网络的星图识别方法中相对亮度因子映射的示例图;
图5为本发明实施例提供的一种基于神经网络的星图识别方法中全连接神经网络的示例图;
图6为本发明实施例提供的一种基于神经网络的星图识别方法中ReLU函数的示例图;
图7为本发明实施例提供的一种基于神经网络的星图识别装置的示意性框图;
图8为本发明实施例提供的一种基于神经网络的星图识别装置的子示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
下面请参见图1,图1为本发明实施例提供的一种基于神经网络的星图识别方法的流程示意图,具体包括:步骤S101~S105。
S101、获取星图训练图像,并在所述星图训练图像中任意选取一颗待观测星作为主星;其中,星图训练图像包括所述主星和至少一颗其他邻星,所述主星和邻星均为恒星;
S102、通过Log-Polar算法对所述主星构建坐标特征向量,并基于星图训练图像获取所述主星的第一亮度值以及所述星图训练图像中其他每一颗邻星的第二亮度值;
S103、根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量;
S104、根据所述坐标特征向量和亮度特征向量构建得到恒星特征向量集,并将所述恒星特征向量集输入至神经网络训练学习,然后由所述神经网络输出所述主星的编号,以此构建得到星图识别模型;
S105、利用所述星图识别模型对指定的目标星进行编号预测。
在本实施例中,首先从星图训练图像中选取一颗待观测的恒星作为主星,以及将星图训练图像中其他的恒星作为邻星,并通过Log-Polar算法对主星构建坐标特征向量,然后分别获取主星和邻星的亮度值并根据亮度值设置相对亮度因子,以及利用相对亮度因子映射得到亮度特征向量,再然后根据坐标特征向量和亮度特征向量构建恒星特征向量集,并利用恒星特征向量集对神经网络训练学习,从而构建得到星图识别模型,最终利用星图识别模型对指定的目标星进行编号预测。本实施例通过提取并结合恒星的坐标和亮度对应的特征向量,来扩充星图识别的特征维度,从而提高了星图识别的准确率,并且还通过训练构建星图识别模型进行编号预测,提高了星图识别的速度。
需要说明的是,本实施例中的星图训练图像来源于导航星数据库,导航星数据库是星敏感器进行星图识别和姿态计算的依据。导航星数据库一般装载于星敏感器上的存储器中,用于存储能够与观测星比照的数据,具体包括恒星的编号等数据。
结合图2所示,在一实施例中,所述步骤S102包括:
获取所述星图训练图像主星的第一星图直角坐标以及其他邻星的第二星图直角坐标;
利用Log-Polar算法将所述主星的第一星图直角坐标映射为星图极坐标系的原点坐标,并按照下式,将其他邻星的第二星图直角坐标转换为星图极坐标:
其中,xi表示第i颗邻星的所述星图直角坐标的横坐标,yi表示第i颗邻星的所述星图直角坐标的纵坐标,θi表示第i颗邻星的所述星图极坐标的极角,ri表示第i颗邻星的所述星图极坐标的极径。
在本实施例中,首先获取星图训练图像中主星对应的第一星图直角坐标,以及获取邻星对应的第二星图直角坐标,然后利用Log-Polar算法,将主星和邻星对应的星图直角坐标转换为星图极坐标。
Log-Polar算法是基于LPT(Log-Polar Transform)变换实现的,LPT变换的原理是在人类视网膜表面和视觉皮层之间,存在一种对于具有大小、位移、旋转不变性的目标识别起着重要作用的Log-Polar映射,通过Log-Polar映射能够将目标的大小、位移和旋转等属性转化为单一且随着参量变化的位移变化,从而从平面直角坐标系转换到对数半径的极坐标系。通过将Log-Polar算法引入星图识别中进行特征向量的构建,能够使构建得到的特征向量具有对位置噪声和星等噪声不敏感的特性,并且在面对图像中存在伪星与缺失星的情况时,能够加强星图识别的鲁棒性,从而提高星图识别算法的识别精度。
在一具体实施例中,在利用星图识别模型对拍摄到的星图图像中的指定目标恒星进行编号预测时,首先可以对拍摄到的目标图像进行图像预处理,图像预处理工作具体可以包括图像滤波(领域滤波)、星点提取(通过质心法将星点像素提取出来)等步骤,在经过图像预处理后得到恒星在图像上的恒星属性数据(坐标数据或亮度数据),并以恒星属性数据为基础构建得到恒星特征向量集。而用于训练构建星图识别模型的星图训练图像则不需要进行预处理操作,这是由于星图训练图像是从导航星数据库中获取的,导航星数据库中存储了已知的恒星的恒星属性数据,因此星图训练图像已经包含了理想化的恒星属性数据,从而不需要进行预处理操作。
在另一具体实施例中,当恒星的数量较多时,还可以为主星设定一个领域半径R,并根据主星的领域半径R划分得到主星领域,然后可以将主星领域内其他的恒星设为邻星,从而减少星图识别的工作量。
结合图3所示,在一实施例中,所述步骤S102还包括步骤S301~S305:
S301、获取星图训练图像的像素分辨率m*n,并基于所述像素分辨率将所述极角θ对应的极角坐标轴方向划分为m个极角区间,以及将所述极径r对应的极径坐标轴方向划分为n个极径区间,并将m个极角区间依次标号为1~m,以及将n个极径区间依次标号为1~n;
S302、将所述其他邻星投影至所述极角坐标轴,得到极角坐标轴上的邻星分布;
S303、基于所述邻星分布,判断所述极角坐标轴的m个极角区间各自是否存在邻星;
S304、针对每一极角区间,若判定所述极角区间未存在邻星,则将所述主星的坐标特征向量值设置为0;若判定所述极角区间存在邻星,则获取存在的邻星在所述极径坐标轴上的极径区间标号,并将所述极径区间标号作为所述主星的坐标特征向量值;
S305、将所有极角区间对应的坐标特征向量值集合为所述主星的坐标特征向量。
在本实施例中,根据星图训练图像的像素分辨率m*n,将极角θ和极径r分别对应的极角坐标轴和极径坐标轴进行划分,得到m个极角区间和n个极径区间,然后将邻星投影至极角坐标轴上,以此得到主星在极角坐标轴上的邻星分布情况。再判断极角坐标轴上的m个极角区间各自是否存在邻星,从而根据邻星的分布情况得到主星在各个极角区间的坐标特征向量值,最后将所有极角区间对应的坐标特征向量值进行集合,得到主星的坐标特征向量。具体的,将主星的坐标特征向量表示为Pat1,Pat1=[a1,a2,...,ai,...,am],其中,ai表示主星在第i个极角区间的坐标特征向量值。在这里,当第i个极角区间未存在邻星时,ai的值为0;当第i个极角区间存在邻星时,ai的值则为邻星在极径坐标轴上的极径区间标号。举例来说,若第2个极角区间未存在邻星、第3个极角区间存在邻星,且第3个极角区间内的邻星在极径坐标轴上的极径区间标号为5,则主星在第2个极角区间的坐标特征向量值a2即为0,主星在第3个极角区间的坐标特征向量值a3即为5。
进一步的,在一实施例中,所述步骤S304包括:
当所述极角区间存在多颗邻星时,则获取多颗邻星各自对应的极径区间标号,并选取最小的极径区间标号作为所述主星的坐标特征向量值。
在本实施例中,针对极角区间内可能会存在多颗邻星的情况,将多颗邻星各自对应的极径区间标号进行对比,然后选取其中最小的极径区间标号作为主星的坐标特征向量值。例如,在第4个极角区间中存在三颗邻星,这三颗邻星在极径坐标轴上的极径区间标号分别为1、3和5,则主星在第4个极角区间的坐标特征向量值a4即为1。此外,如果在极角区间内,有多于一颗邻星的极径区间标号为最小的极径区间标号,则在其中任意选取一颗邻星作为该极角区间中具有最小极径区间标号的邻星,并将其极径区间标号作为主星的坐标特征向量值。例如,在第5个极角区间中存在三颗邻星,且这三颗邻星在极径坐标轴上的极径区间标号分别为2、2和4,则主星在第5个极角区间的坐标特征向量值a5即为2。
在一实施例中,所述步骤S103包括:
按照下式,根据所述第一亮度值和第二亮度值计算得到第i颗邻星相对于所述主星的相对亮度因子:
其中,λi表示第i颗邻星相对于所述主星的相对亮度因子,E0表示所述主星的第一亮度值,Ei表示第i颗邻星的第二亮度值。
在本实施例中,将邻星与主星之间亮度比值的对数设置为主星的相对亮度因子,也即对邻星的第二亮度值Ei与主星的第一亮度值E0进行比值取对数计算,从而得到主星的相对亮度因子λi。在这里,本实施例所述的相对亮度因子λi的值越大,则代表第i颗邻星相对于主星越亮,反之,相对亮度因子λi的值越小,则代表第i颗邻星相对于主星越暗。需要说明的是,由于恒星之间普遍亮度差异较大,也即主星和邻星之间亮度差异较大,因此本实施例通过对恒星之间的亮度比值取对数,能够缩小特征因子取值范围,并加强相对亮度因子与主星之间的关联,以及减少对亮度噪声的敏感性,从而提高后续构建的亮度特征向量的鲁棒性。
在一具体实施例中,可以通过将星图转换为包含有亮度信息的灰度图,从而获取得到星图中恒星的亮度。在具体应用场景中,恒星的亮度获取对于星图的清晰度存在一定的要求,当拍摄到的星图的清晰度没有达到亮度获取要求时,则需要采用图像修复或其他技术手段提高星图的清晰度,若提高后仍达不到亮度获取要求,则需要重新拍摄星图。
结合图4所示,在一实施例中,所述步骤S103还包括:
设定最大相对亮度因子阈值和最小相对亮度因子阈值;
按照下式,基于最大相对亮度因子阈值和最小相对亮度因子阈值对所有的所述相对亮度因子进行映射,对应得到多个亮度特征值:
其中,bi表示主星相对于第i个极角区间中具有最小极径区间标号的邻星的亮度特征值,ai表示第i个极角区间对应的坐标特征向量值,λmax表示所述最大相对亮度因子阈值,λmin表示最小相对亮度因子阈值;
将所有亮度特征值集合为所述主星的亮度特征向量。
在本实施例中,首先设定相对亮度因子的最大阈值λmax和最小阈值λmin,然后基于最大阈值λmax和最小阈值λmin对相对亮度因子进行映射,得到主星的各个亮度特征值,最后将所有亮度特征值集合得到主星的亮度特征向量,通过将相对亮度因子通过阈值范围映射到亮度特征向量,能够有效地提高亮度特征向量对星等噪声的鲁棒性,并增加星图识别的成功率,同时,通过将相对亮度因子映射为整数型的亮度特征向量,还能够统一输入神经网络的特征向量格式为整数,从而提高神经网络的训练收敛速度与识别效率。
在一具体实施例中,将主星的亮度特征向量表示为Pat2,且Pat2=[b1,b2,...,bi,...,bm],其中,bi表示主星相对于第i个极角区间中具有最小极径区间标号的邻星的亮度特征值。具体的,由于第i个极角区间中的邻星数可能为0,而对应的坐标向量特征值ai也为0,因此将亮度特征值bi也设置为0。此外,当λi≤λmin时,代表邻星的亮度小于主星的亮度并超过一定的范围,则将bi设置为1;当λmini≤λmax时,代表邻星的亮度与主星的亮度接近,则将bi设置为2;当λimax时,代表邻星的亮度大于主星的亮度并超过一定的范围,则将bi设置为3。
如图4中,主星位于原点O处,为主星设定领域半径R,并对应得到主星领域,然后将领域之内的其他恒星作为邻星,即图4中的邻星1~邻星7。其中,对于邻星1而言,直角坐标系中邻星1与x轴的夹角为邻星1的极角,从原点到邻星1的直线线段的对数为邻星1的极径,将极角和极径分别映射到θ轴(极角坐标轴)和r轴(极径坐标轴)上,由此将邻星1从直角坐标的表示形式转换为极坐标系的表示形式,同时,由于邻星1相对于主星的相对亮度因子λ1max,因此主星相对于邻星1的亮度特征值b1为3,在图4中b轴上的长度为3。同理,将邻星2从直角坐标的表示形式转换为极坐标系的表示形式,并根据邻星2相对于主星的相对亮度因子λ2≤λmin,得到主星相对于邻星2的亮度特征值b2为1,在图4中b轴上的长度为1,以此类推,将剩余的邻星全部完成转换,得到主星相对于邻星3~邻星7的亮度特征值b3~b7,在这里,b3为3,b4为2,b5为3,b6为1,b7为2。
结合图5所示,在一实施例中,所述步骤S104包括:
将所述恒星特征向量集中的所有恒星特征向量输入至全连接神经网络的输入层,并利用所述输入层中的批标准化层对所述恒星特征向量进行批标准化处理;
依次利用全连接神经网络中第一隐藏层和第二隐藏层对批标准化处理后的恒星特征向量进行训练预测,并将训练预测结果作为恒星编号预测结果;其中,所述第一隐藏层和第二隐藏层网络结构相同,所述第一隐藏层依次包括第一全连接层、第一激活层、第一批标准化层和第一Dropout层;
利用全连接神经网络中的输出层输出所述恒星编号预测结果,并将所述恒星编号预测结果作为星图识别结果。
在本实施例中,首先将恒星特征向量输入至全连接神经网络的输入层并进行批标准化处理,然后将批标准化处理后的恒星特征向量依次输入至全连接神经网络的第一隐藏层和第二隐藏层中,通过第一隐藏层和第二隐藏层对恒星特征向量进行训练预测,并将训练预测结果作为恒星编号预测结果,然后利用全连接神经网络中的输出层输出恒星编号预测结果,并最终作为星图识别结果。可以理解的是,在本实施例中的训练预测具体为:基于神经网络的权重和偏差,通过多层隐藏层对批标准化处理后的恒星特征向量进行加权计算,然后通过多层隐藏层中的激活函数对加权计算后的恒星特征向量进行非线性变换,得到用于输出层输出的结果。通过训练预测,本实施例得到了输入的恒星特征向量与恒星之间的模式关系,从而能够将神经网络输入的恒星特征向量映射为输出的恒星编号。需要说明的是,神经网络的权重和偏差除了预先内置以外,还可以根据神经网络的训练学习结果进行调整。
神经网络主要由输入层、隐藏层和输出层组成,其中输入层用于接受输入的原始数据,输出层用于输出预测结果,而隐藏层则是通过神经网络的权重和偏差连接输入和输出,用于承担信息转换和处理的任务,在神经网络的训练过程中,通过不断地调整神经网络各层之间的权重和偏差从而提高最终的预测准确率。在具体应用场景中,神经网络的训练过程可以使用监督学习或者无监督学习进行。监督学习是通过训练数据集来调整权重和偏差,使神经网络输出的预测结果和真实值之间的误差最小化;无监督学习则是根据输入数据的特征自动发现隐藏层的特征表示,进而实现数据的降维或者聚类等任务。
本实施例通过神经网络方法进行星图识别,能够在保持高识别率的同时保证抗干扰性,并且还能够通过大量数据训练,将输入的特征与恒星编号的关联信息存储在神经元中,从而减少占用的内存,提高识别的速度和准确率。此外,全连接神经网络的每一层神经元皆与前一层的神经元相连接,结构简单且易于训练与实现,还可以通过深度学习训练神经元之间的权值参数,从而提升识别的效果。
在具体应用场景中,通过将坐标特征向量Pat1和亮度特征向量Pat2结合,从而构建得到恒星特征向量Pat(s),其中,Pat(s)=[Pat1Pat2]=[a1,a2,...,ai,...,am,b1,b2,...,bi,...,bm]。对于主星的每个极角区间,每个坐标特征向量值ai均有对应的亮度特征向量值bi,通过将坐标特征向量和亮度特征向量进行结合,可以加强坐标特征向量和亮度特征向量之间的关联性,能有效增加识别的特征信息与特征的鲁棒性,从而使得在恒星数量较少时仍能更好进行识别,还提高了最终星图识别的成功率,并且通过结合操作统一坐标特征向量和亮度特征向量的数据格式,能够加快全连接层训练学习的收敛速度。
此外,本实施例通过在全连接神经网络中添加批标准化(BatchNorm)层对输入全连接神经网络的恒星特征向量进行批标准化处理,能够加速全连接神经网络的训练,并且保持训练的稳定性。具体的,BatchNorm的主要原理是通过对批量的输入特征进标准化,使得输入特征数据分布的均值为0、方差为1,从而解决全连接神经网络中梯度消失与梯度爆炸等问题,并且还通过减少训练过程中每一层的输入分布变化,加快了神经网络的收敛速度,提高了模型的泛化性能。
结合图6所示,在一具体实施例中,在全连接层之后加入整流性单元(Re LU函数)作为神经网络的激活函数,ReLU函数是一种分段函数,本质上属于非线性函数,使用ReLU函数作为全连接神经网络的激活函数可以有效提高全连接神经网络的非线性表达能力,ReLU函数具体表示为:
当ReLU函数的输入z大于等于0时,ReLU函数的输出为z,而当ReLU函数的输入z小于0时,ReLU函数的输出则为零。此外,相较于其他的激活函数,ReLU函数还具有计算简单、计算量小的优点,在反向传播训练神经网络时能够达到更快的训练速度,还可以有效降低全连接神经网络中出现梯度消失情况的概率。同时,在输入小于0时,ReLU函数输出为0,基于这种特性可以使得全连接神经网络中的大部分神经元均保持非激活状态,而激活少数神经元进行处理,能够可减少全连接神经网络中的冗余计算,降低冗余度,提高模型的计算效率和实时性,从而提高星图识别的识别速度。
在另一具体实施例中,在全连接神经网络的隐藏层中还引入了Dropout正则化方法,Dropout正则化方法能够有效地避免全接连神经网络的过拟合现象,其中,过拟合现象是指神经网络在训练集的训练学习时表现良好,但在测试集训练学习时表现较差,使得训练得到的模型缺乏较好的泛化能力,Dropout正则化方法能够通过随机丢弃一些神经网络的神经元,从而减少过拟合现象。具体的,在神经网络的训练过程中,每个神经元都设定有一个丢弃概率,丢弃概率用以表示该神经元在训练过程中被丢弃的概率,在神经网络的每次迭代训练中,Dro pout正则化方法会根据丢弃概率随机地将一些神经元的输出置为0,从而减少神经网络中神经元之间的依赖关系,使得神经网络不会过度依赖于任何特定的神经元,能够更适应各种不同的神经元组合,以此学习鲁棒性更强的特征、更好地处理噪声和不确定性,从而使得神经网络更加稳定,减少神经网络的过拟合的现象。
图7为本实施例提供的一种基于神经网络的星图识别装置700的示意性框图,该装置700包括:
图像获取单元701,用于获取星图训练图像,并在所述星图训练图像中任意选取一颗待观测星作为主星;其中,星图训练图像包括所述主星和至少一颗其他邻星,所述主星和邻星均为恒星;
坐标向量构建单元702,用于通过Log-Polar算法对所述主星构建坐标特征向量,并基于星图训练图像获取所述主星的第一亮度值以及所述星图训练图像中其他每一颗邻星的第二亮度值;
亮度向量构建单元703,用于根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量;
模型构建单元704,用于根据所述坐标特征向量和亮度特征向量构建得到恒星特征向量集,并将所述恒星特征向量集输入至神经网络训练学习,然后由所述神经网络输出所述主星的编号,以此构建得到星图识别模型;
编号预测单元705,用于利用所述星图识别模型对指定的目标星进行编号预测。
在一实施例中,所述坐标向量构建单元702包括:
直角坐标获取单元,用于获取所述星图训练图像主星的第一星图直角坐标以及其他邻星的第二星图直角坐标;
坐标转换单元,用于利用Log-Polar算法将所述主星的第一星图直角坐标映射为星图极坐标系的原点坐标,并按照下式,将其他邻星的第二星图直角坐标转换为星图极坐标:
其中,xi表示第i颗邻星的所述星图直角坐标的横坐标,yi表示第i颗邻星的所述星图直角坐标的纵坐标,θi表示第i颗邻星的所述星图极坐标的极角,ri表示第i颗邻星的所述星图极坐标的极径。
结合图8所示,在一实施例中,所述坐标向量构建单元702还包括:
区间划分单元801,用于获取星图训练图像的像素分辨率m*n,并基于所述像素分辨率将所述极角θ对应的极角坐标轴方向划分为m个极角区间,以及将所述极径r对应的极径坐标轴方向划分为n个极径区间,并将m个极角区间依次标号为1~m,以及将n个极径区间依次标号为1~n;
邻星投影单元802,用于将所述其他邻星投影至所述极角坐标轴,得到极角坐标轴上的邻星分布;
邻星分布判断单元803,用于基于所述邻星分布,判断所述极角坐标轴的m个极角区间各自是否存在邻星;
坐标向量值设置单元804,用于针对每一极角区间,若判定所述极角区间未存在邻星,则将所述主星的坐标特征向量值设置为0;若判定所述极角区间存在邻星,则获取存在的邻星在所述极径坐标轴上的极径区间标号,并将所述极径区间标号作为所述主星的坐标特征向量值;
坐标向量值集合单元805,用于将所有极角区间对应的坐标特征向量值集合为所述主星的坐标特征向量。
在一实施例中,所述坐标向量值设置单元804包括:
最小区间选取单元,用于当所述极角区间存在多颗邻星时,则获取多颗邻星各自对应的极径区间标号,并选取最小的极径区间标号作为所述主星的坐标特征向量值。
在一实施例中,所述亮度向量构建单元703包括:
亮度因子计算单元,用于按照下式,根据所述第一亮度值和第二亮度值计算得到第i颗邻星相对于所述主星的相对亮度因子:
其中,λi表示第i颗邻星相对于所述主星的相对亮度因子,E0表示所述主星的第一亮度值,Ei表示第i颗邻星的第二亮度值。
在一实施例中,所述亮度向量构建单元703还包括:
阈值设定单元,用于设定最大相对亮度因子阈值和最小相对亮度因子阈值;
亮度因子映射单元,用于按照下式,基于最大相对亮度因子阈值和最小相对亮度因子阈值对所有的所述相对亮度因子进行映射,对应得到多个亮度特征值:
其中,bi表示主星相对于第i个极角区间中具有最小极径区间标号的邻星的亮度特征值,ai表示第i个极角区间对应的坐标特征向量值,λmax表示所述最大相对亮度因子阈值,λmin表示最小相对亮度因子阈值;
亮度特征集合单元,用于将所有亮度特征值集合为所述主星的亮度特征向量。
在一实施例中,所述模型构建单元704包括:
特征向量输入单元,用于将所述恒星特征向量集中的所有恒星特征向量输入至全连接神经网络的输入层,并利用所述输入层中的批标准化层对所述恒星特征向量进行批标准化处理;
训练预测单元,用于依次利用全连接神经网络中第一隐藏层和第二隐藏层对批标准化处理后的恒星特征向量进行训练预测,并将训练预测结果作为恒星编号预测结果;其中,所述第一隐藏层和第二隐藏层网络结构相同,所述第一隐藏层依次包括第一全连接层、第一激活层、第一批标准化层和第一Dropout层;
结果输出单元,用于利用全连接神经网络中的输出层输出所述恒星编号预测结果,并将所述恒星编号预测结果作为星图识别结果。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备,可以包括存储器和处理器,存储器中存有计算机程序,处理器调用存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于神经网络的星图识别方法,其特征在于,包括:
获取星图训练图像,并在所述星图训练图像中任意选取一颗待观测星作为主星;其中,星图训练图像包括所述主星和至少一颗其他邻星,所述主星和邻星均为恒星;
通过Log-Polar算法对所述主星构建坐标特征向量,并基于星图训练图像获取所述主星的第一亮度值以及所述星图训练图像中其他每一颗邻星的第二亮度值;
根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量;
根据所述坐标特征向量和亮度特征向量构建得到恒星特征向量集,并将所述恒星特征向量集输入至神经网络训练学习,然后由所述神经网络输出所述主星的编号,以此构建得到星图识别模型;
利用所述星图识别模型对指定的目标星进行编号预测。
2.根据权利要求1所述的基于神经网络的星图识别方法,其特征在于,所述通过Log-Polar算法对所述主星构建坐标特征向量,包括:
获取所述星图训练图像主星的第一星图直角坐标以及其他邻星的第二星图直角坐标;
利用Log-Polar算法将所述主星的第一星图直角坐标映射为星图极坐标系的原点坐标,并按照下式,将其他邻星的第二星图直角坐标转换为星图极坐标:
其中,xi表示第i颗邻星的所述星图直角坐标的横坐标,yi表示第i颗邻星的所述星图直角坐标的纵坐标,θi表示第i颗邻星的所述星图极坐标的极角,ri表示第i颗邻星的所述星图极坐标的极径。
3.根据权利要求2所述的基于神经网络的星图识别方法,其特征在于,所述通过Log-Polar算法对所述主星构建坐标特征向量,还包括:
获取星图训练图像的像素分辨率m*n,并基于所述像素分辨率将所述极角θ对应的极角坐标轴方向划分为m个极角区间,以及将所述极径r对应的极径坐标轴方向划分为n个极径区间,并将m个极角区间依次标号为1~m,以及将n个极径区间依次标号为1~n;
将所述其他邻星投影至所述极角坐标轴,得到极角坐标轴上的邻星分布;
基于所述邻星分布,判断所述极角坐标轴的m个极角区间各自是否存在邻星;
针对每一极角区间,若判定所述极角区间未存在邻星,则将所述主星的坐标特征向量值设置为0;若判定所述极角区间存在邻星,则获取存在的邻星在所述极径坐标轴上的极径区间标号,并将所述极径区间标号作为所述主星的坐标特征向量值;
将所有极角区间对应的坐标特征向量值集合为所述主星的坐标特征向量。
4.根据权利要求3所述的基于神经网络的星图识别方法,其特征在于,所述若判定所述极角区间存在邻星,则根据存在的邻星在所述极径坐标轴上的极径区间标号,并将所述极径区间标号作为所述主星的坐标特征向量值,包括:
当所述极角区间存在多颗邻星时,则获取多颗邻星各自对应的极径区间标号,并选取最小的极径区间标号作为所述主星的坐标特征向量值。
5.根据权利要求4所述的基于神经网络的星图识别方法,其特征在于,所述根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量,包括:
按照下式,根据所述第一亮度值和第二亮度值计算得到第i颗邻星相对于所述主星的相对亮度因子:
其中,λi表示第i颗邻星相对于所述主星的相对亮度因子,E0表示所述主星的第一亮度值,Ei表示第i颗邻星的第二亮度值。
6.根据权利要求5所述的基于神经网络的星图识别方法,其特征在于,所述根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量,还包括:
设定最大相对亮度因子阈值和最小相对亮度因子阈值;
按照下式,基于最大相对亮度因子阈值和最小相对亮度因子阈值对所有的所述相对亮度因子进行映射,对应得到多个亮度特征值:
其中,bi表示主星相对于第i个极角区间中具有最小极径区间标号的邻星的亮度特征值,ai表示第i个极角区间对应的坐标特征向量值,λmax表示所述最大相对亮度因子阈值,λmin表示最小相对亮度因子阈值;
将所有亮度特征值集合为所述主星的亮度特征向量。
7.根据权利要求1所述的基于神经网络的星图识别方法,其特征在于,所述根据所述坐标特征向量和亮度特征向量构建得到恒星特征向量集,并将所述恒星特征向量集输入至神经网络训练学习,然后由所述神经网络输出所述主星的编号,包括:
将所述恒星特征向量集中的所有恒星特征向量输入至全连接神经网络的输入层,并利用所述输入层中的批标准化层对所述恒星特征向量进行批标准化处理;
依次利用全连接神经网络中第一隐藏层和第二隐藏层对批标准化处理后的恒星特征向量进行训练预测,并将训练预测结果作为恒星编号预测结果;其中,所述第一隐藏层和第二隐藏层网络结构相同,所述第一隐藏层依次包括第一全连接层、第一激活层、第一批标准化层和第一Dropout层;
利用全连接神经网络中的输出层输出所述恒星编号预测结果,并将所述恒星编号预测结果作为星图识别结果。
8.一种基于神经网络的星图识别装置,其特征在于,包括:
图像获取单元,用于获取星图训练图像,并在所述星图训练图像中任意选取一颗待观测星作为主星;其中,星图训练图像包括所述主星和至少一颗其他邻星,所述主星和邻星均为恒星;
坐标向量构建单元,用于通过Log-Polar算法对所述主星构建坐标特征向量,并基于星图训练图像获取所述主星的第一亮度值以及所述星图训练图像中其他每一颗邻星的第二亮度值;
亮度向量构建单元,用于根据所述第一亮度值和第二亮度值设置所述主星的相对亮度因子,并按照预设亮度阈值对所述相对亮度因子进行映射,得到亮度特征向量;
模型构建单元,用于根据所述坐标特征向量和亮度特征向量构建得到恒星特征向量集,并将所述恒星特征向量集输入至神经网络训练学习,然后由所述神经网络输出所述主星的编号,以此构建得到星图识别模型;
编号预测单元,用于利用所述星图识别模型对指定的目标星进行编号预测。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于神经网络的星图识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于神经网络的星图识别方法。
CN202311561890.9A 2023-11-22 2023-11-22 一种基于神经网络的星图识别方法、装置及相关介质 Pending CN117372877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311561890.9A CN117372877A (zh) 2023-11-22 2023-11-22 一种基于神经网络的星图识别方法、装置及相关介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311561890.9A CN117372877A (zh) 2023-11-22 2023-11-22 一种基于神经网络的星图识别方法、装置及相关介质

Publications (1)

Publication Number Publication Date
CN117372877A true CN117372877A (zh) 2024-01-09

Family

ID=89400443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311561890.9A Pending CN117372877A (zh) 2023-11-22 2023-11-22 一种基于神经网络的星图识别方法、装置及相关介质

Country Status (1)

Country Link
CN (1) CN117372877A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542462A (zh) * 2024-01-10 2024-02-09 中国人民解放军战略支援部队航天工程大学 一种实测数据驱动的空间目标光学散射特性模拟方法
CN118115851A (zh) * 2024-04-30 2024-05-31 武汉追月信息技术有限公司 一种基于人工智能的智慧型地理数据工厂构建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542462A (zh) * 2024-01-10 2024-02-09 中国人民解放军战略支援部队航天工程大学 一种实测数据驱动的空间目标光学散射特性模拟方法
CN117542462B (zh) * 2024-01-10 2024-03-22 中国人民解放军战略支援部队航天工程大学 一种实测数据驱动的空间目标光学散射特性模拟方法
CN118115851A (zh) * 2024-04-30 2024-05-31 武汉追月信息技术有限公司 一种基于人工智能的智慧型地理数据工厂构建方法

Similar Documents

Publication Publication Date Title
CN111127513B (zh) 一种多目标跟踪方法
CN110458095B (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
CN117372877A (zh) 一种基于神经网络的星图识别方法、装置及相关介质
CN109101897A (zh) 水下机器人的目标检测方法、系统及相关设备
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CN112446379B (zh) 一种动态大场景自适应智能处理方法
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
CN113569754B (zh) 人脸关键点检测方法、装置、设备及计算机可读存储介质
CN112651490A (zh) 人脸关键点检测模型的训练方法及设备、可读存储介质
CN114091554A (zh) 一种训练集处理方法和装置
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN114118303A (zh) 基于先验约束的人脸关键点检测方法及装置
KR102616522B1 (ko) 비주얼 로컬라이제이션을 효율적으로 수행하기 위한 방법 및 장치
CN117765363A (zh) 一种基于轻量型记忆库的图像异常检测方法及系统
KR102556765B1 (ko) 비주얼 로컬라이제이션을 위한 방법 및 장치
CN110363792A (zh) 一种基于光照不变性特征提取的遥感图像变化检测方法
CN116953702A (zh) 基于演绎范式的旋转目标检测方法及装置
Chen et al. An application of improved RANSAC algorithm in visual positioning
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
KR102616029B1 (ko) 비주얼 로컬라이제이션을 효율적으로 수행하기 위한 방법 및 장치
KR102556767B1 (ko) 비주얼 로컬라이제이션을 위한 방법 및 장치
CN115019118B (zh) 对抗图像生成方法、装置、计算机设备及存储介质
CN118587562B (zh) 图文多模态模型的知识蒸馏方法、图像处理方法及设备
CN118397257B (zh) Sar图像舰船目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination