CN117452367A - 基于宽带成像雷达的sar载荷辐射信号提取方法及装置 - Google Patents
基于宽带成像雷达的sar载荷辐射信号提取方法及装置 Download PDFInfo
- Publication number
- CN117452367A CN117452367A CN202311764816.7A CN202311764816A CN117452367A CN 117452367 A CN117452367 A CN 117452367A CN 202311764816 A CN202311764816 A CN 202311764816A CN 117452367 A CN117452367 A CN 117452367A
- Authority
- CN
- China
- Prior art keywords
- time
- frequency domain
- layer
- feature map
- domain feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 87
- 230000005855 radiation Effects 0.000 title claims abstract description 74
- 238000003384 imaging method Methods 0.000 title claims abstract description 52
- 238000007781 pre-processing Methods 0.000 claims abstract description 52
- 238000010586 diagram Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000009499 grossing Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000003708 edge detection Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于宽带成像雷达的SAR载荷辐射信号提取方法及装置，包括：获取待检测的雷达接收信号，进行数据预处理，再进行时频域特征提取，得到时频域特征图；将时频域特征图进行图像预处理，并使用训练好的目标检测网络对图像预处理后的时频域特征图进行处理，得到目标中心横坐标与时频域特征图宽度比值、以及目标宽度与时频域特征图宽度比值，进一步得到目标在时频域特征图中的水平位置信息，并更新时频域特征图，将更新后的时频域特征图转换成数值表示，并进行逆短时傅里叶变换，重构待检测的雷达接收信号；将重构的待检测的雷达接收信号进行平滑处理，提取SAR载荷空间辐射信号。本发明能够有效提高宽带成像雷达的效能。
Description
技术领域
本发明属于雷达信号处理技术领域，具体涉及一种基于宽带成像雷达的SAR载荷辐射信号提取方法及装置。
背景技术
随着空间技术的不断发展，空间已成为维护国家安全的制高点。雷达以全天候、全天时、快响应、高可靠的突出技术优势在空间目标监视系统中的地位和作用日益显现，应用宽带成像雷达对SAR载荷空间目标进行探测时，雷达接收数据主要包含三类信号：目标回波信号、SAR载荷空间辐射信号和环境杂波，在时域上空间目标回波信号功率远大于SAR载荷空间辐射信号，在频域上SAR载荷空间辐射信号通常为宽频带信号，信号频带覆盖目标回波信号，因此，在时域和频域都难以实现目标回波信号和SAR载荷空间辐射信号的分离，从复杂接收信号中提取出纯净的SAR载荷空间辐射，对SAR载荷辐射信号解译、工作模式和载荷性能评估具有重要意义，同时有利于提升宽带成像雷达的应用潜力。
目前宽带成像雷达主要依靠ISAR成像原理对空间目标进行成像，由于空间目标回波信号功率远大于SAR载荷空间辐射信号，混杂的SAR载荷空间辐射信号和空间环境杂波均通过降噪技术进行处理，来提高成像质量，因此尚未有技术实现从宽带成像雷达接收信号中分离提取SAR载荷空间辐射信号。
对于复杂信号分离技术，传统方法首先将复杂信号进行展开或变换，如傅里叶变换和小波变换等，然后通过与已知信号进行相似度比较，将复杂信号表示为一系列简单子信号的组合，实现复杂信号分离；人工智能方法，如徐金才在文献“基于深度神经网络的音频信号分离的研究”通过对信号的时域和频域进行特征分析，利用卷积神经网络提取复杂信号的特征维数，通过反傅里叶变换后进行波形重构，实现复杂信号分离。
然而，对于宽带成像雷达接收信号，由于接收信号中除雷达回波信号和SAR载荷空间辐射信号外还有复杂的空间环境杂波，且雷达回波信号和SAR载荷空间辐射信号通常均为线性调频信号，难以利用传统的信号分离方法将接收信号表示为一系列简单子信号的组合，同时由于接收信号在时域和频域无明显特征区别，基于卷积神经网络的智能信号分离方法难以满足SAR载荷空间辐射信号提取的精度要求。
因此，亟需改善上述缺陷，提高SAR载荷空间辐射信号提取的精度。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于宽带成像雷达的SAR载荷辐射信号提取方法及装置。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明提供一种基于宽带成像雷达的SAR载荷辐射信号提取方法，包括：
获取待检测的雷达接收信号；
将待检测的雷达接收信号进行数据预处理，并对数据预处理后的待检测的雷达接收信号进行时频域特征提取，得到时频域特征图；
将时频域特征图进行图像预处理，并使用训练好的目标检测网络对图像预处理后的时频域特征图进行处理，得到第一比值和第二比值；根据第一比值和第二比值，得到目标在时频域特征图中的水平位置信息；其中，第一比值为目标中心横坐标与时频域特征图宽度比值，第二比值为目标宽度与时频域特征图宽度比值；
根据目标在时频域特征图中的水平位置信息，更新时频域特征图，将更新后的时频域特征图转换成数值表示，并进行逆短时傅里叶变换，重构待检测的雷达接收信号；
将重构的待检测的雷达接收信号进行平滑处理，提取SAR载荷空间辐射信号。
第二方面，本发明还提供一种基于宽带成像雷达的SAR载荷空间辐射信号提取装置，包括：
接收模块，用于获取待检测的雷达接收信号；
预处理模块，用于将待检测的雷达接收信号进行数据预处理，并对数据预处理后的待检测的雷达接收信号进行时频域特征提取，得到时频域特征图；
第一处理模块，用于将时频域特征图进行图像预处理，并使用训练好的目标检测网络对图像预处理后的时频域特征图进行处理，得到第一比值和第二比值；根据第一比值和第二比值，得到目标在时频域特征图中的水平位置信息；其中，第一比值为目标中心横坐标与时频域特征图宽度比值，第二比值为目标宽度与时频域特征图宽度比值；
第二处理模块，用于根据目标在时频域特征图中的水平位置信息，更新时频域特征图，将更新后的时频域特征图转换成数值表示，并进行逆短时傅里叶变换，重构待检测的雷达接收信号；
提取模块，用于将重构的待检测的雷达接收信号进行平滑处理，提取SAR载荷空间辐射信号。
本发明的有益效果：
本发明提供的一种基于宽带成像雷达的SAR载荷辐射信号提取方法及装置，利用SAR载荷空间辐射信号在雷达接收信号时频特征图上表现为垂直条带的显著特征，设计一种基于图像目标智能检测的复杂信号分离方法，实现从宽带成像雷达接收信号中提取SAR载荷空间辐射信号，与无源探测设备接收到的SAR载荷空间辐射信号相似性达到99%以上。本发明提供的方法使宽带成像雷达具备了同时开展目标成像和SAR载荷空间辐射信号探测的能力，可应用于SAR载荷空间辐射信号探测区域研判和SAR载荷空间辐射信号解译研究。同时，本发明提供的方法适用于去除SAR载荷空间辐射信号对宽带成像雷达成像效果的干扰，有效提高了宽带成像雷达的效能。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的基于宽带成像雷达的SAR载荷空间辐射信号提取方法的一种流程图；
图2是本发明实施例提供的宽带成像雷达接收信号时频特征图；
图3是本发明实施例提供的目标检测网络结构的一种示意图；
图4是本发明实施例提供的Swin Transformer block的一种示意图；
图5是本发明实施例提供的一种接收信号时频域特征图；
图6是本发明实施例提供的图像降噪结果的一种示意图；
图7是本发明实施例提供的图像特征增强结果的一种示意图；
图8是本发明实施例提供的图像增广结果的一种示意图；
图9是本发明实施例提供的训练结果的一种示意图；
图10是本发明实施例提供的另一种接收信号时频域特征图；
图11是本发明实施例提供的SAR载荷空间辐射信号时频特征图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
针对现有技术中，难以利用传统的信号分离方法将接收信号表示为一系列简单子信号的组合，同时由于接收信号在时域和频域无明显特征区别，基于卷积神经网络的智能信号分离方法难以满足SAR载荷空间辐射信号提取的精度要求；本发明提出一种基于宽带成像雷达的SAR载荷空间辐射信号提取方法，利用SAR载荷空间辐射信号在雷达接收信号时频特征图上表现为垂直条带的显著特征，将复杂信号分离问题转化为图像上垂直条带目标检测问题，精确识别SAR载荷空间辐射信号出现和消失的时间，通过图像处理切割实现了基于宽带成像雷达的SAR载荷空间辐射信号智能提取，消除了环境杂波的影响，提高了对SAR载荷空间辐射信号的提取精度。
请参见图1所示，图1是本发明实施例提供的基于宽带成像雷达的SAR载荷空间辐射信号提取方法的一种流程图，本发明所提供的一种基于宽带成像雷达的SAR载荷空间辐射信号提取方法，包括：
S101、获取待检测的雷达接收信号。
具体而言，本实施例中，通过雷达天线阵列获取雷达接收信号。
S102、将待检测的雷达接收信号进行数据预处理，并对数据预处理后的待检测的雷达接收信号进行时频域特征提取，得到时频域特征图。
具体而言，本实施例中，将待检测的雷达接收信号进行数据预处理，包括：
S1021、数据单位统一。
将待检测的雷达接收信号中任意通道的数据数值单位统一为分贝。
S1022、数据长度统一。
将待检测的雷达接收信号中测量弧段数据长度进行统一，以测量弧段数据最大值为基准，将不足/>的测量弧段数据补零至/>。
本实施例中，考虑到宽带成像雷达接收信号中是否包含SAR载荷空间辐射信号时在时频域有明显的区别特征，使用短时傅里叶变换(STFT)对数据预处理后的待检测的雷达接收信号进行时频域特征提取；其中，短时傅里叶变换的表达式为：
；
其中，为短时傅里叶变换的输出，/>为时域信号，/>为窗函数，/>为积分变量，/>为长度固定的窗函数，/>为时间，/>为虚数单位，/>为圆周率，/>为采样频率，/>为正无穷，/>为负无穷；需要说明的是，窗函数通常包括矩形窗、三角窗、汉宁窗以及海明窗这四种基本类型，由于汉宁窗具有最快的旁瓣谱峰衰减，能量泄露更少，因此选择使用汉宁窗对雷达接收信号/>进行短时傅里叶变换(STFT)。
通过短时傅里叶变换(STFT)生成雷达接收信号时频域特征图，图像分辨率为，如图2所示，图2是本发明实施例提供的宽带成像雷达接收信号时频特征图，其中，垂直线框对应SAR载荷卫星辐射信号，水平线框对应雷达对目标的探测回波信号，图2中的背景中包含噪声，使得图2中的背景颜色不均匀；此外，使用汉宁窗对雷达接收信号进行处理，即使用方格的窗口进行遍历处理，处理后的雷达接收信号时频域特征图以方格状呈现。
S103、将时频域特征图进行图像预处理，并使用训练好的目标检测网络对图像预处理后的时频域特征图进行处理，得到第一比值和第二比值；根据第一比值和第二比值，得到目标在时频域特征图中的水平位置信息；其中，第一比值为目标中心横坐标与时频域特征图宽度比值，第二比值为目标宽度与时频域特征图宽度比值。
具体而言，本实施例中，将时频域特征图进行图像预处理，包括：
S1031、图像降噪。
使用高斯滤波对时频域特征图进行降噪处理。
S1032、图像裁剪。
通过等比例缩放对降噪处理后的时频域特征图进行图像裁剪，使得时频域特征图分辨率由变为/>。
S1033、图像特征增强。
使用Sobel算子对裁剪后的时频域特征图进行边缘检测，对X方向边缘检测结果进行增强，对Y方向边缘检测结果置0；可选地，沿X方向进行两倍增强，Y方向边缘检测结果置为0，其中，Sobel算子大小ksize设置为1，图像边界模式设置为默认模式。
S1034、图像增广。
对图像裁剪后的时频域特征图依次进行水平翻转、增加亮度和增加对比度；可选地，对时频域特征图增加20%的亮度和增加10%的对比度。
本实施例中，使用训练好的目标检测网络对图像预处理后的时频域特征图进行处理，需要获取训练好的目标检测网络，其中，训练好的目标检测网络通过对预设的目标检测网络进行训练获取，对预设的目标检测网络进行训练，包括：
获取多个宽带成像雷达接收信号；
对宽带成像雷达接收信号进行数据预处理，并对数据预处理后的宽带成像雷达接收信号进行时频域特征提取，得到第一时频域特征图；
将第一时频域特征图进行图像预处理，得到图像预处理后的第一时频域特征图；
将图像预处理后的第一时频域特征图作为数据集，并对数据集中的图像预处理后的第一时频域特征图进行标记，得到数据集对应的标签集；根据数据集和标签集，构建训练集；可选地，标记过程为人工标记，包含垂直竖线的标记为包含SAR载荷空间辐射信号，不包含垂直竖线的标记为不包含SAR载荷空间辐射信号；
使用训练集对预设的目标检测网络进行训练，直到收敛，得到训练好的目标检测网络。
在本发明的一种可选地实施例中，从数据集中获取验证集，通常训练集与验证集的比例为9:1，使用验证集对训练好的目标检测网络进行性能评估，以保证训练效果。
在本发明的一种可选地实施例中，Transformer在自然语言处理(NLP)任务的巨大成功激发了研究它用于其他任务的研究。将纯粹的Transformer体系结构应用视觉任务的Swin Transformer属于最有前景的研究之一。Swin Transformer引入了两个关键概念来解决层次化特征映射和窗口注意力转换的问题，非常适用于SAR载荷空间辐射信号智能提取。基于此，本发明将yolov5s中的特征提取网络从以CSP block为核心更改为以SwinTransformer Block为核心，改进后的yolov5s网络结构如图3所示，图3是本发明实施例提供的目标检测网络结构的一种示意图，特征提取网络由若干Swin Transformer block变体组成，包括特征提取层(Swin Transformer Dark)、上采样层(Swin Transformer Up)和下采样层(Swin Transformer Down)。
其中，特征提取层包括第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和第五特征提取层，经过第一特征提取层处理后的图像传输至第二特征提取层，经过第二特征提取层处理后的图像传输至第三特征提取层，经过第三特征提取层处理后的图像传输至第四特征提取层，经过第四特征提取层处理后的图像传输至第五特征提取层；第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和第五特征提取层的核心均为Swin Transformer block；
上采样层包括第一上采样层、第二上采样层和第三上采样层，经过第五特征提取层处理后的图像传输至第一上采样层，经过第一上采样层处理后的图像传输至第二上采样层，同时，经过第四特征提取层处理后的图像传输至第二上采样层，经过第二上采样层处理后的图像传输至第三上采样层，同时，经过第三特征提取层处理后的图像传输至第三上采样层；第一上采样层、第二上采样层和第三上采样层的核心均为Swin Transformer block；
下采样层包括第一下采样层和第二下采样层，经过第三上采样层处理后的图像传输至第一下采样层，同时，经过第二上采样层处理后的图像传输至第一下采样层，经过第一下采样层处理后的图像传输至第二下采样层，同时，经过第一上采样层处理后的图像传输至第二下采样层；第一下采样层和第二下采样层的核心均为Swin Transformer block；
输出层包括第一输出层、第二输出层和第三输出层，经过第三上采样层处理后的图像传输至第一输出层，经过第一下采样层处理后的图像传输至第二输出层，经过第二下采样层处理后的图像传输至第三输出层。
本发明将yolov5s中的特征提取网络从以CSP block为核心更改为以SwinTransformer Block为核心，解决了在特征融合过程中可能存在的信息丢失和不完整的问题。其中，基本只使用3×3卷积，相比于7×7或11×11等大卷积核，堆叠小卷积核在达到相同感知野大小的情况下所需参数更少，有利于网络的实时性。Swin Transformer Dark包含了5个子模块，输入图片的大小为256×256，经过五个子模块进行特征化提取后，特征图尺寸变化了五次，最终变成了8×8大小的特征图，抽象出高级语义特征；Swin TransformerUp包含了3个子模块，采用逐步上采样和跳跃连接相结合的方式，自底向上地生成较高分辨率的32×32大小的特征图；Swin Transformer Down包含了2个子模块，采用逐步下采样和跳跃连接相结合的方式，将低层的定位特征传递上去，输出不同尺寸特征图兼具语义信息和定位信息；需要说明的是，图3中每个层的数字为其对应的分辨率。
请参见图4所示，图4是本发明实施例提供的Swin Transformer block的一种示意图，每个Swin Transformer block模块有两个子单元，第一个子单元使用WindowAttention(W-MSA)模块，而第二个子单元使用Shifted Window Attention (SW-MSA)模块，每个子单元由一个归一化层(LN)、一个注意力模块、另一个归一化层(LN)和一个MLP层组成。在经过特征提取之后，输出三个不同尺度特征图。检测分支(提取分支)分别对得到的三个不同尺度的特征图进行分类和回归卷积，将得到的回归参数解码为目标的五参数模型旋转框，产生的旋转框以类别得分图作为置信度，进行非极大值抑制操作后做以输出，并计算损失。
预设的目标网络的损失函数为：
；
；
其中，为交并比，/>为权重函数，/>为度量长宽比的相似度，/>为/>与/>中心点坐标的欧式距离，/>为包住/>和/>的最小框的对角线距离，/>和/>分别表示两个不同的框，/>为/>的中心点，/>为/>的中心点。
S104、根据目标在时频域特征图中的水平位置信息，更新时频域特征图，将更新后的时频域特征图转换成数值表示，并进行逆短时傅里叶变换，重构待检测的雷达接收信号。
具体而言，本实施例中，目标在时频域特征图中的水平位置信息的表达式为：
；
其中，为水平位置信息的最小值，/>为水平位置信息的最大值，/>为测量弧段数据，/>为目标中心横坐标与时频域特征图宽度比值，/>为目标宽度与时频域特征图宽度比值。
本实施例中，更新时频域特征图，包括：
将时频域特征图中水平位置小于的点置零，将时频域特征图中水平位置大于/>的点置零，以更新时频域特征图。
S105、将重构的待检测的雷达接收信号进行平滑处理，提取SAR载荷空间辐射信号。
具体而言，本实施例中，对S104中重构生成的待检测的雷达接收信号应用Savitzky-Golay平滑滤波器进行信号平滑，去除雷达回波信号。具体地，将S104中重构生成的信号输入Savitzky-Golay平滑滤波器，Savitzky-Golay平滑滤波器多项式拟合阶数设置为3，窗长根据信号频率进行手动调整。当雷达回波信号相对于SAR载荷空间回波信号为高频信号时，Savitzky-Golay平滑滤波器输出即为SAR载荷空间辐射信号；当雷达回波信号相对于SAR载荷空间回波信号为低频信号时，用S104中重构生成的信号减去Savitzky-Golay平滑滤波器输出信号即为SAR载荷空间辐射信号。
在本发明的一种可选地实施例中，检测提取某套宽带成像雷达接收信号中的SAR载荷空间辐射信号，包括：
选择某套宽带成像雷达主动模式下对3颗典型SAR载荷卫星的接收信号，共1442个测量弧段，其中接收到SAR载荷卫星辐射信号的弧段数有666个。
对这666组数据，取H通道的数据，数据单位统一为分贝，然后进行数据长度统一，按照弧段数据最长为标准，数据量不满足标准的弧段补零，统一为64个点(本实施例中最长弧段数据量为64)。
将接收信号进行短时傅里叶变换(STFT)，提取雷达接收信号的时频域特征，生成雷达接收信号时频域特征图，典型结果如图5所示，并对生成的时频域特征图进行图像预处理（图像降噪、图像裁剪、图像特征增强、图像增广），图像降噪、图像特征增强和图像增广典型结果分别如图6、图7、图8所示，图5中背景包括噪声，图6中去除背景噪声示意，图7对图像特征进行增强，图8对图像特征边缘提亮。图5是本发明实施例提供的一种接收信号时频域特征图，图6是本发明实施例提供的图像降噪结果的一种示意图，图7是本发明实施例提供的图像特征增强结果的一种示意图，图8是本发明实施例提供的图像增广结果的一种示意图。
将数据预处理后的宽带成像雷达接收信号时频域特征图作为数据集，使用labelimg软件对数据集中的每个图像按照yolo数据集标准进行人工标记。
标记后得到数据集对应的标签集，数据集和数据集对应的标签集构成训练集。训练集中每个样本包含一幅雷达接收信号时频域特征图及其经过人工标记的分类标签，训练集输入网络，训练结果如图9所示，图9是本发明实施例提供的训练结果的一种示意图。
当该套宽带成像雷达新收到含SAR载荷空间辐射信号的接收信号时，将该接收信号进行数据预处理，然后进行时频域特征提取，生成宽带成像雷达接收信号时频域特征图，图像尺寸，如图10所示，图10是本发明实施例提供的另一种接收信号时频域特征图。
将生成的雷达接收信号时频域特征图送入保存的网络模型，模型输出中心横坐标与图像宽度比值、目标宽度与图像宽度比值/>。
计算得、/>；
将图10中满足条件或/>的点全部置零，生成SAR载荷空间辐射信号时频特征图，如图11所示，图11是本发明实施例提供的SAR载荷空间辐射信号时频特征图。
对图11进行逆短时傅里叶变换，重构SAR载荷空间辐射信号。
将重构生成的信号输入Savitzky-Golay平滑滤波器，Savitzky-Golay平滑滤波器多项式拟合阶数设置为3，窗长设置为19。雷达回波信号相对于SAR载荷空间回波信号为高频信号，因此Savitzky-Golay平滑滤波器输出即为SAR载荷空间辐射信号。
基于同一发明构思，本发明还提供一种基于宽带成像雷达的SAR载荷空间辐射信号提取装置，用于实现本发明上述实施例提供的基于宽带成像雷达的SAR载荷空间辐射信号提取方法，提取方法的实施例请参考上述，在此不再赘述；该装置包括：
接收模块，用于获取待检测的雷达接收信号；
预处理模块，用于将待检测的雷达接收信号进行数据预处理，并对数据预处理后的待检测的雷达接收信号进行时频域特征提取，得到时频域特征图；
第一处理模块，用于将时频域特征图进行图像预处理，并使用训练好的目标检测网络对图像预处理后的时频域特征图进行处理，得到第一比值和第二比值；根据第一比值和第二比值，得到目标在时频域特征图中的水平位置信息；其中，第一比值为目标中心横坐标与时频域特征图宽度比值，第二比值为目标宽度与时频域特征图宽度比值；
第二处理模块，用于根据目标在时频域特征图中的水平位置信息，更新时频域特征图，将更新后的时频域特征图转换成数值表示，并进行逆短时傅里叶变换，重构待检测的雷达接收信号；
提取模块，用于将重构的待检测的雷达接收信号进行平滑处理，提取SAR载荷空间辐射信号。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种基于宽带成像雷达的SAR载荷空间辐射信号提取方法，其特征在于，包括：
获取待检测的雷达接收信号；
将所述待检测的雷达接收信号进行数据预处理，并对数据预处理后的待检测的雷达接收信号进行时频域特征提取，得到时频域特征图；
将所述时频域特征图进行图像预处理，并使用训练好的目标检测网络对图像预处理后的时频域特征图进行处理，得到第一比值和第二比值；根据所述第一比值和所述第二比值，得到目标在所述时频域特征图中的水平位置信息；其中，所述第一比值为目标中心横坐标与时频域特征图宽度比值，所述第二比值为目标宽度与时频域特征图宽度比值；
根据所述目标在所述时频域特征图中的水平位置信息，更新所述时频域特征图，将更新后的时频域特征图转换成数值表示，并进行逆短时傅里叶变换，重构所述待检测的雷达接收信号；
将重构的待检测的雷达接收信号进行平滑处理，提取SAR载荷空间辐射信号。
2.根据权利要求1所述的基于宽带成像雷达的SAR载荷空间辐射信号提取方法，其特征在于，所述训练好的目标检测网络通过对预设的目标检测网络进行训练获取，对预设的目标检测网络进行训练，包括：
获取多个宽带成像雷达接收信号；
对所述宽带成像雷达接收信号进行数据预处理，并对数据预处理后的宽带成像雷达接收信号进行时频域特征提取，得到第一时频域特征图；
将所述第一时频域特征图进行图像预处理，得到图像预处理后的第一时频域特征图；
将图像预处理后的第一时频域特征图作为数据集，并对所述数据集中的图像预处理后的第一时频域特征图进行标记，得到所述数据集对应的标签集；根据所述数据集和所述标签集，构建训练集；
使用所述训练集对所述预设的目标检测网络进行训练，直至收敛，得到训练好的目标检测网络。
3.根据权利要求2所述的基于宽带成像雷达的SAR载荷空间辐射信号提取方法，其特征在于，所述预设的目标检测网络包括输入层、特征提取层、上采样层、下采样层和输出层；其中，
所述特征提取层包括第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和第五特征提取层，经过所述第一特征提取层处理后的图像传输至所述第二特征提取层，经过所述第二特征提取层处理后的图像传输至所述第三特征提取层，经过所述第三特征提取层处理后的图像传输至所述第四特征提取层，经过所述第四特征提取层处理后的图像传输至所述第五特征提取层；所述第一特征提取层、所述第二特征提取层、所述第三特征提取层、所述第四特征提取层和所述第五特征提取层的核心均为Swin Transformerblock；
所述上采样层包括第一上采样层、第二上采样层和第三上采样层，经过所述第五特征提取层处理后的图像传输至所述第一上采样层，经过所述第一上采样层处理后的图像传输至所述第二上采样层，同时，经过所述第四特征提取层处理后的图像传输至所述第二上采样层，经过所述第二上采样层处理后的图像传输至所述第三上采样层，同时，经过所述第三特征提取层处理后的图像传输至所述第三上采样层；所述第一上采样层、所述第二上采样层和所述第三上采样层的核心均为Swin Transformer block；
所述下采样层包括第一下采样层和第二下采样层，经过所述第三上采样层处理后的图像传输至所述第一下采样层，同时，经过所述第二上采样层处理后的图像传输至所述第一下采样层，经过所述第一下采样层处理后的图像传输至所述第二下采样层，同时，经过所述第一上采样层处理后的图像传输至所述第二下采样层；所述第一下采样层和所述第二下采样层的核心均为Swin Transformer block；
所述输出层包括第一输出层、第二输出层和第三输出层，经过所述第三上采样层处理后的图像传输至所述第一输出层，经过所述第一下采样层处理后的图像传输至所述第二输出层，经过所述第二下采样层处理后的图像传输至所述第三输出层。
4.根据权利要求1所述的基于宽带成像雷达的SAR载荷空间辐射信号提取方法，其特征在于，将所述待检测的雷达接收信号进行数据预处理，包括：
将所述待检测的雷达接收信号中任意通道的数据数值单位统一为分贝；
将所述待检测的雷达接收信号中测量弧段数据长度进行统一，以测量弧段数据最大值为基准，将不足/>的测量弧段数据补零至/>。
5.根据权利要求1所述的基于宽带成像雷达的SAR载荷空间辐射信号提取方法，其特征在于，使用短时傅里叶变换对数据预处理后的待检测的雷达接收信号进行时频域特征提取；其中，所述短时傅里叶变换的表达式为：
；
其中，为短时傅里叶变换的输出，/>为时域信号，/>为窗函数，/>为积分变量，/>为长度固定的窗函数，/>为时间，/>为虚数单位，/>为圆周率，/>为采样频率，/>为正无穷，/>为负无穷。
6.根据权利要求1所述的基于宽带成像雷达的SAR载荷空间辐射信号提取方法，其特征在于，所述将所述时频域特征图进行图像预处理，包括：
使用高斯滤波对所述时频域特征图进行降噪处理；
通过等比例缩放对降噪处理后的时频域特征图进行图像裁剪；
使用Sobel算子对裁剪后的时频域特征图进行边缘检测，对X方向边缘检测结果进行增强，对Y方向边缘检测结果置0；
对边缘检测处理后的时频域特征图依次进行水平翻转、增加亮度和增加对比度。
7.根据权利要求1所述的基于宽带成像雷达的SAR载荷空间辐射信号提取方法，其特征在于，所述目标在所述时频域特征图中的水平位置信息的表达式为：
；
其中，为水平位置信息的最小值，/>为水平位置信息的最大值，/>为测量弧段数据，/>为所述目标中心横坐标与时频域特征图宽度比值，/>为所述目标宽度与时频域特征图宽度比值。
8.根据权利要求7所述的基于宽带成像雷达的SAR载荷空间辐射信号提取方法，其特征在于，所述更新所述时频域特征图，包括：
将所述时频域特征图中水平位置小于的点置零，将所述时频域特征图中水平位置大于/>的点置零，以更新所述时频域特征图。
9.一种基于宽带成像雷达的SAR载荷空间辐射信号提取装置，其特征在于，包括：
接收模块，用于获取待检测的雷达接收信号；
预处理模块，用于将所述待检测的雷达接收信号进行数据预处理，并对数据预处理后的待检测的雷达接收信号进行时频域特征提取，得到时频域特征图；
第一处理模块，用于将所述时频域特征图进行图像预处理，并使用训练好的目标检测网络对图像预处理后的时频域特征图进行处理，得到第一比值和第二比值；根据所述第一比值和所述第二比值，得到目标在所述时频域特征图中的水平位置信息；其中，所述第一比值为目标中心横坐标与时频域特征图宽度比值，所述第二比值为目标宽度与时频域特征图宽度比值；
第二处理模块，用于根据所述目标在所述时频域特征图中的水平位置信息，更新所述时频域特征图，将更新后的时频域特征图转换成数值表示，并进行逆短时傅里叶变换，重构所述待检测的雷达接收信号；
提取模块，用于将重构的待检测的雷达接收信号进行平滑处理，提取SAR载荷空间辐射信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311764816.7A CN117452367B (zh) | 2023-12-21 | 2023-12-21 | 基于宽带成像雷达的sar载荷辐射信号提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311764816.7A CN117452367B (zh) | 2023-12-21 | 2023-12-21 | 基于宽带成像雷达的sar载荷辐射信号提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117452367A true CN117452367A (zh) | 2024-01-26 |
| CN117452367B CN117452367B (zh) | 2024-03-26 |
Family
ID=89582182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311764816.7A Active CN117452367B (zh) | 2023-12-21 | 2023-12-21 | 基于宽带成像雷达的sar载荷辐射信号提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117452367B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257123A (zh) * | 2018-01-11 | 2018-07-06 | 西京学院 | 基于高阶统计特征的多波段雷达图像变化检测方法 |
| KR20190090592A (ko) * | 2018-01-25 | 2019-08-02 | 광운대학교 산학협력단 | Polar format 프로세싱에 의한 바이스태틱 지대공 레이더 환경에서의 이동 표적 탐지 장치 및 방법 |
| CN111239697A (zh) * | 2020-02-11 | 2020-06-05 | 西北工业大学 | 低秩矩阵分解的多维域联合sar宽带干扰抑制方法 |
| CN112287751A (zh) * | 2020-09-21 | 2021-01-29 | 深圳供电局有限公司 | 励磁涌流识别方法、装置、计算机设备和存储介质 |
| CN113887583A (zh) * | 2021-09-16 | 2022-01-04 | 南京理工大学 | 基于深度学习的低信噪比下雷达rd图像目标检测方法 |
| CN114202696A (zh) * | 2021-12-15 | 2022-03-18 | 安徽大学 | 基于上下文视觉的sar目标检测方法、装置和存储介质 |
| CN114818828A (zh) * | 2022-05-18 | 2022-07-29 | 电子科技大学 | 雷达干扰感知模型的训练方法及雷达干扰信号识别方法 |
| CN115356731A (zh) * | 2022-08-17 | 2022-11-18 | 重庆大学 | 基于快慢时间联合处理的sar地面多运动目标快速成像方法 |
| CN115616568A (zh) * | 2022-10-13 | 2023-01-17 | 西南大学 | 基于mimo毫米波雷达的多模式形变监测系统及方法 |
| CN115829996A (zh) * | 2022-12-20 | 2023-03-21 | 衢州学院 | 基于深度特征图的无监督合成孔径雷达图像变化检测方法 |
| CN115880691A (zh) * | 2023-03-02 | 2023-03-31 | 国网山东省电力公司东营供电公司 | 一种基于计算机视觉的屋顶光伏潜力估计方法 |
| CN115935605A (zh) * | 2022-11-03 | 2023-04-07 | 中国空间技术研究院 | 一种基于时频能同步计算的sar载荷卫星电磁干扰评估方法 |
| CN116224324A (zh) * | 2023-03-28 | 2023-06-06 | 三峡大学 | 基于深度学习的超分辨率3d-gpr图像的频率-波数分析方法 |
| CN117237740A (zh) * | 2023-11-07 | 2023-12-15 | 山东军地信息技术集团有限公司 | 一种基于CNN和Transformer的SAR图像分类方法 |
-
2023
- 2023-12-21 CN CN202311764816.7A patent/CN117452367B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257123A (zh) * | 2018-01-11 | 2018-07-06 | 西京学院 | 基于高阶统计特征的多波段雷达图像变化检测方法 |
| KR20190090592A (ko) * | 2018-01-25 | 2019-08-02 | 광운대학교 산학협력단 | Polar format 프로세싱에 의한 바이스태틱 지대공 레이더 환경에서의 이동 표적 탐지 장치 및 방법 |
| CN111239697A (zh) * | 2020-02-11 | 2020-06-05 | 西北工业大学 | 低秩矩阵分解的多维域联合sar宽带干扰抑制方法 |
| CN112287751A (zh) * | 2020-09-21 | 2021-01-29 | 深圳供电局有限公司 | 励磁涌流识别方法、装置、计算机设备和存储介质 |
| CN113887583A (zh) * | 2021-09-16 | 2022-01-04 | 南京理工大学 | 基于深度学习的低信噪比下雷达rd图像目标检测方法 |
| US20230184927A1 (en) * | 2021-12-15 | 2023-06-15 | Anhui University | Contextual visual-based sar target detection method and apparatus, and storage medium |
| CN114202696A (zh) * | 2021-12-15 | 2022-03-18 | 安徽大学 | 基于上下文视觉的sar目标检测方法、装置和存储介质 |
| CN114818828A (zh) * | 2022-05-18 | 2022-07-29 | 电子科技大学 | 雷达干扰感知模型的训练方法及雷达干扰信号识别方法 |
| CN115356731A (zh) * | 2022-08-17 | 2022-11-18 | 重庆大学 | 基于快慢时间联合处理的sar地面多运动目标快速成像方法 |
| CN115616568A (zh) * | 2022-10-13 | 2023-01-17 | 西南大学 | 基于mimo毫米波雷达的多模式形变监测系统及方法 |
| CN115935605A (zh) * | 2022-11-03 | 2023-04-07 | 中国空间技术研究院 | 一种基于时频能同步计算的sar载荷卫星电磁干扰评估方法 |
| CN115829996A (zh) * | 2022-12-20 | 2023-03-21 | 衢州学院 | 基于深度特征图的无监督合成孔径雷达图像变化检测方法 |
| CN115880691A (zh) * | 2023-03-02 | 2023-03-31 | 国网山东省电力公司东营供电公司 | 一种基于计算机视觉的屋顶光伏潜力估计方法 |
| CN116224324A (zh) * | 2023-03-28 | 2023-06-06 | 三峡大学 | 基于深度学习的超分辨率3d-gpr图像的频率-波数分析方法 |
| CN117237740A (zh) * | 2023-11-07 | 2023-12-15 | 山东军地信息技术集团有限公司 | 一种基于CNN和Transformer的SAR图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| ATHRUNSUNNY: ""Swin Transformer 代码学习笔记(目标检测)"", HTTPS://ARXIV.ORG/ABS/2103.14030, 31 October 2023 (2023-10-31), pages 1 * |
| RUNFAN XIA: ""CRTransSar: A Visual Transformer Based on Contextual Joint Representation Learning for SAR Ship Detection"", 《REMOTE SENSING》, vol. 14, no. 1488, 31 December 2022 (2022-12-31), pages 1488 * |
| 蒋含禄: ""基于统计检验的极化SAR相干斑抑制研究"", 《信息科技辑》, 15 January 2014 (2014-01-15), pages 23 - 31 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117452367B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111880157B (zh) | 一种雷达图像中目标的检测方法及系统 | |
| Liu et al. | Deep learning and recognition of radar jamming based on CNN | |
| CN101303764B (zh) | 基于非下采样轮廓波的多传感器图像自适应融合方法 | |
| CN101482617A (zh) | 基于非下采样轮廓波的合成孔径雷达图像去噪方法 | |
| CN101404084A (zh) | 基于Wavelet和Curvelet变换的红外图像背景抑制方法 | |
| Chen et al. | Automatic modulation classification of radar signals utilizing X-net | |
| Lei et al. | High voltage shunt reactor acoustic signal denoising based on the combination of VMD parameters optimized by coati optimization algorithm and wavelet threshold | |
| CN117727332B (zh) | 基于语谱特征分析的生态种群评估方法 | |
| CN114820847A (zh) | 一种用于透射衰减超声层析成像的幅值提取方法 | |
| CN117452367B (zh) | 基于宽带成像雷达的sar载荷辐射信号提取方法及装置 | |
| Izadi et al. | Separation of overlapping sources in bioacoustic mixtures | |
| Raju et al. | Denoising of remotely sensed images via curvelet transform and its relative assessment | |
| Yang et al. | Transfer learning for denoising the echolocation clicks of finless porpoise (Neophocaena phocaenoides sunameri) using deep convolutional autoencoders | |
| CN116612735A (zh) | 一种水声音频去噪方法 | |
| Madhusudhana et al. | Automatic detectors for low-frequency vocalizations of Omura's whales, Balaenoptera omurai: A performance comparison | |
| Sun et al. | Overview of SAR image denoising based on transform domain | |
| Wang et al. | Reduction of rain effect on wave height estimation from marine X-band radar images using unsupervised generative adversarial networks | |
| Shi et al. | Extraction method of weak underwater acoustic signal based on the combination of wavelet transform and empirical mode decomposition | |
| Zhou et al. | Automatic Side‐Scan Sonar Image Enhancement in Curvelet Transform Domain | |
| Wei et al. | A method of retrieving significant wave height based on shadowing from X-band marine radar images | |
| CN103312337A (zh) | 一种振动信号的稀疏矩阵的自适应获取方法 | |
| CN117452368B (zh) | 基于宽带成像雷达的sar载荷辐射信号检测方法及装置 | |
| CN117251737B (zh) | 闪电波形处理模型训练方法、分类方法、装置及电子设备 | |
| Hu et al. | Ship detection in sar images based on region growing and multi-scale saliency | |
| CN219349133U (zh) | 一种船舶偷排入水垃圾定位装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |