CN110515079A - 融合sar雷达与红外成像技术的可视化融合方法 - Google Patents
融合sar雷达与红外成像技术的可视化融合方法 Download PDFInfo
- Publication number
- CN110515079A CN110515079A CN201910811746.3A CN201910811746A CN110515079A CN 110515079 A CN110515079 A CN 110515079A CN 201910811746 A CN201910811746 A CN 201910811746A CN 110515079 A CN110515079 A CN 110515079A
- Authority
- CN
- China
- Prior art keywords
- fusion
- feature
- sar radar
- signal
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012800 visualization Methods 0.000 title claims description 13
- 238000007500 overflow downdraw method Methods 0.000 title claims description 12
- 230000004927 fusion Effects 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000003068 static effect Effects 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000003331 infrared imaging Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000010354 integration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于人工智能指挥控制可视化领域,特别是融合SAR雷达与红外成像技术的可视化成像方法。该方法步骤包括:步骤一:通过获取的动态信息和静态信息建立融合特征估计转换;步骤二:通过训练库建立融合特征模型;步骤三:形成融合特征;步骤四:利用特征级别关键区域内进行搜索完成高精度的检测识别。本发明提出了融合SAR雷达与红外成像技术的可视化成像方法,将SAR雷达与红外数据的特征进行融合,为高精度的作战单元质量的检测提供准确、可靠、具有鲁棒性的特征。
Description
技术领域
本发明属于人工智能指挥控制可视化领域,特别是融合SAR雷达与红外成像技术的可视化成像方法。
背景技术
合成孔径雷达(SAR)是一种主动式的对地观测高分辨率微波成像雷达,可在战场上进行全天时、全天候对地实施观测、并具有一定的地表穿透能力。因此,SAR具有独特的优势,可发挥其他遥感手段难以发挥的作用,因此越来越受到世界各国的重视。
目前针对雷达数据与红外数据的特征融合,目前还没有优质的技术及方案来保证高质量融合,主要因为雷达数据与红外数据的类型异构,同时,针对目标特征的刻画也完全不一致,因此,本发明针对雷达数据与红外数据提出一种方案融合。
发明内容
发明目的:
本发明提出了融合SAR雷达与红外成像技术的可视化成像方法
技术方案:
融合SAR雷达与红外成像技术的可视化融合方法,该方法步骤包括:
步骤一:通过获取的动态信息和静态信息建立融合特征估计转换;
步骤二:通过训练库建立融合特征模型;
步骤三:形成融合特征;
步骤四:利用特征级别关键区域内进行搜索完成高精度的检测识别。
进一步的,通过SAR雷达获取动态信息,红外成像获取静态信息。
进一步的,融合特征估计转换的具体步骤是:
在第t个时间间隙接收信号y(t)可以表示为,
其中,s(t)为接收的数据集{s(1)M,s(2)M,…s(t)M},A为接收的雷达及红外信号的幅度增益,j表示复数,f为接收信号的载波偏移,为接收信号相位偏差,w(t)为功率为噪声功率的高斯白噪声;
令为算法深度学习网络输出估计值,为第l阶算法深度学习网络估计输出值,rl作为第l阶网络的已获知输出值;采用非线性对数误差能量函数作为目标函数,其中信号采用极坐标表示形式,包括信号的幅度特征,相位特征以及频率特征;
建立的特征融合目标函数为:
将一阶深度学习网络估计输出值用指数函数表示,获得第一阶网络估计输出响应,定义为,
其中,wlk作为连接第k个隐层网络与第一个输出网络的权值;权值幅度可以表示为:Aw=|wlk|,l=1,...,n,对应得到权值相位为及频率表示为
进一步的,训练库的建立具体步骤是:
{(r(1),y(2)),...(r(n),y(n)),...(z(t),y(t))},n>t,前n个符号作为系统网络训练库,其中,y(n)为第n个训练单元的输入,并且r(n)作为第n个训练单元的目标输出;
为了提升预测及识别效率,期望预测方向是,经过一层网络训练,信号误差幅度误差相位频率误差
第t个训练样本的输出特征r(t),以极坐标方式表示获得信号的幅度信息、相位信息以及频率信息的能量函数模型。
进一步的,建立融合特征模型的具体步骤是:
形成多源目标的融合特征,融合后的雷达及红外信号的融合信号特征表示为,
其中,Ar为幅度信息,表示为Ar=|r(t)|,为信号相位信息,fr(t)为信号频率特征;
将公式(4)代入融合特征模型,可得:
针对N个训练序列,目标能量函数定义为,也就是融合特征模型:
进一步的,形成融合特征的具体步骤是:通过形成多源目标的融合特征的网络,形成融合特征存储及识别,将接信号通过不同的幅度、相位、频率信息进入不同的融合网络,得到不同的融合特征。
进一步的,特征级别融合的具体方式为,利用融合模型获取SAR雷达探测目标在红外成像的特征空间上的投影点,同时将投影点中建立包含红外成像目标图像的感兴趣区域。
优点及效果:
将SAR雷达与红外数据的特征进行融合,为高精度的作战单元质量的检测提供准确、可靠、具有鲁棒性的特征。
附图说明
图1是融合SAR雷达与红外成像的可视化融合方法框图;
图2是采用基于可视化融合的作战单元姿态判决。
具体实施方式
本发明提供了一种融合SAR雷达与红外成像技术的可视化成像方法。根据采集指挥控制过程中产生的多源异构数据,包括红外成像采集信息,以及SAR雷达采集信息。该方法根据所采集的信息进行融合,同时形成时间序列数据,用于对个体整晚作战单元过程中出现的显著特征进行综合判决,从而获得战场态势的高精度特征分析。
本发明的实现包括红外成像部分,以及SAR雷达部分。利用安装于指挥控制前端的SAR雷达模块与红外成像模块等多种传感器,进行实时获取战场态势。通过SAR雷达获取作战单元特征动态,如距离特征,翻转特征等。以及红外传感器获取作战单元静态信息,如态势特征。建立SAR雷达与红外视觉的坐标特征变换,形成具有统一维度的特征空间,进而通过建立SAR雷达采集数据与红外成像数据的融合,将SAR雷达与红外数据的特征进行融合,为高精度的作战单元质量的检测提供准确、可靠、具有鲁棒性的特征。其实现的框图如图1所示。
通过研究SAR雷达与红外成像的特征融合模型,完成微波数据与红外成像的融合模型建立。该发明首先建立SAR雷达模块坐标系与红外视觉像素坐标系间的线性转换关系。然后根据SAR雷达模块与机器视觉模块安装相对位置固定己知,建立SAR雷达模块坐标系和机器视觉模块间的坐标系转换关系,进而构建SAR雷达捕获作战单元状态特征与红外成像模块捕获特征的空间融合模型。由于SAR雷达模块与红外成像模块的对作战单元特征的捕获原理不同,本发明以红外成像捕获目标的视觉数据为基准,采用多线程同步程序设计方式,构建SAR雷达目标捕获特征的融合模型,并且通过空间模型校正。最后利用时间及空间融合模型,获取SAR雷达探测目标在红外成像的特征空间上的投影点,同时将投影点中建立包含红外成像目标图像的感兴趣区域。利用在作战单元检测感兴趣区域内进行搜索完成高精度的作战单元检测识别。
如图1和图2所示,融合SAR雷达与红外成像技术的可视化融合方法,该方法步骤包括:
步骤一:通过获取的动态信息和静态信息建立融合特征估计转换。
通过SAR雷达获取动态信息,红外成像获取静态信息。利用安装SAR雷达模块与红外成像模块获取作战单元状态的动态信息及静态信息。本发明提供一种基于模糊融合的息融合算法,为精确作战单元状态非接触检测提供准确、可靠、具有鲁棒性的数据,提高高性能及高效检测性能。
高精确作战单元监测系统涉及到静态信息感知,以及动态信息感知,同时需要作战单元状态的动、静信息的融合建模、作战单元状态判决模型及多源特征的综合决策等关键技术。本发明将基于SAR雷达及红外传感器的融合检测信息为研究对象,发明了作战单元状态融合判决方法。研究基于基于模糊信息融合算法以及基于SVM的作战单元检测分类器,为作战单元状态提供准确、可靠、具有鲁棒性的战场指控决策信息。
根据SAR雷达坐标系和红外成像模块的相对位置,建立SAR雷达模块坐标系和红外成像模块间的坐标系转换关系。
融合特征估计转换的具体步骤是:
在第t个时间间隙接收信号y(t)可以表示为,
其中,s(t)为接收的数据集{s(1)M,s(2)M,…s(t)M},A为接收的雷达及红外信号的幅度增益,j表示复数,一般为固定数值,f为接收信号的载波偏移,为接收信号相位偏差,w(t)为功率为噪声功率的高斯白噪声,高斯白噪声也为固定值;
令为算法深度学习网络输出估计值,为第l阶算法深度学习网络估计输出值,rl作为第l阶网络的已获知输出值;采用非线性对数误差能量函数作为目标函数,其中信号采用极坐标表示形式,包括信号的幅度特征,相位特征以及频率特征;
建立的特征融合目标函数为:
将一阶深度学习网络估计输出值用指数函数表示,获得第一阶网络估计输出响应,定义为,
其中,wlk作为连接第k个隐层网络与第一个输出网络的权值;权值幅度可以表示为:Aw=|wlk|,l=1,...,n,对应得到权值相位为及频率表示为
步骤二:通过训练库建立融合特征模型;
训练库的建立具体步骤是:
{(r(1),y(2)),...(r(n),y(n)),...(z(t),y(t))},n>t,前n个符号作为系统网络训练库,其中,y(n)为第n个训练单元的输入,并且r(n)作为第n个训练单元的目标输出;
为了提升预测及识别效率,期望预测方向是,经过一层网络训练,信号误差幅度误差相位频率误差
第t个训练样本的输出特征r(t),以极坐标方式表示获得信号的幅度信息、相位信息以及频率信息的能量函数模型。
建立融合特征模型的具体步骤是:
形成多源目标的融合特征,融合后的雷达及红外信号的融合信号特征表示为,
其中,Ar为幅度信息,表示为Ar=|r(t)|,为信号相位信息,fr(t)为信号频率特征;
将公式(4)代入融合特征模型,可得:
针对N个训练序列,目标能量函数定义为,也就是融合特征模型:
通过分析红外成像成像模型,建立红外成像的像素坐标的转换关系,同时考虑到实际成像时的畸变现象,通过建立视觉经验库,对红外捕获的特征进行非线性的畸变校正;并且根据SAR雷达和红外红外安装位置相对固定的关系,建立SAR雷达和红外红外的坐标转换关系;最终得到SAR雷达坐标系与像素坐标系空间融合模型。通过空间与时间的融合模型,在图像上建立感兴趣区域,利用训练好的在感兴趣特征区域内进行作战单元检测。
步骤三:形成融合特征;
通过形成多源目标的融合特征的网络,形成融合特征存储及识别,将接信号通过不同的幅度、相位、频率信息进入不同的融合网络,得到不同的融合特征。
步骤四:利用特征级别关键区域内进行搜索完成高精度的检测识别。
特征级别融合的具体方式为,利用融合模型获取SAR雷达探测目标在红外成像的特征空间上的投影点,同时将投影点中建立包含红外成像目标图像的感兴趣区域。
使用红外成像获取作战单元静态信息时,障碍物与视觉传感器间的相对距离和相对位置的不同。红外成像中的障碍物检测算法,需要使用一系列不同大小的成像矩形框在整幅图像上进行遍历性的搜索在SAR雷达与红外成像安装相对位置关系己知的情况下,通过坐标系转换将SAR雷达的距离数据映射到红外图像上的某个点,在包含该点的感兴趣区域内,然后进行作战单元静态信息的验证实现识别,实现SAR雷达传感器数据和红外成像传感器数据进行时间、空间的数据融合,同时在整幅红外图像上进行遍历性的搜索,提高作战单元状态监测的实时性、准确性和鲁棒性。
SAR雷达输出的测量数据是作战单元动态的特征数据,这些测量数据位于毫米波雷达二维扫描平面坐标系中。SAR雷达和红外红外安装相对位置关系是固定的、已知的,可获得SAR雷达二维平面坐标系与红外红外坐标系之间的转换关系。
根据计算机视觉相关理论和算法及红外成像原理,可获得红外坐标系和像素坐标系之间的转换关系。结合上化两种转换关系,实现毫米波雷这坐标系和红外成像图像像素坐标之间的转换。
Claims (7)
1.融合SAR雷达与红外成像技术的可视化融合方法,其特征在于:该方法步骤包括:
步骤一:通过获取的动态信息和静态信息建立融合特征估计转换;
步骤二:通过训练库建立融合特征模型;
步骤三:形成融合特征;
步骤四:利用特征级别关键区域内进行搜索完成高精度的检测识别。
2.根据权利要求1所述的融合SAR雷达与红外成像技术的可视化融合方法,其特征在于:通过SAR雷达获取动态信息,红外成像获取静态信息。
3.根据权利要求1所述的融合SAR雷达与红外成像技术的可视化融合方法,其特征在于:融合特征估计转换的具体步骤是:
在第t个时间间隙接收信号y(t)可以表示为,
其中,s(t)为接收的数据集{s(1)M,s(2)M,…s(t)M},A为接收的雷达及红外信号的幅度增益,j表示复数,f为接收信号的载波偏移,为接收信号相位偏差,w(t)为功率为噪声功率的高斯白噪声;
令为算法深度学习网络输出估计值,为第l阶算法深度学习网络估计输出值,rl作为第l阶网络的已获知输出值;采用非线性对数误差能量函数作为目标函数,其中信号采用极坐标表示形式,包括信号的幅度特征,相位特征以及频率特征;
建立的特征融合目标函数为:
将一阶深度学习网络估计输出值用指数函数表示,获得第一阶网络估计输出响应,定义为,
其中,wlk作为连接第k个隐层网络与第一个输出网络的权值;权值幅度可以表示为:Aw=|wlk|,l=1,...,n,对应得到权值相位为及频率表示为
4.根据权利要求1所述的融合SAR雷达与红外成像技术的可视化融合方法,其特征在于:训练库的建立具体步骤是:
{(r(1),y(2)),...(r(n),y(n)),...(z(t),y(t))},n>t,前n个符号作为系统网络训练库,其中,y(n)为第n个训练单元的输入,并且r(n)作为第n个训练单元的目标输出;
为了提升预测及识别效率,期望预测方向是,经过一层网络训练,信号误差幅度误差相位频率误差
第t个训练样本的输出特征r(t),以极坐标方式表示获得信号的幅度信息、相位信息以及频率信息的能量函数模型。
5.根据权利要求1或4所述的融合SAR雷达与红外成像技术的可视化融合方法,其特征在于:建立融合特征模型的具体步骤是:
形成多源目标的融合特征,融合后的雷达及红外信号的融合信号特征表示为,
其中,Ar为幅度信息,表示为Ar=|r(t)|,为信号相位信息,fr(t)为信号频率特征;
将公式(4)代入融合特征模型,可得:
针对N个训练序列,目标能量函数定义为,也就是融合特征模型:
6.根据权利要求1所述的融合SAR雷达与红外成像技术的可视化融合方法,其特征在于:形成融合特征的具体步骤是:通过形成多源目标的融合特征的网络,形成融合特征存储及识别,将接信号通过不同的幅度、相位、频率信息进入不同的融合网络,得到不同的融合特征。
7.根据权利要求1所述的融合SAR雷达与红外成像技术的可视化融合方法,其特征在于:特征级别融合的具体方式为,利用融合模型获取SAR雷达探测目标在红外成像的特征空间上的投影点,同时将投影点中建立包含红外成像目标图像的感兴趣区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019104840082 | 2019-06-04 | ||
CN201910484008 | 2019-06-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110515079A true CN110515079A (zh) | 2019-11-29 |
CN110515079B CN110515079B (zh) | 2022-02-08 |
Family
ID=68628235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910811746.3A Active CN110515079B (zh) | 2019-06-04 | 2019-08-30 | 融合sar雷达与红外成像技术的可视化融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110515079B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115629388A (zh) * | 2022-12-23 | 2023-01-20 | 成都远望探测技术有限公司 | 一种基于红外和微波成像仪数据的雷达回波模拟方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1742084A1 (en) * | 2005-06-23 | 2007-01-10 | Raython Company | System and method for geo-registration with global positioning and inertial navigation |
CN103927359A (zh) * | 2013-10-16 | 2014-07-16 | 中国科学院对地观测与数字地球科学中心 | 一种基于多源遥感数据的自动化洪水监测系统 |
CN105321172A (zh) * | 2015-08-31 | 2016-02-10 | 哈尔滨工业大学 | 一种sar、红外、可见光图像融合方法 |
CN108447041A (zh) * | 2018-01-30 | 2018-08-24 | 中国航天电子技术研究院 | 一种基于增强学习的多源图像融合方法 |
-
2019
- 2019-08-30 CN CN201910811746.3A patent/CN110515079B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1742084A1 (en) * | 2005-06-23 | 2007-01-10 | Raython Company | System and method for geo-registration with global positioning and inertial navigation |
CN103927359A (zh) * | 2013-10-16 | 2014-07-16 | 中国科学院对地观测与数字地球科学中心 | 一种基于多源遥感数据的自动化洪水监测系统 |
CN105321172A (zh) * | 2015-08-31 | 2016-02-10 | 哈尔滨工业大学 | 一种sar、红外、可见光图像融合方法 |
CN108447041A (zh) * | 2018-01-30 | 2018-08-24 | 中国航天电子技术研究院 | 一种基于增强学习的多源图像融合方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115629388A (zh) * | 2022-12-23 | 2023-01-20 | 成都远望探测技术有限公司 | 一种基于红外和微波成像仪数据的雷达回波模拟方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110515079B (zh) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034018B (zh) | 一种基于双目视觉的低空小型无人机障碍物感知方法 | |
CN110428008A (zh) | 一种基于多融合传感器的目标探测与识别装置和方法 | |
CN101813475B (zh) | 远距离障碍的自适应检测方法 | |
CN110097553A (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
CN102932605B (zh) | 一种视觉感知网络中摄像机的组合选择方法 | |
CN106960442A (zh) | 基于单目红外的夜间机器人视觉大视场三维构建方法 | |
CN106056053A (zh) | 基于骨骼特征点提取的人体姿势识别方法 | |
CN101173987A (zh) | 多模多目标精密跟踪装置和方法 | |
CN110728213A (zh) | 一种基于无线射频信号的细粒度人体姿态估计方法 | |
CN112200106A (zh) | 跨相机行人重识别与跟踪方法 | |
CN107767406B (zh) | 一种基于ds证据理论的多光谱图像弱小目标跟踪方法 | |
Xia et al. | Person identification with millimeter-wave radar in realistic smart home scenarios | |
CN110390308B (zh) | 一种基于时空对抗生成网络的视频行为识别方法 | |
CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN107607953A (zh) | 一种侧向车辆防碰撞系统及其方法 | |
Deng et al. | Gaitfi: Robust device-free human identification via wifi and vision multimodal learning | |
CN109492700A (zh) | 一种基于多维信息融合的复杂背景目标识别方法 | |
CN111598028A (zh) | 一种基于遥感成像原理识别地表植被分布方法 | |
CN110321820A (zh) | 一种基于非接触式设备的视线落点检测方法 | |
CN114694011A (zh) | 一种基于多传感器融合的透雾目标检测方法及装置 | |
CN110515079A (zh) | 融合sar雷达与红外成像技术的可视化融合方法 | |
Huang et al. | Saliency detection based on distance between patches in polarimetric SAR images | |
Zou et al. | Sonar Image Target Detection for Underwater Communication System Based on Deep Neural Network. | |
CN106303461A (zh) | 基于视频分析的移动式智能安防装置 | |
Feng et al. | DAMUN: A domain adaptive human activity recognition network based on multimodal feature fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |