CN111598787B - 生物雷达图像去噪方法、装置、电子设备及其存储介质 - Google Patents

生物雷达图像去噪方法、装置、电子设备及其存储介质 Download PDF

Info

Publication number
CN111598787B
CN111598787B CN202010252004.4A CN202010252004A CN111598787B CN 111598787 B CN111598787 B CN 111598787B CN 202010252004 A CN202010252004 A CN 202010252004A CN 111598787 B CN111598787 B CN 111598787B
Authority
CN
China
Prior art keywords
convolution
activation
deconvolution
layer
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010252004.4A
Other languages
English (en)
Other versions
CN111598787A (zh
Inventor
包敏
邢汉桐
史林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010252004.4A priority Critical patent/CN111598787B/zh
Publication of CN111598787A publication Critical patent/CN111598787A/zh
Application granted granted Critical
Publication of CN111598787B publication Critical patent/CN111598787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了一种生物雷达图像去噪方法、装置、电子设备及其存储介质,方法包括获取生物雷达图像训练集;构建生成式对抗神经网络模型,根据生物雷达图像训练集对生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型,其中,训练过程中采用的损失函数包括条件三元组损失函数;将测试生物雷达噪声图像输入至训练好的生成式对抗神经网络模型得到去噪后的图像。本发明提供的生物雷达图像去噪方法,由于在训练过程中采用了条件三元组损失函数,使生成式对抗神经网络模型得到更好的收敛,采用该生成式对抗神经网络模型得到去噪图像细节保存更好。

Description

生物雷达图像去噪方法、装置、电子设备及其存储介质
技术领域
本发明属于生物雷达图像处理技术领域,具体涉及一种生物雷达图像去噪方法、装置、电子设备及其存储介质。
背景技术
生物雷达是利用多普勒效应探测人体呼吸、心跳等微小运动,实现生命探测的一种新概念雷达。目前,基于生物雷达的地震等自然灾害下的人体检测是一个重要的研究领域。
由于灾后岩壁的阻隔,人体的回波信号一直很弱,给人体的检测带来了很大的困难。为了解决这一问题,寻找可靠有效的降噪方法显得尤为重要。神经网络能够很好地拟合数据分布,基于深度学习的雷达图像去噪技术近年来显示出巨大的优势。比如2014年IanJ.Goodfellow提出的生成式对抗网络(Generative Adversarial Networks,简称GAN),可以获得较好的去噪图像,而2015年Alec Radford提出的深度卷积生成对抗网络(DeepConvolution Generative Adversarial Networks,简称DCGAN),它将GAN和卷积网络结合起来,由于提取了更丰富的图像特征信息,使得生成图像质量更好,从而获得了更好的去噪图像。
然而,DCGAN的原始目的是为了图像生成,以交叉熵为损失函数的DCGAN在图像生成时充满不确定性,导致无法得到最优的去噪效果。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种生物雷达图像去噪方法、装置、电子设备及其存储介质。
本发明的一个实施例提供了一种生物雷达图像去噪方法,该方法包括:
获取生物雷达图像训练集;
构建生成式对抗神经网络模型,根据所述生物雷达图像训练集对所述生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型,其中,训练过程中采用的损失函数包括条件三元组损失函数;
将所述测试生物雷达噪声图像输入至所述训练好的生成式对抗神经网络模型得到去噪后的图像。
在本发明的一个实施例中,构建的生成式对抗神经网络模型包括依次连接的生成器网络和判别器网络,其中,
所述生成器网络包括依次连接的卷积批标准化激活模块、残差处理模块和反卷积批标准化激活模块,所述卷积批标准化激活模块的输出还与所述残差处理模块的输出和所述反卷积批标准化激活模块的输出连接,所述反卷积批标准化激活模块的输出还与所述判别器网络连接。
在本发明的一个实施例中,所述生成器网络中卷积批标准化激活模块包括依次连接的第一卷积批标准化激活层~第四卷积批标准化激活层,所述残差处理模块包括依次连接的第一残差块~第三残差块,所述反卷积批标准化激活模块包括依次连接的第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层,其中,
所述第一卷积批标准化激活层的输出与所述第三反卷积批标准化激活层的输出连接,所述第二卷积批标准化激活层的输出与所述第二反卷积批标准化激活层的输出连接,所述第三卷积批标准化激活层的输出与所述第一反卷积批标准化激活层的输出连接,所述第四卷积批标准化激活层的输出与所述第一残差块的输入、所述第三残差块的输出连接,所述反卷积激活层的输出与所述判别器网络连接。
在本发明的一个实施例中,所述卷积批标准化激活模块中所述第一卷积批标准化激活层~第四卷积批标准化激活层分别包括依次连接的一卷积层、一批标准化层和一激活层,所述第一卷积批标准化激活层~第四卷积批标准化激活层中卷积层的卷积核大小相同,所述第一卷积批标准化激活层~第四卷积批标准化激活层中激活层的激活函数相同;
所述反卷积批标准化激活模块中所述第一反卷积批标准化激活层~第三反卷积批标准化激活层分别包括依次连接的一反卷积层、一批标准化层和一激活层,所述反卷积激活层包括依次连接的一反卷积层、一批标准化层和一激活层,所述第一反卷积批标准化激活层~第三反卷积批标准化激活层、所述反卷积激活层中反卷积层的卷积核大小相同,所述第一反卷积批标准化激活层~第三反卷积批标准化激活层中激活层的激活函数相同,所述反卷积激活层中激活层的激活函数为第一激活函数。
在本发明的一个实施例中,所述判别器网络包括依次连接的第一卷积激活层~第五卷积激活层,其中,
所述第一卷积激活层~第五卷积激活层分别包括依次连接的一卷积层和一激活层,所述第一卷积激活层~第五卷积激活层中卷积层的卷积核大小相同,所述第一卷积激活层~第四卷积激活层中激活层的激活函数相同,所述第五卷积激活层中激活层的激活函数为第二激活函数。
在本发明的一个实施例中,根据所述生物雷达图像训练集对所述生成式对抗神经网络模型中进行训练得到训练好的生成式对抗神经网络模型,包括:
构建条件三元组损失函数与交叉熵损失函数的复合损失函数;
根据所述生物雷达图像训练集并利用所述复合损失函数对所述生成式对抗神经网络模型中进行训练得到所述训练好的生成式对抗神经网络模型。
在本发明的一个实施例中,所述条件三元组损失函数为:
Lc=max(max(α*d(a,p)-β*d(a,n)+margin,0),d(a,p));
其中,a表示锚样本,p表示与锚样本具有相同标签的正样本,n表示与锚样本具有不同标签的负样本,d表示两个样本之间的欧氏距离,margin表示确保正负样本之间最小距离的值,α和β表示预定义的权重。
本发明的另一个实施例提供了一种生物雷达图像去噪装置,该装置包括:
图像获取模块,用于获取生物雷达图像训练集;
模型构建训练模块,用于构建生成式对抗神经网络模型,根据所述生物雷达图像训练集对所述生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型,其中,训练过程中采用的损失函数包括条件三元组损失函数;
图像去噪模块,用于将所述测试生物雷达噪声图像输入至所述训练好的生成式对抗神经网络模型得到去噪后的图像。
本发明的再一个实施例提供了一种生物雷达图像去噪电子设备,该电子设备包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上存放的所述计算机程序时,实现上述任一所述的生物雷达图像去噪方法。
本发明的又一个实施例提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的生物雷达图像去噪方法。
与现有技术相比,本发明的有益效果:
本发明提供的生物雷达图像去噪方法,相较于传统的DCGAN方法,由于在训练过程中采用了条件三元组损失函数,使生成式对抗神经网络模型得到更好的收敛,采用该生成式对抗神经网络模型得到的去噪图像细节保存更好,从而提高了图像的去噪效果。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种生物雷达图像去噪方法的流程示意图;
图2是本发明实施例提供的一种生物雷达图像去噪方法中生成式对抗神经网络模型的结构示意图;
图3是本发明实施例提供的生成式对抗神经网络模型中生成器网络的结构示意图;
图4是本发明实施例提供的生成式对抗神经网络模型中另一种生成器网络的结构示意图;
图5是本发明实施例提供的生成式对抗神经网络模型中判别器网络的结构示意图;
图6是本发明实施例提供的生成式对抗神经网络模型中另一种判别器网络的结构示意图;
图7a~7d是本发明实施例提供的生成式对抗神经网络模型在不同迭代次数下的训练结果示意图;
图8a~8d是本发明实施例提供的传统DCGAN网络模型在不同迭代次数下的训练结果示意图;
图9是本发明实施例提供的基于生成式对抗神经网络模型、DCGAN网络模型的去噪结果对比示意图;
图10a~10c是本发明实施例提供的生物雷达图像去噪方法的去噪结果示意图;
图11是本发明实施例提供的一种生物雷达图像去噪装置的结构示意图;
图12是本发明实施例提供的一种生物雷达图像去噪电子设备的结构示意图;
图13是本发明实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
实施例一
目前基于深度学习的雷达图像去噪技术近年来显示出巨大的优势。比如DCGAN,它将GAN和卷积网络结合起来,提取了更丰富的图像特征,使得生成图像质量更好,从而获得了较好的去噪图像。然而DCGAN的原始目的是为了图像生成,以交叉熵为损失函数的DCGAN在图像生成时充满不确定性,导致无法得到最优的去噪效果。基于上述存在的问题,请参见图1,图1是本发明实施例提供的一种生物雷达图像去噪方法的流程示意图,本实施例提供了一种生物雷达图像去噪方法,该方法包括以下步骤:
步骤1、获取生物雷达图像训练集。
具体而言,本实施例采用预设算法进行生物雷达图像集的生成,预设算法比如BP算法,优选地,本实施例生成的生物雷达训练图像包括生物雷达含噪图像和生物雷达不含噪图像,同一生物雷达图像的含噪和不含噪图像构成生物雷达图像对,若干生物雷达图像分别构成相应的生物雷达图像对,再由这些生物雷达图像对构成生物雷达图像训练集。
步骤2、构建生成式对抗神经网络模型,根据生物雷达图像训练集对生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型。
具体而言,GAN的主要思想是通过对抗使生成器网络G和判别器网络D相互优化,具体地说,判别器网络D期望具有很强的鉴别能力,能够区分输入样本是否真实(由生成器网络G生成假样本),生成器网络G期望具有良好的图像生成能力,这使得判别器网络D难以判断图像是否真实。在实际应用中,由深度神经网络构造的生成器网络G和判别器网络D显示出其非凡的生成和识别能力,GAN作为一种生成模型,具有很强的拟合图像数据分布的能力,在图像去噪中具有很好的效果。因此,本实施例提出了一种新的GAN网络实现方法,步骤2具体包括步骤2.1、步骤2.2:
步骤2.1、构建生成式对抗神经网络模型。
具体而言,请参见图2,图2是本发明实施例提供的一种生物雷达图像去噪方法中生成式对抗神经网络模型的结构示意图,可见,本实施例构建的生成式对抗神经网络模型包括依次连接的生成器网络G和判别器网络D,其中,生成器网络G包括依次连接的卷积批标准化激活模块、残差处理模块和反卷积批标准化激活模块,卷积批标准化激活模块的输出还与残差处理模块的输出和反卷积批标准化激活模块的输出连接,反卷积批标准化激活模块的输出还与判别器网络D连接,具体地:
生成器网络G中卷积批标准化激活模块包括依次连接的第一卷积批标准化激活层~第四卷积批标准化激活层,残差处理模块包括依次连接的第一残差块~第三残差块,反卷积批标准化激活模块包括依次连接的第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层,其中,第一卷积批标准化激活层的输出与第三反卷积批标准化激活层的输出,第二卷积批标准化激活层的输出与第二反卷积批标准化激活层的输出连接,第三卷积批标准化激活层的输出与第一反卷积批标准化激活层的输出连接,第四卷积批标准化激活层的输出与第一残差块的输入、第三残差块的输出连接,反卷积激活层的输出与判别器网络连接。本实施例生成器网络G中:卷积批标准化激活模块中第一卷积批标准化激活层~第四卷积批标准化激活层分别包括依次连接的一卷积层、一批标准化层和一激活层,第一卷积批标准化激活层~第四卷积批标准化激活层中卷积层的卷积核大小相同,采用相同的步长,但卷积层的通道数不同,第一卷积批标准化激活层~第四卷积批标准化激活层不断深化卷积通道数,比如第一卷积批标准化激活层~第四卷积批标准化激活层中卷积层的通道数分别为64、128、256、512,从而提取图像各个维度的特征信息,保证特征的丰富性,同时,本实施例第一卷积批标准化激活层~第四卷积批标准化激活层中批标准化层进行了统一的标准化处理,标准化在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的,第一卷积批标准化激活层~第四卷积批标准化激活层中激活层的激活函数相同,比如采用激活函数为Relu;反卷积批标准化激活模块中第一反卷积批标准化激活层~第三反卷积批标准化激活层分别包括依次连接的一反卷积层、一批标准化层和一激活层,反卷积激活层包括依次连接的一反卷积层和一激活层,第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层采用与卷积批标准化激活模块中反卷积层的卷积核大小相同、步长相同,反卷积层的通道数不同且与第一卷积批标准化激活层~第三卷积批标准化激活层通道数对称,比如第一反卷积批标准化激活层~第三反卷积批标准化激活层中反卷积层通道数分别为256、128、64,而作为生成器网络G的输出的反卷积激活层中反卷积层的通道数为1,第一反卷积批标准化激活层~第三反卷积批标准化激活层中批标准化层进行了与卷积批标准化激活模块中相同的标准化处理,第一反卷积批标准化激活层~第三反卷积批标准化激活层中激活层的激活函数与卷积批标准化激活模块中激活函数相同,反卷积激活层中激活层的第一激活函数为Sigmoid。由上述可知,本实施例生成式对抗神经网络模型中将卷积批标准化激活模块与反卷积批标准化激活模块中相同尺寸的对称层的输出直接连接起来,使提取的各维特征可以重复使用,防止过拟合的发生;而且本实施例生成式对抗神经网络模型中还包括残差处理模块,从而很好的实现了深度神经网络的训练,从而实现收敛性更好的网络结构,
判别器网络D具有五层网络结构,包括依次连接的第一卷积激活层~第五卷积激活层,其中,第一卷积激活层~第五卷积激活层分别包括依次连接的一卷积层和一激活层。第一卷积激活层~第五卷积激活层中卷积层的卷积核大小相同,第一卷积激活层~第三卷积激活层与生成器网络G的前三层类似,判别器网络D第一卷积激活层~第三卷积激活层中卷积层使用与生成器网络G中第一卷积批标准化激活层~第三卷积批标准化激活层对应相同的卷积层(比如步长、通道数、卷积核等),激活函数也使用与生成器网络G中第一卷积批标准化激活层~第四卷积批标准化激活层对应相同的激活函数,但判别器网络D取消了生成器网络G中的批标准化层(Batch-Norm),进一步降低了网络参数;判别器网络D第四卷积激活层~第五卷积激活层中卷积层步长相同,通道数不同,第一卷积激活层~第四卷积激活层中卷积层不断深化卷积通道数,而第五卷积激活层作为判别器网络D的输出,通道数为1,第四卷积激活层中激活函数与生成器网络G中的激活函数相同,第五卷积激活层的第二激活函数为Sigmoid。本实施例生成式对抗神经网络模型中判别器网络D采用多层网络结构,且与生成器网络G结构相类似,简化了网络设计难度,提高了判别识别结果的精度。
步骤2.2、根据生物雷达图像训练集对生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型。
具体而言,最初三元组损失是为了解决人脸匹配问题而提出的,它可以学习到很好的嵌入层,通过相似度判断同一个人是否是同一个人,具体三元组损失函数的公式设计如下:
Lt=max(d(a,p)-d(a,n)+margin,0) (1)
其中,a表示锚样本,p表示与锚样本具有相同标签的正样本,n表示与锚样本具有不同标签的负样本,d表示两个样本之间的欧氏距离,margin表示确保正负样本之间最小距离的值。三元组损失使得锚图像在接近正样本的同时远离负样本,这给神经网络一个更加明确的优化方向。
由于三元组损失的优势,本实施例将三元组损失引入GAN的图像去噪中。但将三元组损失应用于GAN的生成器网络G进行图像去噪时,三元组损失的值很容易计算为零,这是因为,当刚开始训练时,生成器网络G的输出是混乱的,此时,d(a,p)较大。在迭代次数较少的情况下,生成器网络G的输出图像质量会有很大的提高,d(a,p)值会迅速下降,导致d(a,n)值远大于d(a,p),三元组损失函数值变为零,但此时生成器网络G产生的图像质量还不好,GAN仍需优化,但三元组损失函数已不可用。为了解决这个问题,本实施例提出了一种条件三元组损失函数,该条件三元组损失函数设计如下:
Lc=max(max(α*d(a,p)-β*d(a,n)+margin,0),d(a,p)) (2)
其中,a表示锚样本,p表示与锚样本具有相同标签的正样本,n表示与锚样本具有不同标签的负样本,d表示两个样本之间的欧氏距离,margin表示确保正负样本之间最小距离的值,α和β表示预定义的权重,α和β均为大于0的整数,具体取值根据实际需要而设置。
当使用条件三元组损失函数进行训练时,生成器网络G的输出首先接近正样本,远离负样本。经过多次迭代后,生成器网络G的输出图像与无噪声图像非常接近。此时,生成器网络G的输出距离负样本足够远,d(a,n)被丢弃,然后d(a,p)将成为新的损失函数,GAN继续优化d(a,p)直到迭代结束,这将使输出图像的细节更加完美。
再加上在判别器网络D中采用交叉熵损失函数,具体地可以采用softmax函数实现二分类,最终本实施例生成式对抗神经网络模型训练中构建了条件三元组损失函数+交叉熵损失的复合损失函数,该复合损失函数设计为:
L=Lc+La (3)
其中,L表示复合损失函数,Lc表示生成器网络G的损失函数,La表示交叉熵损失函数。
步骤3、将测试生物雷达噪声图像输入至训练好的生成式对抗神经网络模型得到去噪后的图像。
具体而言,本实施例将测试生物雷达噪声图像输入至步骤2得到的训练好的生成式对抗神经网络模型,实现对生物雷达噪声图像的去噪处理,得到去噪后的图像。
需要说明的是,本实施例提出的基于生成式对抗神经网络模型的去噪方法,不仅适用于生物雷达图像去噪,也适用于自然图像去噪和SAR图像去噪。
为了验证本实施例提出的生物雷达图像去噪方法的优越性,本实施例通过以下仿真实验做以进一步说明:
本实施例生成式对抗神经网络模型中输入图像的大小设置为256*256,生成器网络G中所有卷积层、反卷积层的卷积核大小均设置为3*3、卷积步长均设置为2,卷积批标准化激活模块中第一卷积批标准化激活层~第四卷积批标准化激活层中卷积层的通道数分别为64、128、256、512,反卷积批标准化激活模块中第一反卷积批标准化激活层~第三反卷积批标准化激活层中反卷积层的通道数分别为256、128、64,反卷积激活层中反卷积层的通道数为1,生成器网络G中除反卷积激活层中激活层的第一激活函数外其他激活函数均为Relu,反卷积激活层中激活层的第一激活函数为Sigmoid,判别器网络D中所有卷积层的卷积核大小均设置为3*3,第一卷积激活层~第三卷积激活层中卷积层的步长均为2,以及通道数分别为64、128、256,第四卷积激活层~第五卷积激活层中卷积层的卷积步长均为1,以及通道数分别为256、1,生成器网络G中除第五卷积激活层中激活层的第二激活函数外其他激活函数均为Relu,第五卷积激活层中激活层的第二激活函数为Sigmoid。
本实施例训练中采用的是Adam优化算法,学习率设定为0.0002,生物雷达图像训练集中有1000组图像,批大小设置为1,进行20000次迭代,即20个epochs;本实施例条件三元组损失中,α设置为20,β设置为1,margin设置为1;本实施例生成式对抗神经网络模型在GeForce GTX1080上进行训练,内存为8GB,训练时间是16分40秒。
在上述条件下,本实施例对深度卷积生成对抗网络(Deep ConvolutionGenerative Adversarial Networks,简称DCGAN)与本申请的去噪方法进行了对比:
请参见图7a~7d、8a~8d,图7a~7d是本发明实施例提供的生成式对抗神经网络模型在不同迭代次数下的训练结果示意图,图8a~8d是本发明实施例提供的传统DCGAN网络模型在不同迭代次数下的训练结果示意图,图7a~7d、8a~8d中横坐标Crossrange表示横向距离、纵坐标Downrange表示纵向距离,可见,DCGAN网络模型下的训练,训练学习过程中生成的图像充满不确定性,并不利于图像去噪处理,而本申请条件三元组保证了训练学习过程中生成图像的稳定性,有利于后续图像的去噪处理;
请参见图9、10a~10c,图9是本发明实施例提供的基于生成式对抗神经网络模型、DCGAN网络模型的去噪结果对比示意图,图10a~10c是本发明实施例提供的生物雷达图像去噪方法的去噪结果示意图,图10a~10c中横坐标Crossrange表示横向距离、纵坐标Downrange表示纵向距离,图10a为地面真实生物雷达图像,图10b为含噪生物雷达图像,图10c为去噪后的生物雷达图像,由图9可见,本实施例经过20个epochs训练后得到最终的去噪后的图像,在迭代过程中,DCGAN网络模型的去噪方法随着迭代次数的增加,得到的图像峰值信噪比PSNR严重恶化,而本申请(Conditional Triplet GAN)随着迭代次数的增加,得到的图像峰值信噪比PSNR均比DCGAN网络模型的图像峰值信噪比PSNR高,且图像峰值信噪比PSNR保持在一个高的峰值信噪比PSNR下,具体地,本申请20000次迭代过程中,均方误差MSE从171.53下降到7.07,峰值信噪比PSNR从25.79上升到39.64,两个评价标准均说明了本申请图像去噪的有效性,同时,图10a~10c可以明显看到本申请的去噪效果。
综上所述,本文提出了一种生物雷达图像去噪方法,该方法包含了生成器网络G和判别器网络D两个更复杂的神经网络结构,以及交叉熵损失和条件三元组损失相结合的复合损失函数,交叉熵损失是为了欺骗判别器网络D,三元组损失是通过生成器网络G将生成的图像与真实图像进行比较来校正每个像素的值,通过条件三元组损失+交叉熵损失的复合损失函数保证了训练学习过程中生成图像的稳定性,从而提高图像的去噪效果。
实施例二
在上述实施例一的基础上,请参见图11,图11为本发明实施例提供的一种生物雷达图像去噪装置的结构示意图。本实施例提供了一种生物雷达图像去噪装置,该装置包括:
图像获取模块,用于获取生物雷达图像训练集。
模型构建训练模块,用于构建生成式对抗神经网络模型,根据生物雷达图像训练集对生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型,其中,训练过程中采用的损失函数包括条件三元组损失函数。
具体而言,本实施例模型构建训练模块中构建的生成式对抗神经网络模型,包括:依次连接的生成器网络和判别器网络,其中,
生成器网络包括依次连接的卷积批标准化激活模块、残差处理模块和反卷积批标准化激活模块,卷积批标准化激活模块的输出还与残差处理模块的输出和反卷积批标准化激活模块的输出连接,反卷积批标准化激活模块的输出还与判别器网络连接。
进一步地,本实施例生成器网络中卷积批标准化激活模块包括依次连接的第一卷积批标准化激活层~第四卷积批标准化激活层,残差处理模块包括依次连接的第一残差块~第三残差块,反卷积批标准化激活模块包括依次连接的第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层,其中,
第一卷积批标准化激活层的输出与第三反卷积批标准化激活层的输出连接,第二卷积批标准化激活层的输出与第二反卷积批标准化激活层的输出连接,第三卷积批标准化激活层的输出与第一反卷积批标准化激活层的输出连接,第四卷积批标准化激活层的输出与第一残差块的输入、第三残差块的输出连接,反卷积激活层的输出与判别器网络连接。
进一步地,本实施例卷积批标准化激活模块中第一卷积批标准化激活层~第四卷积批标准化激活层分别包括依次连接的一卷积层、一批标准化层和一激活层,第一卷积批标准化激活层~第四卷积批标准化激活层中卷积层的卷积核大小相同,第一卷积批标准化激活层~第四卷积批标准化激活层中激活层的激活函数相同;
反卷积批标准化激活模块中第一反卷积批标准化激活层~第三反卷积批标准化激活层分别包括依次连接的一反卷积层、一批标准化层和一激活层,反卷积激活层包括依次连接的一反卷积层和一激活层,第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层中反卷积层的卷积核大小相同,第一反卷积批标准化激活层~第三反卷积批标准化激活层中激活层的激活函数相同,反卷积激活层中激活层的激活函数为第一激活函数。
进一步地,本实施例判别器网络包括依次连接的第一卷积激活层~第五卷积激活层,其中,
第一卷积激活层~第五卷积激活层分别包括依次连接的一卷积层和一激活层,第一卷积激活层~第五卷积激活层中卷积层的卷积核大小相同,第一卷积激活层~第四卷积激活层中激活层的激活函数相同,第五卷积激活层中激活层的激活函数为第二激活函数。
进一步地,本实施例根据生物雷达图像训练集对生成式对抗神经网络模型中进行训练得到训练好的生成式对抗神经网络模型,包括:
构建条件三元组损失函数与交叉熵损失函数的复合损失函数;
根据生物雷达图像训练集并利用复合损失函数对生成式对抗神经网络模型中进行训练得到训练好的生成式对抗神经网络模型。
进一步地,本实施例条件三元组损失函数为:
Lc=max(max(α*d(a,p)-β*d(a,n)+margin,0),d(a,p));
其中,a表示锚样本,p表示与锚样本具有相同标签的正样本,n表示与锚样本具有不同标签的负样本,d表示两个样本之间的欧氏距离,margin表示确保正负样本之间最小距离的值,α和β表示预定义的权重。
图像去噪模块,用于将测试生物雷达噪声图像输入至训练好的生成式对抗神经网络模型得到去噪后的图像。
本实施例提供的一种生物雷达图像去噪装置,可以执行上述生物雷达图像去噪方法实施例,其实现原理和技术效果类似,在此不再赘述。
实施例三
在上述实施例二的基础上,请参见图12,图12为本发明实施例提供的一种生物雷达图像去噪电子设备结构示意图。本实施例提供了一种生物雷达图像去噪电子设备,该电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的计算机程序时,该计算机程序被处理器执行时实现以下步骤:
步骤1、获取生物雷达图像训练集。
步骤2、构建生成式对抗神经网络模型,根据生物雷达图像训练集对生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型,其中,训练过程中采用的损失函数包括条件三元组损失函数。
具体而言,本实施例步骤2中构建的生成式对抗神经网络模型,包括:依次连接的生成器网络和判别器网络,其中,
生成器网络包括依次连接的卷积批标准化激活模块、残差处理模块和反卷积批标准化激活模块,卷积批标准化激活模块的输出还与残差处理模块的输出和反卷积批标准化激活模块的输出连接,反卷积批标准化激活模块的输出还与判别器网络连接。
进一步地,本实施例生成器网络中卷积批标准化激活模块包括依次连接的第一卷积批标准化激活层~第四卷积批标准化激活层,残差处理模块包括依次连接的第一残差块~第三残差块,反卷积批标准化激活模块包括依次连接的第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层,其中,
第一卷积批标准化激活层的输出与第三反卷积批标准化激活层的输出连接,第二卷积批标准化激活层的输出与第二反卷积批标准化激活层的输出连接,第三卷积批标准化激活层的输出与第一反卷积批标准化激活层的输出连接,第四卷积批标准化激活层的输出与第一残差块的输入、第三残差块的输出连接,反卷积激活层的输出与判别器网络连接。
进一步地,本实施例卷积批标准化激活模块中第一卷积批标准化激活层~第四卷积批标准化激活层分别包括依次连接的一卷积层、一批标准化层和一激活层,第一卷积批标准化激活层~第四卷积批标准化激活层中卷积层的卷积核大小相同,第一卷积批标准化激活层~第四卷积批标准化激活层中激活层的激活函数相同;
反卷积批标准化激活模块中第一反卷积批标准化激活层~第三反卷积批标准化激活层分别包括依次连接的一反卷积层、一批标准化层和一激活层,反卷积激活层包括依次连接的一反卷积层和一激活层,第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层中反卷积层的卷积核大小相同,第一反卷积批标准化激活层~第三反卷积批标准化激活层中激活层的激活函数相同,反卷积激活层中激活层的激活函数为第一激活函数。
进一步地,本实施例判别器网络包括依次连接的第一卷积激活层~第五卷积激活层,其中,
第一卷积激活层~第五卷积激活层分别包括依次连接的一卷积层和一激活层,第一卷积激活层~第五卷积激活层中卷积层的卷积核大小相同,第一卷积激活层~第四卷积激活层中激活层的激活函数相同,第五卷积激活层中激活层的激活函数为第二激活函数。
进一步地,本实施例根据生物雷达图像训练集对生成式对抗神经网络模型中进行训练得到训练好的生成式对抗神经网络模型,包括:
构建条件三元组损失函数与交叉熵损失函数的复合损失函数;
根据生物雷达图像训练集并利用复合损失函数对生成式对抗神经网络模型中进行训练得到训练好的生成式对抗神经网络模型。
进一步地,本实施例条件三元组损失函数为:
Lc=max(max(α*d(a,p)-β*d(a,n)+margin,0),d(a,p));
其中,a表示锚样本,p表示与锚样本具有相同标签的正样本,n表示与锚样本具有不同标签的负样本,d表示两个样本之间的欧氏距离,margin表示确保正负样本之间最小距离的值,α和β表示预定义的权重。
步骤3、将测试生物雷达噪声图像输入至训练好的生成式对抗神经网络模型得到去噪后的图像。
本实施例提供的一种生物雷达图像去噪电子设备,可以执行上述生物雷达图像去噪方法实施例和上述生物雷达图像去噪装置实施例,其实现原理和技术效果类似,在此不再赘述。
实施例四
在上述实施例三的基础上,请参见图13,图13为本发明实施例提供的一种计算机可读存储介质的结构示意图。本实施例提供的一种计算机可读存储介质,其上存储有计算机程序,上述计算机程序被处理器执行时实现以下步骤:
步骤1、获取生物雷达图像训练集。
步骤2、构建生成式对抗神经网络模型,根据生物雷达图像训练集对生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型,其中,训练过程中采用的损失函数包括条件三元组损失函数。
具体而言,本实施例步骤2中构建的生成式对抗神经网络模型,包括:依次连接的生成器网络和判别器网络,其中,
生成器网络包括依次连接的卷积批标准化激活模块、残差处理模块和反卷积批标准化激活模块,卷积批标准化激活模块的输出还与残差处理模块的输出和反卷积批标准化激活模块的输出连接,反卷积批标准化激活模块的输出还与判别器网络连接。
进一步地,本实施例生成器网络中卷积批标准化激活模块包括依次连接的第一卷积批标准化激活层~第四卷积批标准化激活层,残差处理模块包括依次连接的第一残差块~第三残差块,反卷积批标准化激活模块包括依次连接的第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层,其中,
第一卷积批标准化激活层的输出与第三反卷积批标准化激活层的输出连接,第二卷积批标准化激活层的输出与第二反卷积批标准化激活层的输出连接,第三卷积批标准化激活层的输出与第一反卷积批标准化激活层的输出连接,第四卷积批标准化激活层的输出与第一残差块的输入、第三残差块的输出连接,反卷积激活层的输出与判别器网络连接。
进一步地,本实施例卷积批标准化激活模块中第一卷积批标准化激活层~第四卷积批标准化激活层分别包括依次连接的一卷积层、一批标准化层和一激活层,第一卷积批标准化激活层~第四卷积批标准化激活层中卷积层的卷积核大小相同,第一卷积批标准化激活层~第四卷积批标准化激活层中激活层的激活函数相同;
反卷积批标准化激活模块中第一反卷积批标准化激活层~第三反卷积批标准化激活层分别包括依次连接的一反卷积层、一批标准化层和一激活层,反卷积激活层包括依次连接的一反卷积层和一激活层,第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层中反卷积层的卷积核大小相同,第一反卷积批标准化激活层~第三反卷积批标准化激活层中激活层的激活函数相同,反卷积激活层中激活层的激活函数为第一激活函数。
进一步地,本实施例判别器网络包括依次连接的第一卷积激活层~第五卷积激活层,其中,
第一卷积激活层~第五卷积激活层分别包括依次连接的一卷积层和一激活层,第一卷积激活层~第五卷积激活层中卷积层的卷积核大小相同,第一卷积激活层~第四卷积激活层中激活层的激活函数相同,第五卷积激活层中激活层的激活函数为第二激活函数。
进一步地,本实施例根据生物雷达图像训练集对生成式对抗神经网络模型中进行训练得到训练好的生成式对抗神经网络模型,包括:
构建条件三元组损失函数与交叉熵损失函数的复合损失函数;
根据生物雷达图像训练集并利用复合损失函数对生成式对抗神经网络模型中进行训练得到训练好的生成式对抗神经网络模型。
进一步地,本实施例条件三元组损失函数为:
Lc=max(max(α*d(a,p)-β*d(a,n)+margin,0),d(a,p));
其中,a表示锚样本,p表示与锚样本具有相同标签的正样本,n表示与锚样本具有不同标签的负样本,d表示两个样本之间的欧氏距离,margin表示确保正负样本之间最小距离的值,α和β表示预定义的权重。
步骤3、将测试生物雷达噪声图像输入至训练好的生成式对抗神经网络模型得到去噪后的图像。
本实施例提供的一种计算机可读存储介质,可以执行上述生物雷达图像去噪方法实施例、上述生物雷达图像去噪装置实施例和上述生物雷达图像去噪电子设备实施例,其实现原理和技术效果类似,在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (8)

1.一种生物雷达图像去噪方法,其特征在于,包括:
获取生物雷达图像训练集;
构建生成式对抗神经网络模型,根据所述生物雷达图像训练集对所述生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型,其中,训练过程中采用的损失函数包括条件三元组损失函数;
将测试生物雷达噪声图像输入至所述训练好的生成式对抗神经网络模型得到去噪后的图像;
根据所述生物雷达图像训练集对所述生成式对抗神经网络模型中进行训练得到训练好的生成式对抗神经网络模型,包括:
构建条件三元组损失函数与交叉熵损失函数的复合损失函数;
根据所述生物雷达图像训练集并利用所述复合损失函数对所述生成式对抗神经网络模型中进行训练得到所述训练好的生成式对抗神经网络模型;
所述条件三元组损失函数为:
Lc=max(max(α*d(a,p)-β*d(a,n)+margin,0),d(a,p));
其中,a表示锚样本,p表示与锚样本具有相同标签的正样本,n表示与锚样本具有不同标签的负样本,d表示两个样本之间的欧氏距离,margin表示确保正负样本之间最小距离的值,α和β表示预定义的权重。
2.根据权利要求1所述的生物雷达图像去噪方法,其特征在于,构建的生成式对抗神经网络模型包括依次连接的生成器网络和判别器网络,其中,
所述生成器网络包括依次连接的卷积批标准化激活模块、残差处理模块和反卷积批标准化激活模块,所述卷积批标准化激活模块的输出还与所述残差处理模块的输出和所述反卷积批标准化激活模块的输出连接,所述反卷积批标准化激活模块的输出还与所述判别器网络连接。
3.根据权利要求2所述的生物雷达图像去噪方法,其特征在于,所述生成器网络中卷积批标准化激活模块包括依次连接的第一卷积批标准化激活层~第四卷积批标准化激活层,所述残差处理模块包括依次连接的第一残差块~第三残差块,所述反卷积批标准化激活模块包括依次连接的第一反卷积批标准化激活层~第三反卷积批标准化激活层、反卷积激活层,其中,
所述第一卷积批标准化激活层的输出与第三反卷积批标准化激活层的输出连接,第二卷积批标准化激活层的输出与第二反卷积批标准化激活层的输出连接,第三卷积批标准化激活层的输出与所述第一反卷积批标准化激活层的输出连接,所述第四卷积批标准化激活层的输出与所述第一残差块的输入、所述第三残差块的输出连接,所述反卷积激活层的输出与所述判别器网络连接。
4.根据权利要求3所述的生物雷达图像去噪方法,其特征在于,所述卷积批标准化激活模块中所述第一卷积批标准化激活层~第四卷积批标准化激活层分别包括依次连接的一卷积层、一批标准化层和一激活层,所述第一卷积批标准化激活层~第四卷积批标准化激活层中卷积层的卷积核大小相同,所述第一卷积批标准化激活层~第四卷积批标准化激活层中激活层的激活函数相同;
所述反卷积批标准化激活模块中所述第一反卷积批标准化激活层~第三反卷积批标准化激活层分别包括依次连接的一反卷积层、一批标准化层和一激活层,所述反卷积激活层包括依次连接的一反卷积层和一激活层,所述第一反卷积批标准化激活层~第三反卷积批标准化激活层、所述反卷积激活层中反卷积层的卷积核大小相同,所述第一反卷积批标准化激活层~第三反卷积批标准化激活层中激活层的激活函数相同,所述反卷积激活层中激活层的激活函数为第一激活函数。
5.根据权利要求2所述的生物雷达图像去噪方法,其特征在于,所述判别器网络包括依次连接的第一卷积激活层~第五卷积激活层,其中,
所述第一卷积激活层~第五卷积激活层分别包括依次连接的一卷积层和一激活层,所述第一卷积激活层~第五卷积激活层中卷积层的卷积核大小相同,所述第一卷积激活层~第四卷积激活层中激活层的激活函数相同,所述第五卷积激活层中激活层的激活函数为第二激活函数。
6.一种生物雷达图像去噪装置,其特征在于,所述装置包括:
图像获取模块,用于获取生物雷达图像训练集;
模型构建训练模块,用于构建生成式对抗神经网络模型,根据所述生物雷达图像训练集对所述生成式对抗神经网络模型进行训练得到训练好的生成式对抗神经网络模型,其中,训练过程中采用的损失函数包括条件三元组损失函数;
图像去噪模块,用于将测试生物雷达噪声图像输入至所述训练好的生成式对抗神经网络模型得到去噪后的图像;
其中,模型构建训练模块具体用于:
构建条件三元组损失函数与交叉熵损失函数的复合损失函数;
根据所述生物雷达图像训练集并利用所述复合损失函数对所述生成式对抗神经网络模型中进行训练得到所述训练好的生成式对抗神经网络模型;
所述条件三元组损失函数为:
Lc=max(max(α*d(a,p)-β*d(a,n)+margin,0),d(a,p));
其中,a表示锚样本,p表示与锚样本具有相同标签的正样本,n表示与锚样本具有不同标签的负样本,d表示两个样本之间的欧氏距离,margin表示确保正负样本之间最小距离的值,α和β表示预定义的权重。
7.一种生物雷达图像去噪电子设备,其特征在于,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上存放的所述计算机程序时,实现权利要求1~5任一所述的生物雷达图像去噪方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~5任一所述的生物雷达图像去噪方法。
CN202010252004.4A 2020-04-01 2020-04-01 生物雷达图像去噪方法、装置、电子设备及其存储介质 Active CN111598787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010252004.4A CN111598787B (zh) 2020-04-01 2020-04-01 生物雷达图像去噪方法、装置、电子设备及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010252004.4A CN111598787B (zh) 2020-04-01 2020-04-01 生物雷达图像去噪方法、装置、电子设备及其存储介质

Publications (2)

Publication Number Publication Date
CN111598787A CN111598787A (zh) 2020-08-28
CN111598787B true CN111598787B (zh) 2023-06-02

Family

ID=72192046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010252004.4A Active CN111598787B (zh) 2020-04-01 2020-04-01 生物雷达图像去噪方法、装置、电子设备及其存储介质

Country Status (1)

Country Link
CN (1) CN111598787B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112216049B (zh) * 2020-09-25 2022-04-29 交通运输部公路科学研究所 一种基于图像识别的施工警戒区监测预警系统及方法
US20220300791A1 (en) * 2021-03-19 2022-09-22 Micron Technology, Inc. Systems and methods for training machine learning models for denoising images
CN114998749B (zh) * 2022-07-28 2023-04-07 北京卫星信息工程研究所 用于目标检测的sar数据扩增方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154633A1 (en) * 2009-12-04 2012-06-21 Rodriguez Tony F Linked Data Methods and Systems
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN110473154B (zh) * 2019-07-31 2021-11-16 西安理工大学 一种基于生成对抗网络的图像去噪方法

Also Published As

Publication number Publication date
CN111598787A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598787B (zh) 生物雷达图像去噪方法、装置、电子设备及其存储介质
CN111476717B (zh) 基于自注意力生成对抗网络的人脸图像超分辨重建方法
US10412324B2 (en) Infrared image reconstruction method based on block-sparse compressive sensing and system thereof
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN113487657B (zh) 一种基于深度学习的模态转换方法
Khaw et al. Image noise types recognition using convolutional neural network with principal components analysis
CN110516728B (zh) 基于去噪卷积神经网络的极化sar地物分类方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN109102461B (zh) 低采样分块压缩感知的图像重构方法、装置、设备及介质
CN114936979B (zh) 一种模型训练方法、图像去噪方法、装置、设备及存储介质
CN110569916A (zh) 用于人工智能分类的对抗样本防御系统及方法
CN112634146A (zh) 基于多种注意力机制的多通道cnn医学ct图像去噪方法
CN111539916A (zh) 一种对抗鲁棒的图像显著性检测方法及系统
CN114445420A (zh) 编解码结构结合注意力机制的图像分割模型及其训练方法
CN112043260A (zh) 基于局部模式变换的心电图分类方法
Zhang et al. Occlusion-robust face recognition using iterative stacked denoising autoencoder
CN113763268B (zh) 人脸图像盲修复方法及系统
Bo et al. FompNet: Compressive sensing reconstruction with deep learning over wireless fading channels
Yeswanth et al. Sovereign critique network (SCN) based super-resolution for chest X-rays images
CN113379597A (zh) 人脸超分辨率重构方法
CN111047537A (zh) 一种图像去噪中恢复细节的系统
CN116304940A (zh) 基于长短期记忆神经网络的模拟电路故障诊断方法
Zheng et al. Image segmentation method based on spiking neural network with adaptive synaptic weights
CN114842242A (zh) 一种基于生成模型的鲁棒对抗样本生成方法
CN114254736A (zh) 残差连接的轻量型去噪网络来提高对抗鲁棒性的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant