CN109785237A - 一种太赫兹图像超分辨率重建方法、系统及相关装置 - Google Patents

一种太赫兹图像超分辨率重建方法、系统及相关装置 Download PDF

Info

Publication number
CN109785237A
CN109785237A CN201910073725.6A CN201910073725A CN109785237A CN 109785237 A CN109785237 A CN 109785237A CN 201910073725 A CN201910073725 A CN 201910073725A CN 109785237 A CN109785237 A CN 109785237A
Authority
CN
China
Prior art keywords
image
training set
network
resolution
terahertz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910073725.6A
Other languages
English (en)
Other versions
CN109785237B (zh
Inventor
万意彬
李军
肖红
张荣跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910073725.6A priority Critical patent/CN109785237B/zh
Publication of CN109785237A publication Critical patent/CN109785237A/zh
Application granted granted Critical
Publication of CN109785237B publication Critical patent/CN109785237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本申请所提供的一种太赫兹图像超分辨率重建方法,包括:在对采集到的图像进行预处理得到训练集图像后,将训练集图像输入生成网络;利用生成网络对训练集图像进行卷积处理和图像风格处理,生成样本图像;其中,生成网络中的网络结构为RRDB网络结构;利用样本图像及与训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型;将预设太赫兹图像输入图像超分辨率重建模型,得到输出结果。该方法生成网络中的网络结构是RRDB网络结构,提高了提取太赫兹图像特征的能力,能够提高太赫兹图像的超分辨率。本申请还提供一种太赫兹图像超分辨率重建系统、设备及计算机可读存储介质,均具有上述有益效果。

Description

一种太赫兹图像超分辨率重建方法、系统及相关装置
技术领域
本申请涉及太赫兹图像超分辨率重建技术领域,特别涉及一种太赫兹图像超分辨率重建方法、系统、设备及计算机可读存储介质。
背景技术
随着信息技术的不断进步,数字时代的早已来临,图像作为其中主要的信息传播媒介之一,已经在各种场景广泛应用。在众多领域中,人们对于图像的画质有一定的需求。受到硬件设备等限制因素的影响,一般人们获取到的图像是低分辨率的,这对于高速发展的信息时代来说,很难满足特定场景的需求。度量图像质量的一个重要指标是图像的空间超分辨率,如果分辨率越高就会包含更多的图像细节信息和信息的准确度,这对于随后的研究来说很有利。随着高清移动设备的越来越普及和流行,人们也越来越追求高分辨率图像。
太赫兹成像(Terahertz imaging)是一种利用太赫兹波(通常是指波长在30μm~3mm之间的远红外电磁辐射)作为信号源进行成像的技术。太赫兹波能穿透纸张、塑料和布料等物质,能发现隐藏于人体衣物下的物品,并且由于电离能量很低,对人体不存在任何伤害。太赫兹成像不仅能检测金属物品也能检测非金属违禁品(如炸药、陶瓷刀、玻璃刀、毒品等),这些特性使得太赫兹成像非常适合于进行人体安检。但是,基于太赫兹技术的人体安检成像的分辨率较低且信噪比不高,这使得对太赫兹安检生成的图像自动检测违禁物品存在一定的难度,故如何将太赫兹安检设备生成的图像变得更加高清以满足后续需要是一个亟待解决的问题。
目前,相关技术中采用的太赫兹图像超分辨率重建方法是SRGAN算法,SRGAN算法是在GAN算法(对抗生成网络)的基础上加以改进。然而,SRGAN算法主要针对可见光图像并不针对被动式太赫兹图像,成像机理不同,SRGAN算法的生成网络中的网络结构为16层的残差网络结构,对太赫兹被动式图像重建出来的图像,图像成型差,分辨率低,难以满足后续识别等工程需求。
因此,如何提高太赫兹图像的超分辨率是本领域技术人员亟需解决的技术问题。
发明内容
本申请的目的是提供一种太赫兹图像超分辨率重建方法、系统、设备及计算机可读存储介质,能够提高太赫兹图像的超分辨率。
为解决上述技术问题,本申请提供一种太赫兹图像超分辨率重建方法,包括:
在对采集到的图像进行预处理得到训练集图像后,将所述训练集图像输入生成网络;
利用所述生成网络对所述训练集图像进行卷积处理和图像风格处理,生成样本图像;其中,所述生成网络中的网络结构为RRDB网络结构;
利用所述样本图像及与所述训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型;其中,所述标准图像的分辨率高于对应的训练集图像的分辨率;
将预设太赫兹图像输入所述图像超分辨率重建模型,得到输出结果。
优选地,所述利用所述样本图像及与所述训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型,包括:
利用相对判别器公式计算所述样本图像和所述标准图像之间的相对真实概率;
判断所述相对真实概率是否达到概率阈值;
若所述相对真实概率达到所述概率阈值,则进行所述模型训练得到所述图像超分辨率重建模型。
优选地,所述在对采集到的图像进行预处理得到训练集图像后,将所述训练集图像输入生成网络,包括:
对采集到的所述图像进行裁剪处理及降噪处理,得到所述训练集图像;
将所述训练集图像输入所述生成网络。
优选地,得到所述训练集图像之后,还包括:
判断所述训练集图像的数量是否满足数量阈值;
若是,则执行所述将所述训练集图像输入所述生成网络的步骤。
本申请还提供一种太赫兹图像超分辨率重建系统,包括:
训练集图像输入模块,用于在对采集到的图像进行预处理得到训练集图像后,将所述训练集图像输入生成网络;
样本图像生成模块,用于利用所述生成网络对所述训练集图像进行卷积处理和图像风格处理,生成样本图像;其中,所述生成网络中的网络结构为RRDB网络结构;
模型训练模块,用于利用所述样本图像及与所述训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型;其中,所述标准图像的分辨率高于对应的训练集图像的分辨率;
太赫兹图像输入模块,用于将预设太赫兹图像输入所述图像超分辨率重建模型,得到输出结果。
优选地,所述模型训练模块,包括:
相对真实概率计算单元,用于利用相对判别器公式计算所述样本图像和所述标准图像之间的相对真实概率;
概率判断单元,用于判断所述相对真实概率是否达到概率阈值;
模型训练单元,用于若所述相对真实概率达到所述概率阈值,则进行所述模型训练得到所述图像超分辨率重建模型。
优选地,所述训练集图像输入模块,包括:
预处理单元,用于对采集到的所述图像进行裁剪处理及降噪处理,得到所述训练集图像;
训练集图像输入单元,用于将所述训练集图像输入所述生成网络。
优选地,该太赫兹图像超分辨率重建系统还包括:
数量判断模块,用于判断所述训练集图像的数量是否满足数量阈值;
所述训练集图像输入单元具体为当所述训练集图像的所述数量满足所述数量阈值时,将所述训练集图像输入所述生成网络的单元。
本申请还提供一种设备,包括:
存储器和处理器;其中,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序时实现上述所述的太赫兹图像超分辨率重建方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述所述的太赫兹图像超分辨率重建方法的步骤。
本申请所提供的一种太赫兹图像超分辨率重建方法,包括:在对采集到的图像进行预处理得到训练集图像后,将所述训练集图像输入生成网络;利用所述生成网络对所述训练集图像进行卷积处理和图像风格处理,生成样本图像;其中,所述生成网络中的网络结构为RRDB网络结构;利用所述样本图像及与所述训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型;其中,所述标准图像的分辨率高于对应的训练集图像的分辨率;将预设太赫兹图像输入所述图像超分辨率重建模型,得到输出结果。
可见,该方法生成网络中的网络结构并非是相关技术中的残差网络结构而是RRDB(Residual-in-Residual Dense Block)网络结构,一层RRDB网络结构相比于一层残差网络结构多了5层卷积处理,提高了提取太赫兹图像特征的能力,进而能够提高太赫兹图像的超分辨率。本申请还提供一种太赫兹图像超分辨率重建系统、设备及计算机可读存储介质,均具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种太赫兹图像超分辨率重建方法的流程图;
图2为本申请实施例所提供的一种对抗生成网络(GAN)训练过程示意图;
图3为本申请实施例所提供的单个Dense block网络结构示意图;
图4为本申请实施例所提供的一种太赫兹图像超分辨率重建方法的完整流程图;
图5为本申请实施例所提供的一种太赫兹图像超分辨率重建系统的结构框图。
具体实施方式
本申请的核心是提供一种太赫兹图像超分辨率重建方法,能够提高太赫兹图像的超分辨率。本申请的另一核心是提供一种太赫兹图像超分辨率重建系统、设备及计算机可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着高清移动设备的越来越普及和流行,人们也越来越追求高分辨率图像。然而,利用太赫兹成像技术得到的太赫兹图像的超分辨率较低。目前,相关技术中采用的太赫兹图像超分辨率重建方法是SRGAN算法,SRGAN算法是在GAN算法(对抗生成网络)的基础上加以改进。然而,SRGAN算法主要针对可见光图像并不针对被动式太赫兹图像,成像机理不同,SRGAN算法的生成网络中的网络结构为16层的残差网络结构,对太赫兹被动式图像的重建效果也不是特别理想,重建出来的图像,图像成型差,超分辨率低,难以满足后续识别等工程需求。本申请实施例能够提高太赫兹图像的超分辨率,具体请参考图1,图1为本申请实施例所提供的一种太赫兹图像超分辨率重建方法的流程图,该太赫兹图像超分辨率重建方法具体包括:
S101、在对采集到的图像进行预处理得到训练集图像后,将训练集图像输入生成网络;
由上文可知,SRGAN算法是在GAN算法的基础上加以改进,而本申请实施例是在SRGAN算法的基础上又做了进一步地改进。下面先对GAN算法及SRGAN算法进行简单介绍:
GAN算法(Generative adversarial network)由G(generative)网络(图像生成器网络)和D(Discriminator)网络(图像判别器网络)组成,GAN所要完成的工作,大致如下:G网络是生成图像的网络,D网络是检测图像真假的网络。G网络的工作是让自身生成出来的图片尽可能骗过D网络,D网络则要尽可能的分辨自己拿到的图片是原始的高清的图片还是G网络生成出来的假图片。最初,G网络生成出来的图片不真实,D网络能判断出这个生成出来的图片哪里很假。G网络每次失败之后都认真总结经验学习图像特征,不断地机器学习直到D网络无法判断G网络生成的图片的真假,最终达到重建出图像的目的,具体模型流程如图2所示,图2为本申请实施例所提供的一种对抗生成网络(GAN)训练过程示意图,由图可知:随机噪声Z输入生成模型G中生成的图像G(Z)和真实数据X,由判别模型D进行真伪的判别,再将真伪判别结果反馈至生成模型G,生成模型G不断地进行图像特征的学习直到判别模型D无法判断出真伪。
SRGAN(基于对抗生成网络的超分辨率重建方法)算法的工作就是:G网络通过低分辨率的图像生成高分辨率图像,由D网络判断拿到的图像是由G网络生成的,还是数据库中的原图像。当G网络能成功骗过D网络的时候,那我们就可以通过这个GAN完成超分辨率了,同时为了有更好的图像效果,在实现基本的GAN网络的功能上,SRGAN算法引入了VGG19(一种有19层神经网络的图像特征提取网络),用训练好的VGG19网络模型,进行图像特征的提取有利于提高重建后图像的清晰度和伦奎,提高图像质量,让重建出来的图像看起来更加真实,而不仅仅只是通过PSNR(峰值信噪比)和SSIM(结构相似度)的数值去判定重建出来的图像效果,不仅如此还采用了16层残差网络,深度残差网络就是把一串的训练,分成了一个个的block去训练,让每一个block的误差最小,最终达到整体误差最小的目的,防止训练过程中由于网络过深而导致梯度弥散现象的情况,以使得图像的重建效果相比较于GAN算法更好。
本申请实施例先是在对采集到的图像进行预处理得到训练集图像后,将训练集图像输入生成网络。在此对采集的图像不作具体限定,通常为太赫兹图像。对于采集的图像的数量,在此也不作具体限定,应由本领域技术人员根据实际情况作出相应的设定。在此对预处理也不作具体限定,需根据实际情况而定,通常包括裁剪处理及降噪处理等处理中的至少一种。由上文可知,本申请实施例对采集到的图像的数量不作具体限定,又对预处理的方式不作具体限定,故训练集图像的数量在此也不作具体限定。
进一步地,上述在对采集到的图像进行预处理得到训练集图像后,将训练集图像输入生成网络,通常包括:对采集到的图像进行裁剪处理及降噪处理,得到训练集图像;将训练集图像输入生成网络。针对相关技术中SRGAN算法对太赫兹图像适用性差,重建出的图像泛化能力不强,与原图像风格相距甚远,本申请实施例在原来的SRGAN算法预处理部分基础上进行了去归一化处理,也即删除图像预处理部分的BN(Batch Normalization,批归一化处理)层网络,提高模型的泛化能力(即图像还原度,包括风格,饱和度,对比度等),同时能降低神经网络的计算复杂度,提高训练速度。
进一步地,得到训练集图像之后,通常还可以包括:判断训练集图像的数量是否满足数量阈值;若训练集图像的数量满足数量阈值,则执行将训练集图像输入生成网络的步骤。在此对数量阈值不作具体限定,需根据实际情况而定。针对被动式太赫兹图像单张图片图像特征很少这一点,本申请实施例可以大幅增大数据集,保证能从更多的图片中获得更多的图像特征,有利于后续图像生成重建。若训练集图像的数量不满足数量阈值,在此对于这种情况的后续执行操作不作具体限定,应由本领域人员根据实际情况作出相应的设定,例如可以持续采集图像,再对采集到的图像进行预处理,持续得到训练集图像直至训练集图像的数量达到数量阈值。
S102、利用生成网络对训练集图像进行卷积处理和图像风格处理,生成样本图像;其中,生成网络中的网络结构为RRDB网络结构;
本申请实施例在将训练集图像输入生成网络后,利用生成网络对训练集图像进行卷积处理和图像风格处理,生成样本图像。针对相关技术对太赫兹图像重建出的图像不够清晰,分辨率较低等特点,本申请实施例提出将SRGAN算法中的生成网络中的16层残差网络结构替换成RRDB网络结构,在此对RRDB网络结构的层数不作具体限定,应由本领域技术人员根据实际情况作出相应的设定,通常设定25层RRDB网络结构,虽然按常理来说层数越多越好,但是考虑到实际运用中层数太多对计算器性能的要求较高,为了既满足实际实用需求,又适合大多数计算器能够接受的这种运算强度,故选择25层。由于一层RRDB网络结构比一层残差网络结构多添加了5层卷积处理,提高特征提取能力,使生成器网络的生成能力更强。如图3所示,图3为本申请实施例所提供的单个Dense block网络结构示意图,由图可知,单个Dense block中有Lrelu和5个conv,该5个conv就是上文提到的一层RRDB网络结构比一层残差网络结构多添加的5层卷积处理,也就是说是在每一层残差网络(residualnetwork)的基础上多添加了5层卷积操作,这里的RRDB是增加了DB也就是Dense block,而RR是残差网络(residual network),残差网络的作用是防止随着神经网络层数的加深,虽然收敛程度提高了,但是可能会导致网络退化,增加网络层数会导致更大的误差,残差网络就是解决这个随着网络层数加深带来的副作用问题(网络退化问题),这样就可以单纯通过加深神经网络层数来提升网络性能。
本申请实施例除了进行卷积处理之外,还需进行图像风格处理,也即进行VGG图像特征提取处理。本申请实施例可以利用卷积处理及图像风格处理提取的特征,生成样本图像。
S103、利用样本图像及与训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型;其中,标准图像的分辨率高于对应的训练集图像的分辨率;
本申请实施例在生成样本图像后,利用样本图像及与训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型。在此对模型训练的过程不作具体限定,应由本领域技术人员根据实际情况作出相应的设定。
进一步地,上述利用样本图像及与训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型,通常包括:利用相对判别器公式计算样本图像和标准图像之间的相对真实概率;判断相对真实概率是否达到概率阈值;若相对真实概率达到概率阈值,则进行模型训练得到图像超分辨率重建模型。为了进一步提升重建效果,本申请实施例将相关技术中的判别器的loss计算公式修改为相对判别器公式,相关技术SRGAN算法中判别器仅仅针对输入图判断其是真实且自然的概率,而本申请实施例中相对判别器尝试去预测真实图像(即标准图像)相对生成结果(即样本图像)更加真实地概率,也即利用相对判别器公式计算样本图像和标准图像之间的相对真实概率,可以使判断真假图片更加客观,考量更多因素,有利于提升判别器的判别水平,从而提升对生成器的要求,使重建出的图像更好。在计算出相对真实概率后,判断该相对真实概率是否达到概率阈值,在此对概率阈值的大小不作具体限定,应由本领域技术人员根据实际情况作出相应的设定。若相对真实概率达到概率阈值,则进行模型训练得到图像超分辨率重建模型。若相对真实概率没有达到概率阈值,在此对于这种情况的后续执行操作不作具体限定,例如可以持续机器学习直到相对真实概率达到概率阈值。
此外,本申请实施例还可以使用退化学习率。在本领域所公知的是:学习率越大,训练速度会提升,但结果的精度不够;学习率越小,结果的精度会提升,但训练速度会下降。故本申请实施例可以使用退化学习率,设置学习率的大小,能在精度和速度之间找到一个平衡点。
S104、将预设太赫兹图像输入图像超分辨率重建模型,得到输出结果。
本申请实施例在得到图像超分辨率重建模型后,将预设太赫兹图像输入图像超分辨率重建模型,得到输出结果。此处输出结果即为超分辨率比预设太赫兹图像的分辨率高的太赫兹图像。
综上,本申请的总体思路流程图如图4所示,图4为本申请实施例所提供的一种太赫兹图像超分辨率重建方法的完整流程图。由图可知,本申请实施例先是对需求进行分析,依据需求采集图像,再对采集的图像进行预处理得到训练集图像;在构建生成网络后,依次进行Vgg图像特征提取预处理,构建判别网络,定义优化器,训练结果图像质量评价,算法的具体代码实现,测试算法的稳定性、有效性,算法的优化,设置好参数开始训练得到训练好的模型;最后将LR图像(低分辨率图像)载入训练好的模型以重建出HR图像(高分辨率图像)。
本申请实施例生成网络中的网络结构并非是相关技术中的残差网络结构而是RRDB(Residual-in-Residual Dense Block)网络结构,一层RRDB网络结构相比于一层残差网络结构多了5层卷积处理,提高了提取太赫兹图像特征的能力,进而能够提高太赫兹图像的超分辨率。此外,本申请实施例重建出来的图像纹理不会带有伪影,视觉效果更好。
下面对本申请实施例提供的一种太赫兹图像超分辨率重建系统、设备及计算机可读存储介质进行介绍,下文描述的太赫兹图像超分辨率重建系统、设备及计算机可读存储介质与上文描述的太赫兹图像超分辨率重建方法可相互对应参照。
请参考图5,图5为本申请实施例所提供的一种太赫兹图像超分辨率重建系统的结构框图;该太赫兹图像超分辨率重建系统包括:
训练集图像输入模块501,用于在对采集到的图像进行预处理得到训练集图像后,将训练集图像输入生成网络;
样本图像生成模块502,用于利用生成网络对训练集图像进行卷积处理和图像风格处理,生成样本图像;其中,生成网络中的网络结构为RRDB网络结构;
模型训练模块503,用于利用样本图像及与训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型;其中,标准图像的分辨率高于对应的训练集图像的分辨率;
太赫兹图像输入模块504,用于将预设太赫兹图像输入图像超分辨率重建模型,得到输出结果。
基于上述实施例,本实施例中模型训练模块503,通常包括:
相对真实概率计算单元,用于利用相对判别器公式计算样本图像和标准图像之间的相对真实概率;
概率判断单元,用于判断相对真实概率是否达到概率阈值;
模型训练单元,用于若相对真实概率达到概率阈值,则进行模型训练得到图像超分辨率重建模型。
基于上述实施例,本实施例中训练集图像输入模块501,通常包括:
预处理单元,用于对采集到的图像进行裁剪处理及降噪处理,得到训练集图像;
训练集图像输入单元,用于将训练集图像输入生成网络。
基于上述实施例,本实施例中太赫兹图像超分辨率重建系统通常还可以包括:
数量判断模块,用于判断训练集图像的数量是否满足数量阈值;
训练集图像输入单元具体为当训练集图像的数量满足数量阈值时,将训练集图像输入生成网络的单元。
本申请还提供一种设备,包括:存储器和处理器;其中,存储器用于存储计算机程序,处理器用于执行计算机程序时实现上述任意实施例的太赫兹图像超分辨率重建方法的步骤。
本申请还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述任意实施例的太赫兹图像超分辨率重建方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言,由于其与实施例提供的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种太赫兹图像超分辨率重建方法、系统、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种太赫兹图像超分辨率重建方法,其特征在于,包括:
在对采集到的图像进行预处理得到训练集图像后,将所述训练集图像输入生成网络;
利用所述生成网络对所述训练集图像进行卷积处理和图像风格处理,生成样本图像;其中,所述生成网络中的网络结构为RRDB网络结构;
利用所述样本图像及与所述训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型;其中,所述标准图像的分辨率高于对应的训练集图像的分辨率;
将预设太赫兹图像输入所述图像超分辨率重建模型,得到输出结果。
2.根据权利要求1所述的太赫兹图像超分辨率重建方法,其特征在于,所述利用所述样本图像及与所述训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型,包括:
利用相对判别器公式计算所述样本图像和所述标准图像之间的相对真实概率;
判断所述相对真实概率是否达到概率阈值;
若所述相对真实概率达到所述概率阈值,则进行所述模型训练得到所述图像超分辨率重建模型。
3.根据权利要求1所述的太赫兹图像超分辨率重建方法,其特征在于,所述在对采集到的图像进行预处理得到训练集图像后,将所述训练集图像输入生成网络,包括:
对采集到的所述图像进行裁剪处理及降噪处理,得到所述训练集图像;
将所述训练集图像输入所述生成网络。
4.根据权利要求3所述的太赫兹图像超分辨率重建方法,其特征在于,得到所述训练集图像之后,还包括:
判断所述训练集图像的数量是否满足数量阈值;
若是,则执行所述将所述训练集图像输入所述生成网络的步骤。
5.一种太赫兹图像超分辨率重建系统,其特征在于,包括:
训练集图像输入模块,用于在对采集到的图像进行预处理得到训练集图像后,将所述训练集图像输入生成网络;
样本图像生成模块,用于利用所述生成网络对所述训练集图像进行卷积处理和图像风格处理,生成样本图像;其中,所述生成网络中的网络结构为RRDB网络结构;
模型训练模块,用于利用所述样本图像及与所述训练集图像对应的标准图像进行模型训练,得到图像超分辨率重建模型;其中,所述标准图像的分辨率高于对应的训练集图像的分辨率;
太赫兹图像输入模块,用于将预设太赫兹图像输入所述图像超分辨率重建模型,得到输出结果。
6.根据权利要求5所述的太赫兹图像超分辨率重建系统,其特征在于,所述模型训练模块,包括:
相对真实概率计算单元,用于利用相对判别器公式计算所述样本图像和所述标准图像之间的相对真实概率;
概率判断单元,用于判断所述相对真实概率是否达到概率阈值;
模型训练单元,用于若所述相对真实概率达到所述概率阈值,则进行所述模型训练得到所述图像超分辨率重建模型。
7.根据权利要求5所述的太赫兹图像超分辨率重建系统,其特征在于,所述训练集图像输入模块,包括:
预处理单元,用于对采集到的所述图像进行裁剪处理及降噪处理,得到所述训练集图像;
训练集图像输入单元,用于将所述训练集图像输入所述生成网络。
8.根据权利要求7所述的太赫兹图像超分辨率重建系统,其特征在于,还包括:
数量判断模块,用于判断所述训练集图像的数量是否满足数量阈值;
所述训练集图像输入单元具体为当所述训练集图像的所述数量满足所述数量阈值时,将所述训练集图像输入所述生成网络的单元。
9.一种设备,其特征在于,包括:
存储器和处理器;其中,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序时实现如权利要求1至4任一项所述的太赫兹图像超分辨率重建方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的太赫兹图像超分辨率重建方法的步骤。
CN201910073725.6A 2019-01-25 2019-01-25 一种太赫兹图像超分辨率重建方法、系统及相关装置 Active CN109785237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910073725.6A CN109785237B (zh) 2019-01-25 2019-01-25 一种太赫兹图像超分辨率重建方法、系统及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910073725.6A CN109785237B (zh) 2019-01-25 2019-01-25 一种太赫兹图像超分辨率重建方法、系统及相关装置

Publications (2)

Publication Number Publication Date
CN109785237A true CN109785237A (zh) 2019-05-21
CN109785237B CN109785237B (zh) 2022-10-18

Family

ID=66502373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910073725.6A Active CN109785237B (zh) 2019-01-25 2019-01-25 一种太赫兹图像超分辨率重建方法、系统及相关装置

Country Status (1)

Country Link
CN (1) CN109785237B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378891A (zh) * 2019-07-24 2019-10-25 广东工业大学 一种基于太赫兹图像的危险品检测方法、装置及设备
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、系统及电子设备
CN110930308A (zh) * 2019-11-15 2020-03-27 东南大学 一种图像超分辨生成网络的结构搜索方法
CN111123266A (zh) * 2019-11-22 2020-05-08 中国电子科技集团公司第四十一研究所 一种太赫兹波大面积均匀照明装置及成像方法
CN111257957A (zh) * 2020-02-25 2020-06-09 西安交通大学 基于被动式太赫兹成像的识别跟踪系统及方法
CN111652949A (zh) * 2020-04-17 2020-09-11 北京理工大学 一种基于AdaFM-Net的太赫兹聚焦层析图像重构方法
CN111784573A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种基于迁移学习的被动太赫兹图像超分辨率重构方法
CN112396554A (zh) * 2019-08-14 2021-02-23 天津大学青岛海洋技术研究院 一种基于生成对抗网络的图像超分辨率算法
CN112435162A (zh) * 2020-11-13 2021-03-02 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109191376A (zh) * 2018-07-18 2019-01-11 电子科技大学 基于srcnn改进模型的高分辨率太赫兹图像重构方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109191376A (zh) * 2018-07-18 2019-01-11 电子科技大学 基于srcnn改进模型的高分辨率太赫兹图像重构方法
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢云宇: "超分辨率重建技术及其在太赫兹图像中的应用", 《系统仿真技术》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378891A (zh) * 2019-07-24 2019-10-25 广东工业大学 一种基于太赫兹图像的危险品检测方法、装置及设备
CN112396554B (zh) * 2019-08-14 2023-04-25 天津大学青岛海洋技术研究院 一种基于生成对抗网络的图像超分辨率方法
CN112396554A (zh) * 2019-08-14 2021-02-23 天津大学青岛海洋技术研究院 一种基于生成对抗网络的图像超分辨率算法
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、系统及电子设备
CN110930308A (zh) * 2019-11-15 2020-03-27 东南大学 一种图像超分辨生成网络的结构搜索方法
CN110930308B (zh) * 2019-11-15 2022-11-08 东南大学 一种图像超分辨生成网络的结构搜索方法
CN111123266A (zh) * 2019-11-22 2020-05-08 中国电子科技集团公司第四十一研究所 一种太赫兹波大面积均匀照明装置及成像方法
CN111123266B (zh) * 2019-11-22 2023-05-16 中国电子科技集团公司第四十一研究所 一种太赫兹波大面积均匀照明装置及成像方法
CN111257957B (zh) * 2020-02-25 2021-06-01 西安交通大学 基于被动式太赫兹成像的识别跟踪系统及方法
CN111257957A (zh) * 2020-02-25 2020-06-09 西安交通大学 基于被动式太赫兹成像的识别跟踪系统及方法
CN111652949B (zh) * 2020-04-17 2022-08-12 北京理工大学 一种基于AdaFM-Net的太赫兹聚焦层析图像重构方法
CN111652949A (zh) * 2020-04-17 2020-09-11 北京理工大学 一种基于AdaFM-Net的太赫兹聚焦层析图像重构方法
CN111784573A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种基于迁移学习的被动太赫兹图像超分辨率重构方法
CN112435162A (zh) * 2020-11-13 2021-03-02 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN112435162B (zh) * 2020-11-13 2024-03-05 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法

Also Published As

Publication number Publication date
CN109785237B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN109785237A (zh) 一种太赫兹图像超分辨率重建方法、系统及相关装置
Sahu et al. FINE_DENSEIGANET: Automatic medical image classification in chest CT scan using Hybrid Deep Learning Framework
CN110189255A (zh) 基于两级检测的人脸检测方法
CN110503635B (zh) 一种基于异构数据融合网络的手骨x光片骨龄评估方法
US20170004619A1 (en) System and method for automatic pulmonary embolism detection
CN110111313A (zh) 基于深度学习的医学图像检测方法及相关设备
CN108446730A (zh) 一种基于深度学习的ct肺结节检测方法
CN113421240B (zh) 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN110390673A (zh) 一种监控场景下基于深度学习的香烟自动检测方法
CN111753870B (zh) 目标检测模型的训练方法、装置和存储介质
CN114783034A (zh) 基于局部敏感特征与全局特征融合的人脸表情识别方法
Liu et al. High performance geological disaster recognition using deep learning
CN115439693A (zh) 目标识别网络模型的训练方法、电子设备及程序产品
CN112367905A (zh) 基于脉管化模式的诊断、预测、确定预后、监测或分期疾病的方法
CN114627412A (zh) 基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机存储介质
CN116311462A (zh) 一种结合上下文信息和vgg19的人脸图像修复识别方法
Yang et al. Contrastive learning-based image retrieval for automatic recognition of in situ marine plankton images
CN114549959A (zh) 基于目标检测模型的红外弱小目标实时检测方法和系统
Scott Local and global interpretation of moving images
CN109344779A (zh) 一种基于卷积神经网络的匝道场景下的人脸检测方法
Hu Deep learning image feature recognition algorithm for judgment on the rationality of landscape planning and design
Yu et al. Fault recognition method based on attention mechanism and the 3D-UNet
CN116523742A (zh) 基于双路对抗生成网络的卫星遥感图像超分辨重建技术
CN115035052A (zh) 一种基于身份差异量化的伪造换脸图像检测方法和系统
CN115985509A (zh) 一种医学影像学数据检索系统、方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant