CN112668621B - 一种基于跨源图像翻译的图像质量评价方法及系统 - Google Patents

一种基于跨源图像翻译的图像质量评价方法及系统 Download PDF

Info

Publication number
CN112668621B
CN112668621B CN202011526033.1A CN202011526033A CN112668621B CN 112668621 B CN112668621 B CN 112668621B CN 202011526033 A CN202011526033 A CN 202011526033A CN 112668621 B CN112668621 B CN 112668621B
Authority
CN
China
Prior art keywords
image
template
visible light
position information
information set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011526033.1A
Other languages
English (en)
Other versions
CN112668621A (zh
Inventor
皮德常
骆毅
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011526033.1A priority Critical patent/CN112668621B/zh
Publication of CN112668621A publication Critical patent/CN112668621A/zh
Application granted granted Critical
Publication of CN112668621B publication Critical patent/CN112668621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于跨源图像翻译的图像质量评价方法及系统,将SAR影像输入图像生成模型进行翻译,得到生成可见光影像。其中,图像生成模型是采用训练数据对生成式对抗网络模型进行训练得到的;将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果该指标针对多源图像翻译的任务,通过模板匹配,综合区域间的信息,对翻译的效果做出合理的评判,不仅考虑到翻译图像的语义整体性,同时对图像非像素级对齐的情况有效,进而提高翻译模型的可靠性,有助于提高后续工作的观察精度和准确率,通过图像质量评价能够提高翻译图像的语义整体性改善图像非像素级对齐情况,提高翻译模型的可靠性。

Description

一种基于跨源图像翻译的图像质量评价方法及系统
技术领域
本发明涉及图像处理技术领域,特别是涉及一种基于跨源图像翻译的图像质量评价方法及系统。
背景技术
图像翻译是计算机视觉领域的重要组成部分。在图像信息技术被广泛应用的背景下,图像翻译技术带来了众多成果,如图像着色、图像超分辨、风格迁移、图像填充等。跨源图像翻译被定义为对同一目标不同成像方式的影像形式间的相互转换,翻译过程一般为信息质量低源图像到信息质量高的目标图像,如SAR影像到可见光影像的翻译、红外影像到可见光影像的翻译等。其翻译图像的质量直接影响识别结果的准确性和可靠性,然而,目前对于整个生成对抗模型领域来说,网络缺乏定量的评估体系,即没办法科学地对结果好坏进行评估,更多是依托于人的主观意识,因此,合理地对图像质量的评估问题受到广泛的关注和重视。
针对翻译图像的质量评估问题,国内外学者展开了大量的研究,两类常用的图像质量评估方法为主观评价方法和客观评价方法。主观方法是指观察者根据评价标准或个人经验对图像进行评价,具有效率低、费人力,受个人因素影响大等缺点。客观评价方法通过建立数学模型对重建图像进行评估,不需要人为参与,具有简单、实时、可重复和易集成等优点。客观评价方法又分为传统算法和深度学习算法。传统算法如峰值信噪比基于两张图像的均方误差来计算相似度,通常用来评价一副图像压缩后和原图像相比质量的好坏,其呈现的差异值与人的主观感受不成比例;结构相似度算法根据图像的结构信息、亮度信息和对比度信息估计两张图像之间的相似度,对于影像出现位移、缩放、旋转(皆属于非结构性的失真)的情况无法有效的运作。深度学习算法如最常见的弗雷歇距离(FréchetInception Distance,FID)则是计算了真实图片和生成的图片在网络中特征层间的距离,但FID只是计算某一层特征的分布,不足以衡量真实数据和生成数据分布的距离,而且FID公式计算的是特征值多元正态分布后的距离,显然神经网络提取的特征不呈正态分布。从而造成了图像语义的丢失。
发明内容
本发明的目的是提供一种基于跨源图像翻译的图像质量评价方法及系统,能够对翻译的效果做出合理的评判,不仅考虑到翻译图像的语义整体性,同时对图像非像素级对齐的情况有效,进而提高翻译模型的可靠性,有助于提高后续工作的观察精度和准确率。
为实现上述目的,本发明提供了如下方案:
一种基于跨源图像翻译的图像质量评价方法,包括:
获取SAR影像和可见光影像;
将所述SAR影像输入图像生成模型进行翻译,得到生成可见光影像;所述图像生成模型是采用训练数据对生成式对抗网络模型进行训练得到的;
将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果。
优选地,所述图像生成模型的确定方法为:
获取训练数据;所述训练数据包括SAR训练影像和可见光训练影像;
构建生成式对抗网络模型;所述生成式对抗网络模型包括依次连接的生成器和判别器;
将所述SAR训练影像和所述可见光训练影像输入所述生成式对抗网络模型进行训练,得到训练好的生成式对抗网络模型;所述训练好的生成式对抗网络模型为所述图像生成模型。
优选地,将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果,具体包括:
对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模版位置信息集合;
根据所述模版位置信息集合对所述生成可见光影像进行剪裁,得到模版影像集合;
基于粗精匹配结合的方法对所述模版影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合;
根据所述模版位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果。
优选地,所述对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模版位置信息集合,包括:
根据Faster-RCNN目标检测模型对所述可见光影像进行目标检测,得到所述目标位置信息集合;所述目标位置信息集合包括目标边界框左上角坐标、目标边界框高度和目标边界框宽度;
若所述目标位置信息集合不为空集,则将所述模版位置信息集合赋值为所述目标位置信息集合;
若所述目标位置信息集合为空集,则构造随机位置信息;所述随机位置信息包括:左上角坐标、模版图像宽度和模版图像高度;所述模板图像宽度为所述目标边界框宽度的一半,所述模板图像高度为所述目标边界框高度的一半;
根据所述随机位置信息构建所述模版位置信息集合。
优选地,所述基于粗精匹配结合的方法对所述模版影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合,包括:
遍历所述模版影像集合中的所有模版影像,将所述模板影像叠放在所述可见光影像上并以5个像元为单位步长进行平移,每次平移过程中计算所述模板影像和所述可见光影像的相似度,根据相似度的最大值确定粗配准区域位置;
将所述模板影像叠放在所述可见光影像的所述粗配准区域位置上并以1个像元为单位步长进行平移,每次平移过程中计算所述所述模板影像和所述可见光影像的相似度,根据相似度的最大值确定细配准区域位置;
根据所述细配准区域位置构建所述配准位置信息集合。
优选地,所述相似度的计算公式为:
Figure BDA0002850840290000031
其中,D(i,j)为所述相似度,i为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的横坐标,j为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的纵坐标,M为模板影像宽度,N为模版影像高度,m为匹配起始点横坐标,n为匹配起始点纵坐标,
Figure BDA0002850840290000032
为匹配起始点在(m,n)处的所述重叠区域,Timage(m,n)为匹配起始点在(m,n)处的所述模板图像。
优选地,所述根据所述模版位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果,包括:
计算内容评估信息;所述内容评估信息计算公式为:
Figure BDA0002850840290000041
其中,Scontext为内容评估信息,MAX为最大像素值255;
计算交并比信息;所述交并比信息计算公式为:
Figure BDA0002850840290000042
其中,IoU为所述位置评估信息,w为所述目标位置信息集合中的目标框的宽度,h为所述目标框的高度,x为所述配准位置信息集合中的配准框与所述目标框在水平方向上的差值,y为所述配准框与所述目标框在垂直方向上的差值;
根据所述交并比信息计算位置评估信息;所述位置评估信息计算公式为:
Figure BDA0002850840290000043
其中,C为包含所述配准框和所述目标框的最小框的面积;
根据所述内容评估信息和所述位置评估信息计算图像质量评价指标;所述图像质量评价指标表示所述图像质量评价结果;所述图像质量评价指标计算公式为:
Figure BDA0002850840290000044
其中,S为所述图像质量评价指标,k为所述配准框的个数,
Figure BDA0002850840290000045
为第t个配准框的内容评估信息,
Figure BDA0002850840290000046
为第t个配准框的位置评估信息。
一种基于跨源图像翻译的图像质量评价系统,包括:
图像获取模块,用于获取SAR影像和可见光影像;
翻译模块,用于将所述SAR影像输入图像生成模型进行翻译,得到生成可见光影像;所述图像生成模型是采用训练数据对生成式对抗网络模型进行训练得到的;
评估模块,用于将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果。
优选地,所述翻译模块包括:
数据获取单元,用于获取训练数据;所述训练数据包括SAR训练影像和可见光训练影像;
构建单元,用于构建生成式对抗网络模型;所述生成式对抗网络模型包括依次连接的生成器和判别器;
输出单元,用于将所述SAR训练影像和所述可见光训练影像输入所述生成式对抗网络模型进行训练,得到训练好的生成式对抗网络模型;所述训练好的生成式对抗网络模型为所述图像生成模型。
优选地,所述评估模块包括:
检测单元,用于对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模版位置信息集合;
剪裁单元,用于根据所述模版位置信息集合对所述生成可见光影像进行剪裁,得到模版影像集合;
匹配单元,用于基于粗精匹配结合的方法对所述模版影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合;
计算单元,用于根据所述模版位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供了一种基于跨源图像翻译的图像质量评价方法及系统,将SAR影像输入图像生成模型进行翻译,得到生成可见光影像。其中,图像生成模型是采用训练数据对生成式对抗网络模型进行训练得到的;将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果该指标。该指标能够对翻译的效果做出合理的评判,不仅可以作为评价翻译模型好坏的指标,还可以作为训练翻译模型时的损失函数。损失函数计算翻译图像与真实图像之间的误差,并通过误差反向传播算法,调用模型参数的迭代更新。以最大化该指标作为模型训练的损失函数,考虑了翻译图像的语义整体性和图像像素的对齐性,使模型能更客观对数据集训练,进而提高翻译模型的可靠性。模型的翻译效果提升能生成高质量的翻译图像,有助于提高后续工作的观察精度和准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于跨源图像翻译的图像质量评价方法的方法流程图;
图2为本发明提供的实施例中图像质量评价方法的程序图;
图3为本发明提供的实施例中生成对抗网络的基本模型架构图;
图4为本发明提供的实施例中模板提取的流程图;
图5为本发明提供的实施例中模板匹配的示意图;其中,图5(a)为模板影像,图5(b)为目标图像(可见光影像);
图6为本发明提供的实施例中SAR到可见光影像的模板匹配任务示意图;其中,图6(a)为SAR影像,图6(b)为可见光影像,图6(c)为模板匹配影像;
图7为本发明提供的实施例中图像质量评价中位置评估信息示意图;
图8为本发明提供的实施例中图像质量评估示意图;
图9为本发明提供的实施例中一种基于跨源图像翻译的图像质量评价系统的模块连接图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于跨源图像翻译的图像质量评价方法及系统,能够对翻译的效果做出合理的评判,不仅考虑到翻译图像的语义整体性,同时对图像非像素级对齐的情况有效,进而提高翻译模型的可靠性,有助于提高后续工作的观察精度和准确率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于跨源图像翻译的图像质量评价方法的流程图,图2为本发明提供的实施例中图像质量评价方法的程序图,如图1和图2所示,本发明一种基于跨源图像翻译的图像质量评价方法,包括:
步骤100:获取SAR影像和可见光影像(即为图2中的目标图像)。
步骤200:将所述SAR影像输入图像生成模型进行翻译,得到生成可见光影像;所述图像生成模型是采用训练数据对生成式对抗网络模型进行训练得到的。
步骤300:将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果。
优选地,所述图像生成模型的确定方法为:
获取训练数据;所述训练数据包括SAR训练影像和可见光训练影像。
构建生成式对抗网络模型;所述生成式对抗网络模型包括依次连接的生成器和判别器。
将所述SAR训练影像和所述可见光训练影像输入所述生成式对抗网络模型进行训练,得到训练好的生成式对抗网络模型;所述训练好的生成式对抗网络模型为所述图像生成模型。
图3为本发明提供的实施例中生成式对抗网络的基本模型架构图,如图3所示,将所述SAR训练影像和所述可见光训练影像输入所述生成式对抗网络模型进行训练,得到训练好的生成式对抗网络模型,具体为:
创建一个输入图像和生成图像的映射作为数据集,确保输入输出共享特征。初始化生成器G和判别器D两个网络的参数;从训练集抽取n个样本,以及在生成器G利用定义的噪声分布生成n个样本。固定生成器G,训练判别器D,使其尽可能区分真假;循环更新K次判别器后,更新一次生成器G,使判别器D尽可能区分不了真假;多次更新迭代后,理想状态下,最终判别器D无法区分图片到底是来自真实的训练样本集合,还是来自生成器G生成的样本即可,此时辨别的概率为0.5,完成训练。
优选地,将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果,具体包括:
对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模版位置信息集合。
根据所述模版位置信息集合对所述生成可见光影像进行剪裁,得到模版影像集合。
基于粗精匹配结合的方法对所述模版影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合。
根据所述模版位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果。
优选地,所述对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模版位置信息集合,包括:
根据目标检测模型对所述可见光影像进行目标检测,得到所述目标位置信息集合;所述目标位置信息集合包括目标边界框左上角坐标、目标边界框高度和目标边界框宽度;
若所述目标位置信息集合不为空集,则将所述模版位置信息集合赋值为所述目标位置信息集合;
若所述目标位置信息集合为空集,则构造随机位置信息;所述随机位置信息包括:左上角坐标、模版图像宽度和模版图像高度;所述模板图像宽度为所述目标边界框宽度的一半,所述模板图像高度为所述目标边界框高度的一半;
根据所述随机位置信息构建所述模版位置信息集合。
可选地,在训练好生成对抗网络模型后,低信息质量源图像经过生成器G生成高质量图像,再对目标图像做目标检测。Faster-RCNN框架在常见目标检测任务中取得很好的成绩。利用Faster-RCNN预训练模型对目标图像做目标检测。构建模板图像信息集合T:若目标检测结果不为空,则把检测的预测框的位置大小信息记录到T;若没有检测结果,则随机构造一个大小为(w/2*h/2),图像左上角位置在区间[(0,0),(w/2,h/2)]的数据元素添加到集合T。
图4为本发明提供的实施例中模板提取的流程图,如图4所示,计算过程可以通过基于目标图像的感兴趣区域模板提取算法来实现,具体的算法过程如下:
输入:生成图像Ig,目标图像It
输出:模板图像位置大小信息集合T,裁剪后的模板图像集合Timage
Figure BDA0002850840290000081
Figure BDA0002850840290000091
优选地,所述基于粗精匹配结合的方法对所述模版影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合,包括:
遍历所述模版影像集合中的所有模版影像,将所述模板影像叠放在所述可见光影像上并以5个像元为单位步长进行平移,每次平移过程中计算所述模板影像和所述可见光影像的相似度,根据相似度的最大值确定粗配准区域位置;
将所述模板影像叠放在所述可见光影像的所述粗配准区域位置上并以1个像元为单位步长进行平移,每次平移过程中计算所述所述模板影像和所述可见光影像的相似度,根据相似度的最大值确定细配准区域位置;
根据所述细配准区域位置构建所述配准位置信息集合。
优选地,所述相似度的计算公式为:
Figure BDA0002850840290000092
其中,D(i,j)为所述相似度,i为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的横坐标,j为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的纵坐标,M为模板影像宽度,N为模版影像高度,m为匹配起始点横坐标,n为匹配起始点纵坐标,
Figure BDA0002850840290000093
为匹配起始点在(m,n)处的所述重叠区域,Timage(m,n)为匹配起始点在(m,n)处的所述模板图像。
具体的,模板匹配是数字图像处理的重要组成部分之一,其任务是把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准,或根据已知模式到另一幅图中寻找相应模式的处理方法就叫做模板匹配。简单而言,模板就是一幅已知的小图像。模板匹配就是在一幅大图像中搜寻目标,已知该图中有要找的目标,且该目标同模板有相同的尺寸、方向和图像,通过一定的算法可以在图中找到目标,确定其坐标位置。模板匹配的示意图如图5所示。其中,图5(a)为模板影像,图5(b)为目标图像(可见光影像)。
将M×N的模板图像Timage叠放在W×H目标图像It上平移,模板覆盖被搜索图的那块区域为子图
Figure BDA0002850840290000101
i,j为子图左上角在目标图It上的坐标。其中,i∈(0,W-M),j∈(0,H-N)。通过比较Timage
Figure BDA0002850840290000102
的相似性,完成模板匹配过程。模板图像Timage和目标图像It的相似度的计算公式如下所示:
Figure BDA0002850840290000103
对于多通道图像,模板图像Timage和目标图像It的相似度的计算公式如下所示:
Figure BDA0002850840290000104
其中c表示通道数,D(i,j,p)表示在p通道的相似度。然而,这种方法的效率十分低下,每移动一个像元就要进行一次计算,计算量过于庞大。观察实际模板匹配运算结果可以发现,匹配点附近的匹配误差迅速下降,明显区别于其它位置。针对这一特点,采用粗精匹配结合的算法迅速锁定匹配点大致区域,可大大降低整体匹配次数。具体的结合粗精匹配的模板匹配算法算法过程如下:
输入:模板图像集合Timage,目标图像It
输出:配准框的位置信息集合T*
Figure BDA0002850840290000105
Figure BDA0002850840290000111
图6为本发明提供的实施例中SAR到可见光影像的模板匹配任务示意图,其中图6(a)为SAR影像,图6(b)为可见光影像,图6(c)为模板匹配影像,以SAR影像到可见光影像的任务为例,其效果如图6所示,遍历构建好模板图像集合,依次与目标图像做模板匹配。由于模板匹配运算结果的最佳匹配点附近的匹配误差迅速下降,明显区别于其它位置。针对这一特点,先跳动着隔5个像素点进行一次粗匹配,大致框定匹配区域,然后在附近区域逐一检索获得最佳匹配点。运算量可减少到三分之一以下,且目标提取效果相当好。
优选地,所述根据所述模版位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果,包括:
计算内容评估信息;由上述模板匹配任务中计算模板图像Timage和目标图像It的相似度的公式可得,对于模板图像集合Timage里的每个元素,与与之对应的目标图像It的配准区域图像的相似度为D(i,j),其中i,j在配准框的位置信息集合T*确定。所述内容评估信息计算公式为:
Figure BDA0002850840290000112
其中,Scontext为内容评估信息,MAX为最大像素值255。一般地,针对unit8数据,最大像素值为255。
计算交并比信息;所述交并比信息计算公式为:
Figure BDA0002850840290000121
其中,IoU为所述位置评估信息,w为所述目标位置信息集合中的目标框的宽度,h为所述目标框的高度,x为所述配准位置信息集合中的配准框与所述目标框在水平方向上的差值,y为所述配准框与所述目标框在垂直方向上的差值。交并比可以反映配准框和和参照框的匹配效果,且有尺度不变性,对尺度不敏感,但IoU无法反映两者的重合度大小,因此在位置信息的得分Spos上引入差集作为衡量非重叠区域大小的指标。
图7为本发明提供的实施例中图像质量评价中位置评估信息示意图,如图7所示,根据所述交并比信息计算位置评估信息;所述位置评估信息计算公式为:
Figure BDA0002850840290000122
其中,C为包含所述配准框和所述目标框的最小框的面积。其中,2xy为差集,差集的定义为包含配准框和参照框的最小框C与其并集的差,即图7所示的实线框的区域。
根据所述内容评估信息和所述位置评估信息计算图像质量评价指标;所述图像质量评价指标表示所述图像质量评价结果;所述图像质量评价指标计算公式为:
Figure BDA0002850840290000123
其中,S为所述图像质量评价指标,k为所述配准框的个数,
Figure BDA0002850840290000124
为第t个配准框的内容评估信息,
Figure BDA0002850840290000125
为第t个配准框的位置评估信息。
可选地,Scontext为翻译前后图像像素的均方误差,其值大概在20~40之间,Spos为翻译前后图像的交并比与差集的差,其值在(-1,1]区间,又因图像内容信息更能反映出图像的质量的好坏,所以给Spos较大的权重。综上,S即为所求的基于图像翻译的图像质量评价指标。
具体的,在经过模板匹配模块后得到配准框的位置信息集合T*。首先,根据模板图像集合Timage和目标图像It的配准区域图像可以计算出其内容信息的差异,内容信息直接反映出跨源图像翻译结果的好坏;其次,根据配准框的位置信息集合T*和目标图像的感兴趣区域集合object可以计算出其位置信息差异,翻译后的图像像素是否与目标图像像素一一对应,也可以评价翻译结果的质量。内容信息和位置信息的关系示意图如图8所示。
图9为本发明提供的实施例中一种基于跨源图像翻译的图像质量评价系统的模块连接图,如图9所示,本发明一种基于跨源图像翻译的图像质量评价系统,包括:
图像获取模块,用于获取SAR影像和可见光影像;
翻译模块,用于将所述SAR影像输入图像生成模型进行翻译,得到生成可见光影像;所述图像生成模型是采用训练数据对生成式对抗网络模型进行训练得到的;
评估模块,用于将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果。
优选地,所述翻译模块包括:
数据获取单元,用于获取训练数据;所述训练数据包括SAR训练影像和可见光训练影像;
构建单元,用于构建生成式对抗网络模型;所述生成式对抗网络模型包括依次连接的生成器和判别器;
输出单元,用于将所述SAR训练影像和所述可见光训练影像输入所述生成式对抗网络模型进行训练,得到训练好的生成式对抗网络模型;所述训练好的生成式对抗网络模型为所述图像生成模型。
优选地,所述评估模块包括:
检测单元,用于对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模版位置信息集合;
剪裁单元,用于根据所述模版位置信息集合对所述生成可见光影像进行剪裁,得到模版影像集合;
匹配单元,用于基于粗精匹配结合的方法对所述模版影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合;
计算单元,用于根据所述模版位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于跨源图像翻译的图像质量评价方法,其特征在于,包括:
获取SAR影像和可见光影像;
将所述SAR影像输入图像生成模型进行翻译,得到生成可见光影像;所述图像生成模型是采用训练数据对生成式对抗网络模型进行训练得到的;
将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果,具体包括:
对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模板位置信息集合;
根据所述模板位置信息集合对所述生成可见光影像进行剪裁,得到模板影像集合;
基于粗精匹配结合的方法对所述模板影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合;
根据所述模板位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果;
所述基于粗精匹配结合的方法对所述模板影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合,包括:
遍历所述模板影像集合中的所有模板影像,将所述模板影像叠放在所述可见光影像上并以5个像元为单位步长进行平移,每次平移过程中计算所述模板影像和所述可见光影像的相似度,根据相似度的最大值确定粗配准区域位置;
将所述模板影像叠放在所述可见光影像的所述粗配准区域位置上并以1个像元为单位步长进行平移,每次平移过程中计算所述模板影像和所述可见光影像的相似度,根据相似度的最大值确定细配准区域位置;
根据所述细配准区域位置构建所述配准位置信息集合;
所述相似度的计算公式为:
Figure FDA0004115000940000011
其中,D(i,j)为所述相似度,i为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的横坐标,j为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的纵坐标,M为模板影像宽度,N为模板影像高度,m为匹配起始点横坐标,n为匹配起始点纵坐标,
Figure FDA0004115000940000021
为匹配起始点在(m,n)处的所述重叠区域,Timage(m,n)为匹配起始点在(m,n)处的所述模板影像;
所述根据所述模板位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果,包括:
计算内容评估信息;所述内容评估信息计算公式为:
Figure FDA0004115000940000022
其中,Scontext为内容评估信息,MAX为最大像素值255;D(i,j)为所述相似度,i为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的横坐标,j为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的纵坐标;
计算交并比信息;所述交并比信息计算公式为:
Figure FDA0004115000940000023
其中,IoU为位置评估信息,w为所述目标位置信息集合中的目标框的宽度,h为所述目标框的高度,x为所述配准位置信息集合中的配准框与所述目标框在水平方向上的差值,y为所述配准框与所述目标框在垂直方向上的差值;
根据所述交并比信息计算位置评估信息;所述位置评估信息计算公式为:
Figure FDA0004115000940000024
其中,C为包含所述配准框和所述目标框的最小框的面积;
根据所述内容评估信息和所述位置评估信息计算图像质量评价指标;所述图像质量评价指标表示所述图像质量评价结果;所述图像质量评价指标计算公式为:
Figure FDA0004115000940000025
其中,S为所述图像质量评价指标,k为所述配准框的个数,
Figure FDA0004115000940000026
为第t个配准框的内容评估信息,
Figure FDA0004115000940000027
为第t个配准框的位置评估信息。
2.根据权利要求1所述的图像质量评价方法,其特征在于,所述图像生成模型的确定方法为:
获取训练数据;所述训练数据包括SAR训练影像和可见光训练影像;
构建生成式对抗网络模型;所述生成式对抗网络模型包括依次连接的生成器和判别器;
将所述SAR训练影像和所述可见光训练影像输入所述生成式对抗网络模型进行训练,得到训练好的生成式对抗网络模型;所述训练好的生成式对抗网络模型为所述图像生成模型。
3.根据权利要求1所述的图像质量评价方法,其特征在于,所述对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模板位置信息集合,包括:
根据目标检测模型对所述可见光影像进行目标检测,得到所述目标位置信息集合;所述目标位置信息集合包括目标边界框左上角坐标、目标边界框高度和目标边界框宽度;
若所述目标位置信息集合不为空集,则将所述模板位置信息集合赋值为所述目标位置信息集合;
若所述目标位置信息集合为空集,则构造随机位置信息;所述随机位置信息包括:左上角坐标、模板影像宽度和模板影像高度;所述模板影像宽度为所述目标边界框宽度的一半,所述模板影像高度为所述目标边界框高度的一半;
根据所述随机位置信息构建所述模板位置信息集合。
4.一种基于跨源图像翻译的图像质量评价系统,其特征在于,包括:
图像获取模块,用于获取SAR影像和可见光影像;
翻译模块,用于将所述SAR影像输入图像生成模型进行翻译,得到生成可见光影像;所述图像生成模型是采用训练数据对生成式对抗网络模型进行训练得到的;
评估模块,用于将所述生成可见光影像与所述可见光影像进行模板匹配,得到图像质量评价结果;
所述评估模块包括:
检测单元,用于对所述可见光影像进行目标检测,提取目标位置信息集合,根据所述目标位置信息集合得到模板位置信息集合;
剪裁单元,用于根据所述模板位置信息集合对所述生成可见光影像进行剪裁,得到模板影像集合;
匹配单元,用于基于粗精匹配结合的方法对所述模板影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合;
计算单元,用于根据所述模板位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果;
所述基于粗精匹配结合的方法对所述模板影像集合和所述可见光影像进行模板匹配,得到配准位置信息集合,包括:
遍历所述模板影像集合中的所有模板影像,将所述模板影像叠放在所述可见光影像上并以5个像元为单位步长进行平移,每次平移过程中计算所述模板影像和所述可见光影像的相似度,根据相似度的最大值确定粗配准区域位置;
将所述模板影像叠放在所述可见光影像的所述粗配准区域位置上并以1个像元为单位步长进行平移,每次平移过程中计算所述模板影像和所述可见光影像的相似度,根据相似度的最大值确定细配准区域位置;
根据所述细配准区域位置构建所述配准位置信息集合;
所述相似度的计算公式为:
Figure FDA0004115000940000041
其中,D(i,j)为所述相似度,i为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的横坐标,j为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的纵坐标,M为模板影像宽度,N为模板影像高度,m为匹配起始点横坐标,n为匹配起始点纵坐标,
Figure FDA0004115000940000042
为匹配起始点在(m,n)处的所述重叠区域,Timage(m,n)为匹配起始点在(m,n)处的所述模板影像;
所述根据所述模板位置信息集合、所述目标位置信息集合和所述配准位置信息集合确定图像质量评价结果,包括:
计算内容评估信息;所述内容评估信息计算公式为:
Figure FDA0004115000940000051
其中,Scontext为内容评估信息,MAX为最大像素值255;D(i,j)为所述相似度,i为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的横坐标,j为在所述模板影像叠放在所述可见光影像时重叠区域的左上角的纵坐标;
计算交并比信息;所述交并比信息计算公式为:
Figure FDA0004115000940000052
其中,IoU为位置评估信息,w为所述目标位置信息集合中的目标框的宽度,h为所述目标框的高度,x为所述配准位置信息集合中的配准框与所述目标框在水平方向上的差值,y为所述配准框与所述目标框在垂直方向上的差值;
根据所述交并比信息计算位置评估信息;所述位置评估信息计算公式为:
Figure FDA0004115000940000053
其中,C为包含所述配准框和所述目标框的最小框的面积;
根据所述内容评估信息和所述位置评估信息计算图像质量评价指标;所述图像质量评价指标表示所述图像质量评价结果;所述图像质量评价指标计算公式为:
Figure FDA0004115000940000054
其中,S为所述图像质量评价指标,k为所述配准框的个数,
Figure FDA0004115000940000055
为第t个配准框的内容评估信息,
Figure FDA0004115000940000056
为第t个配准框的位置评估信息。
5.根据权利要求4所述的图像质量评价系统,其特征在于,所述翻译模块包括:
数据获取单元,用于获取训练数据;所述训练数据包括SAR训练影像和可见光训练影像;
构建单元,用于构建生成式对抗网络模型;所述生成式对抗网络模型包括依次连接的生成器和判别器;
输出单元,用于将所述SAR训练影像和所述可见光训练影像输入所述生成式对抗网络模型进行训练,得到训练好的生成式对抗网络模型;所述训练好的生成式对抗网络模型为所述图像生成模型。
CN202011526033.1A 2020-12-22 2020-12-22 一种基于跨源图像翻译的图像质量评价方法及系统 Active CN112668621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011526033.1A CN112668621B (zh) 2020-12-22 2020-12-22 一种基于跨源图像翻译的图像质量评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011526033.1A CN112668621B (zh) 2020-12-22 2020-12-22 一种基于跨源图像翻译的图像质量评价方法及系统

Publications (2)

Publication Number Publication Date
CN112668621A CN112668621A (zh) 2021-04-16
CN112668621B true CN112668621B (zh) 2023-04-18

Family

ID=75407426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011526033.1A Active CN112668621B (zh) 2020-12-22 2020-12-22 一种基于跨源图像翻译的图像质量评价方法及系统

Country Status (1)

Country Link
CN (1) CN112668621B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295200A (zh) * 2013-05-29 2013-09-11 深圳大学 数字图像配准方法及装置、数字减影图像矫正方法及设备
CN105809194A (zh) * 2016-03-08 2016-07-27 华中师范大学 一种sar影像翻译为光学影像的方法
CN108537790A (zh) * 2018-04-13 2018-09-14 西安电子科技大学 基于耦合翻译网络的异源图像变化检测方法
CN108960258A (zh) * 2018-07-06 2018-12-07 江苏迪伦智能科技有限公司 一种基于自学习深度特征的模板匹配方法
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN109919899A (zh) * 2017-12-13 2019-06-21 香港纺织及成衣研发中心有限公司 基于多光谱成像的图像的质量评估方法
CN111784560A (zh) * 2019-04-04 2020-10-16 复旦大学 基于级联残差生成对抗网络的sar和光学图像双向翻译方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295200A (zh) * 2013-05-29 2013-09-11 深圳大学 数字图像配准方法及装置、数字减影图像矫正方法及设备
CN105809194A (zh) * 2016-03-08 2016-07-27 华中师范大学 一种sar影像翻译为光学影像的方法
CN109919899A (zh) * 2017-12-13 2019-06-21 香港纺织及成衣研发中心有限公司 基于多光谱成像的图像的质量评估方法
CN108537790A (zh) * 2018-04-13 2018-09-14 西安电子科技大学 基于耦合翻译网络的异源图像变化检测方法
CN108960258A (zh) * 2018-07-06 2018-12-07 江苏迪伦智能科技有限公司 一种基于自学习深度特征的模板匹配方法
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN111784560A (zh) * 2019-04-04 2020-10-16 复旦大学 基于级联残差生成对抗网络的sar和光学图像双向翻译方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种从SAR影像到光学影像的翻译方法;张文元等;《武汉大学学报(信息科学版)》(第02期);全文 *
基于生成对抗网络的短波红外-可见光人脸图像翻译;胡麟苗等;《光学学报》(第05期);全文 *
基于谱归一化生成对抗网络的目标SAR图像仿真方法;孙智博等;《计算机与现代化》(第08期);全文 *

Also Published As

Publication number Publication date
CN112668621A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN108399362B (zh) 一种快速行人检测方法及装置
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN109598794B (zh) 三维gis动态模型的构建方法
Yin et al. Hot region selection based on selective search and modified fuzzy C-means in remote sensing images
CN110287960A (zh) 自然场景图像中曲线文字的检测识别方法
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN111080629A (zh) 一种图像拼接篡改的检测方法
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
Ali et al. Guided image filtering in shape-from-focus: A comparative analysis
KR20170122836A (ko) 이미지로부터 상가 발견
CN111126399A (zh) 一种图像检测方法、装置、设备及可读存储介质
CN107481279A (zh) 一种单目视频深度图计算方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN106557740B (zh) 一种遥感图像中油库目标的识别方法
CN113989662A (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN117593304B (zh) 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN113469099B (zh) 目标检测模型的训练方法、检测方法、装置、设备及介质
CN115661611A (zh) 一种基于改进Yolov5网络的红外小目标检测方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Khoshboresh-Masouleh et al. Robust building footprint extraction from big multi-sensor data using deep competition network
CN109658523A (zh) 利用ar增强现实应用实现车辆各功能使用说明的方法
CN117830210A (zh) 缺陷检测方法、装置、电子设备及存储介质
CN112668621B (zh) 一种基于跨源图像翻译的图像质量评价方法及系统
CN116883303A (zh) 基于特征差分补偿与融合的红外与可见光图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant