CN114004742B - 图像重建方法、训练方法、检测方法、装置和存储介质 - Google Patents
图像重建方法、训练方法、检测方法、装置和存储介质 Download PDFInfo
- Publication number
- CN114004742B CN114004742B CN202111165805.8A CN202111165805A CN114004742B CN 114004742 B CN114004742 B CN 114004742B CN 202111165805 A CN202111165805 A CN 202111165805A CN 114004742 B CN114004742 B CN 114004742B
- Authority
- CN
- China
- Prior art keywords
- infrared
- image
- training
- sample
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 236
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000000605 extraction Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- VCLHHRGZKNUOAQ-UHFFFAOYSA-N 2,5-dichloro-n-[4-[(2,5-dichlorobenzoyl)amino]phenyl]benzamide Chemical compound ClC1=CC=C(Cl)C(C(=O)NC=2C=CC(NC(=O)C=3C(=CC=C(Cl)C=3)Cl)=CC=2)=C1 VCLHHRGZKNUOAQ-UHFFFAOYSA-N 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像重建方法、训练方法、检测方法、装置和存储介质，该方法包括：基于重建网络对待处理红外图像进行重建处理，得到重建红外图像；其中，重建网络是基于红外样本图像进行训练的，红外样本图像包括第一红外训练图像与第二红外训练图像，第一红外训练图像的内容与第二红外训练图像的内容相同，第一红外训练图像的分辨率小于第二红外训练图像的分辨率，且第一红外训练图像的视场角与第二红外训练图像的视场角匹配。通过上述方式，本申请能够提升图像重建的质量。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像重建方法、训练方法、检测方法、装置和存储介质。
背景技术
与可见光图像相比，红外图像不受光照以及遮挡的影响，因此被广泛应用在智能交通或越线报警等场景中；但是不易获取分辨率高、清晰的红外图像，常见的红外图像大多比较模糊、清晰度不高，致使执行后续操作(比如：红外目标检测任务)时效果不佳，因此需要提升红外图像的视觉效果，但是相关技术方案中所采用的方案对红外图像的提升效果较差。
发明内容
本申请提供图像重建方法、训练方法、检测方法、装置和存储介质，能够提升图像重建的质量。
为解决上述技术问题，本申请采用的技术方案是：提供一种图像重建方法，该方法包括：获取待处理红外图像；基于重建网络对待处理红外图像进行重建处理，得到重建红外图像；其中，重建网络是基于红外样本图像进行训练的，红外样本图像包括第一红外训练图像与第二红外训练图像，第一红外训练图像的内容与第二红外训练图像的内容相同，第一红外训练图像的分辨率小于第二红外训练图像的分辨率，且第一红外训练图像的视场角与第二红外训练图像的视场角匹配。
为解决上述技术问题，本申请采用的技术方案是：提供一种重建网络的训练方法，该方法包括：获取第一红外图像与第二红外图像，第一红外图像的分辨率小于第二红外图像的分辨率；对第一红外图像与第二红外图像进行特征匹配，生成第三红外图像；基于第三红外图像，对第一红外图像进行模板匹配处理，得到第一红外图像中的第一红外训练图像；基于第一红外训练图像，对第三红外图像进行处理，得到第三红外图像中与第一红外训练图像匹配的第二红外训练图像；利用训练样本对重建网络进行训练，得到训练完的重建网络，训练样本包括第一红外训练图像与第二红外训练图像。
为解决上述技术问题，本申请采用的技术方案是：提供一种红外目标检测方法，该方法包括：获取待处理红外图像；基于重建网络对待处理红外图像进行重建处理，得到重建红外图像；对重建红外图像进行目标检测处理，得到目标检测结果；其中，重建网络采用上述技术方案中的重建网络的训练方法训练得到。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种图像处理装置，该图像处理装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像重建方法、重建网络的训练方法或红外目标检测方法。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像重建方法、重建网络的训练方法或红外目标检测方法。
通过上述方案，本申请的有益效果是：利用训练样本对重建网络进行训练，得到训练完的重建网络，该红外样本图像包括第一红外训练图像与第二红外训练图像，第一红外训练图像的内容与第二红外训练图像的内容相同，第一红外训练图像的分辨率小于第二红外训练图像的分辨率，且第一红外训练图像的视场角与第二红外训练图像的视场角匹配；在实际应用中，将获取到的待处理红外图像输入训练完的重建网络，便可得到重建红外图像。由于先输入至重建网络的图像为内容相同、分辨率不同且视场角匹配的图像，能够克服输入至重建网络的图像的视场角不匹配的问题，使得重建网络能够更好地学习高分辨率的红外图像的特征，以便在实际使用时对低质红外图像进行更好的重建，改善重建网络的重建效果，在提升低质红外图像的分辨率的同时，还可恢复低质红外图像的纹理细节以及图像中目标的轮廓，进而提升对低质红外图像进行目标检测的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的重建网络的训练方法一实施例的流程示意图；
图2是本申请提供的重建网络的训练方法另一实施例的流程示意图；
图3是本申请提供的图像重建方法一实施例的流程示意图；
图4是本申请提供的图像重建方法另一实施例的流程示意图；
图5是本申请提供的红外目标检测方法一实施例的流程示意图；
图6是本申请提供的图像处理装置一实施例的结构示意图；
图7是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
常见的提升图像分辨率的技术为超分辨率技术，超分辨率技术通过软件算法的方式提升图像的质量，包括两大类：1)传统的图像超分辨率方法，其包括双线性插值或基于稀疏字典，这些方法对图像纹理的恢复相对较差；2)基于神经网络的超分辨率方法，其包括增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative AdversarialNetworks，ESRGAN)或残差通道注意力网络(Residual Channel Attention Network，RCAN)，这些方法在提升图像的分辨率的同时，能够有效恢复图像的纹理细节。通过超分辨率技术先对低质的模糊红外图像进行图像质量的提升，再结合现有的算法进行后续处理，能够提升后续处理的效果；例如，以后续处理为目标检测为例，可以大大提升目标检测的准确率，虽然相关技术中有些方法对红外图像进行了增强处理，但是对于低质模糊的红外图像来说，仅仅通过增强图像的对比度和用Sobel算子来增强纹理的细节是远远不够的，因为低质图像的噪声更多，图像的质量更差，对于目标检测任务来说，泛化性较差，对感兴趣的目标识别率较低。
基于上述问题，本申请提供了一种新的模糊低质的红外图像的质量提升算法，先对低质的、模糊的红外图像进行预处理，以提升红外图像的清晰度和增强图像中的纹理细节；然后再将预处理后的红外图像输入重建网络中，以便训练出一个能将低质的红外图像变成高质的红外图像的网络，提升重建网络的重建效果，进而改善后续进行检测或识别等任务的效果，下面对本申请所采取的技术方案进行详细描述。
请参阅图1，图1是本申请提供的重建网络的训练方法一实施例的流程示意图，该方法包括：
步骤11：获取训练样本。
重建网络是基于红外样本图像进行训练的，红外样本图像包括第一红外训练图像与第二红外训练图像，第一红外训练图像的内容与第二红外训练图像的内容相同，第一红外训练图像的分辨率小于第二红外训练图像的分辨率，且第一红外训练图像的视场角与第二红外训练图像的视场角匹配；具体地，为了获取训练样本，可采用图2所示的方案进行处理，具体包括以下步骤：
步骤111：获取第一红外样本图像与第二红外样本图像。
可采用红外摄像机对当前监控场景进行拍摄，得到第一红外样本图像与第二红外样本图像，或者从图像数据库中直接读取第一红外样本图像与第二红外样本图像；具体地，第一红外样本图像与第二红外样本图像对应，第一红外样本图像与第二红外样本图像为同一监控场景下对相同的目标进行拍摄生成的图像，只是二者的分辨率不同，第一红外样本图像的分辨率小于第二红外样本图像的分辨率，即可认为第一红外图像为低分辨率(LowResolution，LR)红外图像，第二红外图像为高分辨率(High Resolution，LR)红外图像。
在一具体的实施例中，可先将采集到的第一红外样本图像和第二红外样本图像进行裁剪，使得裁剪后的第一红外样本图像的分辨率为160*120，裁剪后的第二红外样本图像的分辨率为640*480。
步骤112：对第一红外样本图像与第二红外样本图像进行特征匹配，生成第三红外样本图像。
在获取到第一红外样本图像与第二红外样本图像之后，可分别对第一红外样本图像与第二红外样本图像进行特征提取处理，得到相应的特征；然后利用二者的特征进行匹配，生成第三红外样本图像，该第三红外样本图像与第二红外样本图像对应，即第三红外样本图像可看作是对第二红外样本图像进行变换生成的图像。
步骤113：基于第三红外样本图像，对第一红外样本图像进行模板匹配处理，得到第一红外样本图像中的第一红外训练图像。
在获取到第三红外样本图像之后，可对第三红外样本图像与第一红外样本图像进行模板匹配处理，比如：将第一红外样本图像与第三红外样本图像的分辨率调整成一致，然后按照像素值进行匹配，寻找第一红外样本图像中与第三红外样本图像相匹配的区域，该区域所在的图像即为第一红外训练图像。
步骤114：基于第一红外训练图像，对第三红外样本图像进行处理，得到第三红外样本图像中与第一红外训练图像匹配的第二红外训练图像。
在获取到第一红外训练图像之后，可计算第一红外样本图像与第三红外样本图像的尺寸比值，然后将第一红外训练图像在第一红外样本图像中的位置按照尺寸比值进行放大，从而得到第二红外训练图像在第三红外样本图像中的位置，按照该位置从第三红外样本图像中截取出第二红外训练图像，第一红外训练图像的视场角与第二红外训练图像的视场角相同。
步骤12：利用训练样本对重建网络进行训练，得到训练完的重建网络。
为了训练重建网络，可采用图2所示的方案进行处理，具体包括以下步骤：
步骤115：采用重建网络对第一红外训练图像与第二红外训练图像进行重建处理，得到重建样本图像。
采用训练样本对重建网络进行训练，每个训练样本包括第一红外训练图像以及与第一红外训练图像对应的第二红外训练图像，第二红外训练图像为第一红外训练图像的标签图像，将第一红外训练图像与第二红外训练图像输入重建网络，重建网络从第二红外训练图像中学习高质的红外图像的特征，以对低质的红外图像(即第二红外训练图像)进行调整，生成与第一红外训练图像对应的重建样本图像。
在一具体的实施例中，重建网络包括特征提取层与重建层，在重建网络的训练过程中，特征提取层用于接收第一红外训练图像与第二红外训练图像，分别对第一红外训练图像与第二红外训练图像进行特征提取处理，得到第一提取特征与第二提取特征；重建层用于对第一提取特征与第二提取特征进行处理，得到重建样本图像，重建网络采用的算法可以包括基于插值的方法(比如：最邻近插值法或双线性插值法)、基于重建的方法(比如：迭代反投影法、凸集投影法或最大后验概率法)或基于学习的方法(比如：邻域嵌入法或稀疏编码方法)。
步骤116：基于重建样本图像判断是否满足预设训练终止条件。
在重建网络输出重建样本图像之后，可计算重建样本图像与第二红外训练图像之间的损失(记作当前损失)；然后利用该当前损失来判定是否达到重建网络的结束条件(即预设训练终止条件)，如果达到预设训练终止条件，则表明训练结束，得到一个训练完的重建网络。
进一步地，预设停止条件包括：损失值收敛，即上一损失值与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失值，该预设损失值为预先设置的损失阈值，若当前损失值小于预设损失值，则确定达到预设停止条件；训练次数达到设定值(例如：训练10000次)；或者使用测试集进行测试时获得的准确率达到设定条件(比如：超过预设准确率)等。
步骤117：若未满足预设训练终止条件，则调整重建网络的模型参数。
如果判定出当前不满足预设训练终止条件，则可调整重建网络的模型参数，该模型参数包括特征提取层以及重建层的参数，例如，以重建层包括多个卷积层为例，模型参数可以为卷积层的数量或卷积层的尺寸；而且还需返回获取第一红外样本图像与第二红外样本图像的步骤，即执行步骤111，直至满足预设训练终止条件。
由于图像的分辨率越高，图像的纹理细节越完善，因此本实施例采用多个训练样本对重建网络进行训练，以便获得一个能够改善图像分辨率的重建网络；先利用图像预处理方法对获取到的第一红外样本图像与第二红外样本图像进行预处理，得到第一红外训练图像与第二红外训练图像；然后将第一红外训练图像与第二红外训练图像输入重建网路，以对重建网络进行训练。本实施例提出了一种新的LR红外图像和HR红外图像的构造方式，针对因视场角的差距导致真实采样得到的LR红外图像和HR红外图像的内容不匹配的问题，首先利用特征匹配来解决LR红外图像和HR红外图像的视场角不匹配的问题，再利用模板匹配的方式来确定LR红外图像和HR红外图像中内容相同的区域，得到一一对应的LR-HR红外图像对(即第一红外训练图像与第二红外训练图像)，以便利用LR-HR红外图像对训练重建网络，由于先对训练所使用的数据进行了预处理，能够得到重建质量更好的重建网络，提升图像重建的质量。
请参阅图3，图3是本申请提供的图像重建方法一实施例的流程示意图，该方法包括：
步骤31：获取待处理红外图像。
可使用红外摄像机对当前监控场景进行实时拍摄，得到待处理红外图像。
步骤32：基于重建网络对待处理红外图像进行重建处理，得到重建红外图像。
重建网络的训练过程如下所示：
1)获取训练样本。
获取第一红外样本图像与第二红外样本图像，第一红外样本图像的分辨率小于第二红外样本图像的分辨率；对第一红外样本图像与第二红外样本图像进行特征匹配，生成第三红外样本图像；基于第三红外样本图像，对第一红外样本图像进行模板匹配处理，得到第一红外样本图像中的第一红外训练图像；基于第一红外训练图像，对第三红外样本图像进行处理，得到第三红外样本图像中与第一红外训练图像匹配的第二红外训练图像。
2)利用训练样本对重建网络进行训练，得到训练完的重建网络。
采用重建网络对第一红外训练图像与第二红外训练图像进行重建处理，得到重建样本图像，重建网络可以为超分辨网络；基于重建样本图像判断是否满足预设训练终止条件；若当前不满足预设训练终止条件，则调整重建网络的模型参数，并返回获取第一红外样本图像与第二红外样本图像的步骤，直至满足预设训练终止条件，得到训练好的重建网络。
在一具体的实施例中，重建网络包括特征提取层与重建层，在重建网络训练完毕后，特征提取层用于接收待处理红外图像，对待处理红外进行特征提取处理，得到第三提取特征；重建层用于对第三提取特征进行重建处理，得到重建红外图像。
针对因视场角的差距导致真实采样得到的LR红外图像和HR红外图像的内容不匹配的问题，本实施例提出了一种新的LR红外图像和HR红外图像对的构造方式，可以大大提升超分辨网络对于真实采样得到的红外图像的重建性能，增加了重建网络的泛化性。
请参阅图4，图4是本申请提供的图像重建方法另一实施例的流程示意图，该方法包括：
步骤401：获取第一红外样本图像与第二红外样本图像。
步骤401与上述实施例中步骤111相同，在此不再赘述。
步骤402：分别对第一红外样本图像与第二红外样本图像进行特征提取处理，得到第一样本特征与第二样本特征。
采用特征提取方法分别对第一红外样本图像与第二红外样本图像进行处理，得到第一样本特征与第二样本特征，该特征提取方法为相关技术中的特征提取方法，例如，使用基于ORB(Oriented FAST and Rotated Binary Robust Independent ElementaryFeatures)的特征提取方式，对LR红外图像与HR红外图像进行特征提取，得到的LR红外图像的特征点集FLR(即第一样本特征)以及HR红外图像的特征点集FHR(即第二样本特征)。
步骤403：计算第一样本特征与第二样本特征之间的单应性矩阵，并采用单应性矩阵对第二红外样本图像进行仿射变换，得到第三红外样本图像。
根据图像的单应性变化来求出图像的单应性矩阵H，计算公式如下所示：
FHR＝H*FLR (1)
通过单应性矩阵H，对第二红外样本图像进行仿射变化，得到变化后的图像IHR1(即第三红外样本图像)，如下所示：
IHR1＝H*IHR0 (2)
其中，IHR0为第二红外样本图像。
步骤404：对第三红外样本图像进行下采样，得到第四红外样本图像，并从第四红外样本图像中选取匹配图像。
第四红外样本图像的分辨率与第一红外样本图像的分辨率相同，匹配图像位于第四红外样本图像的中心区域，且匹配图像的像素总数量与第四红外样本图像的像素总数量的比值为预设比值，预设比值为根据应用需求或经验设置的比值，比如：80％、90％或95％。
在一具体的实施例中，对第三红外样本图像IHR1进行4倍下采样得到第四红外样本图像FDR，FDR的分辨率为160*120，选择FDR中心的80％区域所在的图像作为灰度匹配模板(即匹配图像)GDR，GDR的分辨率为128*96。
步骤405：基于归一化相关系数的模板匹配算法，对匹配图像与第一红外样本图像进行模板匹配处理，得到第一红外训练图像。
将匹配图像与第一红外样本图像进行归一化相关系数的模板匹配，在第一红外样本图像中匹配到与匹配图像相应的图像(即第一红外训练图像)，第一红外训练图像的分辨率可以为128*96。
步骤406：获取第一红外训练图像在第一红外样本图像中的位置信息；基于位置信息与第三红外样本图像，生成第二红外训练图像。
通过第一红外训练图像与第三红外样本图像的坐标对应关系，确定出第三红外样本图像中与第一红外训练图像对应的图像(即第二红外训练图像)。具体地，先获取分辨率比值；然后基于分辨率比值对位置信息进行处理，得到匹配位置信息，该位置信息包括第一红外训练图像的左上角位置、第一红外训练图像的长度以及第一红外训练图像的宽度；从第三红外样本图像中选取与匹配位置信息对应的图像，得到第二红外训练图像，第二红外训练图像的分辨率与第一红外训练图像的分辨率的比值为分辨率比值，比如：第二红外训练图像的分辨率可以为512*384。
进一步地，分辨率比值为第一红外样本图像的分辨率与第三红外样本图像的分辨率的比值，第一红外样本图像的分辨率为a1×b1，a1为第一红外样本图像中竖直方向上的像素数量，b1为第一红外样本图像中水平方向上的像素数量；第三红外样本图像的分辨率为a2×b2，a2为第三红外样本图像中竖直方向上的像素数量，b2为第三红外样本图像中水平方向上的像素数量，第一红外样本图像的长宽比与第三红外样本图像的长宽比相同，即b1/a1＝b2/a2；例如，假设第一红外训练图像的左上角位置、宽度以及长度分别为[x,y]、m以及n，第一红外样本图像的分辨率为160*120，第三红外样本图像的分辨率为640*480，则分辨率比值＝640/160＝480/120＝4，第二红外训练图像的左上角位置为[4x,4y]，第二红外训练图像的长度为4x，第二红外训练图像的宽度为4y。
通过上述的预处理操作，最终得到一一对应的且完全匹配的LR红外图像(即第一红外训练图像)和HR红外图像(即第二红外训练图像)，它们作为图像的超分辨重建网络的输入，即训练样本包括第一红外训练图像与第二红外训练图像。
步骤407：分别对第一红外训练图像与第二红外训练图像进行归一化处理，得到第三红外训练图像与第四红外训练图像。
将预处理后的LR红外图像(即第一红外训练图像)和预处理后的HR红外图像(即第二红外训练图像)输入到重建网络的输入层，第一红外训练图像的分辨率为128*96，第二红外训练图像的分辨率512*384，并分别对第一红外训练图像与第二红外训练图像的RGB三个通道进行统一的归一化处理。
步骤408：对第三红外训练图像进行超分辨率处理，得到重建样本图像。
采用如下步骤对第三红外训练图像进行处理，以获取重建样本图像。
1)对第三红外训练图像进行特征提取处理，得到第三样本特征。
特征提取层的主要作用是提取第三红外训练图像中的纹理细节特征，相关技术中的超分辨(Super-Resolution，SR)算法模型的参数量和计算量巨大，对于后续的目标检测网络来说耗时太长，不利于模型的部署，因此本实施例所提供的特征提取层采用一种轻量级的卷积神经网络来进行特征的提取，比如：MobileNet V1与MobileNet V2，通过融合图像中浅层到深层的特征，来获取第三红外训练图像中的高低频信息，最终融合得到第三红外训练图像的特征。
2)基于亚像素卷积网络(EFFicient Sub-Pixel Convolutional Network，ESPCN)，对第三样本特征进行重建处理，得到重建样本图像。
由于第四红外训练图像的分辨率是第三红外训练图像的分辨率的整数倍，因此本实施例选择将第三红外训练图像的特征使用亚像素卷积的方式(比如：ESPCN)，ESPCN是一种可学习的上采样模块，其通过几层卷积网络获取低LR红外图像的特征，然后通过周期筛选的方式将LR红外图像的分辨率提升到与HR红外图像的分辨率一致，得到SR图像(即重建样本图像)。
步骤409：计算重建样本图像与第四红外训练图像之间的损失，得到损失值，并判断损失值是否收敛。
若损失值收敛，则确定满足预设训练终止条件，停止训练，得到训练完的重建网络；具体地，可计算重建样本图像与第四红外训练图像之间的LI损失；计算重建样本图像与第四红外训练图像之间的梯度损失；对LI损失与梯度损失进行加权求和，得到损失值，即整个网络的损失通过L1损失函数与梯度损失函数来进行优化，计算方式如下：
Lg＝[G(ISR)-G(IhR)]2 (4)
Loss＝Lg+L1 (5)
其中，IHR为第四红外训练图像，ISR为重建样本图像，G(ISR)为重建样本图像的梯度，G(IHR)为第四红外训练图像的梯度，可采用Sobel算子进行梯度的计算，Loss为梯度值，L1为L1损失，Lg为梯度损失。
可以理解地，还可通过第四红外训练图像与重建样本图像之间的峰值信噪比(Peak Signal to Noise Ratio，PSNR)或结构相似度(Structural Similarity，SSIM)来衡量图像的重建效果。
步骤410：若损失值未收敛，则调整重建网络的模型参数。
若损失值未收敛，则调整重建网络的模型参数，并返回获取第一红外样本图像与第二红外样本图像的步骤，直至满足预设训练终止条件，得到训练好的重建网络。
步骤411：若损失值收敛，则获取待处理红外图像，并基于重建网络对待处理红外图像进行重建处理，得到重建红外图像。
步骤411与上述实施例步骤31-32相同，在此不再赘述。
本实施例利用超分辨率重建网络对低质的红外图像进行重建，使得从重建网络输出的图像纹理更加清晰，使得后续进行目标检测时目标轮廓更加突出，有助于提升目标检测的效果。而且，本实施例利用ORB特征匹配和仿射变化来解决LR红外图像和HR红外图像的视场角不匹配的问题，再利用区域灰度模板匹配的方式，来确定LR红外图像和HR红外图像中具有相同内容的区域，得到一一对应的LR-HR红外图像对，可以大大提升超分辨网络对于真实采样得到的红外图像的重建性能，增加了重建网络的泛化性。
在生成重建红外图像之后，可将其应用在多个领域，比如：目标检测、识别或跟踪，下面以应用于目标检测领域为例进行说明，低质模糊红外目标检测技术能够应用于对视频中多个目标的类别检测或行为分析，比如：对围栏或者围墙等周界提供全面的防护，首先对采集到的红外图像序列使用超分辨率技术提升图像的分辨率和图像的清晰度，然后通过红外目标检测技术确定图像中感兴趣的目标，为后续的目标行为分析提供基础，下面进行详细描述。
请参阅图5，图5是本申请提供的红外目标检测方法一实施例的流程示意图，该方法包括：
步骤51：获取待处理红外图像。
待处理图像包括待检测目标，待检测目标可以为人、其他动物或物体。
步骤52：基于重建网络对待处理红外图像进行重建处理，得到重建红外图像。
重建网络采用上述实施例中的重建网络的训练方法训练得到，具体训练过程在此不再赘述。
步骤53：对重建红外图像进行目标检测处理，得到目标检测结果。
通过对重建红外图像进行分析，可以有效地检测出待处理红外图像中特定的目标。具体地，目标检测网络包括特征提取层与检测层，采用特征提取层对重建红外图像进行特征提取处理，得到当前特征；采用检测层对当前特征进行检测处理，得到目标检测结果。
在一具体的实施例中，目标检测网络可以为YOLO(You Only Look Once)网络，YOLO网络是一种实时目标检测模型，通过一个卷积神经网络对重建红外图像进行处理，从而获取重建红外图像中目标对象的位置和类别；具体地，可采用以下步骤来训练YOLO网络：
1)构造YOLO网络。
YOLO网络包括输入层、特征提取层(包括第一特征提取层与第二特征提取层)、检测层、分类层以及回归层，第一特征提取层和第二特征提取层为轻量级卷积神经网络。
2)输入训练样本。
训练样本包含行人、车辆或非机动车等目标的低分辨率的红外图像，并以标注框的形式标注出目标对象的位置和类别。将训练样本输入重建网络，得到重建图像，该重建图像的分辨率可以为512*384，该重建图像被输入YOLO网络。
3)提取特征图。
第一特征提取层对重建网络输出的重建图像进行多次卷积和降采样处理，得到第一特征图，第一特征图的尺寸可以为64*48*192。
4)YOLO网络的训练。
第二特征提取层与第一特征提取层连接，其用于对第一特征图进行卷积和降采样处理，并输入至检测层，检测层为两层全连接层。
本实施例所提供的低质模糊红外目标检测方法适应于户外围栏或交通路口等场景中，以对行人或车辆等目标进行检测；可以理解地，还可应用于在其他场景中，并不仅限于此。
本实施例所提供的红外目标检测方法，基于传统的图像处理技术、深度学习技术和卷积神经网络，主要包含三个模块：预处理模块、超分辨率模块以及目标检测模块，但预处理模块仅在重建网络的训练过程中使用；本实施例构造了两个独立的神经网络：重建网络与目标检测网络；本实施例设计一种新的、轻量级的红外图像超分辨卷积神经网络，能够对低质的模糊的红外图像进行重建处理，提升红外图像的清晰度和增强图像中的纹理细节，使得YOLO网络的输入图像的纹理更加清晰，目标轮廓更加突出，提升了目标检测网络的性能；将重建网络与YOLO网络结合，来实现对处理后的图像进行目标检测，从而提升红外目标，尤其是远小红外目标的检测准确率，能够解决交通场景中红外目标检测方法对低质的、模糊的红外样本检测准确率较低的问题。此外，本实施例通过制作真实的LR-HR红外图像对训练重建网络，得到的超分辨重建网络的泛化性更佳，相比相关技术中利用生成对抗网络来将可见光图像转换为红外图像来说，无需重新训练便可以适应更多低质红外场景，同时可以避免树荫遮挡带来的误检问题。
请参阅图6，图6是本申请提供的图像处理装置一实施例的结构示意图，图像处理装置60包括互相连接的存储器61和处理器62，存储器61用于存储计算机程序，计算机程序在被处理器62执行时，用于实现上述实施例中的图像重建方法、重建网络的训练方法或红外目标检测方法。
请参阅图7，图7是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质70用于存储计算机程序71，计算机程序71在被处理器执行时，用于实现上述实施例中的图像重建方法、重建网络的训练方法或红外目标检测方法。
计算机可读存储介质70可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (13)
1.一种图像重建方法，其特征在于，包括：
获取待处理红外图像；
基于重建网络对所述待处理红外图像进行重建处理，得到重建红外图像；
其中，所述重建网络是基于红外样本图像进行训练的，所述红外样本图像包括第一红外训练图像与第二红外训练图像，所述第二红外训练图像为所述第一红外训练图像的标签图像，所述第一红外训练图像的内容与所述第二红外训练图像的内容相同，所述第一红外训练图像的分辨率小于所述第二红外训练图像的分辨率，且所述第一红外训练图像的视场角与所述第二红外训练图像的视场角匹配；
其中，获取所述第一红外训练图像和所述第二红外训练图像的方法包括：
获取第一红外样本图像与第二红外样本图像，所述第一红外样本图像的分辨率小于所述第二红外样本图像的分辨率；
分别对第一红外样本图像与第二红外样本图像进行特征提取处理，得到第一样本特征与第二样本特征；
计算第一样本特征与第二样本特征之间的单应性矩阵；
采用单应性矩阵对第二红外样本图像进行变换，得到第三红外样本图像；
将第一红外样本图像与第三红外样本图像的分辨率调整成一致，然后对所述第一红外样本图像与第三红外样本图像中匹配图像进行模板匹配处理，以寻找第一红外样本图像中与所述匹配图像相匹配的区域，该区域对应的图像即为第一红外训练图像；
获取第一红外训练图像在第一红外样本图像中的位置信息；基于位置信息与第三红外样本图像，生成第二红外训练图像。
2.根据权利要求1所述的图像重建方法，其特征在于，所述将第一红外样本图像与第三红外样本图像的分辨率调整成一致，然后对所述第一红外样本图像与第三红外样本图像中匹配图像进行模板匹配处理，以寻找第一红外样本图像中与所述匹配图像相匹配的区域，该区域对应的图像即为第一红外训练图像，包括：
对所述第三红外样本图像进行下采样，得到第四红外样本图像，所述第四红外样本图像的分辨率与所述第一红外样本图像的分辨率相同；
从所述第四红外样本图像中选取匹配图像；
基于归一化相关系数的模板匹配算法，对所述匹配图像与所述第一红外样本图像进行模板匹配处理，得到所述第一红外训练图像。
3.根据权利要求2所述的图像重建方法，其特征在于，
所述匹配图像位于所述第四红外样本图像的中心区域，且所述匹配图像的像素总数量与所述第四红外样本图像的像素总数量的比值为预设比值。
4.根据权利要求1所述的图像重建方法，其特征在于，所述基于所述位置信息与所述第三红外样本图像，生成所述第二红外训练图像的步骤，包括：
获取分辨率比值，所述分辨率比值为所述第一红外样本图像的分辨率与所述第三红外样本图像的分辨率的比值；
基于所述分辨率比值对所述位置信息进行处理，得到匹配位置信息；
从所述第三红外样本图像中选取与所述匹配位置信息对应的图像，得到所述第二红外训练图像，所述第二红外训练图像的分辨率与所述第一红外训练图像的分辨率的比值为所述分辨率比值。
5.根据权利要求1所述的图像重建方法，其特征在于，所述方法还包括：
采用所述重建网络对所述第一红外训练图像与所述第二红外训练图像进行重建处理，得到重建样本图像；
基于所述重建样本图像判断是否满足预设训练终止条件；
若否，则调整所述重建网络的模型参数，并返回所述获取第一红外样本图像与第二红外样本图像的步骤，直至满足所述预设训练终止条件，得到所述训练完的重建网络。
6.根据权利要求5所述的图像重建方法，其特征在于，所述采用所述重建网络对所述第一红外训练图像与所述第二红外训练图像进行重建处理，得到重建样本图像的步骤，包括：
分别对所述第一红外训练图像与所述第二红外训练图像进行归一化处理，得到第三红外训练图像与第四红外训练图像；
对所述第三红外训练图像进行超分辨率处理，得到所述重建样本图像。
7.根据权利要求6所述的图像重建方法，其特征在于，所述对所述第三红外训练图像进行超分辨率处理，得到所述重建样本图像的步骤，包括：
对所述第三红外训练图像进行特征提取处理，得到第三样本特征；
基于亚像素卷积网络，对所述第三样本特征进行重建处理，得到所述重建样本图像。
8.根据权利要求7所述的图像重建方法，其特征在于，所述方法还包括：
计算所述重建样本图像与所述第四红外训练图像之间的损失，得到损失值；
判断所述损失值是否收敛；
若是，则确定满足所述预设训练终止条件。
9.根据权利要求8所述的图像重建方法，其特征在于，所述计算所述重建样本图像与所述第四红外训练图像之间的损失，得到损失值的步骤，包括：
计算所述重建样本图像与所述第四红外训练图像之间的LI损失；
计算所述重建样本图像与所述第四红外训练图像之间的梯度损失；
对所述LI损失与所述梯度损失进行加权求和，得到所述损失值。
10.一种重建网络的训练方法，其特征在于，包括：
获取第一红外样本图像与第二红外样本图像，所述第一红外样本图像的分辨率小于所述第二红外样本图像的分辨率；
分别对第一红外样本图像与第二红外样本图像进行特征提取处理，得到第一样本特征与第二样本特征；
计算第一样本特征与第二样本特征之间的单应性矩阵；
采用单应性矩阵对第二红外样本图像进行变换，得到第三红外样本图像；
将第一红外样本图像与第三红外样本图像的分辨率调整成一致，然后对所述第一红外样本图像与第三红外样本图像中匹配图像进行模板匹配处理，以寻找第一红外样本图像中与所述匹配图像相匹配的区域，该区域对应的图像即为第一红外训练图像；
获取第一红外训练图像在第一红外样本图像中的位置信息；基于位置信息与第三红外样本图像，生成第二红外训练图像；
利用训练样本对所述重建网络进行训练，得到训练完的重建网络，所述训练样本包括所述第一红外训练图像与所述第二红外训练图像，所述第二红外训练图像为所述第一红外训练图像的标签图像。
11.一种红外目标检测方法，其特征在于，包括：
获取待处理红外图像；
基于权利要求1-10中任一项的所述重建网络对所述待处理红外图像进行处理，得到重建红外图像；
对所述重建红外图像进行目标检测处理，得到目标检测结果。
12.一种图像处理装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-9中任一项所述的图像重建方法、权利要求10所述的重建网络的训练方法或权利要求11所述的红外目标检测方法。
13.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-9中任一项所述的图像重建方法、权利要求10所述的重建网络的训练方法或权利要求11所述的红外目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111165805.8A CN114004742B (zh) | 2021-09-30 | 2021-09-30 | 图像重建方法、训练方法、检测方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111165805.8A CN114004742B (zh) | 2021-09-30 | 2021-09-30 | 图像重建方法、训练方法、检测方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114004742A CN114004742A (zh) | 2022-02-01 |
| CN114004742B true CN114004742B (zh) | 2024-11-29 |
Family
ID=79922225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111165805.8A Active CN114004742B (zh) | 2021-09-30 | 2021-09-30 | 图像重建方法、训练方法、检测方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114004742B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184547A (zh) * | 2020-09-03 | 2021-01-05 | 红相股份有限公司 | 红外图像的超分辨率方法及计算机可读存储介质 |
| CN112508782A (zh) * | 2020-09-10 | 2021-03-16 | 浙江大华技术股份有限公司 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI419059B (zh) * | 2010-06-14 | 2013-12-11 | Ind Tech Res Inst | 以樣本為基礎之人臉超解析度方法與系統 |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
-
2021
- 2021-09-30 CN CN202111165805.8A patent/CN114004742B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184547A (zh) * | 2020-09-03 | 2021-01-05 | 红相股份有限公司 | 红外图像的超分辨率方法及计算机可读存储介质 |
| CN112508782A (zh) * | 2020-09-10 | 2021-03-16 | 浙江大华技术股份有限公司 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114004742A (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | GAN-FM: Infrared and visible image fusion using GAN with full-scale skip connection and dual Markovian discriminators | |
| Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
| CN111046880B (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| Zhou et al. | Scale adaptive image cropping for UAV object detection | |
| Zhao et al. | Pyramid global context network for image dehazing | |
| CN102360421B (zh) | 一种基于视频流的人脸识别方法及系统 | |
| Anvari et al. | Dehaze-GLCGAN: unpaired single image de-hazing via adversarial training | |
| CN111784624B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| KR101906796B1 (ko) | 딥러닝 기반 영상 분석 장치 및 영상 분석 방법 | |
| CN110490796B (zh) | 一种高低频成分融合的人脸超分辨率处理方法及系统 | |
| CN111368742B (zh) | 基于视频分析的双黄交通标线的重建识别方法及系统 | |
| Hovhannisyan et al. | AED-Net: A single image dehazing | |
| He et al. | Detecting dim small target in infrared images via subpixel sampling cuneate network | |
| Almasri et al. | RGB Guided Thermal Super-Resolution Enhancement. | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| CN117994573A (zh) | 一种基于超像素和可形变卷积的红外弱小目标检测方法 | |
| CN118247711A (zh) | 一种Transformer架构小目标检测方法及系统 | |
| Sustika et al. | Generative adversarial network with residual dense generator for remote sensing image super resolution | |
| CN115953312A (zh) | 一种基于单幅图像的联合去雾检测方法、装置及存储介质 | |
| CN115409789A (zh) | 基于图像语义分割的输电线路工程缺陷检测方法 | |
| Chen et al. | Guided dual networks for single image super-resolution | |
| US20140376822A1 (en) | Method for Computing the Similarity of Image Sequences | |
| CN114004742B (zh) | 图像重建方法、训练方法、检测方法、装置和存储介质 | |
| CN113393385A (zh) | 基于多尺度融合的无监督去雨方法、系统、装置及介质 | |
| Song et al. | DRGAN: A Detail Recovery-Based Model for Optical Remote Sensing Images Super-Resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |