CN116309066A - 一种超分辨率成像方法及装置 - Google Patents
一种超分辨率成像方法及装置 Download PDFInfo
- Publication number
- CN116309066A CN116309066A CN202310280663.2A CN202310280663A CN116309066A CN 116309066 A CN116309066 A CN 116309066A CN 202310280663 A CN202310280663 A CN 202310280663A CN 116309066 A CN116309066 A CN 116309066A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- rotation
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000003044 adaptive effect Effects 0.000 claims abstract description 8
- 238000013519 translation Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000000844 transformation Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 14
- 238000003062 neural network model Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011056 performance test Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种超分辨率成像方法及装置，涉及成像处理技术领域。本发明提供的超分辨率成像方法，基于构建好的训练数据集，采用适应性矩估计法对初始网络模型进行端到端训练得到训练好的网络模型，然后，采用多旋转相机获取待成像目标的旋转图像，并将旋转图像输入到训练好的网络模型得到待成像目标的高分辨率图像。可见，本发明采用旋转相机的方法，并引入成像物理过程的深度神经网络模型，能够有效编码并解码低分辨率图像中的高频信息，能够输出恢复更多高频信息的高分辨率图像，从而能够在提高图像分辨率的同时，提高成像质量。
Description
技术领域
本发明涉及成像处理技术领域，特别是涉及一种超分辨率成像方法及装置。
背景技术
超分辨率成像是由一幅或多幅低分辨率图像通过计算成像的方法恢复高分辨率图像。高分辨率图像意味着有更多像素用于描述图像，对于复杂场景图像则意味着更强的图像细节描述能力，该技术目前已经广泛应用于视频处理、医学成像、遥感和公共安全监控等领域。当前的超分辨率成像方法的主要难点在于超分辨率问题是一个病态问题，对于给定的低分辨率图像输入可能存在多个合理的超分辨率预测，难以确定最佳超分辨率图像。
近年来的超分辨率计算成像方法，按照输入低分辨率图像的数量可以分为单图超分方法和多图超分方法。单图超分方法即使用单幅低分辨率图像和先验信息对高分辨率图像进行恢复，然而该类型方法观测信息不足导致的严重病态性给其带了巨大的挑战。现有的方法通过引入不同的先验信息，对低分辨率图像进行插值、重构或者使用基于学习的方法，进而获得超分辨率图像。然而，单幅图像估计得出的高分辨率图像可能产生严重的伪像，反而影响高分辨率图像的质量，为下级任务造成不好的影响。多图超分的方法则是通过多幅图像之间存在的非冗余信息，增加了单幅图像获取的信息量，进而获得超分辨率图像，相比于单图超分方法多图超分方法往往可以获得更为可信的超分图像结果。然而现有的多图超分方法，大多采用单相机在微位移的情况下进行连续拍摄，或多个在相机焦平面所在平面上存在水平竖直位移关系的相机进行拍摄。其中，前者采取了牺牲时间分辨率换取空间分辨率的方法，难以适用于对于成像效率有较高要求的任务；后者则没有充分的利用多个相机的系统结构特性。
例如，文章Bhat G,Danelljan M,Van Gool L,et al.Deep burst super-resolution[C]//Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition.2021.通过处理多张含噪声的RAW格式低分辨率图像，生成一张降噪的超分辨率RGB图像，超分辨率效果良好，但是该文中的输入低分辨率图像来自智能手机连续拍摄过程中的随机抖动，无法保证各张子图像间信息的非冗余互补特性，不适用于各类对成像装置稳定性提出要求的应用场景。
文章Wilburn B,Joshi N,Vaish V,et al.Highperformance imaging usinglarge camera arrays[M]//ACM SIGGRAPH 2005Papers.2005:是较早采用相机阵列方法进行高性能成像的工作，通过采用多台相机组成系统近似一台具有大孔径的相机，采用了密集相机阵列，但密集相机阵列带来的过高的花费问题，在一定程度上限制了方法的进一步发展。
文章Bonchev S,Alexiev K.Improving super-resolution imagereconstruction by in-plane camera rotation[C]//201013th InternationalConference on Information Fusion.IEEE,2010:.提出通过主动控制相机使其在焦平面内位移和旋转，进而在原始采样方向上获取更高频的信息，从而提升超分图像的信噪比。但是该文只进行部分理论上分析，未提出有效多图超分算法。
文章Jiang S,Guan M,Wu J,et al.Frequency-domain diagonal extensionimaging[J].Advanced Photonics,2020.对相机在焦平面内旋转带来的网格采样模式改变问题进行了深入的分析，并将旋转相机的策略应用于无镜头显微镜，并取得了良好的超分辨率成像结果，但并未进一步将该方法应用于普通相机的超分辨率成像。
发明内容
为解决现有技术存在的上述问题，本发明提供了一种超分辨率成像方法及装置。
为实现上述目的，本发明提供了如下方案：
一种超分辨率成像方法，包括：
构建训练数据集；
获取初始网络模型；所述初始网络模型采用Charbonnier损失函数；所述初始网络模型包括：特征提取模块，特征配准模块、特征融合模块和图像重建模块；
基于所述训练数据集，采用适应性矩估计法对所述初始网络模型进行端到端训练得到训练好的网络模型；
采用多旋转相机获取待成像目标的旋转图像，并将所述旋转图像输入到所述训练好的网络模型得到待成像目标的高分辨率图像。
可选地，所述构建训练数据集，具体包括：
获取训练数据集ZRR，并将所述训练数据集ZRR中的数据集图像转化为灰度图像；
采用逆向相机成像模型获取所述灰度图像的图像原始值，以得到原始图像；
对所述原始图像执行随机操作得到高分辨率参考图像；所述随机操作包括随机旋转、随机平移和随机裁剪；
以设定角度为增量对所述高分辨率参考图像进行多次旋转变换得到多张不同角度的图像；
对经过旋转变换的高分辨率参考图像加入预设平移范围的像素、预设旋转范围的随机平移和旋转变化模拟系统标定误差得到高分辨率图像；
采用各向异性盒式滤波器对所述高分辨率图像进行多倍下采样，并添加噪声得到低分辨率子图像；
基于所述低分辨率子图像和所述高分辨率图像形成高-低分辨率图像对；
将所述高-低分辨率图像对中与所述高分辨率图像角度相同的低分辨率子图像作为参考图像，将除参考图像之外的低分辨率子图像作为辅助图像，形成训练数据集。
可选地，以15°为增量对所述高分辨率参考图像进行5次旋转变换得到6张不同角度的图像。
可选地，对经过旋转变换的高分辨率参考图像加入平移范围为[-24像素，24像素]、旋转范围为[-3°，3°]的随机平移和旋转变化模拟系统标定误差得到高分辨率图像。
可选地，采用各向异性盒式滤波器对所述高分辨率图像进行4倍下采样，并添加噪声得到低分辨率子图像。
可选地，在基于所述训练数据集，采用适应性矩估计法对所述初始网络模型进行端到端训练得到训练好的网络模型之后，还包括：
修改训练好的网络模型输入的灰度图像块的维数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的超分辨率成像方法，引入成像物理过程的深度神经网络模型，能够有效解码低分辨率图像中的信息，能够输出更具真实性的高分辨率图像，进而能够在提高生成高分辨率图像的质量的同时，提高成像真实性。
此外，对应与上述提供的超分辨率成像方法，本发明还提供了一种超分辨率成像装置，该装置包括：
图像采集模块，用于获取待成像目标的旋转图像；
高精度旋转模块，用于转动所述图像采集模块；
图像处理模块，分别与所述图像采集模块和所述高精度旋转模块连接，植入有软件程序，用于生成图像采集模块的控制指令和所述高精度旋转模块的控制指令，还用于基于所述软件程序和所述旋转图像得到待成像目标的高分辨率图像；所述软件程序用于实现上述提供的超分辨率成像方法。
可选地，所述高精度旋转模块包括：转台和连接件；
所述转台与所述图像处理模块电连接；所述连接件用于固定所述图像采集模块；所述转台用于根据所述图像处理模块生成的控制指令进行旋转和开闭。
可选地，所述图像采集模块包括单个工业相机；
单个所述工业相机通过所述连接件均架设在所述转台上；所述连接件使得所述工业相机的光轴与所述转台的转轴平行，且使所述工业相机的光轴与所述转台的转轴间的距离满足预设距离要求。
因本发明提供的超分辨率成像装置实现的技术效果与上述提供的超分辨率成像方法实现的技术效果相同，故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的超分辨率成像方法的流程图；
图2为本发明实施例提供的网络模型的结构示意图；
图3为本发明实施例提供的训练数据集制作流程示意图；
图4为本发明实施例提供的超分辨率成像装置的结构示意图；
图5为本发明实施例提供的旋转相机摆放示意图；
图6为本发明实施例提供的超分辨率成像装置的超分辨率成像流程图；
图7为本发明实施例提供的ZRR数据集不同超分辨率方法效果对比图；其中，图7的(a)为图像真值法效果测试图；图7的(b)为EDSR效果测试图；图7的(c)为EBSR效果测试图；图7的(d)为本发明提供的方法效果测试图；
图8为本发明实施例提供的不同方法的典型输出结果图；其中，图8的(a)为图像真值法中幅值与像素关系图；图8的(b)为双线性插值法中幅值与像素关系图；图8的(c)为本发明提供的方法中幅值与像素关系图；图8的(d)为图像真值法的输出结果图；图8的(e)为双线性插值法的输出结果图；图8的(f)为本发明提供的方法的输出结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种超分辨率成像方法及装置，能够获得空间高频信息，进而获得更好的超分辨率效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本实施例提供的超分辨率成像方法，包括：
步骤100：构建训练数据集。
步骤101：获取初始网络模型。初始网络模型采用Charbonnier损失函数。如图2所示，初始网络模型包括：特征提取模块，特征配准模块、特征融合模块和图像重建模块。
步骤102：基于训练数据集，采用适应性矩估计法对初始网络模型进行端到端训练得到训练好的网络模型。
步骤103：采用多旋转相机获取待成像目标的旋转图像，并将旋转图像输入到训练好的网络模型得到待成像目标的高分辨率图像。
实施例二
该实施例中，以采用公开训练数据集ZRR(Zurich Raw-to-RGB dataset,苏黎世Raw转RGB数据集)进行训练数据集的构建为例，对上述实施例一中公开的超分辨率成像方法的具体实现过程进行说明，具体包括：
步骤1、构建训练数据集
(1)如图3所示，在包含46839张高质量图像的ZRR(Zurich Raw-to-RGB dataset，苏黎世Raw转RGB数据集)数据集中，首先将数据集图像转化为8位灰度图像，并使用逆向相机成像模型获得图像原始值，以得到灰度图像。其中，ZRR是Andrey Ignatov等人在CVPR2020提出的评估图像超分辨率算法性能的基准集，目前包含有四万余张在不同地点、光照及天气条件下拍摄的真实场景高质量图像，在图像超分辨率领域被广泛使用。
(2)通过对原始图像执行随机旋转、平移和多次随机裁剪生成高分辨率参考图像，高分辨率参考图像的平移和旋转取值随机，裁剪后图像为256*256像素，裁剪位置也随机。
(3)对每张高分辨率参考图像执行以15°为增量的五次旋转变换，得到六张不同角度图像，并对经过旋转变换的五张图高分辨率参考图像加入平移范围为[-24,24](单位为像素)，旋转范围为[-3°,3°]的随机平移、旋转变换模拟系统标定误差。
(4)使用各向异性盒式滤波器对图像做四倍下采样，并分别添加噪声，得到六张低分辨率子图像，与高分辨率图像组成高—低分辨率图像对。其中，将与高分辨率图像角度相同的低分辨率图像作为参考图像，其余图像作为辅助图像。
(5)为达到数据扩充效果，对每张高分辨率图像随机执行水平、竖直翻转，并重复步骤(3)至(4)生成高—低分辨率图像对数据集，每组图像对被执行相应操作的概率为0.5。
步骤2、网络模型参数优化
网络模型的损失函数采用Charbonnier损失函数，Charbonnier损失函数如下式所示：
其中，S表示网络训练中每次输入的图像块共包含的图像数，
表示图像块中包含的第i张低分辨率图像，E()表示输入网络输出高分辨率图像的过程，/>
表示对应的第i张高分辨率图像真值，∈为偏置常量。
网络模型的更新采用适应性矩估计法，在使用ZRR数据集生成的，包含多组高低分辨率图像对的数据集(即训练数据集)上使用端到端的训练模式，设置∈为1e-6，每次训练使用图像块为32组图像，设置学习率为0.0002，每100周期令学习率减半，共训练500个周期，至此便完成了网络模型的训练阶段。
步骤3：超分辨率成像
(1)加载训练好的网络模型的参数
加载步骤2中训练好的网络模型的参数，主要包括预标定成像模型。将旋转相机成像装置采集的图像送入到训练好的网络模型，并保持训练好的网络模型参数不变。
(2)图像超分辨率重建
根据实际应用要求，选择其中一部分拍摄的图像作为参考图像，其余图像作为辅助图像。输入旋转图像得到对应高分辨率图像。
修改训练好的网络模型所输入B*N*C*W*H的灰度图像块维数，适当减小图像块第一维并增加最后两维，使训练好的网络模型可处理大于训练所用分辨率的图像。基于此，当网络输入总数据量大于B*N*C*W*H时，由于训练好的网络模型为全卷积神经网络，可修改训练好的输入维数并更换更高显存的显卡，无需重新训练即可使训练好的网络模型能够处理更高分辨率的输入图像。
实施例三
对应与上述提供的超分辨率成像方法，该实施例提供了一种超分辨率成像装置，如图4所示，该装置包括：
图像采集模块，用于获取待成像目标的旋转图像。
高精度旋转模块，用于转动图像采集模块。
图像处理模块，分别与图像采集模块和高精度旋转模块连接，植入有软件程序，用于生成图像采集模块的控制指令和高精度旋转模块的控制指令，还用于基于软件程序和旋转图像得到待成像目标的高分辨率图像。软件程序用于实现上述实施例一或实施例二提供的超分辨率成像方法。
具体的，图像采集模块的主要硬件为工业相机和采集卡，主要作用是实时采集视场内的图像并保存历史图像，将采集到的图像转换传输送到图像处理模块。图像采集模块包括多个工业相机。
多个工业相机通过连接件均架设在转台上。连接件使得工业相机的光轴与转台的转轴平行，且使工业相机的光轴与转台的转轴间的距离满足预设距离要求。
高精度旋转模块可将工业相机旋转至所需角度并读出实际转角。高精度旋转模块包括：转台和连接件。
转台与图像处理模块电连接。连接件用于固定图像采集模块。转台用于根据图像处理模块生成的控制指令进行旋转和开闭。
图像处理模块可以利用存储的公开数据集和保存的历史图像对超分辨率重建网络参数进行训练和微调，并重建高分辨率图像。
实施例四
该实施例以采用公开训练数据集ZRR(Zurich Raw-to-RGB dataset,苏黎世Raw转RGB数据集)进行训练数据集的构建为例，对上述实施例三中公开的超分辨率成像装置的具体实现过程进行说明，具体包括：
步骤1、图像采集
1)方案一、旋转相机图像采集
将工业相机架设在旋转角度可控的高精度转台上，使用连接件使相机光轴与转台转轴平行，并使得转轴与光轴距离接近，确保旋转相机时具有较高的视野重合度。将拍摄目标放置于相机前方，令相机每次旋转15°(角度可变，多次相加等于90度即可)，并在每次旋转后采集图像，共拍摄六张图像(不限六张、可以更多或更少)。相机正前方视角下相机每次采集图像时的位置与旋转角度如图5所示。
2)方案二、多相机同时采集图像
将多台相机同时固定到一个机械结构上，各个相机的位置和旋转角度如图5所示，在不发生机械干涉的前提下，各个相机要尽可能接近，确保相机具有较高的视野重合度。
步骤2：网络设计与实现
如图2所示，网络模型设计包括特征提取、特征配准、特征融合与图像重建四大模块。
其中，特征提取模块是基于梯度引导的多层特征提取模块，其包含图像分支与梯度分支，使用了Sobel算子提取输入图像中的梯度信息，引入注意力机制选择性增强图像特征输入到下级模块，模块输入B*N*C*W*H的灰度图像块，输出高维特征块。
特征配准模块是物理过程启发的特征配准模块，其使用预标定的成像模型联合光流法实现特征配准，得到与特征块同维数的配准特征块。
特征融合模块与图像重建模块主要是通过跨图像融合与长距离级联网络学习高频残差信息，重建高分辨率图像，最终输出B*C*4W*4H的灰度图像块，实现多倍超分辨率。
在该实施例中，网络模型采用python语言，在PyTorch框架上实现。
步骤3：制作训练数据集
(1)如图3所示，在包含46839张高质量图像的ZRR(Zurich Raw-to-RGB dataset，苏黎世Raw转RGB数据集)数据集中，首先将数据集图像转化为8位灰度图像，并使用逆向相机成像模型获得图像原始值，以得到灰度图像。
(2)通过对原始图像执行随机旋转、平移和多次随机裁剪生成高分辨率参考图像，高分辨率参考图像的平移和旋转取值随机，裁剪后图像为256*256像素，裁剪位置也随机。
(3)对每张高分辨率参考图像执行以15°为增量的五次旋转变换，得到六张不同角度图像，并对经过旋转变换的五张图高分辨率参考图像加入平移范围为[-24,24](单位为像素)，旋转范围为[-3°,3°]的随机平移、旋转变换模拟系统标定误差。
(4)使用各向异性盒式滤波器对图像做四倍下采样，并分别添加噪声，得到六张低分辨率子图像，与高分辨率图像组成高—低分辨率图像对。其中，将与高分辨率图像角度相同的低分辨率图像作为参考图像，其余图像作为辅助图像。
(5)为达到数据扩充效果，对每张高分辨率图像随机执行水平、竖直翻转，并重复步骤(3)至(4)生成高—低分辨率图像对数据集，每组图像对被执行相应操作的概率为0.5。
步骤4、网络模型参数优化
网络模型的损失函数采用Charbonnier损失函数，Charbonnier损失函数如下式所示：
其中，S表示网络训练中每次输入的图像块共包含的图像数，
表示图像块中包含的第i张低分辨率图像，E()表示输入网络输出高分辨率图像的过程，/>
表示对应的第i张高分辨率图像真值，∈为偏置常量。
网络模型的更新采用适应性矩估计法，在使用ZRR数据集生成的，包含多组高低分辨率图像对的数据集(即训练数据集)上使用端到端的训练模式，设置∈为1e-6，每次训练使用图像块为32组图像，设置学习率为0.0002，每100周期令学习率减半，共训练500个周期，至此便完成了网络模型的训练阶段。
步骤5：超分辨率成像
如图4所示，这一流程包括：
(1)加载训练好的网络模型的参数
加载步骤4中训练好的网络模型的参数，主要包括预标定成像模型。将旋转相机采集的图像送入到训练好的网络模型，并保持训练好的网络模型参数不变。
(2)图像超分辨率重建
根据实际应用要求，选择其中一台工业相机拍摄的图像作为参考图像，其余图像作为辅助图像。输入旋转图像得到对应高分辨率图像。
修改训练好的网络模型所输入B*N*C*W*H的灰度图像块维数，适当减小图像块第一维并增加最后两维，使训练好的网络模型可处理大于训练所用分辨率的图像。基于此，当网络输入总数据量大于B*N*C*W*H时，由于训练好的网络模型为全卷积神经网络，可修改训练好的输入维数并更换更高显存的显卡，无需重新训练即可使训练好的网络模型能够处理更高分辨率的输入图像。
基于上述描述，超分辨率成像装置的超分辨率成像流程如图6所示。
下面进一步通过仿真对比的方式，对上述实施例一至实施例四中提供方案的优点进行说明。
在评价超分辨率算法性能时，对ZRR数据集中图像做成像模型逆变换生成低分辨率图像数据集作为算法输入，原始图像作为真值评价超分辨率算法性能。
超分辨率算法输入低分辨率图像，生成高分辨率图像，使用高分辨率图像与真值图像计算的峰值信噪比(Peak signal-to-noise ratio,PSNR)与结构相似性(StructuralSimilarity,SSIM)评估算法性能。PSNR是衡量生成图像与真值间全局相似性的指标，PSNR越高表明生成图像与真值差异越小。SSIM是衡量生成图像与真值间结构相似度的指标，相比PSNR更符合人眼视觉感受，SSIM越接近1，表明生成图像与真值差异越小。本发明上述提供的方案在ZRR数据集的性能测试结果如表1所示。
表1 ZRR数据集不同超分辨率方法指标对比表
由于其他算法不具备训练过程，或在训练过程中没有针对性应用旋转相机拍摄图像，因此在比较时仅比较现有方法与本方法在测试数据集上的性能。通过对比当前主流的双三次插值和多图超分辨率算法EDSR、DEEP-rep和EBSR，可以看到本方法(本发明提供的方法)的PSNR为43.94，高于其他算法，本方法的生成图像效果如图7所示。
本发明提供的方法使用旋转相机成像装置拍摄真实图像，并使用物理过程启发的深度神经网络生成高分辨率图像的性能测试结果如表2所示。
表2高分辨率图像的性能测试结果表
实验使用旋转相机成像装置共拍摄480组高—低分辨率对应旋转图像，并分别使用相同场景图像对网络进行微调。可以看到本方法生成高分辨率图像性能优于双线性插值方法，不同方法的典型输出结果如图8所示。
基于上述描述，本方法高性能的来源主要有以下两个方面：1)使用旋转相机成像装置获取图像，利用CCD像元的各向异性获取指定方向上的高频信息，提高了输入图像所包含的信息量。2)使用具有明确物理成像过程的图像处理模块构造物理过程启发的深度神经网络，能够有效解码由相机旋转带来的额外信息，提高生成高分辨率图像质量，提高图像真实性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种超分辨率成像方法，其特征在于，包括：
构建训练数据集；
获取初始网络模型；所述初始网络模型采用Charbonnier损失函数；所述初始网络模型包括：特征提取模块，特征配准模块、特征融合模块和图像重建模块；
基于所述训练数据集，采用适应性矩估计法对所述初始网络模型进行端到端训练得到训练好的网络模型；
采用多旋转相机获取待成像目标的旋转图像，并将所述旋转图像输入到所述训练好的网络模型得到待成像目标的高分辨率图像。
2.根据权利要求1所述的超分辨率成像方法，其特征在于，所述构建训练数据集，具体包括：
获取训练数据集ZRR，并将所述训练数据集ZRR中的数据集图像转化为灰度图像；
采用逆向相机成像模型获取所述灰度图像的图像原始值，以得到原始图像；
对所述原始图像执行随机操作得到高分辨率参考图像；所述随机操作包括随机旋转、随机平移和随机裁剪；
以设定角度为增量对所述高分辨率参考图像进行多次旋转变换得到多张不同角度的图像；
对经过旋转变换的高分辨率参考图像加入预设平移范围的像素、预设旋转范围的随机平移和旋转变化模拟系统标定误差得到高分辨率图像；
采用各向异性盒式滤波器对所述高分辨率图像进行多倍下采样，并添加噪声得到低分辨率子图像；
基于所述低分辨率子图像和所述高分辨率图像形成高-低分辨率图像对；
将所述高-低分辨率图像对中与所述高分辨率图像角度相同的低分辨率子图像作为参考图像，将除参考图像之外的低分辨率子图像作为辅助图像，形成训练数据集。
3.根据权利要求2所述的超分辨率成像方法，其特征在于，以15°为增量对所述高分辨率参考图像进行5次旋转变换得到6张不同角度的图像。
4.根据权利要求2所述的超分辨率成像方法，其特征在于，对经过旋转变换的高分辨率参考图像加入平移范围为[-24像素，24像素]、旋转范围为[-3°，3°]的随机平移和旋转变化模拟系统标定误差得到高分辨率图像。
5.根据权利要求2所述的超分辨率成像方法，其特征在于，采用各向异性盒式滤波器对所述高分辨率图像进行4倍下采样，并添加噪声得到低分辨率子图像。
6.根据权利要求1所述的超分辨率成像方法，其特征在于，在基于所述训练数据集，采用适应性矩估计法对所述初始网络模型进行端到端训练得到训练好的网络模型之后，还包括：
修改训练好的网络模型输入的灰度图像块的维数。
7.一种超分辨率成像装置，其特征在于，包括：
图像采集模块，用于获取待成像目标的旋转图像；
高精度旋转模块，用于转动所述图像采集模块；
图像处理模块，分别与所述图像采集模块和所述高精度旋转模块连接，植入有软件程序，用于生成图像采集模块的控制指令和所述高精度旋转模块的控制指令，还用于基于所述软件程序和所述旋转图像得到待成像目标的高分辨率图像；所述软件程序用于实现如权利要求1-6任意一项所述的超分辨率成像方法。
8.根据权利要求7所述的超分辨率成像装置，其特征在于，所述高精度旋转模块包括：转台和连接件；
所述转台与所述图像处理模块电连接；所述连接件用于固定所述图像采集模块；所述转台用于根据所述图像处理模块生成的控制指令进行旋转和开闭。
9.根据权利要求8所述的超分辨率成像装置，其特征在于，所述图像采集模块包括单个工业相机；
单个所述工业相机通过所述连接件均架设在所述转台上；所述连接件使得所述工业相机的光轴与所述转台的转轴平行，且使所述工业相机的光轴与所述转台的转轴间的距离满足预设距离要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310280663.2A CN116309066A (zh) | 2023-03-22 | 2023-03-22 | 一种超分辨率成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310280663.2A CN116309066A (zh) | 2023-03-22 | 2023-03-22 | 一种超分辨率成像方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309066A true CN116309066A (zh) | 2023-06-23 |
Family
ID=86821989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310280663.2A Pending CN116309066A (zh) | 2023-03-22 | 2023-03-22 | 一种超分辨率成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309066A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116520915A (zh) * | 2023-06-28 | 2023-08-01 | 泰山学院 | 基于热红外图像的网络中心机房温度预警控制系统 |
-
2023
- 2023-03-22 CN CN202310280663.2A patent/CN116309066A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116520915A (zh) * | 2023-06-28 | 2023-08-01 | 泰山学院 | 基于热红外图像的网络中心机房温度预警控制系统 |
| CN116520915B (zh) * | 2023-06-28 | 2023-09-05 | 泰山学院 | 基于热红外图像的网络中心机房温度预警控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Multi-scale boosted dehazing network with dense feature fusion | |
| Chen et al. | Real-world single image super-resolution: A brief review | |
| Chen et al. | Camera lens super-resolution | |
| Dudhane et al. | Burst image restoration and enhancement | |
| CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN116681584A (zh) | 一种多级扩散图像超分辨算法 | |
| CN111369466A (zh) | 一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 | |
| CN116309066A (zh) | 一种超分辨率成像方法及装置 | |
| Molini et al. | Deepsum++: Non-local deep neural network for super-resolution of unregistered multitemporal images | |
| Yang et al. | A survey of super-resolution based on deep learning | |
| CN115937794A (zh) | 小目标对象检测方法、装置、电子设备及存储介质 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| Feng et al. | Deep video super-resolution using hybrid imaging system | |
| Chen et al. | Guided dual networks for single image super-resolution | |
| CN112598604A (zh) | 一种盲脸复原方法及系统 | |
| Shaw et al. | Hdr reconstruction from bracketed exposures and events | |
| CN116957931A (zh) | 一种基于神经辐射场的相机图像画质提升方法 | |
| CN116703762A (zh) | 一种用于拉曼光镊细菌检测中的单细菌图像去噪技术 | |
| CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及系统 | |
| Dong et al. | Selection-based subpixel-shifted images super-resolution | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |