CN115511706A - 一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法 - Google Patents

一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法 Download PDF

Info

Publication number
CN115511706A
CN115511706A CN202211015926.9A CN202211015926A CN115511706A CN 115511706 A CN115511706 A CN 115511706A CN 202211015926 A CN202211015926 A CN 202211015926A CN 115511706 A CN115511706 A CN 115511706A
Authority
CN
China
Prior art keywords
image
sub
multiplied
interpolation
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211015926.9A
Other languages
English (en)
Inventor
李玉道
刘规
程一飞
董国庆
薛梅
宋伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jining Antai Mine Equipment Manufacturing Co ltd
Original Assignee
Jining Antai Mine Equipment Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jining Antai Mine Equipment Manufacturing Co ltd filed Critical Jining Antai Mine Equipment Manufacturing Co ltd
Priority to CN202211015926.9A priority Critical patent/CN115511706A/zh
Publication of CN115511706A publication Critical patent/CN115511706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，用于智能泵内窥镜模糊图像，对图像进行超分辨重建操作满足后续分析需求，提出了一个用于智能泵内窥镜模糊图像下基于DCT变换图像分块处理的任意尺度加速高分辨重建网络，以满足对于智能泵内后续的分析使其能够更加清晰地、直观地、观察泵腔环境，快速准确地找到开裂、腐蚀、生锈等问题。提出了一个用于最终输出图像的任意尺度与横纵比的上采样模块，在以小计算代价的同时提升插值精度降低插值造成的模糊与伪影最大程度的保留原本图像的纹理信息，且能够适应任意尺度与不同长宽比的放大缩小图像操作，满足对内窥镜模糊图像的实时性处理及任意缩放因子和长宽比重建需求。

Description

一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重 建方法
技术领域
本发明涉及一种图像重建方法，具体而言是一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法。
背景技术
在新技术不断更迭的时代，智能泵在工业、农业、能源、石化、航空等领域广泛使用，在使用智能泵的过程中对于智能泵内部故障缺陷问题，如开裂、腐蚀、生锈等，利用人眼进行直接观察往往难以发现问题，从而也就造成了智能泵的使用寿命短等问题。
内窥镜作为一种集传统光学、人体工程学、精密机械、现代电子、软件于一体的的检测仪器，其主要功能是对管道内部人眼不能直视的部位进行探查检测。工业中内窥镜用途广泛例如进行无损检测，直接观察到物体内部的表面情况，如开裂、腐蚀、生锈等，并且在检测的过程中，实时的进行动态的录影或者拍照记录，以便于后续对故障诊断排查以及分析。
但是对于当前内窥镜检测过程中，拍照生成的模糊图像不利于后续对于故障的诊断以及排查，因此，提出对内窥镜采集的平面图像进行图像超分辨重建处理，使得后续的分析能够更加清晰地、直观地、观察泵腔环境，快速准确地找到开裂、腐蚀、生锈等问题。
伴随着技术的不断更迭，人们在生产生活中对于图像质量的要求愈来愈高，在信息化时代如何获取到高分辨率的图像越发引起人们的关注。通过硬件获取高分辨率图像的方法，通过硬件的升级换代，使用更精细的传感器及光学制造技术获取高分辨率图像，其成本代价高昂，且获取的图像很多时候并不满足需求。图像超分辨率重建技术旨在不改变硬件的成像条件下，通过算法将低分辨率的图像重建为高分辨率的高清图像，以满足其他领域诸如卫星与航空图像、医学图像等其他领域的各类需求，成本较低。随着计算机算力的提升，深度学习近年来快速发展，基于深度学习的图像超分辨率重建方法，一般通过卷积层获取图像的特征，后利用反卷积或亚像素卷积的方法得到最终高分辨率图像，对比于传统的基于插值的算法取得了更好的重建效果。但是目前大多数的图像超分辨率重建算法都是建立在卷积神经网络的基础上，其内存和计算代价会随着输入量的增加而二次增长，且对于当前超分辨网络大多都是基于整数比的重建，如：×2、×3等，很少有方法通过任意缩放因子和长宽比来扩展SR的范围的任意尺度的上采样问题。图像是由不同频率的信号根据傅里叶变换组成的。在重建工作中由于高频信息在下采样过程中损坏严重，且纹理信息丰富，因此对于图像的高频信息需要大的计算量才能达到较好的效果，而对于图像的低频信息纹理信息则相对不复杂图像更平滑，恢复难度相对较低，不需要大量的运算，研究表明随着频率的降低，复杂运算带来的收益越来越小。
当前运用在工业上的智能泵，由于内部开裂、腐蚀、生锈等难以被人眼直接观测，在使用内窥镜得到检测图像后，图像大多模糊难以在后续对于故障的诊断以及排查上。
第一，人眼难以直接观察工业用智能泵的泵腔内部缺陷；
第二，在得到内窥镜检测图像过程中，图像由于光照或则硬件成像等使得图像模糊化；
第三，在内窥镜检测图像超分辨重建过程中，图像重建网络耗费计算量大且对任意尺度的图像成像能力存在不足。例如发明申请 CN114913249A编码、解码方法和相关设备，对原始图像进行编码以得到第一码流，对保真度图进行编码以得到第二码流；解码端对第一码流进行解码可以得到原始图像的重建图像，解码端对第二码流进行解码后得到保真度图的重建图，而保真度图的重建图用于表示原始图像的至少部分区域与重建图像的至少部分区域之间的失真。
发明内容
为了解决上述技术问题，本发明提供一种解决方法，一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，具体方法包括以下几个步骤：
步骤一、图像分块分类计算过程，输入的H×W×C的LR图像，将图像分为25个子图像，并逐一编号为1至25，将25个子图像转为灰度图像，使用二维DCT余弦变换，将其所含纹理信息丰富程度从低到高排序，并分为一类子图像、二类子图像、三类子图像；其中H为图像的纵轴像素数，W为图像横轴像素数，C为输入图像的通道数，C为1 时即输入为黑白图像，C为3时输入为彩色RGB图像；
步骤二、一类子图像输送至SRmodule1图像超分辨网络重建处理，二类子图像输送至SRmodule2网络进行图像超分辨重建处理，三类图像输送至SRmodule3网络进行图像超分辨重建处理；
步骤三、将SRmodule1、SRmodule2、SRmodule3图像超分辨网络的25个输出图按输入图原本的位置拼接成一个2H×2W×C的重建图像；
步骤四、输入目标输出图像的横纵尺度因子rx,ry；经任意不均匀尺度上采样模块处理后得到最终输出图像大小为ry*H×rx*W×C。
所述排序的方法为计算25个DCT变换系数矩阵的下三角矩阵系数平均值，按从低到高排序，将输入子图像按二维DCT变换后的顺序，分类其中一类子图像为排序前的12个子图像，二类子图像为第13到20 的八个子图像，三类子图像为余下的21至25的五个图像。
所述重建方法的损失函数为：
L＝αL1+βLssim+(1-α-β)Ltexture；
其中L1为平方绝对误差损失函数，公式为
Figure BDA0003811388340000041
fi为输出的HR图像，yi为实际的HR图像，n为像素个数；
Lssim为感知损失函数，Ltexture为纹理损失函数；
α、β、1-α-β为依据经验设置为0.74、0.16、0.1。
所述任意不均匀尺度上采样模块处理步骤如下所示：
(1)将亚像素卷积层后生成2H×2W×C的HR图像的一个像素分为3×3 的亚像素；
(2)采用亚像素插值的方法对生成的2H×2W×C的重建图像进行放缩得到最终尺寸ry*H×rx*W×C为输出图像。
所述插值前对于边界区域进行O填充使其满足下面插值公式：
Figure BDA0003811388340000051
其中Xn为待插入像素点四周的像素值，第一项X1至X8为待插值像素点周围第一圈像素点像素值，X9至X24为第二圈像素点像素值，X25 至X48为第三圈像素点像素值，X49至X80为第四圈亚像素点像素值；
Figure BDA0003811388340000052
Wn为网络基于正态分布图学习的像素权值，在网络学习前设置其权值按顺序递减，即W1至W8权值最大，W9至W24稍次，依次类推。
所述插值的方法为：对于图像水平方向和竖直方向的插值为：当 rx大于2时，则需要插值的像素点个数W×(rx-2)，采用每间隔d个像素点进行一次插值，其中d为待插值的像素点间隔；
其中d的确定方法为首先计算d＝1时插值个数为W，若待插值个数大于W则首先按d＝1插值，若插值个数小于W则计算d＝2时插值个数为 0.5W，满足则进行d＝2的插值，否则计算d＝3,依次类推。第一次插值完毕后进行第二次插值，直至待插入像素点W×(rx-2)全部插值完毕。
若最终输出图像的长宽比rx或ry小于2时，所述的放缩方法为：首先重建生成的图像大小为2H×2W×C，最终输出图像大小为ry*H× rx*W×C，若rx小于2,则原本的图像横轴像素点个数为2H，目标图像横轴亚像素点个数为rx×H，待减少的亚像素点个数为(2-rx)×H，采用每间隔d个亚像素点进行一次亚像素删减,首先计算d＝1时，删除的像素点是否小于(2-rx)×H，若小于则进行第二次删除，即计算 d＝2时，删除的像素点是否小于剩余的待删除像素点的要求，直至待删除的像素点处理完毕。
有益效果
1.本发明对于智能泵内窥镜生成的模糊图像，采用超分辨重建的方法生成高清图像使其后续的分析能够更加清晰地、直观地、观察泵腔环境，快速准确地找到开裂、腐蚀、生锈等问题。
2.对于超分辨重建过程，DCT变换计算代价比分类神经网络低很多，从而大大降低了计算成本，节省计算开支，降低能耗，因此利用DCT变换对图像分类处理使得计算机处理过程中内存以及计算代价降低，在不降低图像生成质量的前提下降低处理时间，降低计算量，满足重建过程的实时性，降低处理时间。之后在生成最后输出图像时利用任意上采样模块生成任意不同横纵比的图像，满足后续分析的实际需求。
附图说明
图1是基于DCT变换的任意尺度的加速图像超分辨率重建方法框架总览；
图2是SRmodule1的网络结构；
图3是prelu函数图像；
图4是亚像素卷积层示例；
图5是SRmodule2的网络结构；
图6是DenseNet块；
图7是SRmodule3的网络结构；
图8是RAM块网络结构图。
具体实施方式
下面结合附图对本发明的技术方案做进一步解释。
一种基于DCT变换的用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建算法，其主要目的是提高智能泵内窥镜模糊图像的分辨率，消除模糊与伪影，加速图像超分辨处理过程，减少处理时间，且能适应任意尺度与横纵比的上采样需求。
如图1所示为本发明方法的整体网络示意图：本发明提供的这种用于智能泵内窥镜模糊图像的任意尺度加速图像超分辨率方法，包括如下步骤：
首先将输入的H×W×C的LR图像分块为25个子图像，并逐一编号为1至25，H为图像的纵轴像素数，W为图像横轴像素数，C为输入图像的通道数，C为1时即输入为黑白图像，C为3时输入为彩色RGB图像。
将上面个得到的25个子图像转为灰度图像，后使用二维DCT变换。将其所含高频信息的丰富程度即纹理信息丰富程度从低到高排序。
排序方法为计算25个DCT变换系数矩阵的下三角矩阵系数平均值，按从低到高排序。
将最开始的输入子图像按二维DCT变换后的顺序，分类其中一类图像为排序前的12个子图像，二类图像为第13到20的八个子图像，三类图像为余下的21至25的五个图像。
一类子图像输送至SRmodule1网络图像超分辨重建处理，二类子图像输送至SRmodule2网络进行图像超分辨重建处理，三类图像输送至SRmodule3网络进行图像超分辨重建处理。
其中整个网络模型的损失函数为：
L＝αL1+βLssim+(1-α-β)Ltexture。
其中L1为平方绝对误差损失函数，公式为
Figure BDA0003811388340000081
fi为输出的HR图像，yi为实际的HR图像，n为像素个数。
Lssim为感知损失函数，Ltexture为纹理损失函数。
α、β、1-α-β为依据经验设置为0.74、0.16、0.1。
图2、图5、图7分别展示了SRmodule1、SRmodule2、SRmodule3 的网络结构。
图3为SRmodule1中使用的prelu激活函数图像。
图4为三个网络模型末端使用的亚像素卷积层，得到×2的输出图像。
图6为SRmodule2中使用的DenseNet块结构图。
图8为SRmodule3中使用的RAM块结构图。
将三个图像超分辨网络的25个输出图按输入图原本的位置拼接成一个2H×2W×C的重建图像。
输入目标输出图像的横纵尺度因子rx,ry。
经任意不均匀尺度上采样模块后得到最终输出图像大小为ry*H ×rx*W×C。
任意不均匀尺度上采样模块实施步骤如下所示：
将亚像素卷积层后生成2H×2W×C的HR图像的一个像素分为3×3 的亚像素。
采用亚像素插值的方法对生成的2H×2W×C的重建图像进行放缩得到最终尺寸ry*H×rx*W×C为输出图像。
插值前对于边界区域进行O填充使其满足下面插值公式。
插值公式为
Figure BDA0003811388340000091
其中Xn为待插入像素点四周的像素值，第一项X1至X8为待插值像素点周围第一圈像素点像素值，X9至X24为第二圈像素点像素值，X25 至X48为第三圈像素点像素值，X49至X80为第四圈亚像素点像素值。
Figure BDA0003811388340000092
Wn为网络基于正态分布图学习的像素权值，在网络学习前设置其权值按顺序递减，即W1至W8权值最大，W9至W24稍次，依次类推。
对于图像水平方向的插值为：当rx大于2时，则需要插值的像素点个数W×(rx-2)，采用每间隔d个像素点进行一次插值，其中d为待插值的像素点间隔。
其中d的确定方法为首先计算d＝1时插值个数为W，若待插值个数大于W则首先按d＝1插值，若插值个数小于W则计算d＝2时插值个数为 0.5W，满足则进行d＝2的插值，否则计算d＝3,依次类推。第一次插值完毕后进行第二次插值，直至待插入像素点W×(rx-2)全部插值完毕。 (注：以上运算所取结果均四舍五入取整)
竖直方向的插值方法与水平方向一致。
若最终输出图像的长宽比rx或ry小于2时，其放缩算法如下：
首先重建生成的图像大小为2H×2W×C，最终输出图像大小为 ry*H×rx*W×C，其中rx或ry小于2，若rx小于2,则原本的图像横轴像素点个数为2H，目标图像横轴亚像素点个数为rx×H，待减少的亚像素点个数为(2-rx)×H，采用每间隔d个亚像素点进行一次亚像素删减,与上采样类似，首先计算d＝1时，删除的像素点是否小于(2-rx) ×H，若小于则进行第二次删除即计算d＝2时，删除的像素点是否小于剩余的待删除像素点的要求，直至待删除的像素点处理完毕。
竖直方向的像素删除方法与水平方向一致。
最终输出图像大小为ry*H×rx*W×C的HR图像。
如图2所示，图2是SRmodule1的网络结构，输入的LR图像0.2H× 0.2W×3的小patch图像，其中卷积层均采用same卷积，激活函数采用 prelu卷积核步长为1，第一层卷积核为3×3×32，即卷积核大小3×3 个数为32，第二层为3×3×64，第三层为5×5×64，第四层为5×5 ×64，第五层为3×3×4。r＝2经亚像素卷积层后，输出的HR图像为0.4H ×0.4W×3。箭头连接处为元素取和操作。
如图5所示，SRmodule2采用密集连接网络中提出的密集连接块，密集连接块网络中所有层两两连接，使得密集连接块网络中每一层都接受它前面所有层的特征作为输入。从特征的角度通过特征重用和旁路设置，大幅度的减少网络参数量，且缓解了梯度消失的问题。在密集连接块之间设置跳跃连接方式，减少计算量的同时，保证特征完整性。密集连接块的技术使用现有技术，参考T.Tong,G.Li,X.Liu, and Q.Gao,“Image super-resolution using dense skip connections,”in Proceedings of the IEEEInternational Conference on Computer Vision,2017,pp.4809–4817。
如图7所示，SRmodule3中采用RAM块加跳跃连接组成，RAM块作为SRRAM的一个基本的单元，由残差块，空间注意力与通道注意力组成，自适应的重新调取特征，用于学习信道内与间的关系，跳跃连接方使特征信息直接传播，使得网络更专注于高频信息。SRRAM块技术使用现有技术，参考Kim J H,Choi J H,Cheon M,et al.MAMNet: Multi-path adaptivemodulation network for image super-resolution[J].Neurocomputing,2020,402:38-49。
上述实施方式，是对本发明的技术方案的阐释，发明的保护范围以权利要求书的记载为准。

Claims (7)

1.一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，其特征在于，所述方法包括以下几个步骤：
步骤一、图像分块分类计算过程，输入的H×W×C的LR图像，将图像分为25个子图像，并逐一编号为1至25，将25个子图像转为灰度图像，使用二维DCT余弦变换，将其所含纹理信息丰富程度从低到高排序，并分为一类子图像、二类子图像、三类子图像；其中H为图像的纵轴像素数，W为图像横轴像素数，C为输入图像的通道数，C为1时即输入为黑白图像，C为3时输入为彩色RGB图像；
步骤二、一类子图像输送至SRmodule1图像超分辨网络重建处理，二类子图像输送至SRmodule2图像超分辨网络重建处理，三类子图像输送至SRmodule3图像超分辨网络重建处理；
步骤三、将SRmodule1、SRmodule2、SRmodule3图像超分辨网络的25个输出图按输入图原本的位置拼接成一个2H×2W×C的重建图像；
步骤四、输入目标输出图像的横纵尺度因子rx,ry；经任意不均匀尺度上采样模块处理后得到最终输出图像大小为ry*H×rx*W×C。
2.根据权利要求1所述用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，其特征在于，所述排序的方法为计算25个DCT变换系数矩阵的下三角矩阵系数平均值，按从低到高排序，将输入子图像按二维DCT变换后的顺序，分类其中一类子图像为排序前的12个子图像，二类子图像为第13到20的八个子图像，三类子图像为余下的21至25的五个图像。
3.根据权利要求1所述用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，其特征在于，所述重建方法的损失函数为：
L＝αL1+βLssim+(1-α-β)Ltexture；
其中L1为平方绝对误差损失函数，公式为
Figure FDA0003811388330000021
fi为输出的HR图像，yi为实际的HR图像，n为像素个数；
Lssim为感知损失函数，Ltexture为纹理损失函数；
α、β、1-α-β为依据经验设置为0.74、0.16、0.1。
4.根据权利要求1所述用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，其特征在于，所述任意不均匀尺度上采样模块处理步骤如下所示：
(1)将亚像素卷积层后生成2H×2W×C的HR图像的一个像素分为3×3的亚像素；
(2)采用亚像素插值的方法对生成的2H×2W×C的重建图像进行放缩得到最终尺寸ry*H×rx*W×C为输出图像。
5.根据权利要求4所述用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，其特征在于，所述插值前对于边界区域进行O填充使其满足下面插值公式：
Figure FDA0003811388330000022
其中Xn为待插入像素点四周的像素值，第一项X1至X8为待插值像素点周围第一圈像素点像素值，X9至X24为第二圈像素点像素值，X25至X48为第三圈像素点像素值，X49至X80为第四圈亚像素点像素值；
Figure FDA0003811388330000031
Wn为网络基于正态分布图学习的像素权值，在网络学习前设置其权值按顺序递减，即W1至W8权值最大，W9至W24稍次，依次类推。
6.根据权利要求5所述用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，其特征在于，所述插值的方法为：对于图像水平方向和竖直方向的插值为：当rx大于2时，则需要插值的像素点个数W×(rx-2)，采用每间隔d个像素点进行一次插值，其中d为待插值的像素点间隔；
其中d的确定方法为首先计算d＝1时插值个数为W，若待插值个数大于W则首先按d＝1插值，若插值个数小于W则计算d＝2时插值个数为0.5W，满足则进行d＝2的插值，否则计算d＝3,依次类推。第一次插值完毕后进行第二次插值，直至待插入像素点W×(rx-2)全部插值完毕。
7.根据权利要求5所述用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法，其特征在于，若最终输出图像的长宽比rx或ry小于2时，所述的放缩方法为：首先重建生成的图像大小为2H×2W×C，最终输出图像大小为ry*H×rx*W×C，若rx小于2,则原本的图像横轴像素点个数为2H，目标图像横轴亚像素点个数为rx×H，待减少的亚像素点个数为(2-rx)×H，采用每间隔d个亚像素点进行一次亚像素删减,首先计算d＝1时，删除的像素点是否小于(2-rx)×H，若小于则进行第二次删除，即计算d＝2时，删除的像素点是否小于剩余的待删除像素点的要求，直至待删除的像素点处理完毕。
CN202211015926.9A 2022-08-23 2022-08-23 一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法 Pending CN115511706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211015926.9A CN115511706A (zh) 2022-08-23 2022-08-23 一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211015926.9A CN115511706A (zh) 2022-08-23 2022-08-23 一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN115511706A true CN115511706A (zh) 2022-12-23

Family

ID=84502309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211015926.9A Pending CN115511706A (zh) 2022-08-23 2022-08-23 一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115511706A (zh)

Similar Documents

Publication Publication Date Title
JP4140690B2 (ja) ピクセル画像から超解像度画像を生成する方法
CN107067380B (zh) 基于低秩张量和层次化字典学习的高分辨率图像重构方法
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN112419150B (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN111598778A (zh) 一种绝缘子图像超分辨率重建方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN110866870B (zh) 一种医学图像任意倍数放大的超分辨处理方法
Yoshikawa et al. Super resolution image reconstruction using total variation regularization and learning-based method
CN108460723B (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN110458759A (zh) 一种基于edsr单图超分辨率重建方法
Hui et al. Two-stage convolutional network for image super-resolution
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
Qiu Interresolution look-up table for improved spatial magnification of image
CN107767342B (zh) 一种基于积分平差模型的小波变换超分辨率图像重建方法
Duanmu et al. The image super-resolution algorithm based on the dense space attention network
CN115511706A (zh) 一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法
CN115631223A (zh) 基于自适应学习和聚合的多视图立体重建方法
Wei et al. RSAN: Residual subtraction and attention network for single image super-resolution
CN113344786B (zh) 基于几何生成模型的视频转码方法、装置、介质和设备
CN106709873B (zh) 一种基于三次样条插值和迭代更新的超分辨率方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
CN114463181A (zh) 一种基于改进生成对抗网络的图像超分辨率方法
CN111179169B (zh) 一种双三次图像插值模型的参数优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination