CN108510438A - 一种图像、视频放大方法和系统 - Google Patents

一种图像、视频放大方法和系统 Download PDF

Info

Publication number
CN108510438A
CN108510438A CN201710103387.7A CN201710103387A CN108510438A CN 108510438 A CN108510438 A CN 108510438A CN 201710103387 A CN201710103387 A CN 201710103387A CN 108510438 A CN108510438 A CN 108510438A
Authority
CN
China
Prior art keywords
image
deconvolution
amplification
pixel
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710103387.7A
Other languages
English (en)
Inventor
高岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING UNION VOOLE TECHNOLOGY Co Ltd
Original Assignee
BEIJING UNION VOOLE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING UNION VOOLE TECHNOLOGY Co Ltd filed Critical BEIJING UNION VOOLE TECHNOLOGY Co Ltd
Priority to CN201710103387.7A priority Critical patent/CN108510438A/zh
Publication of CN108510438A publication Critical patent/CN108510438A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像、视频放大方法和系统，该方法包括：对采集的原始图像进行上采样，得到放大后图像；对放大后图像进行反卷积处理，得到反卷积图像；判断当前得到的反卷积图像的能量函数值是否达到最小值；若达到最小值，则将当前得到的反卷积图像作为目标图像。本发明能够保证放大效果且同时满足实时性。

Description

一种图像、视频放大方法和系统
技术领域
本发明实施例涉及视频图像处理技术领域，特别涉及一种图像、视频放大方法和系统。
背景技术
视频放大技术是针对低分辨率的视频无法满足观看需求，在保证视频清晰度的前提下实现视频放大的技术。
目前，视频放大技术仅是对图像的放大，图像放大技术主要包括基于插值放大和基于分辨率重建的放大。插值放大技术有很多种算法。但其都是通过对自身图像进行运算插值。而图像放大过程是一个图像数据再生过程，该过程利用已知像素点估计未知像素点，不同的插值技术得到的图像清晰度不同。因此需要在插值后的图像进行进一步的细节预测处理。图像超分辨率技术主要分为基于学习的超分辨率和重建的超分辨率。主要包括基于主成分分析的超分辨率算法、基于流形学习的超分辨率算法和基于超完备字典的图像稀疏表示的超分辨率复原算法等等。上述算法能够通过一系列的处理还原放大后图像的细节，算法效果相较于现有技术中的很多插值技术有有所提升，但是由于算法复杂，使得完成视频的整个放大过程需要大量的时间，因而无法满足对实时性要求较高的视频直播等领域。
在实现本发明的过程中，发明人发现至少存在如下问题：
目前，基于插值的算法主要是辅助性的应用较多，通过改变这些基础的插值技术，进行其他图像处理领域操作，如通过图像上采样和下采样技术构建多尺度金字塔模型，提取图像特征，实现图像检索和识别等。同时也有直接应用在视频放大领域的插值技术，但是由于算法单一，仅仅是改变插值算法没有后续细节的补充和完善，导致算法的实现效果无法满足需求。基于超分辨率的重建算法虽然能够实现细节的完善，但是却无法满足对实时性要求较高的网络电视直播等领域。
发明内容
本发明的目的是提供一种在保证放大后图像清晰度效果的同时满足实时性的图像、视频放大方法和系统。
根据本发明实施例的一个方面，提供一种图像放大方法，该放大方法包括：对采集的原始图像进行上采样，得到放大后图像；对放大后图像进行反卷积处理，得到反卷积图像；判断当前得到的反卷积图像的能量函数值是否达到最小值；若达到最小值，则将当前得到的反卷积图像作为目标图像。
进一步，若未达到最小值，对反卷积图像进行滤波处理，得到滤波图像；采用原始图像对滤波图像进行像素替换，得到像素替换图像；对像素替换图像进行反卷积处理，得到反卷积图像，并循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。
进一步，确定反卷积图像的能量函数值，具体包括：获取原始图像经卷积后得到的图像与反卷积图像之间的误差，以及获取放大后图像的梯度密度；基于获取的误差和梯度密度，得到能量函数值；获取放大后图像的梯度密度，具体包括：采用概率密度先验分布函数表示放大后图像的梯度分布，得到放大后图像的梯度分布函数；基于放大后图像的梯度分布函数，得到放大后图像的梯度密度；反卷积图像的能量函数值根据如下公式确定：E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；式中，E(x)是得到的反卷积图像的能量函数值；H'X是放大后图像在X方向上的像素的梯度值，φ(H'X)是放大后图像在X方向上的梯度密度；H'Y是放大后图像在Y方向上的像素的梯度值，φ(H'Y)是放大后图像在Y方向上的梯度密度；H1是指反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。
进一步，采用原始图像对滤波图像进行像素替换，具体包括：基于上采样时采用的上采样因子和原始图像上的每一个像素点的位置坐标，计算得到每一个像素点在滤波图像上对应的位置坐标；利用每一个像素点替换在滤波图像上对应的位置坐标处的像素点。
进一步，对采集的原始图像进行上采样，得到放大后图像，具体包括：利用双立方插值算法在采集的原始图像中进行插值，得到放大后图像；对反卷积图像进行滤波处理，得到滤波图像，具体包括：以原始图像的相邻帧图像为引导图像，采用引导滤波算法对反卷积图像进行滤波处理，得到滤波图像。
根据本发明实施例的另一个方面，提供一种视频放大方法，该视频放大方法包括：该视频包括的至少一帧图像采用上述任一种图像放大方法进行放大。
根据本发明实施例的又一个方面，提供一种图像放大系统，该图像放大系统包括：上采样模块，用于对采集的原始图像进行上采样，得到放大后图像；反卷积模块，用于对放大后图像进行反卷积处理，得到反卷积图像；判断模块，用于判断当前得到的反卷积图像的能量函数值是否达到最小值；目标视频图像确定模块，用于在当前得到的反卷积图像的能量函数值达到最小值时，将当前得到的反卷积图像作为目标图像。
进一步，图像放大系统还包括：滤波模块，用于对反卷积图像进行滤波处理，得到滤波图像；像素替换模块，用于采用原始图像对滤波图像进行像素替换，得到像素替换图像；反卷积模块，还用于对所述像素替换图像进行反卷积处理，得到反卷积图像，并且判断模块循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。
进一步，图像放大系统还包括能量函数确定模块；能量函数确定模块包括：误差获取子模块，用于获取原始图像经卷积后得到的图像与反卷积图像之间的误差；梯度密度获取子模块，用于获取放大后图像的梯度密度；能量函数确定子模块，用于基于获取的误差和梯度密度，得到能量函数值；梯度密度获取子模块包括：梯度分布函数确定单元，用于采用概率密度先验分布函数表示放大后图像的梯度分布，得到放大后图像的梯度分布函数；梯度密度确定单元，用于基于放大后图像的梯度分布函数，得到反卷积图像的梯度密度；反卷积图像的能量函数值根据如下公式确定：E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；式中，E(x)是得到的反卷积图像的能量函数值；H'X是放大后图像在X方向上的像素的梯度值，φ(H'X)是放大后图像在X方向上的梯度密度；H'Y是放大后图像在Y方向上的像素的梯度值，φ(H'Y)是放大后图像在Y方向上的梯度密度；H1是指反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。
进一步，像素替换模块包括：像素点位置坐标计算子模块，用于基于上采样时采用的上采样因子和原始图像上的每一个像素点的位置坐标，计算得到每一个像素点在滤波图像上对应的位置坐标；像素替换子模块，用于利用每一个像素点替换在滤波图像上对应的位置坐标处的像素点。
进一步，上采样模块包括：插值子模块，用于利用双立方插值算法在采集的原始图像中进行插值，得到放大后图像；滤波模块包括：滤波子模块，用于以原始图像的相邻帧图像为引导图像，采用引导滤波算法对反卷积图像进行滤波处理，得到滤波图像。
根据本发明实施例的又一个方面，提供一种视频放大系统，包括上述任一种图像放大系统，用于对采集的视频包括的至少一帧图像进行放大。
本发明实施例提供的图像、视频放大方法和系统，通过对原始视频的第一帧图像利用传统双立方插值技术快速上采样，从而完成第一步放大，然后利用反卷积进行细节增强，在增强细节的过程中利用非盲去卷积算法完成细节重建，以及利用引导滤波进行滤波处理滤除杂质像素，再利用原始图像的像素对滤波图像的像素进行替换，从而实现恢复图像细节，另外，在对放大后图像进行后续处理的过程当中由于没有太多算法迭代过程，因而能够减少处理时间，从而满足网络电视直播的实时性需求。
附图说明
图1是本发明实施例的一种图像放大方法的原理示意图；
图2是本发明实施例的一种图像放大方法的流程示意图；
图3是本发明实施例的另一种图像放大方法的流程示意图；
图4是本发明实施例的一种视频放大方法的流程示意图；
图5是本发明实施例中确定能量函数的步骤的流程示意图；
图6是本发明实施例中确定能量函数的步骤Sb的子步骤的流程示意图；
图7是本发明实施例中步骤S5的流程示意图；
图8是本发明实施例中步骤S5的原理示意图；
图9(a)是采用传统的插值算法得到的放大图像；
图9(b)是采用本发明的上采样方法得到的放大图像；
图9(c)是采用本发明实施例的方法得到的像素替换后的图像；
图10是上采样后得到的放大图像和经后续处理得到的像素替换图像的局部对比图；
图11是本发明实施例提供的一种视频放大方法的流程示意图；
图12是本发明实施例提供的一种图像放大系统的结构示意图；
图13是本发明实施例中另一种图像放大系统的结构示意图；
图14是本发明实施例中能量函数确定模块的结构示意图；
图15是本发明实施例中像素替换模块的结构示意图；
图16是本发明实施例中上采样模块的结构示意图；
图17是本发明实施例中滤波模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明实施例的图像的放大方法可以使用在任何对图像进行处理的情况下，尤其是在YUV网络视频转向4K电视直播应用上，不仅能够保证上采样的放大效果，同时还能够满足直播视频的实时性。
实施例一
图1显示了本发明实施例的一种图像放大方法的原理图。
图2显示了本发明实施例的一种图像放大方法的流程图。
如图1和图2所示，该放大方法包括：
S1，采集原始图像；
原始图像指待进行放大的图像，可以是从直播视频等视频中采集到的一帧图像。
S2，对原始图像进行上采样，得到放大后图像；
本发明实施例采用插值算法，对原始图像进行上采样，完成对原始图像的放大；经典地，可以采用双立方插值或双三次插值算法，这两种算法是在原始图像中插入预测像素点。这两种插值算法相较其他插值算法来说能够保留较多的图像细节，和原图像相比，插值后图像更加接近于原图像。
S3，对放大后图像进行反卷积处理，得到反卷积图像；
由于放大后的图像有一些像素是原始的，该原始像素的周围像素是来源于双立方插值算法的预测，因此会导致一个病态问题，即经过上采样得到的放大后的图像会存在反锯齿现象和模糊现象，在实现本发明的过程中，发明人发现通过反卷积算法来恢复图像细节，能够提升放大后图像的细节，可选的，可以是采用非盲去卷积算法对经插值算法放大后的图像进行反卷积处理，非盲去卷积算法是对放大后图像产生的线性滤波效应进行处理，能够提升放大后图像的细节。
S4，判断当前得到的反卷积图像的能量函数值是否达到最小值；
S5，若达到最小值，则将当前得到的反卷积图像作为目标图像输出。
可选的，步骤S3也可以在步骤S2之前执行，即在放大后先判断放大后图像的能量函数是否达到最小值，若是，则可以直接输出放大后图像；若不是，则执行步骤S3-步骤S5。
实施例二
如图3所示，本发明实施例二在实施例一的基础上，还可以包括如下步骤S6-S7。
S6，若未达到最小值，则对反卷积图像进行滤波处理，得到滤波图像；
当反卷积图像的能量函数值未达到最小值，则表示经过反卷积之后得到的反卷积图像还存在一定的杂质像素，因此通过滤波处理进一步滤除杂质像素。优选地，对反卷积图像进行滤波处理是采用引导滤波算法对反卷积图像进行滤波处理。采用引导滤波，不仅能够补充细节同时还能保证视频图像的边缘效果。
滤波处理能够滤除经过反卷积处理的图像中的杂质像素，而在实现本发明的过程中，发明人发现由于视频图像之间存在连续性，因而在相邻帧图像来说存在很大的相似性，可以互相补充细节，同时由于视频中每帧图像压缩质量不同，保留的细节是有差异的，信息量要好于使用采集的原始图像，因此采用原始图像的相邻帧图像作为引导图像，滤波效果比使用原始图像的滤波效果要好，图像清晰度有显著提高。
其中，在选取引导图像时，对于第一帧图像和最后一帧图像来说，引导图像分别是其第二帧图像和倒数第二帧图像，对于其他帧图像来说，可以采用其上一帧图像或下一帧图像作为引导图像。可选的，还可以是使用原始图像作为引导图像。
S7，采用原始图像对滤波图像进行像素替换，得到像素替换图像，对像素替换图像进行反卷积处理，得到反卷积图像，并循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。
可选的，本发明实施例二也可以去除步骤S6，即不进行滤波处理，直接进行像素替换处理，再返回继续执行实施例一当中步骤S2及之后的步骤，直到经反卷积处理后的图像的能量函数达到最小值，此时，认为经当前反卷积处理得到的反卷积图像的图像质量符合要求；或者是也可以去除步骤S7，即仅进行滤波处理，而不进行像素替换处理，再返回继续执行实施例一当中步骤S2及之后的步骤，直到经反卷积处理后的图像的能量函数达到最小值，此时，认为经当前反卷积处理得到的反卷积图像的图像质量符合要求；再或者，还可以将步骤S6和步骤S7调换顺序执行，即先做像素替换，再进行滤波处理，然后继续执行实施例一当中步骤S2及之后的步骤，直到经反卷积处理后的图像的能量函数达到最小值，此时，认为经当前反卷积处理得到的反卷积图像的图像质量符合要求。
在实现本发明的过程中，发明人发现自然图像的梯度都服从一个长尾分布，大部分图像的梯度有很小的幅值，其显著性结构是可显示的，因而通过估计上采样后图像的图像梯度密度，即采用概率密度先验分布函数表示放大后图像的梯度分布，得到放大后图像的梯度分布函数；基于放大后图像的梯度分布函数，得到放大后图像的能量函数。当反卷积图像的能量函数达到最小值时，表示图像质量较好，能够满足应用需求；
其中，确定反卷积图像的能量函数值，如图4所示，具体包括：
Sa，获取原始图像经卷积后得到的图像与反卷积图像之间的误差，以及获取放大后图像的梯度密度；
Sb，基于获取的误差和梯度密度，得到能量函数值；
其中，如图5所示，步骤Sb具体包括：
Sb1，采用概率密度先验分布函数表示放大后图像的梯度分布，得到放大后图像的梯度分布函数；
Sb2，基于放大后图像的梯度分布函数，得到放大后图像的梯度密度；
具体地，反卷积图像的能量函数值根据如下公式确定：
E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；
式中，E(x)是当前得到的反卷积图像的能量函数值；H'X是放大后图像在X方向上的像素的梯度值，φ(H'X)是放大后图像在X方向上的梯度密度；H'Y是放大后图像在Y方向上的像素的梯度值，φ(H'Y)是放大后图像在Y方向上的梯度密度；H1是指反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。
图5显示了本发明实施例中步骤S2的子步骤的流程示意图。
如图5所示，步骤S2对原始图像进行上采样的子步骤包括：
S21，计算在原始图像中进行插值的待插入像素点的待插入位置和待插入像素值；
S22，将待插入像素值赋值给待插入像素点，并在待插入位置处插入赋值后的待插入像素点，得到放大后图像。
在步骤S7中，具体地，是基于原始图像的像素点，对滤波图像上与原始图像上相应的像素点进行替换，如图6所示，步骤S7包括如下子步骤：
S71，基于上采样时采用的上采样因子和原始图像上的每一个像素点的位置坐标，计算得到每一个像素点在滤波图像上的相应位置坐标；
具体地，在计算时，是将上采样因子与原始图像上的每一个像素点的位置坐标相乘，得到每一个像素点在滤波图像上的相应位置坐标；
S72，利用每一个像素点替换在滤波图像上的相应位置坐标处的像素点。
下面通过举例对步骤S51-步骤S52进行详细说明：
如图7所示，对于低分辨率的原始图像L上的某个像素点p，像素点p的坐标位置设为(i，j)，假设上采样因子为3，那么在经过滤波后得到高分辨率图像上，在P点附近应预测3个像素，由此可以推断，原始图像L上的P点应该替换经过滤波后得到的高分辨率图像上(3i+1,3j+1)的位置。
图8(a)是采用传统的插值算法得到的放大图像；
图8(b)是采用本发明的上采样方法得到的放大图像；
图8(c)是采用本发明实施例的方法得到的像素替换后的图像；
图9是上采样后得到的放大图像和经后续处理得到的像素替换图像的局部对比图；
从图9(a)、9(b)、9(c)和图10可以看出，使用本发明的实施例的上采样方法得到的放大图像，图像清晰度要好于传统的插值算法，而由图10又可以看出，经过本发明实施例的方法对放大后图像进行反卷积、引导滤波和像素替换后得到的图像的清晰度要好于仅仅经过上采样得到的放大图像。实施例三
本发明还提供一种视频放大方法，如图11所示，包括：
S91，采集原始视频中的一帧图像；
S92，采用图像放大方法进行放大；
具体地，图像放大方法是指本发明实施例一和实施例二当中详述的步骤S1-S7进行放大处理。
S93，判断是否为最后一帧图像；
步骤S93的设置是为了保证将获取到的视频中的所有图像都处理完成。
S94，若是，则将经过此次像素替换后的图像作为目标视频图像输出，并将所有目标视频图像组合得到放大后视频；若不是，则返回继续获取视频图像中的下一帧图像并利用图像放大方法进行放大，直至将视频图像中的所有图像处理完得到目标视频。
其中，对于得到的多个目标图像的组合属于现有技术，在此不再赘述。原始视频指待进行放大的视频，可以是直播视频等视频。其中，一帧图像是从原始视频中获取，按照视频图像的帧顺序从第一帧图像开始依次获取每一帧图像，也可以是不按照视频图像的帧顺序进行采集，可以是随机采集，只要保证每一帧图像都被放大即可，而对于采集到的每一帧图像都采用本发明实施例一和实施例二当中所述的图像放大方法进行放大处理，从而完成视频的放大。实施例四
如图12所示，一种视频图像的放大系统，该放大系统包括：
上采样模块10，用于对采集的原始图像进行上采样，得到放大后图像；
反卷积模块11，用于对放大后图像进行反卷积处理，得到反卷积图像；
判断模块12，用于判断当前得到的反卷积图像的能量函数值是否达到最小值；
目标视频图像确定模块13，用于在当前得到的反卷积图像的能量函数值达到最小值时，将当前得到的反卷积图像作为目标图像。
实施例五
如图13所示，该图像放大系统还包括：
滤波模块14，用于对反卷积图像进行滤波处理，得到滤波图像；
像素替换模块15，用于采用原始图像对滤波图像进行像素替换，得到像素替换图像，并将像素替换图像输出至反卷积模块(11)和判断模块(12)循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。
如图14所示，图像放大系统还包括能量函数确定模块16；
能量函数确定模块16包括：
误差获取子模块161，用于获取原始图像经卷积后得到的图像与反卷积图像之间的误差；
梯度密度获取子模块162，用于获取放大后图像的梯度密度；
能量函数确定子模块163，用于基于获取的误差和梯度密度，得到能量函数值；
梯度密度获取子模块162包括：
梯度分布函数确定单元1621，用于采用概率密度先验分布函数表示放大后图像的梯度分布，得到放大后图像的梯度分布函数；
梯度密度确定单元1622，用于基于放大后图像的梯度分布函数，得到放大后图像的梯度密度。
反卷积图像的能量函数值根据如下公式确定：
E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；
式中，E(x)是当前得到的反卷积图像的能量函数值；H'X是放大后图像在X方向上的像素的梯度值，φ(H'X)是放大后图像在X方向上的梯度密度；H'Y是放大后图像在Y方向上的像素的梯度值，φ(H'Y)是放大后图像在Y方向上的梯度密度；H1是指反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。
如图15所示，像素替换模块13包括：
像素点位置坐标计算子模块131，用于基于上采样时采用的上采样因子和原始图像上的每一个像素点的位置坐标，计算得到每一个像素点在滤波图像上对应的位置坐标；
像素替换子模块132，用于利用每一个像素点替换在滤波图像上对应的位置坐标处的像素点。
如图16所示，上采样模块10包括：
视频图像采集子模块101，用于采集原始视频中的一帧图像；
插值子模块102，用于利用双立方插值算法在采集的原始图像中进行插值，得到放大后图像；
如图17所示，滤波模块12包括：
滤波子模块121，用于以原始图像的相邻帧图像为引导图像，采用引导滤波算法对反卷积图像进行滤波处理，得到滤波图像。
实施例六
本发明实施例还提供一种视频放大系统，包括一种图像放大系统，用于对采集的视频包括的至少一帧图像进行放大。
需要说明的是，本发明的图像、视频放大系统是与涉及计算机程序流程的图像、视频放大方法一一对应的系统，由于在前已经对图像、视频放大方法的步骤流程进行了详细描述，在此不再对图像、视频放大系统的实施过程进行赘述。
本发明实施例通过双立方插值算法实现图像放大，然后利用反卷积恢复线性滤波图像，利用引导滤波引入前后帧的关系进行滤波处理，最后利用获取到的原始图像实现像素补充替换。利用反卷积的思想结合相邻帧关系实现图像细节增强补充，并且引入先验概率密度函数，实现能量函数最小化，得到清晰的输出图像。使得得到的输出图像在细节上能够好于其他的插值算法，另外，在对放大后图像进行后续处理的过程当中由于没有太多算法迭代过程，在速度上好于现有的分辨率重建算法，因而能够减少处理时间，从而满足网络电视直播的实时性需求。从而满足网络视频直播的实时性需求。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (12)

1.一种图像放大方法，其特征在于，所述方法包括：
对采集的原始图像进行上采样，得到放大后图像；
对所述放大后图像进行反卷积处理，得到反卷积图像；
判断当前得到的反卷积图像的能量函数值是否达到最小值；
若达到最小值，则将所述当前得到的反卷积图像作为目标图像。
2.如权利要求1所述的图像放大方法，其特征在于，所述方法还包括：
若未达到最小值，对所述反卷积图像进行滤波处理，得到滤波图像；
采用原始图像对所述滤波图像进行像素替换，得到像素替换图像；对所述像素替换图像进行反卷积处理，得到反卷积图像，并循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。
3.如权利要求1所述的图像放大方法，其特征在于，确定所述反卷积图像的能量函数值，具体包括：
获取所述原始图像经卷积后得到的图像与所述反卷积图像之间的误差，以及获取所述放大后图像的梯度密度；
基于获取的所述误差和所述梯度密度，得到所述能量函数值；
所述获取放大后图像的梯度密度，具体包括：
采用概率密度先验分布函数表示所述放大后图像的梯度分布，得到所述放大后图像的梯度分布函数；
基于所述放大后图像的梯度分布函数，得到所述放大后图像的梯度密度；
所述反卷积图像的能量函数值根据如下公式确定：
E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；
式中，E(x)是得到的反卷积图像的能量函数值；H'X是所述放大后图像在X方向上的像素的梯度值，φ(H'X)是所述放大后图像在X方向上的梯度密度；H'Y是所述放大后图像在Y方向上的像素的梯度值，φ(H'Y)是所述放大后图像在Y方向上的梯度密度；H1是指所述反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和所述放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和所述放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。
4.如权利要求2所述的图像放大方法，其特征在于，所述采用原始图像对所述滤波图像进行像素替换，具体包括：
基于上采样时采用的上采样因子和所述原始图像上的每一个像素点的位置坐标，计算得到所述每一个像素点在所述滤波图像上对应的位置坐标；
利用所述每一个像素点替换在所述滤波图像上对应的位置坐标处的像素点。
5.如权利要求2所述的图像放大方法，其特征在于，对采集的原始图像进行上采样，得到放大后图像，具体包括：
利用双立方插值算法在采集的原始图像中进行插值，得到放大后图像；
所述对反卷积图像进行滤波处理，得到滤波图像，具体包括：
以所述原始图像的相邻帧图像为引导图像，采用引导滤波算法对所述反卷积图像进行滤波处理，得到滤波图像。
6.一种视频放大方法，其特征在于，所述视频包括的至少一帧图像采用如权利要求1-5中任一项所述的图像放大方法进行放大。
7.一种图像放大系统，其特征在于，所述图像放大系统包括：
上采样模块(10)，用于对采集的原始图像进行上采样，得到放大后图像；
反卷积模块(11)，用于对所述放大后图像进行反卷积处理，得到反卷积图像；
判断模块(12)，用于判断当前得到的反卷积图像的能量函数值是否达到最小值；
目标视频图像确定模块(13)，用于在当前得到的反卷积图像的能量函数值达到最小值时，将所述当前得到的反卷积图像作为目标图像。
8.如权利要求7所述的图像放大系统，其特征在于，所述图像放大系统还包括：
滤波模块(14)，用于对所述反卷积图像进行滤波处理，得到滤波图像；
像素替换模块(15)，用于采用原始图像对所述滤波图像进行像素替换，得到像素替换图像，
反卷积模块(11)，还用于对所述像素替换图像进行反卷积处理，得到反卷积图像，并且判断模块(12)循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。
9.如权利要求7所述的图像放大系统，其特征在于，所述图像放大系统还包括能量函数确定模块(16)；
所述能量函数确定模块(16)包括：
误差获取子模块(161)，用于获取所述原始图像经卷积后得到的图像与所述反卷积图像之间的误差；
梯度密度获取子模块(162)，用于获取所述放大后图像的梯度密度；
能量函数确定子模块(163)，用于基于获取的所述误差和所述梯度密度，得到所述能量函数值；
所述梯度密度获取子模块(162)包括：
梯度分布函数确定单元(1621)，用于采用概率密度先验分布函数表示所述放大后图像的梯度分布，得到所述放大后图像的梯度分布函数；
梯度密度确定单元(1622)，用于基于所述放大后图像的梯度分布函数，得到所述反卷积图像的梯度密度；
所述反卷积图像的能量函数值根据如下公式确定：
E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；
式中，E(x)是得到的反卷积图像的能量函数值；H'X是所述放大后图像在X方向上的像素的梯度值，φ(H'X)是所述放大后图像在X方向上的梯度密度；H'Y是所述放大后图像在Y方向上的像素的梯度值，φ(H'Y)是所述放大后图像在Y方向上的梯度密度；H1是指所述反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和所述放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和所述放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。
10.如权利要求8所述的图像放大系统，其特征在于，所述像素替换模块(13)包括：
像素点位置坐标计算子模块(131)，用于基于上采样时采用的上采样因子和所述原始图像上的每一个像素点的位置坐标，计算得到所述每一个像素点在所述滤波图像上对应的位置坐标；
像素替换子模块(132)，用于利用所述每一个像素点替换在所述滤波图像上对应的位置坐标处的像素点。
11.如权利要求8所述的图像放大系统，其特征在于，所述上采样模块(10)包括：
插值子模块(101)，用于利用双立方插值算法在采集的原始图像中进行插值，得到放大后图像；
所述滤波模块(12)包括：
滤波子模块(121)，用于以所述原始图像的相邻帧图像为引导图像，采用引导滤波算法对所述反卷积图像进行滤波处理，得到滤波图像。
12.一种视频放大系统，其特征在于，包括如权利要求7-11中任一项所述的图像放大系统，用于对采集的视频包括的至少一帧图像进行放大。
CN201710103387.7A 2017-02-24 2017-02-24 一种图像、视频放大方法和系统 Pending CN108510438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710103387.7A CN108510438A (zh) 2017-02-24 2017-02-24 一种图像、视频放大方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710103387.7A CN108510438A (zh) 2017-02-24 2017-02-24 一种图像、视频放大方法和系统

Publications (1)

Publication Number Publication Date
CN108510438A true CN108510438A (zh) 2018-09-07

Family

ID=63372946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710103387.7A Pending CN108510438A (zh) 2017-02-24 2017-02-24 一种图像、视频放大方法和系统

Country Status (1)

Country Link
CN (1) CN108510438A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027566A (zh) * 2018-10-10 2020-04-17 中国移动通信有限公司研究院 一种图像处理方法、系统、装置、设备及存储介质
CN113129215A (zh) * 2021-04-29 2021-07-16 中国科学院合肥物质科学研究院 一种污染气体ftir被动遥测扫描成像高分辨重建方法
CN115049664A (zh) * 2022-08-16 2022-09-13 金乡县强力机械有限公司 基于视觉的船舶发动机配件缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136727A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于梯度一致性与各向异性正则化的超分辨图像重建方法
US20130223754A1 (en) * 2008-09-24 2013-08-29 Microsoft Corporation Removing Blur from an Image
CN105469363A (zh) * 2014-09-05 2016-04-06 华为技术有限公司 基于模糊图像生成清晰图像的方法和装置
CN105491269A (zh) * 2015-11-24 2016-04-13 长春乙天科技有限公司 基于反卷积图像复原的高保真视频放大方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130223754A1 (en) * 2008-09-24 2013-08-29 Microsoft Corporation Removing Blur from an Image
CN103136727A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于梯度一致性与各向异性正则化的超分辨图像重建方法
CN105469363A (zh) * 2014-09-05 2016-04-06 华为技术有限公司 基于模糊图像生成清晰图像的方法和装置
CN105491269A (zh) * 2015-11-24 2016-04-13 长春乙天科技有限公司 基于反卷积图像复原的高保真视频放大方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
滕飞，桑文玲: "采用超拉普拉斯先验的图像快速去卷积", 《信息通信》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027566A (zh) * 2018-10-10 2020-04-17 中国移动通信有限公司研究院 一种图像处理方法、系统、装置、设备及存储介质
CN113129215A (zh) * 2021-04-29 2021-07-16 中国科学院合肥物质科学研究院 一种污染气体ftir被动遥测扫描成像高分辨重建方法
CN115049664A (zh) * 2022-08-16 2022-09-13 金乡县强力机械有限公司 基于视觉的船舶发动机配件缺陷检测方法
CN115049664B (zh) * 2022-08-16 2022-10-28 金乡县强力机械有限公司 基于视觉的船舶发动机配件缺陷检测方法

Similar Documents

Publication Publication Date Title
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Anwar et al. Densely residual laplacian super-resolution
Liu et al. Wavelet-based dual-branch network for image demoiréing
Jo et al. Deep video super-resolution network using dynamic upsampling filters without explicit motion compensation
Wu et al. Light field reconstruction using deep convolutional network on EPI
Liu et al. A generalized framework for edge-preserving and structure-preserving image smoothing
Wu et al. Multi-grained attention networks for single image super-resolution
Song et al. Deeply supervised depth map super-resolution as novel view synthesis
CN108765343B (zh) 图像处理的方法、装置、终端及计算机可读存储介质
JP5645842B2 (ja) スケールスペースを使用した画像処理装置及び方法
Wei et al. Contrast-guided image interpolation
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
Yang et al. Single image super-resolution using self-optimizing mask via fractional-order gradient interpolation and reconstruction
CN108038826B (zh) 透视变形的搁架图像的校正方法和装置
Li et al. Dual-sparsity regularized sparse representation for single image super-resolution
US8948502B2 (en) Image processing method, and image processor
CN108510438A (zh) 一种图像、视频放大方法和系统
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
CN111652800B (zh) 一种单张图像超分辨的方法及计算机可读存储介质
Wu et al. Edge curve scaling and smoothing with cubic spline interpolation for image up-scaling
Aides et al. Multiscale ultrawide foveated video extrapolation
Li et al. Dual-streams edge driven encoder-decoder network for image super-resolution
Danier et al. Enhancing deformable convolution based video frame interpolation with coarse-to-fine 3d cnn

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180907

WD01 Invention patent application deemed withdrawn after publication