CN108510440A - 用于将图像伪影最小化的超分辨率图像清晰化方法及装置 - Google Patents

用于将图像伪影最小化的超分辨率图像清晰化方法及装置 Download PDF

Info

Publication number
CN108510440A
CN108510440A CN201710826530.5A CN201710826530A CN108510440A CN 108510440 A CN108510440 A CN 108510440A CN 201710826530 A CN201710826530 A CN 201710826530A CN 108510440 A CN108510440 A CN 108510440A
Authority
CN
China
Prior art keywords
image
resolution ratio
super
resolution
upper class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710826530.5A
Other languages
English (en)
Inventor
李大烈
李珠荣
郑洗润
金钟昊
金晖容
林成昶
崔振秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN108510440A publication Critical patent/CN108510440A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明涉及用于将图像伪影最小化的超分辨率图像清晰化方法及装置。公开一种图像清晰化方法及装置，将主观画质提高至原始图像水平的同时，可以降低运算量。本发明一实施例的超分辨率图像复原方法可以包括：将输入图像分割为输入分辨率的低频图像和输入分辨率的高频图像的步骤；从所述输入图像产生上级分辨率的低频图像的步骤；利用所述输入分辨率的低频图像、所述输入分辨率的高频图像及所述上级分辨率的低频图像来复原上级分辨率的高频图像的步骤；以及，利用所述上级分辨率的低频图像和所述上级分辨率的高频图像来产生上级分辨率的复原图像的步骤。

Description

用于将图像伪影最小化的超分辨率图像清晰化方法及装置
技术领域
本发明涉及超分辨率图像复原技法，更具体地，涉及超分辨率图像的清晰化方法及装置。
背景技术
近年来，随着各类电视(TV)制造商推出具有HDTV(High Definition Television，高清晰度电视)的4倍分辨率的UHD(Ultra High Definition，超高清)电视，对UHD服务的关心也随之增大。但是，与此相比，UHD内容尚不足，从而为了成功的UHD播放服务，对UHD内容的确保成为了重要问题。由此，能够将现有的内容转变为高质量的UHD内容的超分辨率图像复原算法作为移动终端和电视的核心技术备受关注。
为了超分辨率图像复原，可以使用如下的技术：利用多张低分辨率图像和摄像机模型来预测高分辨率图像并将误差最小化的基于复原(reconstruction-based，基于重建)的技术；通过在多个图像上的训练(training)，构成且存储低分辨率、高分辨率的补片对，并以此复原图像的基于实例(example-based reconstruction，基于实例的重建)的技术等。尤其，在基于实例的技术中，基于自我相似度的超分辨率技法，无需巨额数量的外部信息，而是利用输入图像的自我相似领域的信息来有效复原高分辨率图像，因此备受瞩目。
上述的超分辨率图像复原方法，与双线性(Bilinear)或双三次(Bicubic)等现有的图像插补(interpolation)方法相比，能够产生清晰的图像。但是，与从一开始就以高分辨率获得的图像相比，图像的清晰度还是不足。为了弥补这些，需要推出利用通过超分辨率图像复原所获得的信息使图像进一步清晰化(sharpening)的方案。并且，需要推出能够将降低主观画质的伪影的发生达到最小化的改善方法。
发明内容
本发明的技术课题在于提供一种图像清晰化方法及装置，其能够将主观画质提高至原始图像水平。
本发明的另一技术课题在于提供一种图像清晰化方法及装置，其能够将图像伪影的发生达到最小化。
本发明的又一技术课题在于提供一种超分辨率图像清晰化方法及装置，其能够将图像插补所需的运算量达到最小化。
本申请要达到的技术课题并非局限在以上所提及的技术课题，通过以下的记载，本发明所属技术领域的普通技术人员应当能理解在此未提及到的其他技术课题。
根据本发明的一方面，可以提供一种超分辨率图像复原方法。所述方法可以包括：将输入图像分割为输入分辨率的低频图像和输入分辨率的高频图像的步骤；从所述输入图像产生上级分辨率的低频图像的步骤；利用所述输入分辨率的低频图像、所述输入分辨率的高频图像及所述上级分辨率的低频图像来复原上级分辨率的高频图像的步骤；以及利用所述上级分辨率的低频图像和所述上级分辨率的高频图像来产生上级分辨率的复原图像的步骤。
在根据本发明的超分辨率图像复原方法中，将所述输入图像分割为所述输入分辨率的低频图像和所述输入分辨率的高频图像的步骤，通过对所述输入图像适用低通滤波器来执行，其中，所述低通滤波器可以为高斯滤波器或巴特沃斯滤波器。
在根据本发明的超分辨率图像复原方法中，从所述输入图像产生所述上级分辨率的低频图像的步骤中，包括基于所述上级分辨率而插补所述输入图像的步骤，其中，所述插补可以为双线性插补、双三次插补或兰佐斯插补。
在根据本发明的超分辨率图像复原方法中，利用所述输入分辨率的低频图像、所述输入分辨率的高频图像及所述上级分辨率的低频图像来复原所述上级分辨率的高频图像的步骤中，可以包括：将所述上级分辨率的低频图像分割为一个以上的补片的步骤；在所述输入分辨率的低频图像中检索与所述补片相似的相似补片的步骤；在所述输入分辨率的高频图像中确定与所述检索到的相似补片相应的高频补片的步骤；以及利用所述确定的高频补片，复原所述上级分辨率的高频图像的步骤。
在根据本发明的超分辨率图像复原方法中，与所述检索到的相似补片相应的所述高频补片，可以是与所述检索到的相似补片具有相同的坐标的所述输入分辨率的高频图像内的补片。
在根据本发明的超分辨率图像复原方法中，当所述检索到的相似补片为两个以上时，所述两个以上的相似补片分别具有相似度信息，将在与所述两个以上的相似补片分别相应的两个以上的所述高频补片中适用基于所述相似度信息的加权值而进行组合的补片，可以决定为所述确定的高频补片。
根据本发明的超分辨率图像复原方法中，所述超分辨率图像复原方法还包括放大所述上级分辨率的高频图像的步骤，放大所述上级分辨率的高频图像的步骤包括：判别所述上级分辨率的复原图像中所包含的一个以上的图像区域的种类的步骤；基于所述判别的图像区域的种类，产生高频放大系数映射的步骤；以及利用所述高频放大系数映射，放大所述上级分辨率的高频图像的步骤，在利用所述上级分辨率的低频图像和所述上级分辨率的高频图像产生所述上级分辨率的复原图像的步骤中，可以代替所述上级分辨率的高频图像而利用所述放大的上级分辨率的高频图像。
在根据本发明的超分辨率图像复原方法中，所述图像区域的种类包括平坦区域、边缘区域或纹理区域，在产生所述高频放大系数映射的步骤中，可以产生映射，使得对所述边缘区域的放大系数被设定为大于对所述平坦区域或所述纹理区域的放大系数。
根据本发明的超分辨率图像复原方法中，所述超分辨率图像复原方法还包括向后投影过程，所述向后投影过程可以包括：从所述上级分辨率的复原图像，产生输入分辨率的复原图像的步骤；产生所述输入分辨率的复原图像与所述输入图像之间的差分图像的步骤；从所述差分图像，产生上级分辨率的差分图像的步骤；以及对所述上级分辨率的复原图像适用所述上级分辨率的差分图像，从而产生上级分辨率的最终复原图像的步骤。
在根据本发明的超分辨率图像复原方法中，在从所述上级分辨率的复原图像产生所述输入分辨率的复原图像的步骤中，将所述上级分辨率的复原图像下采样为输入分辨率，从而可以产生所述输入分辨率的复原图像。
在根据本发明的超分辨率图像复原方法中，在从所述差分图像产生所述上级分辨率的差分图像的步骤中，将所述差分图像上采样为上级分辨率，从而可以产生所述上级分辨率的差分图像。
在根据本发明的超分辨率图像复原方法中，将作为所述向后投影过程的输出的所述上级分辨率的最终复原图像，再次输入为作为所述向后投影过程的输入的所述上级分辨率的复原图像，从而可以执行两次以上的所述向后投影过程。
在根据本发明的超分辨率图像复原方法中，所述双三次插补包括：将N×N(N为2以上的正数)大小的块的参照区域内的多个像素，分组为包含N个像素的N个组的步骤；对所述N个组分别进行一次插补的步骤；以及利用对所述N个组分别进行的一次插补的结果，进行二次插补，从而导出一个结果像素值的步骤，在所述分组步骤中，可以将参照区域内的多个像素中属于相同列或相同行的N个像素作为相同组进行分组。
在根据本发明的超分辨率图像复原方法中，当用于导出所述一个结果像素值的所述参照区域，与用于导出其他结果像素值的其他参照区域相重叠时，针对包含在所述重叠部分的组的所述一次插补结果，可以再次使用为用于导出所述其他结果像素值的一次插补结果。
在根据本发明的超分辨率图像复原方法中，执行所述一次插补的步骤，通过利用三次样条函数来执行，决定所述三次样条函数的连续性的张力系数可以根据所述输入图像的空间复杂度来适应性地调整。
在根据本发明的超分辨率图像复原方法中，所述输入图像的空间复杂度越小，可以将所述张力系数调整为越大。
在根据本发明的超分辨率图像复原方法中，所述输入图像的空间复杂度，可以基于包含在所述输入图像中的平坦区域的比率是否超过预定的临界值而决定。
在根据本发明的超分辨率图像复原方法中，基于所述差分图像或所述上级分辨率的差分图像的特性，可以适应性地调整在从所述输入图像产生所述上级分辨率的低频图像的步骤中所使用的插补参数。
在根据本发明的超分辨率图像复原方法中，所述差分图像或所述上级分辨率的差分图像的特性，可以是对所述差分图像或所述上级分辨率的差分图像所包含的线条伪影的统计特性，在从所述输入图像产生所述上级分辨率的低频图像的步骤中所使用的插补参数，可以是决定三次样条函数的连续性的张力系数。
根据本发明的另一方面，可以提供一种超分辨率图像复原装置。所述装置可以包括：频域分割部，将输入图像分割为输入分辨率的低频图像和输入分辨率的高频图像；分辨率提高部，从所述输入图像产生上级分辨率的低频图像；高频信号复原部，利用所述输入分辨率的低频图像、所述输入分辨率的高频图像及所述上级分辨率的低频图像来复原上级分辨率的高频图像；以及频域融合部，利用所述上级分辨率的低频图像和所述上级分辨率的高频图像来产生上级分辨率的复原图像。
针对本发明如上简单概括的特征仅仅是将要后述的本发明的具体实施方式的示例性方面，而并非用于限定本发明的范围。
根据本发明，可以提供能够将主观画质提高至原始图像水平的图像清晰化方法及装置。
并且，根据本发明，可以提供能够将图像伪影的产生达到最小化的图像清晰化方法及装置。
而且，根据本发明，可以提供能够将图像插补所需的运算量达到最小化的超分辨率图像清晰化方法及装置。
从本发明中能够获得的效果并非局限在以上所提及的效果，通过以下的记载，本发明所属技术领域的普通技术人员应当能明确理解在此未提及到的其他效果。
附图说明
图1是用于说明本发明的超分辨率图像复原装置及方法的一实施例的图。
图2是用于概略说明分层式超分辨率图像复原方法的图。
图3是示例性示出因被误判为边缘的区域所产生的图像伪影的图。
图4是示例性示出图1中分辨率提高部120的构成的框图。
图5是示例性示出图1中向后投影部170的构成的框图。
图6是示例性示出在图像插补部410、520分别使用双线性(Bilinear)、双三次(Bicubic)及兰佐斯(Lanczos)插补方法所产生的超分辨率图像的图。
图7是示例性示出在进行双三次插补时的参照范围(reference area)的图。
图8是示例性示出利用了三次样条(cubic spline)的插补的图。
图9是示例性示出根据张力系数τ的三次样条函数的形态的图。
图10是示例性示出根据张力系数τ的超分辨率图像复原结果的图。
图11是示出用于将图像伪影最小化的超分辨率清晰化方法的另一实施例的构成的框图。
图12是示例性示出图11中超分辨率图像复原部1110的构成的框图。
图13是示例性示出图11中向后投影部1120的构成的框图。
具体实施方式
以下，参照附图详细说明本发明的实施例，以使本发明所属技术领域的普通技术人员能够容易实施。但是，本发明还可以由其他不同的形式来实现，并非局限于在此说明的实施例。
在说明本发明的实施例时，如果判断为对公知构成或功能的具体说明有碍于传递本发明的要旨，那么将省略对其详细说明。并且，在附图中省略了与本发明的说明不相关的部分，对于类似的部分赋予了类似的附图标记。
在本发明中，当表述为某个构成要素与另一构成要素相互“连接”、“结合”或“接合”时，其不仅包含直接的连接关系，而且还可以包含在两者中间存在其他构成要素的间接的连接关系。并且，当表述为某个构成要素“包含”或“具有”另一构成要素时，除非有特别的记载，否则其并不排除其他构成要素，而是意味着还可以包括其他的构成要素。
在本发明中，第一、第二等表述仅仅是为了将某个构成要素与其他构成要素区分开来的目的所使用，在没有特别的说明时，并非限定各构成要素之间的顺序或重要程度等。据此，在本发明的范围内，将某一实施例中的第一构成要素在另一实施例中可以称之为第二构成要素，同理，将某一实施例中的第二构成要素在另一实施例中可以称之为第一构成要素。
在本发明中，相互区别开来的构成要素是为了明确说明各自的特征，而并非意味着这些构成要素必须相互分离。亦即，多个构成要素可以合并而构成为一个硬件或软件单位，或者一个构成要素可以被分散而构成为多个硬件或软件单位。由此，即使不另外提及，如上所述得以合并或分散的实施例也包含在本发明的范围内。
在本发明中，于各实施例里加以说明的构成要素并非意味着是必要的构成要素，有一部分可以是选择性的构成要素。因此，由某个实施例中加以说明的构成要素的子集所构成的实施例也包含在本申请的范围内。并且，向各实施例中加以说明的构成要素里追加包含其他构成要素的实施例也包含在本发明的范围内。
以下，参照附图说明本发明的实施例。
图1是用于说明本发明的超分辨率图像复原装置及方法的一实施例的图。在以下说明中，图像复原装置及方法可以被使用为与图像清晰化装置及方法具有相同的含义。
在后述的实施例中，如图1的框图，主要说明以自我相似性(selfsimilarity)为基础的超分辨率图像复原过程的例子。但是，本发明并非局限于此，当然也可以适用在其他超分辨率图像复原方法及装置上。
参照图1，超分辨率图像复原装置可以包括：频域分割部110、分辨率提高部120、相似补片(patch)检索部130、高频补片映射部140、图像区域判别部150、频域融合部160及/或向后投影部170。
输入图像在频域分割部110可以被分割为低频域图像L0和高频域图像H0。低频域图像L0可通过对输入图像使用低通滤波器(lowpass filter)来获得。高频域图像H0可利用输入图像与所获得的低频域图像L0的差分来获得。由此，可以按频域分割输入图像。低通滤波器例如可以包括高斯(Gaussian)滤波器、巴特沃斯(Butterworth)滤波器等。
利用了自我相似性的图像复原方法可以通过一同利用低频域图像L0和高频域图像H0来复原图像。因此，有必要对输入图像进行频域分割。
分辨率提高部120对输入图像进行上采样(upsampling)，从而能够将输入图像变换为上级分辨率图像。所谓上级分辨率图像可以意指具有比输入图像更高分辨率的图像。
在对输入图像进行上采样(upsampling)时，可以利用插补(interpolation)方法。例如，插补方法可以包括双线性插补(bilinear interpolation)、双三次插补(bicubicinterpolation)、兰佐斯插补(Lanczos interpolation)等。或者，还可以利用除此之外的其他方法。在分辨率提高部120得以上采样的图像可以被利用为上级分辨率图像的低频域图像L1。
相似补片检索部130可以将在分辨率提高部120中得以插补的上级分辨率图像L1分割为补片单位。并且，相似补片检索部130对于构成上级分辨率图像L1的各补片，可以在输入图像的低频域图像L0中检索相似补片。在此，所谓补片可以意指具有特定大小的像素集合。例如，补片可以是具有5×5像素大小的图像块。
为了进行相似补片检索，可以利用基于强度(intensity)的相似度检测、反映了视觉认知特性的相似度检测以及比较图像内物体特征的基于特征(feature)的相似度检测等。
通过相似补片检索，能够在输入图像的低频域图像L0中检索出一个以上的相似补片。
高频补片映射部140能够在输入图像的高频域图像H0中确定与检索到的最佳相似补片相应的补片。高频补片映射部140可以利用所确定的补片来复原上级分辨率的高频域图像H1。在此，所谓“相应”可以意指具有相同的坐标。
当相似补片检索部130检索到一个相似补片时，高频补片映射部140可以利用与检索到的一个相似补片相应的高频图像补片。当相似补片检索部130检索到多个相似补片时，可以分别提供对于多个相似补片的相似度信息。此时，高频补片映射部140可以向多个相应的高频图像补片适用基于相似度的加权值。利用已适用了加权值的高频图像补片，例如进行组合，从而能够复原上级分辨率的高频域图像H1。
相似补片检索部130将上级分辨率图像L1分割为补片单位时，能够以两个以上的补片相互重叠的方式来分割补片。如果补片以重叠的方式被分割，那么基于此得以复原的上级分辨率的高频域图像的补片之间也会存在相互重叠的区域。此时，高频补片映射部140执行后处理步骤而组合重叠的补片，从而可以复原高分辨率图像H1。例如，在后处理步骤中，对补片之间相互重叠的区域，可以执行基于相似度的加权平均值处理。
频域融合部160利用在分辨率提高部120中得以插补的上级分辨率图像L1和在高频补片映射部140中得以复原的上级分辨率高频信号H1，例如可以通过结合两个信号而产生复原图像。
频域融合部160可以直接利用在高频补片映射部140中产生的高频信号H1来产生复原图像。或者，频域融合部160还可以利用将高频补片映射部140中产生的高频信号H1放大而得的信号H1’来产生复原图像。当利用放大的高频信号H1’时，可以产生视觉上更为清晰的复原图像。
通常，在图像中可能会存在具有平坦(flat)、边缘(edge)、纹理(texture)等不同特性的图像区域(image region)。
当对高频补片映射部140所产生的高频信号H1进行放大时，若对所有图像区域使用相同的放大系数，那么可能会产生妨碍视觉的图像伪影。这种图像伪影尤其在平坦图像区域(flat image region)中会更为明显可见。
因此，考虑到图像区域的特性(平坦、边缘、纹理等)，有必要适应性地放大高频信号。由此，在将图像伪影所致的画质下降达到最小化的同时，能够提高图像的清晰度。
图像区域判别部150为了根据图像区域的特性适应性地使用高频信号放大系数，可以执行对图像区域的判别。对于图像区域的判别，可以对将在分辨率提高部120得以插补的上级分辨率图像L1和在高频补片映射部140得以复原的上级分辨率高频信号H1相加而产生的图像执行。图像区域判别部150对图像区域进行判别后，可以输出高频放大系数映射(map)。在此，高频放大系数映射，是指将图像区域按照其特性进行分类后，分配了对应于各图像区域的放大系数的映射。图像区域的分类及/或放大系数的分配，可以按图像的各像素来执行。
可以基于主观画质评价或基于认知画质建模(Modeling)的算法来确定对各图像区域的最佳放大系数。
在基于主观画质评价来确定放大系数时，可以按照如下的方式进行试验：使试验参与者们在逐渐提高图像按区域的放大系数值的同时，观看图像，之后记录试验参与者感知到有关图像区域的画质劣化时的放大系数值。
作为一试验例子，以试验参与者20名为对象，利用4种UHD分辨率的视频进行试验的结果，在平坦图像区域、边缘图像区域、纹理图像区域分别确定了1.5、2.0、1.5的放大系数。即，可以确认在无认知上的劣化的情况下于边缘区域可以最大幅度放大高频信号。
按各区域的高频放大系数可以利用上述的试验值。或者，可以个别执行与应用方案(Application Scenario)相符的主观画质评价，以此来获得高频放大系数。
此时，根据不同的试验参与者，认知画质特性可能会不同。因此，通过对足够多的试验参与者进行试验，从而能够确保统计上的可信度。
可以利用如下的数学式1执行图像区域判别。
[数学式1]
在上述数学式1中，Gx,i表示图像帧内第i像素的x轴方向一阶梯度值，Gy,i表示图像帧内第i像素的y轴方向一阶梯度值。在上述数学式1中，Gxx,i表示图像帧内第i像素的x轴方向二阶梯度值，Gyy,i表示图像帧内第i像素的y轴方向二阶梯度值，Gxy,i表示在图像帧内第i像素的x轴方向一阶梯度值上适用了y轴方向一阶梯度值。
在上述数学式1中，N和E表示为了判别图像区域而以试验方式获得的阈值(threshold)，IND表示当满足函数内的不等式时输出1值的脉冲函数(impulse function)。
根据上述数学式1，以像素单位判别图像区域后，基于判别结果执行区域适应性清晰化操作时，对于相邻帧之间的相同客体而言，构成该客体的像素的图像区域被定义为存在微妙差异，因此会产生图像闪烁(flicker)等时间伪影(temporal artifact)。
为了缓和时间伪影的产生，向高频放大系数映射中适用侵蚀(erosion)及/或膨胀(dilation)等形态(morphology)滤波，从而可以改善相邻帧之间的图像区域一致性(consistency)。
上述所产生的高频放大系数映射可以适用到在高频补片映射部140所产生的高频信号H1上。例如，通过将上述高频放大系数映射与上述所产生的高频信号H1相乘，从而可以产生以区域适应性地放大的高频信号H1’。
频域融合部160利用所述以区域适应性地放大的高频信号H1’和在分辨率提高部120产生的上级分辨率图像L1，可以产生复原图像。例如，将得以放大的高频信号H1’和上级分辨率图像L1相加，从而可以产生复原图像。
向后投影部170可以确保在频域融合部160产生的复原图像与输入图像的一致性。为此，向后投影部170可以将复原图像下采样(Down sampling)为输入图像的分辨率后，掌握复原图像与输入图像的差分(residual)。向后投影部170通过将所述差分向上扩展(Upscaling)为上级分辨率后，可以重新适用到复原图像。向后投影部170所执行的上述过程可以称之为向后投影(backward projection)过程。根据情况，向后投影可以反复执行多次。执行了向后投影的超分辨率图像可以作为输出图像来输出。
图2是用于概略说明分层式超分辨率图像复原方法的图。
参照图1来说明的上述超分辨率图像复原方法能够以分层式反复适用。通过反复使用上述超分辨率图像复原方法，可以阶段性地提高输入图像的分辨率。例如，通过反复(或者，递归式)执行3次将输入图像的分辨率提高1.25倍的过程，可以将输入图像的分辨率提高至2倍(1.25×1.25×1.25＝2)。与将分辨率提高2倍时相比，在将分辨率提高1.25倍时，分辨率之间补片的相似度更高。因此，与将分辨率提高2倍的过程执行1次的情形相比，在将分辨率提高1.25倍的过程反复执行3次时，可以实现更为正确和适当的高频信号复原。由此，在以分层式提高输入图像的分辨率时，可以产生主观画质更为提高的复原图像。
例如，作为超分辨图像复原的对象的图像可以成为图1所示的超分辨率图像复原装置的输入图像。针对所述输入图像，执行参照图1进行说明的超分辨率图像复原方法，从而可以复原第一阶段的上级分辨率图像。所述第一阶段的上级分辨率图像可以再次输入到图1所示的超分辨率图像复原装置。针对所述第一阶段的上级分辨率图像，再次执行参照图1进行说明的超分辨率图像复原方法，从而可以复原第二阶段的上级分辨率图像。直至最终输出图像的分辨率达到目标分辨率为止，可以分层式地反复执行上述过程。
根据本发明的实施例的超分辨率图像复原方法，在将画质劣化达到最小化的范围内，能够以区域适应性地放大高频信号。由此，高频信号的复原力得到提高，从而图像能更加清晰地示出。
但是，图像区域判别部150若以不同于认知观点的方式判别图像，那么通过区域适应性高频信号放大过程，可能会产生认知上不自然的图像。
例如，在前述以试验参与者20名为对象，利用4种UHD分辨率视频进行试验的结果，可以将边缘图像区域的放大系数设定为大于平坦或纹理图像区域的放大系数。此时，如果图像区域判别部150将不是边缘的图像区域错误地判断为边缘，则通过超分辨率图像复原过程会产生图像伪影。
图3是示例性示出因被误判为边缘的区域所产生的图像伪影的图。
参照图3，在图像内可以观察到以垂直或水平地类似划线的线条伪影(lineartifact)。这可能是在超分辨率图像复原过程中被误判为边缘的像素的高频信号上，适用了较大的放大系数而出现的现象。并且，在如图2那样反复执行超分辨率图像复原过程时，在每一阶段线条伪影都会被转移(propagate，传播)和放大(amplify)，因此会大幅降低认知画质。
为了掌握所述线条伪影的原因，有必要了解图1中分辨率提高部120和向后投影部170的构成。
图4是示例性示出图1中分辨率提高部120的构成的框图。
参照图4，分辨率提高部120可以包含图像插补部410。图像插补部410通过变更输入图像的分辨率，可以输出上级分辨率的图像。
图5是示例性示出图1中向后投影部170的构成的框图。
参照图5，向后投影部170可以包含抗锯齿(Anti-aliasing)适用部510、图像插补部520、图像差分计算部530及/或差分反映部540。
抗锯齿(Anti-aliasing)适用部510接收上级分辨率的复原图像，从而可以执行抗锯齿滤波作业。图像插补部520可以将执行了抗锯齿滤波作业的图像下采样为输入图像的分辨率。图像差分计算部530可以计算出由图像插补部520输出的得以下采样的复原图像与输入图像的差分。图像差分计算部530可以将计算出的差分重新传递到图像插补部520。图像插补部520可以将由图像差分计算部530输出的差分上采样为上级分辨率。图像插补部520可以将上采样的差分传递到差分反映部540。差分反映部540利用所述上采样的差分和复原图像可以产生超分辨率图像。例如，差分反映部540通过相加上采样的差分值和复原图像，从而可以产生超分辨率图像。当需要反复执行向后投影时，如图5的虚线所示，通过将产生的超分辨率图像作为复原图像重新输入，从而可以反复执行上述过程。
分辨率提高部120产生用于成为超分辨率图像的基础的上级分辨率图像。在分辨率提高部120中产生的上级分辨率图像会对高频信号复原及图像区域判别的准确度带来影响。因此，分辨率提高部120的操作会对超分辨率图像的画质带来影响。
在图4及图5中所示的分辨率提高部120及向后投影部170可以共同包含图像插补部410、520。
图像插补部410、520可以通过上采样或下采样来调整图像的分辨率。插补的种类可以包含双线性插补(bilinear interpolation)、双三次插补(bicubic interpolation)、兰佐斯插补(Lanczos interpolation)等。
图6是示例性示出在图像插补部410、520中分别使用双线性、双三次及兰佐斯插补方法所产生的超分辨率图像的图。
在以下的表1中整理了上述各插补方法的优缺点。
[表1]
如果在图像插补部410、520中适用双线性插补方法，其优点是运算量少，出现的线条伪影较少。但是，整体上图像模糊。即，图像的清晰度大幅下降，因此双线性插补方法可能不适合于高质量分辨率图像的复原。
如果在图像插补部410、520中适用兰佐斯插补方法，则出现的线条伪影较少，图像也比较清晰。但是，为了求得兰佐斯核心(Lanczos kernel)，需要进行基于辛格函数(sincfunction)的运算。并且，根据图像大小，需适用的核心(kernel)大小也可能一同变更，因此可能会需要额外的存储器。尤其，如参照图2说明的方法，在产生多层的超分辨率图像时，对存储器的需求量和运算量会增加，因此兰佐斯插补方法也可能不适合。
根据本发明的一实施例，可以适用如下的插补方法：与兰佐斯插补方法及双三次插补方法相比，具有较少的运算量，且在图像超分辨率过程中出现的线条伪影最少的插补方法。
图7是示例性示出在进行双三次插补时的参照范围(reference area)的图。
在双三次插补时，为了计算结果图像的一个像素值，可以参照输入图像的16个像素值。较为一般地，利用N×N(N为2以上的正数)参照范围的像素的值，可以计算出一个结果像素值。
此时，与一次性执行参照16个像素值的双三次插补运算相比，展开(unroll)成五次运算来执行时，从运算量角度而言可能更为有利。
例如，参照图7，为了计算上级分辨率的一个像素值，如实线框或虚线框所示，可以使用下级分辨率的4×4区块内的16个像素。实线框内的16个像素，如斜线圆或阴影圆所示，可以分组为分别包含4个像素的4个组。
本发明一实施例的双三次插补运算可以是，在对4个组分别进行一维插补之后，对4个结果值再次进行一维插补。即，进行总共5次的一维插补运算，从而可以计算出如同对4×4参照范围进行二维插补运算的结果值。
当如上所述地将对于4×4参照范围的双三次插补运算展开成5次的一维插补来进行时，在图7中为了计算第一结果像素值所使用的实线框内的一维插补运算及为了计算第二结果像素值所使用的虚线框内的一维插补运算之间，可能会存在重复的一维插补运算。例如，在图7中，阴影圆所包含的像素在实线框与虚线框中均包含。因此，在为了计算第一结果像素值所导出的一维插补运算值中，对于3个阴影圆的一维插补运算值可以直接使用于第二结果像素值的计算中。即，在计算第二结果像素值时，对虚线框内位于最下端的斜线圆执行一维插补运算后，对4个一维插补运算值进行最后的一维插补运算即可，因此可以大幅降低运算量。
为了上述的一维插补运算，可以利用三次样条(cubic spline)。在此，所谓三次样条可以意指在预测所给出点之间的值时利用三阶多项式(3rd order polynomial)。三次样条可以用如下的数学式2及数学式3表示。
[数学式2]
[数学式3]
在上述数学式2中，u是将坐标s映射到参照图像分辨率上时的坐标与相近正数坐标i之间的差，可以用上述数学式3表示。在上述数学式3中，f是结果图像分辨率除以参照图像分辨率的比例因子(scale factor)，floor()意指为了用正数表示含有小数点的数字而使用退位运算。
为了求得上述数学式2的系数a0、a1、a2、a3，需要考虑如下数学式4、5、6及7的条件。
[数学式4]p(0)＝pi-1
[数学式5]p(1)＝pi
[数学式6]p′(0)＝τ(pi-pi-2)
[数学式7]p′(1)＝τ(pi+1-pi-1)
图8是示例性示出利用了三次样条的插补的图。
在连接上述数学式4与数学式5的两个点，即pi-1与pi之间时，为了确保连续性(continuity)，可以进一步考虑上述数学式6和数学式7的条件。
参照上述数学式6，设定当前位置pi-1的倾斜度，使其和前一位置pi-2与后一位置pi之间的差成比例，从而可以使插补函数连续。此时，比例程度可以通过张力系数τ来设定。
参照上述数学式7，设定当前位置pi的倾斜度，使其和前一位置pi-1与后一位置pi+1的差相成比，从而可以使插补函数连续。此时，比例程度依然可以通过张力系数τ来设定。
τ可以看做是用于表示在以当前位置为基准形成插补曲线时，以何种程度考虑了与其之前及其之后位置之间的一致性的系数。因此，其值越大，意味着更多考虑了前后一致性。
即，τ越大，越可以产生松散的曲线，使得不仅是当前位置，而且还以与其他多个位置平滑相连的形状构成曲线。相反，τ越小，由于较少考虑到前后一致性，因此产生的曲线非连续且紧绷。
图9是示例性示出根据张力系数τ的三次样条函数形态的图。
张力系数τ越接近0，如图9中的深色实线所示，会形成将所给出的点之间用短距离紧绷连接形态的三次样条函数。相反，张力系数τ越大，如图9中的虚线及浅色实线所示，将所给出的点之间用松散形态的三阶多项式连接。
如图9所示，张力系数τ越小，插补函数具有不连续(discontinuous)的形态。如果使用不连续形态的函数来插补图像，则在得以插补的图像中出现脉冲(impulse)值的概率变高。
在此，所谓脉冲值可以意指与周边像素值不同地其值突然变大或变小而突出的值。即，可以是在图像中具有不连续性(discontinuity)的值。
上述的脉冲值可能会经由下一步骤的超分辨率过程而被误认为边缘像素并得以放大，从而表现为线条伪影。
1)如果脉冲值从分辨率提高部120得以输入，则相似补片检索部130会对含有脉冲值的上级分辨率的补片检索相似补片。并且，高频补片映射部140会选择与此相应的高频信号。因此，可能导致脉冲像素部分的高频信号被进一步加强而表现为线条伪影。
2)图像区域判别部150可能将得以输入的脉冲值误判为边缘区域。此时，在区域适应性高频信号放大过程中，向边缘像素的高频信号乘以较大的放大系数，从而会更加突出线条伪影。
3)如图2所示，当以分层式提高图像的分辨率时，线条伪影向各分辨率分层得以传播并放大，从而会更为突出。
因此，通过向上调整在图像插补部410、520所使用的张力系数τ，从而以更为松散的形态构成用于图像插补的函数，由此可以将插补过程中脉冲值的流入达到最小化。
此时，在上调张力系数时，如果不考虑图像特性而无条件地设定较大的张力系数，则存在图像多少可能会模糊的缺陷。
因此，优选根据图像的空间复杂度等特性适应性地向上调整张力系数，从而在保持清晰度的同时，使线条伪影达到最小化。即，按照图像帧来分析特性，根据其结果可以适应性地设定张力系数的向上调整程度。
当图像包含多个平坦(flat)区域时，可能会出现可视化的线条伪影。由此，主观画质可能会大幅下降。因此，对于包含多个平坦区域的图像，可以大幅向上调整张力系数。
相反，当图像包含多个复杂边缘(edge)及/或纹理(texture)区域时，可能会产生纹理掩蔽(texture masking)效果。即，即使存在少许的线条伪影，由于被周边的复杂纹理图案所遮挡，因此可视的线条伪影会较少。因此，对于包含多个边缘及/或纹理区域的图像，通过适当上调张力系数，从而可以在不大幅降低图像清晰度的同时，减少线条伪影。
如上所述，为了适应性地调整张力系数，首先可以分析图像帧的特性。为了分析图像帧的特性，可以利用数学式1。利用数学式1，将图像帧划分为平坦、边缘及/或纹理区域之后，可以掌握图像帧内各区域像素的比率。
当某个图像帧内平坦区域像素的比率超过特定临界值时，可以将该图像帧看做是平坦区域占据优势的帧。对于平坦区域占据优势的帧，可以将张力系数的上调程度设定为较大。相反，当某个图像帧内平坦区域像素的比率不超过特定临界值时，可以将该图像帧看做是包含了多个边缘及/或纹理等的帧。如此，对于空间复杂度较高的帧，可以将张力系数的上调程度设定为适当水平。
或者，即便是在相同的图像帧内，也可以使用不同的张力系数。此时，可以对构成图像帧的多个区域分别掌握其特性，并考虑所掌握的特性而适应性地使用张力系数。
如上所述，当向上调整张力系数τ时，可以使图像插补过程中脉冲值的流入达到最小化。借此，被误判为边缘的区域得以减少，从而可以使线条伪影所致的图像畸变现象达到最小化。
例如，在将1920×1080分辨率的输入图像用图1的方式提高为3840×2160分辨率的图像时，通过使用以上述方法向上调整了张力系数τ的插补方法，从而与使用了现有的双三次插补方法时相比，可以显著减少线条伪影。
图10是示例性示出根据张力系数τ的超分辨率图像复原结果的图。
参照图10可以确认在图像插补部410、520中使用根据本发明一实施例的插补方式而非现有的双三次插补方式时，垂直及/或水平方向的线条伪影显著减少。
根据本发明的一实施例，在执行图1的区域适应性超分辨率图像复原时，通过改善图像插补部410、520的插补方式，可提供如下方案，即在提供清晰的超分辨率图像的同时，使在超分辨率过程中可能会产生的线条伪影达到最小化。
本发明一实施例的图像插补部410、520的插补方式通过基于展开的运算，可以使涉及重复项目的计算量达到最小化。因此，与现有的兰佐斯及双三次插补方法相比，能够具有较少的运算量。并且，根据本发明一实施例的插补方式，可以对三次样条矩阵适应性地上调张力系数τ来使用。由此，可以提高相似补片检索部130的准确度。并且，可以减少图像区域判别部150的边缘误判率。据此，可以将超分辨率图像复原过程中可能会产生的线条伪影达到最小化。
图11是示出用于将图像伪影最小化的超分辨率清晰化方法的另一实施例的构成的框图。
参照图11，超分辨率图像复原装置可以包含超分辨率图像复原部1110和向后投影部1120。
如参照图1所示的实施例所做的说明，通过上调三次样条的张力系数，可以使超分辨率图像的线条伪影较少出现。
对于图1所示的实施例而言，可以在掌握了图像帧的特性后，随之适应性地确定张力系数适当的向上调整程度。对于图11所示的实施例而言，可以首先通过基本的双三次插补方法来复原超分辨率图像后，掌握线条伪影的产生程度，从而随之向上调整张力系数。
例如，超分辨率图像复原部1110代入0.5作为使用于图像插补的张力系数的初始值而进行双三次插补，由此可以复原超分辨率图像。向后投影部1120通过比较复原的超分辨率图像与输入图像，从而可以判断线条伪影的有无。
当向后投影部1120的判断结果为存在超过特定临界值的线条伪影时，可以反馈至超分辨率图像复原部1110。例如，向后投影部1120可以向超分辨率图像复原部1110反馈张力系数上调信号。或者，向后投影部1120可以向超分辨率图像复原部1110反馈用于说明线条伪影超过临界值的信号。
超分辨率图像复原部1110基于来自向后投影部1120的反馈，可以向上调整张力系数。张力系数可以按基于来自向后投影部1120的反馈的量或者既定的量得以向上调整。超分辨率图像复原部1110可基于调整后的张力系数再次执行对输入图像的超分辨率图像复原过程，并将其结果再次传送到向后投影部1120。
上述过程可以一直反复执行至向后投影部1120判断为线条伪影的程度不超过特定临界值为止。
当向后投影部1120判断为线条伪影的程度不超过特定临界值或者为适当时，向后投影部1120可以最终输出执行了向后投影的上级分辨率图像。
以图11的结果所输出的上级分辨率图像可以作为如图2中下一个分辨率分层的输入图像来得以输入。上述过程可以一直反复执行至产生目标分辨率的图像为止。
此时，向后投影部1120可以对每个分辨率分层分析线条伪影程度，从而上调将在超分辨率图像复原部1110中使用的图像插补张力系数。或者，为了减少运算量，也可以将在第一(或者，之前的分辨率)分层推导出的张力系数继续使用于上级分辨率分层。
后者的情况下，对于除了第一分辨率分层的其他上级分辨率分层，向后投影部1120可以在对超分辨率图像复原部1110所产生的图像进行向后投影之后，直接输出结果。
图12是示例性示出图11中超分辨率图像复原部1110的构成的框图。
参照图12，超分辨率图像复原部1110的构成与在图1所示超分辨率图像复原装置中除向后投影部170以外的构成类似。即，图12所示的超分辨率图像复原部1110可以包括频域分割部1210、分辨率提高部1220、相似补片检索部1230、高频补片映射部1240、图像区域判别部1250及/或频域融合部1260。图12所示的超分辨率图像复原部1110的各构成的操作可以与参照图1说明的超分辨率图像复原装置中对应构成的操作相同或类似。
图13是示例性示出图11中向后投影部1120的构成的框图。
图13所示的向后投影部1120可以包括抗锯齿适用部1310、图像插补部1320、图像差分计算部1330、线条伪影分析部1340及/或差分反映部1350。与图5所示的向后投影部170相比，图13所示的向后投影部1120可以进一步包括线条伪影分析部1340。
图像差分计算部1330可以计算出将超分辨率复原图像下采样的图像与输入图像的差分。因此，在计算出的差分值中可能包含有关伪影的信息，该伪影虽然在输入图像中不存在，但在超分辨率过程中流入。
线条伪影分析部1340可以生成对差分图像的梯度直方图(Gradienthistogram)。梯度直方图可以利用如下的数学式8和数学式9得以生成。
[数学式8]
[数学式9]
H(x，y)b＝m(x，y)，if b＝B(x，y)
在上述数学式8中，a(x,y)表示(x，y)坐标的差分值的梯度方向信息。所述梯度方向信息可以用角度形式来表示。在上述数学式8中，p是将要构成的直方图分组(bin)的个数。所谓直方图分组可以意指将梯度角度范围分成相同大小的若干区间。向所述p输入的值越大，可以生成越细间隔的直方图。
基于上述数学式8得出的结果B(x,y)值，可以确定当前的梯度包含在哪一个直方图分组中。例如，若当前的梯度包含在第b个直方图分组里，那么根据上述数学式9，可以向对应分组里累积作为梯度大小(magnitude)值的m(x,y)。
在通过上述方法所构成的梯度直方图中，参照垂直及水平角度为(0度、90度、180度、270度、360度)的分组的梯度大小，可以计算出差分图像的线条伪影程度。
当计算出的线条伪影的大小为临界值以上时，如图11及图12所示，可以向超分辨率图像复原部1110发送反馈(或者，张力系数提高信号)，从而重新执行超分辨率复原过程。此时，向后投影部1120可以不反映差分。
当计算出的线条伪影的大小为临界值以下时，图像插补部1320可以将有关差分提高为上级分辨率。差分反映部1350通过在复原图像中反映分辨率得以提高的差分，从而可以输出超分辨率图像。
如此产生的超分辨率图像可以成为下一分辨率分层的输入图像或者最终的超分辨率图像。
本发明的示例性方法是为了描述清楚而以操作序列进行了说明，但是这并非为了限制执行步骤的顺序，根据需要可以同时或按不同的顺序执行各步骤。为了实现本发明的方法，可以在所示的步骤追加其他步骤，或者去除一部分步骤而包含剩余的步骤，或者去除一部分步骤而包含追加的其他步骤。
本发明的各种实施例，并非列出了所有可能的组合，而是为了说明本发明的示范性方面，在各种实施例中说明的事项可以单独适用或者能以两个以上的组合来得以适用。
并且，本发明的各种实施例可以基于硬件、固件(firmware)、软件或者其结合等得以实现。当基于硬件来实现时，可以由一个或其以上的ASICs(Application SpecificIntegrated Circuits，专用集成电路)、DSPs(Digital Signal Processors，数字信号处理器)、DSPDs(Digital Signal Processing Devices，数字信号处理设备)、PLDs(Programmable Logic Devices，可编程逻辑器件)、FPGAs(Field Programmable GateArrays，现场可编程门阵列)、通用处理器(general processor)、控制器、微控制器、微处理器等得以实现。
本发明的范围包含：使得根据各种实施例的方法的操作在装置或电脑上执行的软件或者机器可执行的指令(例如，操作系统、应用软件、固件(firmware)、程序等)、以及存储有这些软件或指令等从而能够在装置或电脑上执行的非暂时性计算机可读介质(non-transitory computer-readable medium)。

Claims (20)

1.一种超分辨率图像复原方法，包括：
将输入图像分割为输入分辨率的低频图像和输入分辨率的高频图像的步骤；
从所述输入图像产生上级分辨率的低频图像的步骤；
利用所述输入分辨率的低频图像、所述输入分辨率的高频图像及所述上级分辨率的低频图像来复原上级分辨率的高频图像的步骤；以及
利用所述上级分辨率的低频图像和所述上级分辨率的高频图像来产生上级分辨率的复原图像的步骤。
2.如权利要求1所述的超分辨率图像复原方法，其特征在于，
将所述输入图像分割为所述输入分辨率的低频图像和所述输入分辨率的高频图像的步骤中，
通过对所述输入图像适用低通滤波器来执行，
其中，所述低通滤波器为高斯滤波器或巴特沃斯滤波器。
3.如权利要求1所述的超分辨率图像复原方法，其特征在于，
从所述输入图像产生所述上级分辨率的低频图像的步骤中，
包括基于所述上级分辨率而插补所述输入图像的步骤，
其中，所述插补为双线性插补、双三次插补或兰佐斯插补。
4.如权利要求1所述的超分辨率图像复原方法，其特征在于，
利用所述输入分辨率的低频图像、所述输入分辨率的高频图像及所述上级分辨率的低频图像来复原所述上级分辨率的高频图像的步骤中，包括：
将所述上级分辨率的低频图像分割为一个以上的补片的步骤；
在所述输入分辨率的低频图像中检索与所述补片相似的相似补片的步骤；
在所述输入分辨率的高频图像中确定与所述检索到的相似补片相应的高频补片的步骤；以及
利用所述确定的高频补片，复原所述上级分辨率的高频图像的步骤。
5.如权利要求4所述的超分辨率图像复原方法，其特征在于，
与所述检索到的相似补片相应的所述高频补片是，
与所述检索到的相似补片具有相同的坐标的所述输入分辨率的高频图像内的补片。
6.如权利要求4所述的超分辨率图像复原方法，其特征在于，
当所述检索到的相似补片为两个以上时，
所述两个以上的相似补片分别具有相似度信息，
将在与所述两个以上的相似补片分别相应的两个以上的所述高频补片中适用基于所述相似度信息的加权值而进行组合的补片，决定为所述确定的高频补片。
7.如权利要求1所述的超分辨率图像复原方法，其特征在于，
所述超分辨率图像复原方法还包括放大所述上级分辨率的高频图像的步骤，
放大所述上级分辨率的高频图像的步骤包括：
判别所述上级分辨率的复原图像中所包含的一个以上的图像区域的种类的步骤；
基于所述判别的图像区域的种类，产生高频放大系数映射的步骤；以及
利用所述高频放大系数映射，放大所述上级分辨率的高频图像的步骤，
在利用所述上级分辨率的低频图像和所述上级分辨率的高频图像而产生所述上级分辨率的复原图像的步骤中，
代替所述上级分辨率的高频图像而利用所述放大的上级分辨率的高频图像。
8.如权利要求7所述的超分辨率图像复原方法，其特征在于，
所述图像区域的种类包括平坦区域、边缘区域或纹理区域，
在产生所述高频放大系数映射的步骤中，
产生映射，使得对所述边缘区域的放大系数被设定为大于对所述平坦区域或所述纹理区域的放大系数。
9.如权利要求1所述的超分辨率图像复原方法，其特征在于，
所述超分辨率图像复原方法还包括向后投影过程，
所述向后投影过程包括：
从所述上级分辨率的复原图像，产生输入分辨率的复原图像的步骤；
产生所述输入分辨率的复原图像与所述输入图像之间的差分图像的步骤；
从所述差分图像，产生上级分辨率的差分图像的步骤；以及
对所述上级分辨率的复原图像适用所述上级分辨率的差分图像，从而产生上级分辨率的最终复原图像的步骤。
10.如权利要求9所述的超分辨率图像复原方法，其特征在于，
在从所述上级分辨率的复原图像产生所述输入分辨率的复原图像的步骤中，
将所述上级分辨率的复原图像下采样为输入分辨率，从而产生所述输入分辨率的复原图像。
11.如权利要求9所述的超分辨率图像复原方法，其特征在于，
在从所述差分图像产生所述上级分辨率的差分图像的步骤中，
将所述差分图像上采样为上级分辨率，从而产生所述上级分辨率的差分图像。
12.如权利要求9所述的超分辨率图像复原方法，其特征在于，
将作为所述向后投影过程的输出的所述上级分辨率的最终复原图像，再次输入为作为所述向后投影过程的输入的所述上级分辨率的复原图像，从而执行两次以上的所述向后投影过程。
13.如权利要求3所述的超分辨率图像复原方法，其特征在于，
所述双三次插补包括：
将N×N大小的块的参照区域内的多个像素，分组为包含N个像素的N个组的步骤，其中N为2以上的正数；
对所述N个组分别进行一次插补的步骤；以及
利用对所述N个组分别进行的一次插补的结果，进行二次插补，从而导出一个结果像素值的步骤，
在所述分组步骤中，
将参照区域内的多个像素中属于相同列或相同行的N个像素作为相同组进行分组。
14.如权利要求13所述的超分辨率图像复原方法，其特征在于，
当用于导出所述一个结果像素值的所述参照区域，与用于导出其他结果像素值的其他参照区域相重叠时，
针对包含在所述重叠部分的组的所述一次插补结果，再次使用为用于导出所述其他结果像素值的一次插补结果。
15.如权利要求13所述的超分辨率图像复原方法，其特征在于，
执行所述一次插补的步骤中，
通过利用三次样条函数来执行，
决定所述三次样条函数的连续性的张力系数是，
根据所述输入图像的空间复杂度得以适应性地调整。
16.如权利要求15所述的超分辨率图像复原方法，其特征在于，
所述输入图像的空间复杂度越小，将所述张力系数调整为越大。
17.如权利要求15所述的超分辨率图像复原方法，其特征在于，
所述输入图像的空间复杂度，
基于包含在所述输入图像中的平坦区域的比率是否超过预定的临界值而决定。
18.如权利要求9所述的超分辨率图像复原方法，其特征在于，
基于所述差分图像或所述上级分辨率的差分图像的特性，适应性地调整在从所述输入图像产生所述上级分辨率的低频图像的步骤中所使用的插补参数。
19.如权利要求18所述的超分辨率图像复原方法，其特征在于，
所述差分图像或所述上级分辨率的差分图像的特性是，
对所述差分图像或所述上级分辨率的差分图像所包含的线条伪影的统计特性，
在从所述输入图像产生所述上级分辨率的低频图像的步骤中所使用的所述插补参数是，
决定三次样条函数的连续性的张力系数。
20.一种超分辨率图像复原装置，包括：
频域分割部，将输入图像分割为输入分辨率的低频图像和输入分辨率的高频图像；
分辨率提高部，从所述输入图像产生上级分辨率的低频图像；
高频信号复原部，利用所述输入分辨率的低频图像、所述输入分辨率的高频图像及所述上级分辨率的低频图像来复原上级分辨率的高频图像；以及
频域融合部，利用所述上级分辨率的低频图像和所述上级分辨率的高频图像来产生上级分辨率的复原图像。
CN201710826530.5A 2017-02-23 2017-09-14 用于将图像伪影最小化的超分辨率图像清晰化方法及装置 Pending CN108510440A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170024209A KR20180097342A (ko) 2017-02-23 2017-02-23 영상 아티팩트를 최소화하는 초해상도 영상 선명화 방법 및 장치
KR10-2017-0024209 2017-02-23

Publications (1)

Publication Number Publication Date
CN108510440A true CN108510440A (zh) 2018-09-07

Family

ID=63374449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710826530.5A Pending CN108510440A (zh) 2017-02-23 2017-09-14 用于将图像伪影最小化的超分辨率图像清晰化方法及装置

Country Status (2)

Country Link
KR (1) KR20180097342A (zh)
CN (1) CN108510440A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784648A (zh) * 2019-11-07 2020-02-11 维沃移动通信有限公司 一种图像处理方法和电子设备
CN112862726A (zh) * 2021-03-12 2021-05-28 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080926A (ko) * 2018-12-27 2020-07-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US11688039B2 (en) * 2019-03-25 2023-06-27 Teledyne Digital Imaging, Inc. Method for generating a super-resolution image and related device
CN111986069A (zh) 2019-05-22 2020-11-24 三星电子株式会社 图像处理装置及其图像处理方法
KR20220028891A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 전자장치 및 그 제어방법
EP4274207A4 (en) 2021-04-13 2024-07-10 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND ITS CONTROL METHOD
KR20220141543A (ko) * 2021-04-13 2022-10-20 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114972020A (zh) * 2022-04-13 2022-08-30 北京字节跳动网络技术有限公司 一种图像处理方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979229A (en) * 1989-02-06 1990-12-18 Oce-Nederland B.V. Method of and apparatus for converting the resolution of an image represented by a pattern of bivalent pixels
CN104079914A (zh) * 2014-07-02 2014-10-01 山东大学 基于深度信息的多视点图像超分辨方法
CN104137143A (zh) * 2012-01-12 2014-11-05 汤姆逊许可公司 生成低分辨率输入数据结构的超分辨率版本的方法和设备
CN104580931A (zh) * 2015-01-22 2015-04-29 成都索贝数码科技股份有限公司 一种图像、视频超分辨率放大的系统与方法
WO2015141463A1 (en) * 2014-03-20 2015-09-24 Mitsubishi Electric Corporation Method for processing input low-resolution (lr) image to output high-resolution (hr) image
CN105654553A (zh) * 2014-11-26 2016-06-08 三星电子株式会社 图形处理器和执行基于图块的图形管线的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979229A (en) * 1989-02-06 1990-12-18 Oce-Nederland B.V. Method of and apparatus for converting the resolution of an image represented by a pattern of bivalent pixels
CN104137143A (zh) * 2012-01-12 2014-11-05 汤姆逊许可公司 生成低分辨率输入数据结构的超分辨率版本的方法和设备
WO2015141463A1 (en) * 2014-03-20 2015-09-24 Mitsubishi Electric Corporation Method for processing input low-resolution (lr) image to output high-resolution (hr) image
CN104079914A (zh) * 2014-07-02 2014-10-01 山东大学 基于深度信息的多视点图像超分辨方法
CN105654553A (zh) * 2014-11-26 2016-06-08 三星电子株式会社 图形处理器和执行基于图块的图形管线的方法
CN104580931A (zh) * 2015-01-22 2015-04-29 成都索贝数码科技股份有限公司 一种图像、视频超分辨率放大的系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪源源等: "改进型脉冲耦合神经网络检测乳腺肿瘤超声图像感兴趣区域 ", 《光学精密工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784648A (zh) * 2019-11-07 2020-02-11 维沃移动通信有限公司 一种图像处理方法和电子设备
CN110784648B (zh) * 2019-11-07 2021-04-16 维沃移动通信有限公司 一种图像处理方法和电子设备
CN112862726A (zh) * 2021-03-12 2021-05-28 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质
CN112862726B (zh) * 2021-03-12 2023-11-10 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
KR20180097342A (ko) 2018-08-31

Similar Documents

Publication Publication Date Title
CN108510440A (zh) 用于将图像伪影最小化的超分辨率图像清晰化方法及装置
US8233745B2 (en) Image processing apparatus and image processing method
CN102609939B (zh) 一种tfds图像质量评价方法及系统
CN103530847B (zh) 一种红外图像增强方法
CN108109109B (zh) 一种超分辨率图像重构方法、装置、介质及计算设备
US11346911B2 (en) Magnetic resonance fingerprinting image reconstruction and tissue parameter estimation
US11836961B2 (en) Information processing apparatus, information processing method, and storage medium for determining whether a captured image of a subject is suitable for recognition processing
US8233748B2 (en) Image-resolution-improvement apparatus and method
KR20190059157A (ko) 영상 화질 개선방법 및 그 장치
Vu et al. Perception-enhanced image super-resolution via relativistic generative adversarial networks
JP2005122361A (ja) 画像処理装置及び方法、コンピュータプログラム、記録媒体
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
US7623723B2 (en) Method for random point and patterned noise reduction in digital images
CN109886906B (zh) 一种细节敏感的实时弱光视频增强方法和系统
CN111951172A (zh) 一种图像优化方法、装置、设备和存储介质
CN113344793A (zh) 图像超分辨率重建方法、装置、设备及存储介质
Garg et al. LiCENt: Low-light image enhancement using the light channel of HSL
Zhu et al. Low-light image enhancement network with decomposition and adaptive information fusion
CN103971335A (zh) 一种基于置信度核回归的图像超分辨率重建方法
CN111882498B (zh) 图像处理方法、装置、电子设备及存储介质
CN109978766A (zh) 图像放大方法及图像放大装置
Koren et al. Frame interpolation using generative adversarial networks
KR102482454B1 (ko) Ｃｎｎ 덴스 레이어를 이용한 영상 처리 장치 및 방법
Rana et al. Edge guided low-light image enhancement
CN114429439A (zh) 一种显示故障检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180907

WD01 Invention patent application deemed withdrawn after publication