CN103745439B - 图像放大方法以及装置 - Google Patents

图像放大方法以及装置 Download PDF

Info

Publication number
CN103745439B
CN103745439B CN201310754087.7A CN201310754087A CN103745439B CN 103745439 B CN103745439 B CN 103745439B CN 201310754087 A CN201310754087 A CN 201310754087A CN 103745439 B CN103745439 B CN 103745439B
Authority
CN
China
Prior art keywords
pixel
interpolation
definition picture
resolution image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310754087.7A
Other languages
English (en)
Other versions
CN103745439A (zh
Inventor
杨小伟
李欣
肖进胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIGU Culture Technology Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310754087.7A priority Critical patent/CN103745439B/zh
Publication of CN103745439A publication Critical patent/CN103745439A/zh
Priority to EP14186933.9A priority patent/EP2889830A1/en
Priority to US14/503,948 priority patent/US9652825B2/en
Application granted granted Critical
Publication of CN103745439B publication Critical patent/CN103745439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请公开了一种图像放大方法以及装置。所述方法包括：输入一个低分辨率图像，低分辨率图像包括至少两个匹配区域，匹配区域用于与轮廓模板集中的所有轮廓模板进行匹配；对一个匹配区域查找最优轮廓模板，其中，最优轮廓模板为在轮廓模板集中与匹配区域的全变分值最小的轮廓模板；根据缩放比以及匹配区域内的第一像素点查找到第二像素点，其中，第二像素点对应第一像素点；根据最优轮廓模板对第二像素点做局部插值，得到一个中间像素值；重复上述步骤直至全部的匹配区域处理完毕，根据全部的中间像素值得到初始高分辨率图像；对初始高分辨率图像做全局插值得到高分辨率图像。

Description

图像放大方法以及装置
技术领域
本申请涉及图像处理领域，特别是涉及一种图像放大方法以及装置。
背景技术
如今，越来越多的电子设备支持高分辨率的显示，为了使得较小的原始图像能够适应电子设备的高分辨率的显示，就必须对图像进行放大。
现有技术提供了一种图像放大方法，首先获得需要对低分辨率图像进行放大的倍数从而获得缩放比，再根据缩放比计算出高分辨率图像中待插值像素点在原始图像中对应的插值点，最后根据插值点邻域的像素点的像素值并通过插值法计算出插值点所对应的待插值像素点的像素值。
参阅图1，以使用Lanczos函数进行插值为例，插值点m距离最邻近的左上角的像素点p6的水平距离为a，垂直距离为b。则插值点m的像素值可以这样计算。
Value1=p1*LUT(1+b)+p5*LUT(b)+p9*LUT(1-b)+p13*LUT(2-b)
Value2=p2*LUT(1+b)+p6*LUT(b)+p10*LUT(1-b)+p14*LUT(2-b)
Value3=p3*LUT(1+b)+p7*LUT(b)+p11*LUT(1-b)+p15*LUT(2-b)
Value4=p4*LUT(1+b)+p8*LUT(b)+p12*LUT(1-b)+p16*LUT(2-b)
m=Value1*LUT(1+a)+Value2*LUT(a)+Value3*LUT(1-a)+Value4*LUT(2-a)
其中，p1～p16是插值点m邻近的4×4个像素点，为了方便起见，公式中的p1～p16也表示为该像素点的像素值，LUT()为Lanczos函数，p1至插值点m的垂直距离为1+b，所以，p1*LUT(1+b)中的Lanczos函数的参数为1+b，同样地，p2～p16的像素点也可以根据像素点到插值点m的垂直距离而确定Lanczos函数的参数。Value1是根据第一列像素点计算出来的中间变量，同样地，Value2～Value4是根据相应的列所计算出来的中间变量。Value1所对应的列距离插值点m的水平距离为1+a，所以，Value1*LUT(1+a)中的Lanczos函数的参数为1+a，同理也可以确定Value2～Value4所对应的Lanczos函数的参数。所以，只需知道插值点距离最邻近的左上角的像素点的水平距离和垂直距离以及插值点邻近的像素点的像素值即可求出插值点的像素值。
但是在这种方法下，如果图像放大的倍数比较大时（一般来说超过3倍时），会因为低通滤波器的作用而导致丢失太多的高频信息，从而导致高分辨率图像显得模糊。
发明内容
本申请提供一种图像放大方法以及装置，能够在放大的同时，提高放大后的图像的清晰度。
本申请第一方面提供一种图像放大方法，包括如下步骤：输入一个低分辨率图像，所述低分辨率图像包括至少两个匹配区域，所述匹配区域用于与轮廓模板集中的所有轮廓模板进行匹配；对一个所述匹配区域查找最优轮廓模板，其中，所述最优轮廓模板为在所述轮廓模板集中与所述匹配区域的全变分值最小的轮廓模板；根据缩放比以及匹配区域内的第一像素点查找到第二像素点，其中，所述第二像素点对应所述第一像素点；根据所述最优轮廓模板对所述第二像素点做局部插值，得到一个中间像素值；重复上述步骤直至全部的所述匹配区域处理完毕，根据全部的所述中间像素值得到初始高分辨率图像；对初始高分辨率图像做全局插值得到高分辨率图像。
结合第一方面，本申请第一方面的第一种可能的实施方式中，所述根据最优轮廓模板对所述第二像素点做局部插值的步骤包括：根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的插值的导向函数；根据所述第二像素点的插值的导向函数对所述第二像素点进行局部插值。
结合第一方面的第一种可能的实施方式，本申请第一方面的第二种可能的实施方式中，根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的插值的导向函数的步骤具体为：根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的方向角函数和各向异性函数uS，其中，导向函数由方向角函数和各向异性函数uS表示，
为所述最优轮廓模板，表示将投影到相互垂直的第一轴和第二轴，然后分别在相互垂直的第一轴和第二轴的方向上求梯度，k为所述第一像素点，N表示像素点k的邻域的像素点集合，n为像素点集合中的一个像素点。
结合第一方面的第一种可能的实施方式，本申请第一方面的第三种可能的实施方式中，所述根据第二像素点的插值的导向函数对所述第二像素点进行局部插值的步骤具体包括：根据对所述第二像素点进行局部插值，其中，x为所述第二像素点，k为所述第一像素点，uk(x)为第二像素点的中间像素值，vk为所述第一像素点的像素值，N为x的邻域的像素点集合，n为像素点集合中的一个像素点，cn为插值系数，为采用最优轮廓模板S*()时插值像素点的导向函数。
结合第一方面，本申请第一方面的第四种可能的实施方式中，所述对初始高分辨率图像做全局插值得到高分辨率图像的步骤包括：根据公式进行全局插值，其中，x为第二像素点，u(x)为第二像素点的全局插值后的最终像素值，k为像素点x的邻域的一个像素点，w(x-k)为像素点x-k的权值，uk(x-k)为像素点x-k的中间像素值。
结合第一方面，本申请第一方面的第五种可能的实施方式中，所述对初始高分辨率图像做全局插值得到高分辨率图像的步骤之后还包括：根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差对全局插值后的高分辨率图像进行优化，以获得优化后的高分辨率图像。
结合第一方面的第五种可能的实施方式，本申请第一方面的第六种可能的实施方式中，所述根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差对全局插值后的高分辨率图像进行优化的步骤包括：根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率；根据插值后的高分辨率图像的原始梯度场以及所述变化率计算得到目标梯度场；根据所述目标梯度场对全局插值后的高分辨率图像进行重建，以获得初始重建高分辨率图像；根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像，多次迭代后，获得优化后的高分辨率图像，其中，迭代前的高分辨率图像的初始图像为初始重建高分辨率图像。
结合第一方面的第六种可能的实施方式，本申请第一方面的第七种可能的实施方式中，所述根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率的步骤包括：根据获得变化率，其中，r(d)为变化率，σH为全局插值后的高分辨率图像的梯度轮廓方差，σL为低分辨率图像的梯度轮廓方差。
结合第一方面的第七种可能的实施方式，本申请第一方面的第八种可能的实施方式中，所述根据插值后的高分辨率图像的原始梯度场以及所述变化率计算得到目标梯度场的步骤包括：根据计算得到所述目标梯度场，其中，为所述目标梯度场，r(d)为所述变化率，为所述插值后的高分辨率图像的原始梯度场。
结合第一方面的第八种可能的实施方式，本申请第一方面的第九种可能的实施方式中，所述根据所述目标梯度场对全局插值后的高分辨率图像进行重建的步骤包括：根据对全局插值后的高分辨率图像进行重建，其中，为初始重建高分辨率图像，w为权重，dx和dy分别为在第一轴和第二轴的方向梯度，IH为全局插值后的高分辨率图像。
结合第一方面的第九种可能的实施方式，本申请第一方面的第十种可能的实施方式中，所述根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像的步骤包括：根据公式对迭代前的高分辨率图像进行补偿，其中，为迭代后的高分辨率图像，为迭代前的高分辨率图像，的初始值为τ为迭代步长，G为高斯核，Il为低分辨率图像，↓为下采样，↑为上采样。
本申请第二方面提供一种图像放大装置，包括：输入模块、查找模块、对应模块、局部插值模块以及全局插值模块，所述输入模块用于输入一个低分辨率图像，所述低分辨率图像包括至少两个匹配区域，所述匹配区域用于与轮廓模板集中的所有轮廓模板进行匹配，所述输入模块将所述低分辨率图像发送给所述查找模块以及所述对应模块；所述查找模块用于对一个所述匹配区域查找最优轮廓模板，其中，所述最优轮廓模板为在所述轮廓模板集中与所述匹配区域的全变分值最小的轮廓模板，所述查找模块将所述最优轮廓模板发送给局部插值模块；所述对应模块用于接收所述低分辨率图像，根据缩放比以及匹配区域内的第一像素点查找到第二像素点，其中，所述第二像素点对应所述第一像素点，所述对应模块将第二像素点发送给所述局部插值模块；所述局部插值模块用于接收所述最优轮廓模板以及所述第二像素点，根据所述最优轮廓模板对所述第二像素点做局部插值，得到一个中间像素值，其中，根据全部的所述中间像素值得到初始高分辨率图像；所述全局插值模块用于接收所述中间像素值，对初始高分辨率图像做全局插值得到高分辨率图像。
结合第二方面，本申请第二方面的第一种可能的实施方式中，所述局部插值模块用于根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的插值的导向函数；根据所述第二像素点的插值的导向函数对所述第二像素点进行局部插值。
结合第二方面的第一种可能的实施方式，本申请第二方面的第二种可能的实施方式中，所述局部插值模块用于根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的方向角函数和各向异性函数uS，其中，导向函数由方向角函数和各向异性函数uS表示，
为所述最优轮廓模板，表示将投影到相互垂直的第一轴和第二轴，然后分别在相互垂直的第一轴和第二轴的方向上求梯度，k为所述第一像素点，N表示像素点k的邻域的像素点集合，n为像素点集合中的一个像素点。
结合第二方面的第一种可能的实施方式，本申请第二方面的第三种可能的实施方式中，所述局部插值模块用于根据对所述第二像素点进行局部插值，其中，x为所述第二像素点，k为所述第一像素点，uk(x)为第二像素点的中间像素值，vk为所述第一像素点的像素值，N为x的邻域的像素点集合，n为像素点集合中的一个像素点，cn为插值系数，为采用最优轮廓模板S*()时插值像素点的导向函数。
结合第二方面，本申请第二方面的第四种可能的实施方式中，所述局部插值模块用于根据公式进行全局插值，其中，x为第二像素点，u(x)为第二像素点的全局插值后的最终像素值，k为像素点x的邻域的一个像素点，w(x-k)为像素点x-k的权值，uk(x-k)为像素点x-k的中间像素值。
结合第二方面，本申请第二方面的第五种可能的实施方式中，所述装置还包括优化模块，所述优化模块用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差对全局插值后的高分辨率图像进行优化，以获得优化后的高分辨率图像。
结合第二方面的第五种可能的实施方式，本申请第二方面的第六种可能的实施方式中，所述优化模块用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率；根据插值后的高分辨率图像的原始梯度场以及所述变化率计算得到目标梯度场；根据所述目标梯度场对全局插值后的高分辨率图像进行重建，以获得初始重建高分辨率图像；根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像，多次迭代后，获得优化后的高分辨率图像，其中，迭代前的高分辨率图像的初始图像为初始重建高分辨率图像。
结合第二方面的第六种可能的实施方式，本申请第二方面的第七种可能的实施方式中，所述优化模块用于根据获得变化率，其中，r(d)为变化率，σH为全局插值后的高分辨率图像的梯度轮廓方差，σL为低分辨率图像的梯度轮廓方差。
结合第二方面的第七种可能的实施方式，本申请第二方面的第八种可能的实施方式中，所述优化模块用于根据计算得到所述目标梯度场，其中，为所述目标梯度场，r(d)为所述变化率，为所述插值后的高分辨率图像的原始梯度场。
结合第二方面的第八种可能的实施方式，本申请第二方面的第九种可能的实施方式中，所述优化模块用于根据对全局插值后的高分辨率图像进行重建，其中，为初始重建高分辨率图像，w为权重，dx和dy分别为在第一轴和第二轴的方向梯度，IH为全局插值后的高分辨率图像。
结合第二方面的第九种可能的实施方式，本申请第二方面的第十种可能的实施方式中，所述优化模块用于根据公式对迭代前的高分辨率图像进行补偿，其中，为迭代后的高分辨率图像，为迭代前的高分辨率图像，的初始值为τ为迭代步长，G为高斯核，Il为低分辨率图像，↓为下采样，↑为上采样。
本申请第三方面提供一种图像放大装置，包括：输入设备、处理器以及输出设备，所述输入设备用于输入一个低分辨率图像，所述低分辨率图像包括至少两个匹配区域，所述匹配区域用于与轮廓模板集中的所有轮廓模板进行匹配；所述处理器用于对一个所述匹配区域查找最优轮廓模板，其中，所述最优轮廓模板为在所述轮廓模板集中与所述匹配区域的全变分值最小的轮廓模板；根据缩放比以及匹配区域内的第一像素点查找到第二像素点，其中，所述第二像素点对应所述第一像素点；根据所述最优轮廓模板对所述第二像素点做局部插值，得到一个中间像素值，其中，根据全部的所述中间像素值得到初始高分辨率图像；对初始高分辨率图像做全局插值得到高分辨率图像；所述输出设备用于输出高分辨率图像。
结合第三方面，本申请第三方面的第一种可能的实施方式中，所述处理器用于根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的插值的导向函数；根据所述第二像素点的插值的导向函数对所述第二像素点进行局部插值。
结合第三方面的第一种可能的实施方式，本申请第三方面的第二种可能的实施方式中，所述处理器用于根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的方向角函数和各向异性函数uS，其中，导向函数由方向角函数和各向异性函数uS表示，
为所述最优轮廓模板，表示将投影到相互垂直的第一轴和第二轴，然后分别在相互垂直的第一轴和第二轴的方向上求梯度，k为所述第一像素点，N表示像素点k的邻域的像素点集合，n为像素点集合中的一个像素点。
结合第三方面的第一种可能的实施方式，本申请第三方面的第三种可能的实施方式中，所述处理器用于根据对所述第二像素点进行局部插值，其中，x为所述第二像素点，k为所述第一像素点，uk(x)为第二像素点的中间像素值，vk为所述第一像素点的像素值，N为x的邻域的像素点集合，n为像素点集合中的一个像素点，cn为插值系数，为采用最优轮廓模板S*()时插值像素点的导向函数。
结合第三方面，本申请第三方面的第四种可能的实施方式中，所述处理器用于根据公式进行全局插值，其中，x为第二像素点，u(x)为第二像素点的全局插值后的最终像素值，k为像素点x的邻域的一个像素点，w(x-k)为像素点x-k的权值，uk(x-k)为像素点x-k的中间像素值。
结合第三方面，本申请第三方面的第五种可能的实施方式中，所述处理器用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差对全局插值后的高分辨率图像进行优化，以获得优化后的高分辨率图像。
结合第三方面的第五种可能的实施方式，本申请第三方面的第六种可能的实施方式中，处理器用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率；根据插值后的高分辨率图像的原始梯度场以及所述变化率计算得到目标梯度场；根据所述目标梯度场对全局插值后的高分辨率图像进行重建，以获得初始重建高分辨率图像；根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像，多次迭代后，获得优化后的高分辨率图像，其中，迭代前的高分辨率图像的初始图像为初始重建高分辨率图像。
结合第三方面的第六种可能的实施方式，本申请第三方面的第七种可能的实施方式中，所述处理器用于根据获得变化率，其中，r(d)为变化率，σH为全局插值后的高分辨率图像的梯度轮廓方差，σL为低分辨率图像的梯度轮廓方差。
结合第三方面的第七种可能的实施方式，本申请第三方面的第八种可能的实施方式中，所述处理器用于根据计算得到所述目标梯度场，其中，为所述目标梯度场，r(d)为所述变化率，为所述插值后的高分辨率图像的原始梯度场。
结合第三方面的第八种可能的实施方式，本申请第三方面的第九种可能的实施方式中，所述处理器用于根据对全局插值后的高分辨率图像进行重建，其中，为初始重建高分辨率图像，w为权重，dx和dy分别为在第一轴和第二轴的方向梯度，IH为全局插值后的高分辨率图像。
结合第三方面的第九种可能的实施方式，本申请第三方面的第十种可能的实施方式中，所述处理器用于根据公式对迭代前的高分辨率图像进行补偿，其中，为迭代后的高分辨率图像，为迭代前的高分辨率图像，的初始值为τ为迭代步长，G为高斯核，Il为低分辨率图像，↓为下采样，↑为上采样。
本申请通过为各个匹配区域查找最优轮廓模板，并根据最优轮廓模板进行插值放大，由于最优轮廓模板包含了图像中轮廓的先验知识，所以，利用最优轮廓模板进行插值使得插值后获得的高分辨率图像的边缘大大减少出现模糊、扩散以及振铃等现象，提高放大后的图像的清晰度。
而且，使用梯度轮廓方差（即梯度轮廓先验知识）对图像进行补偿，所采用的方法比解复杂的泊松方程容易得多，从而提高了运算的速度，节约了计算资源。
附图说明
图1是现有技术图像插值方法一实施方式的示意图；
图2是本申请图像放大方法一实施方式的流程图；
图3是本申请图像放大方法中轮廓模板集中各个轮廓模板的示意图；
图4是本申请图像放大方法根据待插值像素点计算插值像素点的示意图；
图5是本申请图像放大方法另一实施方式的流程图；
图6是本申请图像放大方法的图像边缘的梯度示意图；
图7是本申请图像放大装置一实施方式的结构示意图；
图8是本申请图像放大装置另一实施方式的结构示意图；
图9是本申请图像放大装置再一实施方式的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施方式中也可以实现本申请。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
参阅图2，图2是本申请图像放大方法一实施方式的流程图。本实施方式的图像放大方法包括：
S101：为低分辨率图像中的以插值像素点为中心的各个匹配区域查找最优轮廓模板。
首先，输入低分辨率图像。
如图3所示，轮廓模板集中包括直线轮廓模板、抛物线轮廓模板、角轮廓模板以及圆轮廓模板等等。每个轮廓模板包括12个单元110，每个单元110对应低分辨率图像的4个像素点，像素点ui,j，像素点ui+1,j，像素点ui,j+1以及像素点ui+1,j+1。一般而言，低分辨率图像的边缘总可以用直线轮廓模板、抛物线轮廓模板、角轮廓模板以及圆轮廓模板来匹配。例如，低分辨率图像为白色背景下的一个水平设置的矩形，则可以理解，在矩形的四个角处，可以采用角轮廓模板进行匹配，而在矩形的四条边处，可以用直线轮廓模板进行匹配。而在低分辨率图像的非边缘处，例如白色背景处，则可约定采用圆轮廓模板来匹配。当矩形沿一定的方向进行倾斜后，现有的轮廓模板并不能与之进行匹配，此时，可以对现有的轮廓模板进行旋转，使之能与矩形的边缘进行匹配。
然后，根据计算低分辨率图像的以插值像素点为中心的匹配区域与轮廓模板集中的每个轮廓模板的全变分值，以便为匹配区域查找到全变分值最小的轮廓模板作为最优轮廓模板。具体地，
当扫描的方向为从左至右时，先将选取低分辨率图像的第0行、第0列的插值像素点作为中心的5行*5列的像素区域作为匹配区域，为更好地和高斯函数对应，描述图像边缘，匹配区域的四个顶点并不进行匹配。计算低分辨率图像的以插值像素点为中心的匹配区域与轮廓模板集中的轮廓模板的全变分值。计算时，根据公式（1.1）先计算每个单元110所对应的四个像素点的全变分，然后，再根据公式（1.1）计算得到的全变分，并利用公式（1.2）计算匹配区域与整个轮廓模板的全变分值。
其中，TVi，j(u)为每个单元110所对应的四个像素点，像素点ui,j，像素点ui+1,j，像素点ui,j+1以及像素点ui+1,j+1的全变分，i,j分别为行坐标和列坐标，h为空间离散步长，α和β为旋转因子，α=cosθ，β=sinθ，θ为旋转角，H为点扩散函数，为轮廓模型，这里可以为直线轮廓模板、抛物线轮廓模板、角轮廓模板以及圆轮廓模板等等中的一种轮廓模板的距离函数，Ωij为相邻四个像素点组成的单元110，N在本实施方式中为2，且不能取i=-2,j=-2，i=2,j=-2，i=-2,j=2，i=2,j=2的点。
采用公式（1.2）分别计算出轮廓模板集中每个轮廓模板与匹配区域的全变分值后，采用公式（1.3）找出全变分值最小的最优轮廓模板。
其中，k为匹配区域的中心点，此时，k为第0行、第0列的像素点，S*(k)为k点的最优轮廓模板，∑为轮廓模板集，u(k)为k点的像素值。
此后，以行或者列为单位移动匹配区域的中心点，重复上一步骤，直到为各个匹配区域查找到最优轮廓模板。
S102：根据缩放比确定高分辨率图像的待插值像素点所对应的插值像素点，并根据以插值像素点为中心的匹配区域的最优轮廓模板对高分辨率图像的待插值像素点进行局部插值，以得到局部插值结果，其中，高分辨率图像为低分辨率图像根据缩放比放大后的图像。
请一并参阅图4，低分辨率图像210包括多个插值像素点213，每个插值像素点213都具有一个像素值，多个插值像素点213组合在一起，而且插值像素点213具有不同的像素值使得低分辨率图像210能够呈现出画面。高分辨率图像220是低分辨率图像210经过放大后所得到的图像。高分辨率图像220同样包括多个待插值像素点，而且高分辨率图像220中的待插值像素点的像素值可以根据低分辨率图像210的插值像素点213的像素值并经插值算法插值而得到的。这些需要经过插值运算得到像素值的像素点则称为待插值像素点223。
为了保证低分辨率图像210和高分辨率图像220的相似性，可根据缩放比计算出高分辨率图像220中待插值像素点223所对应的低分辨率图像210中的插值点的位置。通常将高分辨率图像220中待插值像素点的位置除以缩放比即可得到低分辨率图像210中的插值点的位置。例如，如果缩放比为3，则高分辨率图像220中待插值像素点的位置为（4，11）时，将待插值像素点的位置除以3，则低分辨率图像210的插值点的位置为
根据以插值像素点为中心的匹配区域的最优轮廓模板计算插值像素点的插值的导向函数。具体地，根据公式（2.1）优轮廓模板计算插值像素点的方向角函数和各向异性函数uS，其中，导向函数由方向角函数和各向异性函数uS表示，
为以插值像素点为中心的匹配区域的最优轮廓模板的距离函数，表示将投影到相互垂直的第一轴和第二轴，然后分别在相互垂直的第一轴和第二轴的方向上求梯度，k为插值像素点，N表示像素点k的邻域的像素点集合，n为像素点集合中的一个像素点。
然后，再根据插值像素点的插值的导向函数对高分辨率图像的待插值像素点进行局部插值。具体地，根据对高分辨率图像的待插值像素点进行局部插值，其中，x为待插值像素点，k为插值像素点，uk(x)为待插值像素点的局部插值，vk为插值像素点的像素值，N为x的邻域的像素点集合，n为像素点集合中的一个像素点，cn为插值系数，为采用最优轮廓模板S*()时插值像素点的导向函数。
插值系数cn的选择应满足点扩散的离散化模型，也即插值系数cn应满足式（2.2）。
其中，k为插值像素点，N为以k为中心的邻域，m为邻域N中的一个点，n为以m点为中心的邻域N的一个点，v为低分辨率图像，矩阵内每个元素满足h为点扩散传播函数，为采用最优轮廓模板时所计算得到的导向函数。
经过上述步骤后，可获得每个待插值像素点的局部插值的结果。
S103：根据局部插值的结果进行全局插值，以得到高分辨率图像。对于高分辨率图像中的一个待插值像素点，可以根据公式进行全局插值，其中，x为待插值像素点，u(x)为待插值像素点的全局插值结果，k为像素点x的邻域的一个像素点，w(x-k)为像素点x-k的权值，uk(x-k)为像素点x-k的局部插值的结果。
对高分辨率图像中的所有待插值像素点都插值完毕后，即可得到高分辨率图像。
本申请通过为各个匹配区域查找最优轮廓模板，并根据最优轮廓模板进行插值放大，由于最优轮廓模板包含了图像中轮廓的先验知识，所以，利用最优轮廓模板进行插值使得插值后获得的高分辨率图像的边缘大大减少出现模糊、扩散以及振铃等现象，提高放大后的图像的清晰度。
参阅图5，图5是本申请图像放大方法另一实施方式的流程图。本实施方式的图像放大方法除了采用图2所示的实施例中的所有步骤外，还具有步骤S104。
S104：根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差对全局插值后的高分辨率图像进行优化，以获得优化后的高分辨率图像。
具体地，可以包括4个步骤：
（1）根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率。
图像梯度可通过表示，其中，I为对应图像，为梯度方向，m为梯度模值，即，
具体地，在图像处理中，可以通过索贝尔sobel算子去求图像的梯度，梯度模值不为零的地方就是图像的边缘，sobel算子模板为：
但是，如图6所示，图像边缘的像素值是渐变的，其变化的规律为先平缓变化（如，p(x1)附近），然后急剧变化（如，p(x0)附近），再平缓变化（如，p(x2)附近），反映在梯度模值上，则表现为一个下抛物线。而在图像处理中，通常希望图像边缘的锐化程度比较高。通过插值后的后的高分辨率图像边缘依然存在较小的扩散、模糊等现象。因为低分辨率图像的边缘轮廓与高分辨率图像的边缘轮廓具有一致性，所以，可以考虑用低分辨率图像的边缘像素点去约束高分辨率图像的边缘像素点，使得高分辨率图像的边缘变得更为锐化。在数学上，即可采用高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差的变化率进行约束。为了求出梯度轮廓方差，必须先求出梯度模值的局部最大值的像素点p(x0)。
梯度轮廓方差定义为：
其中，p(x0)为梯度模值的局部最大值，Z为x0邻域的梯度非零的像素点坐标集合，x为Z中的一个像素点坐标，m(x)为x的梯度模值，d(x,x0)表示像素点x和x0之间沿着梯度轮廓的曲线长度。
所以，在获得梯度模值的局部最大值p(x0)后，即可根据梯度轮廓方差定义求出插值后的高分辨率图像的梯度轮廓方差σH与低分辨率图像的梯度轮廓方差σL，根据获得变化率，其中，r(d)为变化率，σH为全局插值后的高分辨率图像的梯度轮廓方差，σL为低分辨率图像的梯度轮廓方差。
（2）根据插值后的高分辨率图像的原始梯度场以及变化率计算得到目标梯度场。
在获得变化率后，可根据计算得到目标梯度场，其中，为目标梯度场，r(d)为变化率，为插值后的高分辨率图像的原始梯度场。这里将变化率引入公式中，实质上将低分辨率图像的梯度轮廓方差也引入了公式中，重新获得高分辨率图像的目标梯度场，使得高分辨率图像的边缘变得更为锐化。
（3）根据目标梯度场对全局插值后的高分辨率图像进行重建，以获得初始重建高分辨率图像。
在得到高分辨率图像的目标梯度场后，可根据对全局插值后的高分辨率图像进行重建，其中，为初始重建高分辨率图像，w为权重，可根据经验进行人为设定，dx和dy分别为在第一轴和第二轴的方向梯度，IH为全局插值后的高分辨率图像。重建后的高分辨率图像的边缘变得更为锐化，视觉效果更佳。
（4）根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像，多次迭代后，获得优化后的高分辨率图像，其中，迭代前的高分辨率图像的初始图像为初始重建高分辨率图像。
为了进一步使得图像获得更佳的效果，可以根据公式对迭代前的高分辨率图像进行补偿，其中，为迭代后的高分辨率图像，为迭代前的高分辨率图像，的初始值为τ为迭代步长，G为高斯核，Il为低分辨率图像，↓为下采样，↑为上采样。
即，在得到初始重建高分辨率图像之后，先对初始重建高分辨率图像进行下采样，变成和低分辨率图像一样大小的图像，然后再减去低分辨率图像，从而得到差异图像。此后，将差异图像进行上采样以得到和高分辨率图像一样大小的差异图像，之后，将上采样后的差异图像叠加到初始重建高分辨率图像上，从而缩小高分辨率图像与低分辨率图像之间的差异。
当然，为了继续缩小高分辨率图像与低分辨率图像之间的差异，可以继续在叠加后的高分辨率图像继续下采样、相减得到差异图像、上采样、叠加的过程。迭代的次数可以根据经验进行确定，这里一般采用3次迭代即可得到满意的效果。
本实施方式中，使用梯度轮廓方差（即梯度轮廓先验知识）对图像进行补偿，所采用的方法比解复杂的泊松方程容易得多，从而提高了运算的速度，节约了计算资源。
参阅图7，图7是本申请图像放大装置一实施方式的结构示意图。本实施方式的图像放大装置包括：查找模块310、局部插值模块320以及全局插值模块330。
查找模块310用于为低分辨率图像中的以插值像素点为中心的各个匹配区域查找最优轮廓模板。
比如，首先，输入低分辨率图像。如图3所示，轮廓模板集中包括直线轮廓模板、抛物线轮廓模板、角轮廓模板以及圆轮廓模板等等。每个轮廓模板包括12个单元110，每个单元110对应低分辨率图像的4个像素点，像素点ui,j，像素点ui+1,j，像素点ui,j+1以及像素点ui+1,j+1。一般而言，低分辨率图像的边缘总可以用直线轮廓模板、抛物线轮廓模板、角轮廓模板以及圆轮廓模板来匹配。例如，低分辨率图像为白色背景下的一个水平设置的矩形，则可以理解，在矩形的四个角处，可以采用角轮廓模板进行匹配，而在矩形的四条边处，可以用直线轮廓模板进行匹配。而在低分辨率图像的非边缘处，例如白色背景处，则可约定采用圆轮廓模板来匹配。当矩形沿一定的方向进行倾斜后，现有的轮廓模板并不能与之进行匹配，此时，可以对现有的轮廓模板进行旋转，使之能与矩形的边缘进行匹配。
然后，查找模块310根据计算低分辨率图像的以插值像素点为中心的匹配区域与轮廓模板集中的每个轮廓模板的全变分值，以便为匹配区域查找到全变分值最小的轮廓模板作为最优轮廓模板。具体地，
当扫描的方向为从左至右时，先将选取低分辨率图像的第0行、第0列的插值像素点作为中心的5行*5列的像素区域作为匹配区域，为更好地和高斯函数对应，描述图像边缘，匹配区域的四个顶点并不进行匹配。计算低分辨率图像的以插值像素点为中心的匹配区域与轮廓模板集中的轮廓模板的全变分值。计算时，根据公式（1.1）先计算每个单元110所对应的四个像素点的全变分，然后，再根据公式（1.1）计算得到的全变分，并利用公式（1.2）计算匹配区域与整个轮廓模板的全变分值。
其中，TVi,j(u)为每个单元110所对应的四个像素点，像素点ui,j，像素点ui+1,j，像素点ui,j+1以及像素点ui+1,j+1的全变分，i,j分别为行坐标和列坐标，h为空间离散步长，α和β为旋转因子，α=cosθ，β=sinθ，θ为旋转角，H为点扩散函数，为轮廓模型，这里可以为直线轮廓模板、抛物线轮廓模板、角轮廓模板以及圆轮廓模板等等中的一种轮廓模板的距离函数，Ωij为相邻四个像素点组成的单元110，N在本实施方式中为2，且不能取i=-2,j=-2，i=2,j=-2，i=-2,j=2，i=2,j=2的点。
采用公式（1.2）分别计算出轮廓模板集中每个轮廓模板与匹配区域的全变分值后，采用公式（1.3）找出全变分值最小的最优轮廓模板。
其中，k为匹配区域的中心点，此时，k为第0行、第0列的像素点，S*(k)为k点的最优轮廓模板，∑为轮廓模板集，u(k)为k点的像素值。
此后，以行或者列为单位移动匹配区域的中心点，重复上一步骤，直到为各个匹配区域查找到最优轮廓模板。
查找模块310将最优轮廓模板发送给局部插值模块320。
局部插值模块320用于接收最优轮廓模板，根据缩放比确定高分辨率图像的待插值像素点所对应的插值像素点，并根据以插值像素点为中心的匹配区域的最优轮廓模板对高分辨率图像的待插值像素点进行局部插值，以得到局部插值结果，其中，高分辨率图像为低分辨率图像根据缩放比放大后的图像。
比如，请一并参阅图4，低分辨率图像210包括多个插值像素点213，每个插值像素点213都具有一个像素值，多个插值像素点213组合在一起，而且插值像素点213具有不同的像素值使得低分辨率图像210能够呈现出画面。高分辨率图像220是低分辨率图像210经过放大后所得到的图像。高分辨率图像220同样包括多个待插值像素点，而且高分辨率图像220中的待插值像素点的像素值可以根据低分辨率图像210的插值像素点213的像素值并经插值算法插值而得到的。这些需要经过插值运算得到像素值的像素点则称为待插值像素点223。
为了保证低分辨率图像210和高分辨率图像220的相似性，局部插值模块320可根据缩放比计算出高分辨率图像220中待插值像素点223所对应的低分辨率图像210中的插值点的位置。通常将高分辨率图像220中待插值像素点的位置除以缩放比即可得到低分辨率图像210中的插值点的位置。例如，如果缩放比为3，则高分辨率图像220中待插值像素点的位置为（4，11）时，将待插值像素点的位置除以3，则低分辨率图像210的插值点的位置为
局部插值模块320根据以插值像素点为中心的匹配区域的最优轮廓模板计算插值像素点的插值的导向函数。具体地，根据公式（2.1）优轮廓模板计算插值像素点的方向角函数和各向异性函数uS，其中，导向函数由方向角函数和各向异性函数uS表示，
为以插值像素点为中心的匹配区域的最优轮廓模板的距离函数，表示将投影到相互垂直的第一轴和第二轴，然后分别在相互垂直的第一轴和第二轴的方向上求梯度，k为插值像素点，N表示像素点k的邻域的像素点集合，n为像素点集合中的一个像素点。
然后，局部插值模块320再根据插值像素点的插值的导向函数对高分辨率图像的待插值像素点进行局部插值。具体地，局部插值模块320根据对高分辨率图像的待插值像素点进行局部插值，其中，x为待插值像素点，k为插值像素点，uk(x)为待插值像素点的局部插值，vk为插值像素点的像素值，N为x的邻域的像素点集合，n为像素点集合中的一个像素点，cn为插值系数，为采用最优轮廓模板S*()时插值像素点的导向函数。
插值系数cn的选择应满足点扩散的离散化模型，也即插值系数cn应满足式（2.2）。
其中，k为插值像素点，N为以k为中心的邻域，m为邻域N中的一个点，n为以m点为中心的邻域N的一个点，v为低分辨率图像，矩阵内每个元素满足h为点扩散传播函数，为采用最优轮廓模板时所计算得到的导向函数。
局部插值模块320对每个待插值像素点都进行局部插值后，可获得每个待插值像素点的局部插值的结果。
局部插值模块320将局部插值结果发送给全局插值模块330。
全局插值模块330用于接收局部插值结果，根据局部插值的结果进行全局插值，以得到高分辨率图像。
比如，对于高分辨率图像中的一个待插值像素点，全局插值模块330可以根据公式进行全局插值，其中，x为待插值像素点，u(x)为待插值像素点的全局插值结果，k为像素点x的邻域的一个像素点，w(x-k)为像素点x-k的权值，uk(x-k)为像素点x-k的局部插值的结果。
全局插值模块330对高分辨率图像中的所有待插值像素点都插值完毕后，即可得到高分辨率图像。
本申请通过为各个匹配区域查找最优轮廓模板，并根据最优轮廓模板进行插值放大，由于最优轮廓模板包含了图像中轮廓的先验知识，所以，利用最优轮廓模板进行插值使得插值后获得的高分辨率图像的边缘大大减少出现模糊、扩散以及振铃等现象，提高放大后的图像的清晰度。
参阅图8，图8是本申请图像放大装置另一实施方式的结构示意图。本实施方式的除了包括如图7所示的查找模块310、局部插值模块320以及全局插值模块330外，还包括优化模块340。
优化模块340用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差对全局插值后的高分辨率图像进行优化，以获得优化后的高分辨率图像。
具体地，
（1）优化模块340用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率。
图像梯度可通过表示，其中，I为对应图像，为梯度方向，m为梯度模值，即，
具体地，在图像处理中，可以通过索贝尔sobel算子去求图像的梯度，梯度模值不为零的地方就是图像的边缘，sobel算子模板为：
但是，如图6所示，图像边缘的像素值是渐变的，其变化的规律为先平缓变化（如，p(x1)附近），然后急剧变化（如，p(x0)附近），再平缓变化（如，p(x2)附近），反映在梯度模值上，则表现为一个下抛物线。而在图像处理中，通常希望图像边缘的锐化程度比较高。而且，低分辨率图像比较小，而低分辨率图像比较大，通过插值后的后的高分辨率图像边缘依然存在较小的扩散、模糊等现象。因为低分辨率图像的边缘轮廓与高分辨率图像的边缘轮廓具有一致性，所以，可以考虑用低分辨率图像的边缘像素点去约束高分辨率图像的边缘像素点，使得高分辨率图像的边缘变得更为锐化。在数学上，即可采用高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差的变化率进行约束。为了求出梯度轮廓方差，必须先求出梯度模值的局部最大值的像素点p(x0)。
梯度轮廓方差定义为：
其中，p(x0)为梯度模值的局部最大值，Z为x0邻域的梯度非零的像素点坐标集合，x为Z中的一个像素点坐标，m(x)为x的梯度模值，d(x,x0)表示像素点x和x0之间沿着梯度轮廓的曲线长度。
所以，在获得梯度模值的局部最大值p(x0)后，优化模块340即可根据梯度轮廓方差定义求出插值后的高分辨率图像的梯度轮廓方差σH与低分辨率图像的梯度轮廓方差σL，根据获得变化率，其中，r(d)为变化率，σH为全局插值后的高分辨率图像的梯度轮廓方差，σL为低分辨率图像的梯度轮廓方差。
（2）优化模块340用于根据插值后的高分辨率图像的原始梯度场以及变化率计算得到目标梯度场。
在获得变化率后，优化模块340可根据计算得到目标梯度场，其中，为目标梯度场，r(d)为变化率，为插值后的高分辨率图像的原始梯度场。这里将变化率引入公式中，实质上将低分辨率图像的梯度轮廓方差也引入了公式中，重新获得高分辨率图像的目标梯度场，使得高分辨率图像的边缘变得更为锐化。
（3）优化模块340根据目标梯度场对全局插值后的高分辨率图像进行重建，以获得初始重建高分辨率图像。
在得到高分辨率图像的目标梯度场后，优化模块340可根据对全局插值后的高分辨率图像进行重建，其中，为初始重建高分辨率图像，w为权重，可根据经验进行人为设定，dx和dy分别为在第一轴和第二轴的方向梯度，IH为全局插值后的高分辨率图像。重建后的高分辨率图像的边缘变得更为锐化，视觉效果更佳。
（4）优化模块340根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像，多次迭代后，获得优化后的高分辨率图像，其中，迭代前的高分辨率图像的初始图像为初始重建高分辨率图像。
为了进一步使得图像获得更佳的效果，优化模块340可以根据公式对迭代前的高分辨率图像进行补偿，其中，为迭代后的高分辨率图像，为迭代前的高分辨率图像，的初始值为τ为迭代步长，G为高斯核，Il为低分辨率图像，↓为下采样，↑为上采样。
即，在得到初始重建高分辨率图像之后，先对初始重建高分辨率图像进行下采样，变成和低分辨率图像一样大小的图像，然后再减去低分辨率图像，从而得到差异图像。此后，将差异图像进行上采样以得到和高分辨率图像一样大小的差异图像，之后，将上采样后的差异图像叠加到初始重建高分辨率图像上，从而缩小高分辨率图像与低分辨率图像之间的差异。
当然，为了继续缩小高分辨率图像与低分辨率图像之间的差异，可以继续在叠加后的高分辨率图像继续下采样、相减得到差异图像、上采样、叠加的过程。迭代的次数可以根据经验进行确定，这里一般采用3次迭代即可得到满意的效果。
本实施方式中，使用梯度轮廓方差（即梯度轮廓先验知识）对图像进行补偿，所采用的方法比解复杂的泊松方程容易得多，从而提高了运算的速度，节约了计算资源。
参阅图9，图9是本申请图像放大装置再一实施方式的结构示意图。本实施方式的图像放大装置包括：输入设备410、处理器420以及输出设备430、随机存取存储器440、只读存储器450以及总线460。其中，处理器420通过总线460分别耦接输入设备410、输出设备430、随机存取存储器440以及只读存储器450。其中，当需要运行图像放大装置时，通过固化在只读存储器450中的基本输入输出系统引导系统进行启动，引导图像放大装置进入正常运行状态。在图像放大装置进入正常运行状态后，在随机存取存储器440中运行应用程序和操作系统，使得：
处理器420为低分辨率图像中的以插值像素点为中心的各个匹配区域查找最优轮廓模板；根据缩放比确定高分辨率图像的待插值像素点所对应的插值像素点，并根据以所述插值像素点为中心的匹配区域的最优轮廓模板对所述高分辨率图像的待插值像素点进行局部插值，以得到局部插值结果，其中，所述高分辨率图像为所述低分辨率图像根据缩放比放大后的图像；根据所述局部插值的结果进行全局插值，以得到所述高分辨率图像。
可选地，处理器420用于输入低分辨率图像；计算所述低分辨率图像的以插值像素点为中心的匹配区域与轮廓模板集中的每个轮廓模板的全变分值，以便为所述匹配区域查找到全变分值最小的轮廓模板作为最优轮廓模板；以行或者列为单位移动所述匹配区域，重复上一步骤，直到为各个匹配区域查找到最优轮廓模板。
可选地，处理器420用于根据以所述插值像素点为中心的匹配区域的最优轮廓模板计算所述插值像素点的插值的导向函数；根据所述插值像素点的插值的导向函数对所述高分辨率图像的待插值像素点进行局部插值。
可选地，处理器420用于根据以所述插值像素点为中心的匹配区域的最优轮廓模板计算插值像素点的方向角函数和各向异性函数uS，其中，导向函数由方向角函数和各向异性函数uS表示，
为所述最优轮廓模板，表示将投影到相互垂直的第一轴和第二轴，然后分别在相互垂直的第一轴和第二轴的方向上求梯度，k为所述插值像素点，N表示像素点k的邻域的像素点集合，n为像素点集合中的一个像素点。
可选地，处理器420用于根据对所述高分辨率图像的待插值像素点进行局部插值，其中，x为所述待插值像素点，k为所述插值像素点，uk(x)为待插值像素点的局部插值，vk为所述插值像素点的像素值，N为x的邻域的像素点集合，n为像素点集合中的一个像素点，cn为插值系数，为采用最优轮廓模板S*()时插值像素点的导向函数。
可选地，处理器420用于根据公式进行全局插值，其中，x为待插值像素点，u(x)为待插值像素点的全局插值结果，k为像素点x的邻域的一个像素点，w(x-k)为像素点x-k的权值，uk(x-k)为像素点x-k的局部插值的结果。
可选地，处理器420用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差对全局插值后的高分辨率图像进行优化，以获得优化后的高分辨率图像。
可选地，处理器420用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率；根据插值后的高分辨率图像的原始梯度场以及所述变化率计算得到目标梯度场；根据所述目标梯度场对全局插值后的高分辨率图像进行重建，以获得初始重建高分辨率图像；根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像，多次迭代后，获得优化后的高分辨率图像，其中，迭代前的高分辨率图像的初始图像为初始重建高分辨率图像。
可选地，处理器420用于根据获得变化率，其中，r(d)为变化率，σH为全局插值后的高分辨率图像的梯度轮廓方差，σL为低分辨率图像的梯度轮廓方差。
可选地，处理器420用于根据计算得到所述目标梯度场，其中，为所述目标梯度场，r(d)为所述变化率，为所述插值后的高分辨率图像的原始梯度场。
可选地，处理器420用于根据对全局插值后的高分辨率图像进行重建，其中，为初始重建高分辨率图像，w为权重，dx和dy分别为在第一轴和第二轴的方向梯度，IH为全局插值后的高分辨率图像。
可选地，处理器420用于根据公式对迭代前的高分辨率图像进行补偿，其中，为迭代后的高分辨率图像，为迭代前的高分辨率图像，的初始值为τ为迭代步长，G为高斯核，Il为低分辨率图像，↓为下采样，↑为上采样。
本申请通过为各个匹配区域查找最优轮廓模板，并根据最优轮廓模板进行插值放大，由于最优轮廓模板包含了图像中轮廓的先验知识，所以，利用最优轮廓模板进行插值使得插值后获得的高分辨率图像的边缘大大减少出现模糊、扩散以及振铃等现象，提高放大后的图像的清晰度。
而且，使用梯度轮廓方差（即梯度轮廓先验知识）对图像进行补偿，所采用的方法比解复杂的泊松方程容易得多，从而提高了运算的速度，节约了计算资源。
在本申请所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (18)

1.一种图像放大方法，其特征在于，包括如下步骤：
输入一个低分辨率图像，所述低分辨率图像包括至少两个匹配区域，所述匹配区域用于与轮廓模板集中的所有轮廓模板进行匹配，所述轮廓模板集包括直线轮廓模板、抛物线轮廓模板、角轮廓模板以及圆轮廓模板；当所述轮廓模板不能与所述匹配区域匹配时，对所述轮廓模板进行旋转，以使旋转后的所述轮廓模板与所述匹配区域能够匹配；
对一个所述匹配区域查找最优轮廓模板，其中，所述最优轮廓模板为在所述轮廓模板集中与所述匹配区域的全变分值最小的轮廓模板；
根据缩放比以及匹配区域内的第一像素点查找到第二像素点，其中，所述第二像素点对应所述第一像素点；
根据所述最优轮廓模板对所述第二像素点做局部插值，得到一个中间像素值；
重复上述步骤直至全部的所述匹配区域处理完毕，根据全部的所述中间像素值得到初始高分辨率图像；
对初始高分辨率图像做全局插值得到高分辨率图像；
根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率；
根据插值后的高分辨率图像的原始梯度场以及所述变化率计算得到目标梯度场；
根据所述目标梯度场对全局插值后的高分辨率图像进行重建，以获得初始重建高分辨率图像；
根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像，多次迭代后，获得优化后的高分辨率图像，其中，迭代前的高分辨率图像的初始图像为初始重建高分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述根据最优轮廓模板对所述第二像素点做局部插值的步骤包括：
根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的插值的导向函数；
根据所述第二像素点的插值的导向函数对所述第二像素点进行局部插值。
3.根据权利要求2所述的方法，其特征在于，根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的插值的导向函数的步骤具体为：
根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的方向角函数和各向异性函数uS，其中，导向函数由方向角函数和各向异性函数uS表示，所述导向函数为向量函数，所述方向角函数表示所述导向函数的方向，所述各向异性函数uS表示所述导向函数的长度，
为所述最优轮廓模板，表示将投影到相互垂直的第一轴和第二轴，然后分别在相互垂直的第一轴和第二轴的方向上求梯度，k为所述第一像素点，N表示像素点k的邻域的像素点集合，n为像素点集合中的一个像素点，所述∠∫表示将后面的积分结果转化为角度，得到方向角函数值，所述x为积分变量。
4.根据权利要求2所述的方法，其特征在于，所述根据第二像素点的插值的导向函数对所述第二像素点进行局部插值的步骤具体包括：
根据对所述第二像素点进行局部插值，其中，x为所述第二像素点，k为所述第一像素点，uk(x)为第二像素点的中间像素值，vk为所述第一像素点的像素值，N为x的邻域的像素点集合，n为像素点集合中的一个像素点，cn为插值系数，为采用最优轮廓模板S*()时插值像素点的导向函数。
5.根据权利要求1所述的方法，其特征在于，所述对初始高分辨率图像做全局插值得到高分辨率图像的步骤包括：
根据公式进行全局插值，其中，x为第二像素点，u(x)为第二像素点的全局插值后的最终像素值，k为像素点x的邻域的一个像素点，w(x-k)为像素点x-k的权值，uk(x-k)为像素点x-k的中间像素值。
6.根据权利要求1所述的方法，其特征在于，所述根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率的步骤包括：
根据获得变化率，其中，r(d)为变化率，σH为全局插值后的高分辨率图像的梯度轮廓方差，σL为低分辨率图像的梯度轮廓方差。
7.根据权利要求6所述的方法，其特征在于，所述根据插值后的高分辨率图像的原始梯度场以及所述变化率计算得到目标梯度场的步骤包括：
根据计算得到所述目标梯度场，其中，为所述目标梯度场，r(d)为所述变化率，为所述插值后的高分辨率图像的原始梯度场。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标梯度场对全局插值后的高分辨率图像进行重建的步骤包括：
根据对全局插值后的高分辨率图像进行重建，其中，为初始重建高分辨率图像，w为权重，dx和dy分别为在第一轴和第二轴的方向梯度，IH为全局插值后的高分辨率图像。
9.根据权利要求8所述的方法，其特征在于，所述根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像的步骤包括：
根据公式对迭代前的高分辨率图像进行补偿，其中，为迭代后的高分辨率图像，为迭代前的高分辨率图像，的初始值为τ为迭代步长，G为高斯核，Il为低分辨率图像，↓为下采样，↑为上采样。
10.一种图像放大装置，其特征在于，包括：输入模块、查找模块、对应模块、局部插值模块以及全局插值模块，
所述输入模块用于输入一个低分辨率图像，所述低分辨率图像包括至少两个匹配区域，所述匹配区域用于与轮廓模板集中的所有轮廓模板进行匹配，所述轮廓模板集包括直线轮廓模板、抛物线轮廓模板、角轮廓模板以及圆轮廓模板，所述输入模块将所述低分辨率图像发送给所述查找模块以及所述对应模块；当所述轮廓模板不能与所述匹配区域匹配时，所述输入模块还用于对所述轮廓模板进行旋转，以使旋转后的所述轮廓模板与所述匹配区域能够匹配；
所述查找模块用于对一个所述匹配区域查找最优轮廓模板，其中，所述最优轮廓模板为在所述轮廓模板集中与所述匹配区域的全变分值最小的轮廓模板，所述查找模块将所述最优轮廓模板发送给局部插值模块；
所述对应模块用于接收所述低分辨率图像，根据缩放比以及匹配区域内的第一像素点查找到第二像素点，其中，所述第二像素点对应所述第一像素点，所述对应模块将第二像素点发送给所述局部插值模块；
所述局部插值模块用于接收所述最优轮廓模板以及所述第二像素点，根据所述最优轮廓模板对所述第二像素点做局部插值，得到一个中间像素值，其中，根据全部的所述中间像素值得到初始高分辨率图像；
所述全局插值模块用于接收所述中间像素值，对初始高分辨率图像做全局插值得到高分辨率图像；
所述装置还包括优化模块，所述优化模块用于根据全局插值后的高分辨率图像的梯度轮廓方差与低分辨率图像的梯度轮廓方差获得变化率；根据插值后的高分辨率图像的原始梯度场以及所述变化率计算得到目标梯度场；根据所述目标梯度场对全局插值后的高分辨率图像进行重建，以获得初始重建高分辨率图像；根据迭代前的高分辨率图像的下采样图像与低分辨率图像的差异对迭代前的高分辨率图像进行补偿以得到迭代后的高分辨率图像，多次迭代后，获得优化后的高分辨率图像，其中，迭代前的高分辨率图像的初始图像为初始重建高分辨率图像。
11.根据权利要求10所述的装置，其特征在于，所述局部插值模块用于根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的插值的导向函数；根据所述第二像素点的插值的导向函数对所述第二像素点进行局部插值。
12.根据权利要求10所述的装置，其特征在于，所述局部插值模块用于根据所述第二像素点对应的第一像素点的匹配区域的最优轮廓模板计算所述第二像素点的方向角函数和各向异性函数uS，其中，导向函数由方向角函数和各向异性函数uS表示，所述导向函数为向量函数，所述方向角函数表示所述导向函数的方向，所述各向异性函数uS表示所述导向函数的长度，
为所述最优轮廓模板，表示将投影到相互垂直的第一轴和第二轴，然后分别在相互垂直的第一轴和第二轴的方向上求梯度，k为所述第一像素点，N表示像素点k的邻域的像素点集合，n为像素点集合中的一个像素点，所述∠∫表示将后面的积分结果转化为角度，得到方向角函数值，所述x为积分变量。
13.根据权利要求11所述的装置，其特征在于，所述局部插值模块用于根据对所述第二像素点进行局部插值，其中，x为所述第二像素点，k为所述第一像素点，uk(x)为第二像素点的中间像素值，vk为所述第一像素点的像素值，N为x的邻域的像素点集合，n为像素点集合中的一个像素点，cn为插值系数，为采用最优轮廓模板S*()时插值像素点的导向函数。
14.根据权利要求11所述的装置，其特征在于，所述局部插值模块用于根据公式进行全局插值，其中，x为第二像素点，u(x)为第二像素点的全局插值后的最终像素值，k为像素点x的邻域的一个像素点，w(x-k)为像素点x-k的权值，uk(x-k)为像素点x-k的中间像素值。
15.根据权利要求10所述的装置，其特征在于，所述优化模块用于根据获得变化率，其中，r(d)为变化率，σH为全局插值后的高分辨率图像的梯度轮廓方差，σL为低分辨率图像的梯度轮廓方差。
16.根据权利要求15所述的装置，其特征在于，所述优化模块用于根据计算得到所述目标梯度场，其中，为所述目标梯度场，r(d)为所述变化率，为所述插值后的高分辨率图像的原始梯度场。
17.根据权利要求16所述的装置，其特征在于，所述优化模块用于根据对全局插值后的高分辨率图像进行重建，其中，为初始重建高分辨率图像，w为权重，dx和dy分别为在第一轴和第二轴的方向梯度，IH为全局插值后的高分辨率图像。
18.根据权利要求17所述的装置，其特征在于，所述优化模块用于根据公式对迭代前的高分辨率图像进行补偿，其中，为迭代后的高分辨率图像，为迭代前的高分辨率图像，的初始值为τ为迭代步长，G为高斯核，Il为低分辨率图像，↓为下采样，↑为上采样。
CN201310754087.7A 2013-12-31 2013-12-31 图像放大方法以及装置 Active CN103745439B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310754087.7A CN103745439B (zh) 2013-12-31 2013-12-31 图像放大方法以及装置
EP14186933.9A EP2889830A1 (en) 2013-12-31 2014-09-29 Image enlargement method and apparatus
US14/503,948 US9652825B2 (en) 2013-12-31 2014-10-01 Image enlargement method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310754087.7A CN103745439B (zh) 2013-12-31 2013-12-31 图像放大方法以及装置

Publications (2)

Publication Number Publication Date
CN103745439A CN103745439A (zh) 2014-04-23
CN103745439B true CN103745439B (zh) 2018-10-02

Family

ID=50502454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310754087.7A Active CN103745439B (zh) 2013-12-31 2013-12-31 图像放大方法以及装置

Country Status (3)

Country Link
US (1) US9652825B2 (zh)
EP (1) EP2889830A1 (zh)
CN (1) CN103745439B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014207500A1 (en) * 2013-06-24 2014-12-31 Nintendo European Research And Development Brightness-compensating safe pixel art upscaler
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN105719250B (zh) * 2016-01-19 2019-05-03 厦门美图之家科技有限公司 基于简单背景的图像修复方法、系统及拍摄终端
CN106878623A (zh) * 2017-04-20 2017-06-20 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN107105210A (zh) * 2017-05-25 2017-08-29 歌尔股份有限公司 投影校正方法及装置
CN112399069B (zh) * 2019-08-16 2022-06-07 RealMe重庆移动通信有限公司 图像编码方法及装置、存储介质、电子设备
CN110909301B (zh) * 2019-11-19 2024-02-20 吉林大学 基于梯度方向构建的插值方法
CN112954251B (zh) * 2019-12-10 2023-03-21 RealMe重庆移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
CN112037135B (zh) * 2020-09-11 2023-06-09 上海瞳观智能科技有限公司 选择图像关键主体放大并显示的方法
US11568988B2 (en) 2021-01-12 2023-01-31 Emed Labs, Llc Health testing and diagnostics platform
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
WO2022271668A1 (en) 2021-06-22 2022-12-29 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
CN116912096B (zh) * 2023-09-14 2024-01-09 惠州市耀盈精密技术有限公司 一种基于imold系统的精密模具模板图像生成方法
CN117333373B (zh) * 2023-12-01 2024-02-23 武汉宇微光学软件有限公司 一种曲线多边形图像缩放方法、系统及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0677821A3 (en) * 1994-04-14 1996-03-06 Hewlett Packard Co Enlargement of a digital image by slaving.
CN101271571A (zh) 2007-03-21 2008-09-24 智多微电子（上海）有限公司 一种基于边界检测的图像插值方法
WO2009085833A1 (en) * 2007-12-21 2009-07-09 Dolby Laboratories Licensing Corp. Edge directed image processing
CN103034973B (zh) 2012-12-05 2015-08-12 焦点科技股份有限公司 基于双三次插值的自适应图像缩放方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Contour Stencils: Total Variation along Curves for Adaptive Image Interpolation";Pascal Getreuer;《SIAM Journal on Imaging Sciences》;20110929;第4卷(第3期);摘要，图3、4，第2.5节第1-5段，第964页第5-7段，第3.1节第3-4段，第3.2节第1-8段，公式3.6-3.10 *
"Image super-resolution using gradient profile prior";Jian Sun等;《CVPR》;20080628;第2.2节第1-2段，第3节 *

Also Published As

Publication number Publication date
US9652825B2 (en) 2017-05-16
EP2889830A1 (en) 2015-07-01
US20150187048A1 (en) 2015-07-02
CN103745439A (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
CN103745439B (zh) 图像放大方法以及装置
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
US8837854B2 (en) Image processing method for boundary resolution enhancement
US10547871B2 (en) Edge-aware spatio-temporal filtering and optical flow estimation in real time
EP3341911B1 (en) Image upscaling
JP5487106B2 (ja) 画像処理装置および方法、ならびに、画像表示装置
CN106651938A (zh) 一种融合高分辨率彩色图像的深度图增强方法
US20140354886A1 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
TWI503791B (zh) 針對各向異性過濾運算細節位準之技術
US20130342758A1 (en) Video retargeting using content-dependent scaling vectors
US9519996B2 (en) Virtual view generating method and apparatus
JPH07302336A (ja) 画像の特徴を曖昧化する方法および装置
WO2015122062A1 (ja) 画像生成装置及び操作支援システム
CN107194877A (zh) 一种基于单幅图像的保边插值超分辨率计算方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
US9202265B2 (en) Point spread function cost function with non-uniform weights
CN102810155B (zh) 用于从图像中提取文本笔划图像的方法和装置
US20160328829A1 (en) Image generation device and operation support system
WO2018030593A1 (ko) 라플라시안 패치 기반 이미지 합성 방법 및 장치
JP2006350562A (ja) 画像処理装置及び画像処理プログラム
US20130120461A1 (en) Image processor and image processing method
JP5388780B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2011100424A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US20180158194A1 (en) Determining Optical Flow
CN103500434B (zh) 图像放大方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210118

Address after: Room 400, building 5, No.11 Deshengmenwai street, Xicheng District, Beijing 100032 (Desheng Park)

Patentee after: MIGU CULTURE TECHNOLOGY Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right