CN101783872B - 获得高分辨率图像的设备和方法 - Google Patents
获得高分辨率图像的设备和方法 Download PDFInfo
- Publication number
- CN101783872B CN101783872B CN200910140262.7A CN200910140262A CN101783872B CN 101783872 B CN101783872 B CN 101783872B CN 200910140262 A CN200910140262 A CN 200910140262A CN 101783872 B CN101783872 B CN 101783872B
- Authority
- CN
- China
- Prior art keywords
- fdrequency component
- high fdrequency
- output image
- gaussian profile
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000000284 extract Substances 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000004088 simulation Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
提供了一种获得高分辨率图像的设备和方法。获得高分辨率图像的设备可使用输入图像的高频分量产生输出图像的高频分量,合成输入图像和产生的输出图像的高频分量,从而可获得清晰度增强的高分辨率图像。
Description
本申请要求于2009年1月20日提交到韩国知识产权局的第10-2009-0004512号韩国专利申请的优先权,该申请的公开通过引用合并与此。
技术领域
示例性实施例涉及一种获得高分辨率图像的设备和方法,更具体地,涉及这样一种获得高分辨率图像的设备和方法,该设备和方法在不使用附加数据的情况下能够获得增强的高分辨率图像。
背景技术
随着显示技术的发展,显示装置会变得越来越大并且支持高分辨率。
在使用数字相机或数字摄像机获得将被显示在大型显示装置上的图像的情况下,由于相机的小型化而导致的视觉限制(即,由于电荷耦合装置(CCD)/互补型金属氧化物半导体(CMOS)图像传感器的像素数量不足而导致的空间分辨率的限制)以及在压缩/存储/发送记录的图像期间的大小变化,难以获得高分辨率图像。因此,可研发通过信号分析的高分辨率图像增强算法以针对记录的图像获得高分辨率图像。
作为用于从低分辨率图像获得高分辨率图像的现有方法,存在使用缩放器(scaler)的内插方法。内插方法将合适的数据值分配给不具有分配的像素值的像素以提高图像的分辨率。
然而,内插方法是基于线性内插,从而可导致图像的低清晰度和模糊。
发明内容
根据示例性实施例,提供了一种获得高分辨率图像的设备,所述设备包括:缩放器,缩放输入图像并产生第一输出图像;高频分量提取单元,从输入图像提取第一输出图像的第一高频分量;高频分量产生单元,基于第一高频分量产生第一输出图像的第二高频分量;以及图像合成单元,将第一输出图像和第二高频分量合成并产生第二输出图像。
高频分量提取单元可缩放输入图像的高频分量以提取第一高频分量。
高频分量产生单元可基于第一高频分量估计第一高频分量的大小和第二高频分量的大小之间的比例,并基于该比例产生第二高频分量。
根据其他示例性实施例,提供了一种获得高分辨率图像的设备,所述设备包括:缩放器,对输入图像进行缩放并产生第一输出图像;高频分量产生单元,从第一输出图像提取第一高频分量,并基于第一高频分量产生第一输出图像的第二高频分量;将第一输出图像和第二高频分量合成并产生第二输出图像。
根据示例性实施例,提供了一种获得高分辨率图像的方法,所述方法包括:缩放输入图像并产生第一输出图像;从输入图像提取第一输出图像的第一高频分量;基于第一高频分量产生第一输出图像的第二高频分量;以及将第一输入图像和第二高频分量合成并产生第二输出图像。
根据其他示例性实施例,提供了一种获得高分辨率图像的方法,所述方法包括:缩放输入图像并产生第一输出图像;从第一输出图像提取第一高频分量并基于第一高频分量产生第一输出图像的第二高频分量;以及将第一输出图像和第二高频分量合成并产生第二输出图像。
其他方面、和/或优点在以下描述中部分阐述,部分地通过以下描述将是清楚的,或者可通过实施例的实施而得知。
附图说明
通过结合附图的示例性实施例的以下描述,这些和/或其他方面将变得清除和更加易于理解,其中:
图1示出根据示例性实施例的获得高分辨率图像的设备的配置;
图2示出根据其他示例性实施例的获得高分辨率图像的设备的配置;
图3A至图3I示出根据示例性实施例的图像的拉普拉斯信号和清晰度之间的关系;
图4A至图4C示出根据示例性实施例的图像的梯度分量和清晰度之间的关系;
图5示出根据示例性实施例的获得高分辨率图像的方法的流程图;
图6示出根据其他示例性实施例的获得高分辨率图像的方法的流程图。
具体实施方式
现将详细参照示例性实施例,在附图中示出示例性实施例的示例,其中,相同的标号始终表示相同的部件。以下参照附图描述示例性实施例以解释本公开。
图1示出根据示例性实施例的获得高分辨率图像的设备100的配置。
根据示例性实施例,获得高分辨率图像的设备100包括:缩放器110,高频分量提取单元120,高频分量产生单元130以及图像合成单元140,这将在以下描述。
缩放器110可缩放输入图像并产生第一输出图像。
在图像信号处理中,缩放可指示图像的像素数量的增加。也就是说,与输入图像相比,第一输出图像可以是高分辨率图像。在这种情况下,空间频区域的数量可增加至像素的增加的数量。
例如,缩放器110可使用内插方法产生分辨率增强的第一输出图像。
当使用内插方法产生第一输出图像时,缩放器110可不使用全部增加的空间频率区域,并且可仅处理输入图像的空间频率分量。因此,产生的第一输出图像可以是高频分量不足的高分辨率图像。
高频分量提取单元120可从输入图像提取第一输出图像的高频分量。以下,将从输入图像提取的高频分量称为第一高频分量。
根据示例性实施例,高频分量提取单元120可提取并缩放输入图像的高频分量,从而可提取第一高频分量。
例如,高频分量提取单元120可使用低通滤波器(LPF)从输入图像提取高频分量。在这种情况下,使用LPF的高频分量的提取可基于以下等式1执行:
[等式1]
IH=I-LPF(I)
其中,I、IH和LPF()可分别表示输入图像、输入图像的高频分量和低通滤波。
也就是说,高频分量提取单元120可通过对输入图像I进行低通滤波来提取输入图像I的低频分量LPF(I)。而且,高频分量提取单元120可使用输入图像I和提取的输入图像I的低频分量LPF(I)之间的差来提取输入图像I的高频分量IH。
而且,高频分量提取单元120可缩放提取的输入图像I的高频分量IH,从而可提取第一高频分量。
图像的高频分量可包括高频区域的各种信号分量。例如,图像的高频分量可包括拉普拉斯信号。拉普拉斯信号可以是图像的像素值的二阶导数。
根据示例性实施例,第一高频分量可包括第一拉普拉斯信号。
在这种情况下,高频分量提取单元120可使用与以下等式2相应的核(kernel)或遮罩(mask)从输入信号提取拉普拉斯信号:
[等式2]
其中,M可表示拉普拉斯核或遮罩。
然后,高频分量提取单元120可缩放提取的输入信号的拉普拉斯信号,从而可提取第一拉普拉斯信号。
高频分量产生单元130可基于第一高频分量产生第一输出图像的第二高频分量。
由于第一高频分量可以与从输入图像提取的高频分量有关,因此不能仅使用第一高频分量获得高频率图像。因此,高频分量产生单元130可产生第二高频分量,其中,与第一高频分量相比,高频区域中的信号被增强。
在这种情况下,高频分量产生单元130可使用第一高频分量产生第二高频分量。也就是说,高频分量产生单元130可仅使用包括在当前图像中的数据,而不使用如基于重建的超分辨率算法或基于示例的超分辨率算法中的附加数据,来产生用于分辨率增强的高频分量,即,第二高频分量。
根据示例性实施例,高频分量产生单元130可基于第一高频分量估计第一高频分量的大小和第二高频分量的大小之间的比例。以下,该比例被称为大小比。而且,高频分量产生单元130可基于估计的大小比产生第二高频分量。
由于第一高频分量和第二高频分量是单个图像的高频分量,因此第一高频分量的大小与第二高频分量的大小成比例。因此,高频分量产生单元130可估计第一高频分量的大小和第二高频分量的大小之间的大小比,并基于估计的大小比产生第二高频分量。
在这种情况下,根据示例性实施例,高频分量产生单元130可将估计的大小比与由高频分量提取单元120提取的第一高频分量相乘,从而可提取第二高频分量。在这种情况下,大小比可由以下等式3确定:
等式3
其中,r可表示大小比。
图像合成单元140可将第一输出图像和第二高频分量合成并产生第二输出图像。
如上所述,第一输出图像可以是由于高频分量不足而具有低清晰度的图像。因此,图像合成单元140可将第一输出图像和由高频分量产生单元130产生的第二高频分量合成,从而可产生增强了高频分量的第二输出图像。第二输出图像可以是针对输入图像的最终输出图像。
因此,获得高分辨率图像的设备100可获得与低分辨率输入图像相应的高分辨率图像。
如上所述,图像的高频分量可包括拉普拉斯信号。因此,第一高频分量可包括第一拉普拉斯信号,第二高频分量可包括第二拉普拉斯信号。
以下,参照图3A至图3I以及图4A至图4C来详细描述图像的高频分量包括拉普拉斯信号。
图3A至图3I示出根据示例性实施例的图像的拉普拉斯信号和清晰度之间的关系。
图3A示出图像的像素位置和像素值之间的关系的图形。图3B至图3E示出像素位置和拉普拉斯信号值之间的关系的图形。
像素位置可以是图3A至图3E中的相同像素位置。也就是说,图3A至图3E示出根据像素位置的图像的特定部分的像素值和拉普拉斯信号值的图形。
在图3A中,像素值显著改变的点可以是图像中的边缘。
而且,图3B至图3E针对具有不同清晰度的图像示出与拉普拉斯信号有关的图形。在这种情况下,与图3B有关的图像可具有最高清晰度,与图3C有关的图像可具有比图3B的图像低的清晰度,与图3D有关的图像可具有比图3C的图像低的清晰度,与图3E有关的图像可具有比图3D的图像低的清晰度。
图3F可示出具有图3B的拉普拉斯信号的图像的频谱图。类似地,图3G至图3I可分别示出具有图3C至图3E的拉普拉斯信号的图像的频谱图。
如图3F至3I所示,随着图像的清晰度增加,包括在高频带中的频率分量的大小可增加。也就是说,图像的高频分量的比例将增加以增加图像的清晰度。
如图3B至3E所示,随着图像的清晰度增加,尽管可保持拉普拉斯信号的过零位置,但是边缘中的拉普拉斯信号值的变化可能不同。在边缘中可发生拉普拉斯信号的过零。也就是说,随着图像的清晰度增加,边缘中的拉普拉斯信号值得斜率可增加,从而拉普拉斯信号可具有相对锐利的形状。这里,边缘可指示包括边缘像素和与边缘像素相邻的临近像素。
也就是说,尽管可不考虑图像的清晰度而在图像的边缘中发生拉布拉斯信号的过零,但是随着图像的清晰度增加,边缘中的拉普拉斯信号可具有相对锐利(sharp)的形状。
根据示例性实施例的获得高分辨率图像的设备100可控制低分辨率图像的边缘中的拉普拉斯信号值,从而可将拉普拉斯信号的形状改变为锐利。因此,可获得具有高清晰度的高分辨率图像。
图4A至图4C示出根据示例性实施例的图像的梯度分量和清晰度之间的关系。
图4A示出图像的具体部分(以下称为“图像”)。图像的边缘410在图4A中示出。
图4B和图4C示出根据梯度路径420的方向的在图像中边缘的梯度值的分布的图形。梯度路径420的方向可以与边缘410垂直。
图4B示出具有高清晰度的图像的边缘的梯度值的分布的图形。图4C示出具有低清晰度的图像的边缘的梯度值的分布的图形。
如图4B和4C所示,边缘的梯度值的分布可被表示为具有以边缘的像素位置作为均值的高斯分布。而且,随着图像的清晰度增加,边缘的梯度值得分布可具有锐利的形状。也就是说,随着图像的清晰度增加,梯度值的分布的方差值可降低。
在这种情况下,由于梯度分量可指示像素值的斜率,可通过像素值的一阶微分来提取梯度分量。而且,由于拉普拉斯信号可以是像素值的二阶导数,因此可通过对梯度分量进行微分来提取拉普拉斯信号。
如上所述,由于边缘中的梯度分布可具有高斯分布的形状,因此边缘中的梯度分布可将图像的梯度分量模拟为高斯分布。
在这种情况下,可使用边缘中的梯度分布的方差值来模拟在边缘中模拟的高斯分布。模拟的高斯分布的均值可以与边缘的像素位置值相应。
如上所述,作为图像的高频分量的拉普拉斯信号可通过对梯度分量进行微分来提取,并且边缘中的梯度分布可被模拟为高斯分布。因此,高频分量产生单元130可使用模拟的高斯分布来估计第一高频分量的大小和第二高频分量的大小之间的比例。
因此,高频分量产生单元130可通过基于梯度分布的方差值模拟梯度分布来产生第一高斯分布。在这种情况下,梯度分布的方差值可从第一输出图像的边缘提取。而且,高频分量产生单元130可使用第一高斯分布产生第二高斯分布。因此,高频分量产生单元130可基于第一高斯分布和第二高斯分布估计大小比。在这种情况下,第一高斯分布可具有第一方差值,第二高斯分布可具有第二方差值。
如上所述,可通过对梯度分量进行微分来提取拉普拉斯信号。因此,根据示例性实施例,大小比可以是第一高斯分布的导数和第二高斯分布的导数之间的比例。
以下,更详细地描述高频分量产生单元130的操作。
高频分量产生单元130可从第一输出图像的边缘检测梯度分布,并获得检测的梯度分布的方差值。
根据示例性实施例,可基于第一输出图像的梯度图和第一输出图像的边缘图产生第一输出图像的边缘的梯度分布。
可通过包括在高频分量产生单元130中的梯度图产生单元(未示出)来产生梯度图。可通过包括在高频分量产生单元130中的边缘图产生单元(未示出)来产生边缘图。
当产生梯度图时,梯度图产生单元可产生第一输出图像的水平梯度和垂直梯度。
可使用微分核或索贝尔(Sobel)遮罩来产生水平轴的梯度大小。可使用遮罩来产生垂直轴的梯度大小,其中,当产生水平轴的梯度大小时使用的微分核和索贝尔遮罩被转置。
梯度图产生单元可根据以下等式4和等式5,使用产生的水平梯度和产生的垂直梯度来产生梯度大小和梯度角:
[等式4]
[等式5]
其中,|G|可表示梯度大小,∠G可表示梯度角,Gx可表示水平梯度,Gy可表示垂直梯度。
当产生边缘图时,边缘图产生单元可确定每个像素的边缘是否存在。在这种情况下,边缘图产生单元可使用包括在第一高频分量中的第一拉普拉斯信号以确定每个像素的边缘是否存在。也就是说,当在第一拉普拉斯信号中发生过零时,可确定在相应像素中边缘存在。
在这种情况下,由于边缘图产生单元可由于噪声作出错误确定,因此产生的梯度图可被用于确定每个像素的边缘是否存在。因此,边缘图产生单元可仅针对梯度大小与阈值相同或大于阈值的像素来确定边缘是否存在。因此,可减少确定的错误。
边缘图产生单元可使用产生的梯度图的梯度角值来确定边缘像素位置中的方位。而且,边缘图产生单元可使用该方位和边缘存在与否来准确地产生在每个子像素单元的边缘图。
高频分量产生单元130可使用产生的梯度图和产生的边缘图来检测边缘中的梯度分布,并获得检测的梯度分布的方差值。
也就是说,高频分量产生单元130可使用包括在梯度图中的梯度大小和包括在边缘图中的边缘像素位置的方位来检测边缘中的梯度分布。
由于对每个边缘像素存在梯度路径,因此单个梯度路径可以与单个边缘相应。因此,基于梯度路径检测的梯度分布的方差值可以与相应于该梯度路径的边缘像素匹配。因此,可以解释,对每个边缘像素可存在梯度分布的方差值。以下,根据包括具体边缘像素的梯度路径检测的梯度分布的方差值被称为边缘像素的梯度方差值。
这里,需要边缘中的梯度分布的方差值以及梯度路径的像素与边缘像素之间的距离以产生第一高斯分布。因此,高频分量产生单元130可以按照梯度简档(profile)的形式存储边缘中的梯度分布。因此,相应像素和边缘像素之间的距离以及与梯度路径相应的边缘的梯度方差值可被存储在梯度检档中。在这种情况下,相应像素被包括在梯度路径中。
高频分量产生单元130可检索与相应像素具有最小欧式(Euclidean)距离的边缘像素以确定哪个梯度路径包括该相应像素。与检索的边缘像素相应的梯度路径可以是包括相应像素的梯度路径。
高频分量产生单元130可计算在每个子像素单元的边缘像素的梯度方差值以及相应像素和边缘像素之间的距离,以提高梯度简档的准确度。在这种情况下,边缘像素的梯度方差值可通过以下等式6计算:
[等式6]
其中,σ可表示边缘像素的梯度方差值,m′(x)可表示梯度大小的概率分布,x可表示相应像素的位置,x0可表示相应像素中的子像素的位置,d2(x,x0)可表示相应像素到边缘像素的距离,p可表示梯度路径。梯度大小的概率分布可由以下等式7确定:
[等式7]
在获得第一输出图像的边缘的梯度分布的方差值之后,高频分量产生单元130可通过使用获得的梯度分布的方差值模拟梯度分布来产生第一高斯分布。在这种情况下,第一高斯分布的均值可以是边缘像素的位置值,第一高斯分布的方差值可以是获得的方差值,这被称为第一方差值。
而且,高频分量产生单元130可基于第一方差值确定第二方差值,并产生第二高斯分布。第二高斯分布可具有第二方差值,并以边缘像素的位置值作为均值。
如上所述,随着边缘中的梯度分布的方差值减少,图像的清晰度可增强。根据示例性实施例,第二方差值可小于第一方差值。也就是说,高频分量产生单元130可从小于第一方差值的值中任意选择任何一个,并将选择的值确定为第二方差值。
以上描述了产生第一高斯分布和第二高斯分布的高频分量产生单元130的操作。
根据示例性实施例,第一高斯分布和第二高斯分布可以是广义高斯分布(GGD)。
因此,边缘中的梯度分布可以被模拟为GGD。在这种情况下,第一高斯分布可以与第一GGD相应,第二高斯分布可以与第二GGD相应。
模拟边缘中的梯度分布的GGD可被表示为如下:
[等式8]
其中,GGD()、d、σ、λ和Γ()可分别表示GGD的函数、到边缘像素的距离、方差值、用于GGD的形状确定的参数和伽玛函数。α(λ)可通过 给出。
在这种情况下,当输入图像是自然图像时,λ可具有值1.6。边缘中的梯度分布可被模拟为以σ作为变量的GGD。因此,高频分量产生单元130可通过将边缘中的梯度分布的方差值应用于等式8将边缘中的梯度分布模拟为第一GGD。
而且,高频分量产生单元130可通过改变第一GGD的第一方差值来产生第二方差值,并通过将第二方差值应用于等式8来产生第二GGD。
在这种情况下,高频分量产生单元130可使用第一GGD和第二GGD确定大小比。如上所述,由于可通过对梯度分量进行微分来提取包括在高频分量中的拉普拉斯信号,因此可使用等式8和以下等式9来确定大小比:
[等式9]
其中,σ1和σ2可分别表示第一GGD的方差值和第二GGD的方差值。而且,高频分量产生单元130可通过将第一拉普拉斯信号与r(d)相乘来产生第二拉普拉斯信号。
图2示出根据其他示例性实施例的获得高分辨率图像的设备200的配置。
获得高分辨率图像的设备200可包括缩放器210、高频分量产生单元220和图像合成单元230。
缩放器210可缩放输入图像并产生第一输出图像。
高频分量产生单元220可从第一输出图像提取第一高频分量,并基于第一高频分量产生第一输出图像的第二高频分量。
也就是说,高频分量产生单元220可直接从第一输出图像提取第一高频分量。
在这种情况下,高频分量产生单元220可通过将第一输出图像应用于等式1或将第一输出图像应用于与等式2相应的核来提取第一高频分量。
图像合成单元230将第一输出图像和第二高频分量合成并产生第二输出图像。
这里,获得高分辨率图像的设备200的缩放器210、高频分量产生单元220和图像合成单元230可分别与获得高分辨率图像的设备100的缩放器110、高频分量产生单元130和图像合成单元140相应。因此,在此可省略除了由高频分量提取单元220提取第一高频分量之外的详细描述。
图5示出根据示例性实施例的获得高分辨率图像的方法的流程图。
参照图5详细描述获得高分辨率图像的方法。
在操作S510,可缩放输入图像并且可产生第一输出图像。
尽管第一输出图像的分辨率高于输入图像的分辨率,但是由于高频分量不足,第一输出图像可以是具有低清晰度的高分辨率图像。
在操作S520,可从输入图像提取高频分量。
根据示例性实施例,图像的高频分量可包括拉普拉斯信号。
在这种情况下,在操作S520,可根据等式1从输入图像提取高频分量。而且,当高频分量包括拉普拉斯信号时,在操作S520,可使用与等式2相应的核或遮罩从输入信号提取拉普拉斯信号。
在操作S530,提取的高频分量可被缩放并且第一输出图像的第一高频分量可被提取。
在操作S540,可基于第一高频分量产生第一输出图像的第二高频分量。具体地,在操作S540,可不使用附加数据而仅使用包括在当前图像中的数据来产生第二高频分量。
根据示例性实施例,在操作S540,可基于第一高频分量估计第一高频分量的大小和第二高频分量的大小之间的比例(大小比),这在图5没有中示出。在这种情况下,在操作S540,可基于估计的大小比产生第二高频分量。
根据示例性实施例,当估计大小比时,可通过将大小比与在操作S530提取的第一高频分量相乘来提取第二高频分量。在这种情况下,可通过等式3确定大小比。
如上所述,由于图像的高频分量可包括拉普拉斯信号,因此第一高频分量包括第一拉普拉斯信号,第二高频分量可包括第二拉普拉斯信号。
根据示例性实施例,在操作S540,可基于梯度分布的方差值产生第一高斯分布。可从第一输出图像的边缘提取梯度分布的方差值,该方差值被称为第一方差值。而且,在操作S540,可基于第一方差值产生第二高斯分布。在这种情况下,第一高斯分布可具有第一方差值,第二高斯分布可具有第二方差值。而且,可基于第一高斯分布和第二高斯分布估计大小比。
如上所述,可通过对边缘中的梯度分量进行微分来提取作为图像的高频分量的拉普拉斯信号,并且边缘中的梯度分布可被模拟为高斯分布。因此,当估计大小比时,可使用模拟的高斯分布估计第一高频分量的大小和第二高频分量的大小之间的比例。
而且,可通过对梯度分量进行微分来提取拉普拉斯信号。因此,根据示例性实施例,大小比可以是第一高斯分布的导数和第二高斯分布的导数之间的比例。
而且,根据示例性实施例,第一高斯分布可以与第一GGD相应,第二高斯分布可以与第二GGD相应。
在这种情况下,第一GGD和第二GGD可被表示为等式8。
在这种情况下,可通过等式9确定大小比。
在操作S550,第一输出图像和第二高频分量可被合成,并且可产生第二输出图像。因此,可获得增强了高频分量的作为高分辨率图像的第二输出图像。
图6示出根据其他示例性实施例的获得高分辨率图像的方法的流程图。
参照图6详细描述根据其他示例性实施例的获得高分辨率图像的方法。
在操作S610,可缩放输入图像并且可产生第一输出图像。
在操作S620,可从第一输出图像提取第一高频分量。也就是说,在操作S620,可从第一输出图像直接提取第一高频分量。在这种情况下,可通过将第一输出图像应用于等式1或将第一输出图像应用于与等式2相应的核来提取第一高频分量。
在操作S630,可基于第一高频分量产生第一输出图像的第二高频分量。在操作S640,第一输出图像和第二高频分量可被合成,并且可产生第二输出图像。
已经描述了根据其他示例性实施例的获得高分辨率图像的方法。已经参照图1和图2描述的获得高分辨率图像的设备可被应用于获得高分辨率图像的方法。因此,在此将省略进一步详细的描述。
根据上述示例性实施例的获得高分辨率图像的方法可被记录在包括由计算机实施的用于实现各种操作的程序指令的计算机可读介质。该介质还可单独包括程序指令、数据文件、数据结构等或包括它们的组合。计算机可读介质的示例包括磁介质(诸如,硬盘、软盘和磁带)、光介质(诸如,CD-ROM和DVD)、磁光介质(诸如,光盘)以及被具体配置以存储和执行程序指令的硬件装置(诸如,只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。计算机可读介质还可以是分布的网络,从而程序指令可以按照分布的方式被存储和执行。计算机可读介质还可被实现在至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中。程序指令的示例包括机器代码(诸如由编译器产生)和包含可由计算机使用解析器执行的高级代码的文件。描述的硬件装置可被配置为用作一个或多个软件模块,以执行上述示例性实施例的操作,反之亦然。
尽管示出和描述了一些示例性实施例,但是本领域技术人员应该理解,在不脱离公开的原理和精神的情况下,可在示例性实施例中进行改变,公开的范围在权利要求及其等同物中被定义。
Claims (24)
1.一种获得高分辨率图像的设备,所述设备包括:
缩放器,缩放输入图像并产生第一输出图像;
高频分量提取单元,从输入图像提取第一输出图像的第一高频分量;
高频分量产生单元,基于第一高频分量产生第一输出图像的第二高频分量;以及
图像合成单元,将第一输出图像和第二高频分量合成并产生第二输出图像,
其中,高频分量产生单元基于第一高频分量估计第一高频分量的大小和第二高频分量的大小之间的比例,并基于所述比例产生第二高频分量,
其中,高频分量产生单元基于梯度分布的方差值产生具有第一方差值的第一高斯分布,基于所述第一方差值产生具有第二方差值的第二高斯分布,并基于第一高斯分布和第二高斯分布估计所述比例,所述梯度分布的方差值从第一输出图像的边缘被提取。
2.如权利要求1所述的设备,其中,高频分量提取单元缩放输入图像的高频分量以提取第一高频分量。
3.如权利要求1所述的设备,其中,高频分量产生单元将第一高频分量与所述比例相乘以产生第二高频分量。
4.如权利要求1所述的设备,其中,第一高频分量包括第一拉普拉斯信号,第二高频分量包括第二拉普拉斯信号。
5.如权利要求1所述的设备,其中,所述比例是第一高斯分布的导数和第二高斯分布的导数之间的比例。
6.如权利要求1所述的设备,其中,所述第二方差值小于所述第一方差值。
7.如权利要求1所述的设备,其中,高频分量产生单元基于第一输出图像的梯度图和第一输出图像的边缘图检测所述梯度分布。
8.如权利要求1所述的设备,其中,第一高斯分布和第二高斯分布中的每一个是广义高斯分布GGD。
9.一种获得高分辨率图像的设备,所述设备包括:
缩放器,缩放输入图像并产生第一输出图像;
高频分量产生单元,从第一输出图像提取第一高频分量,并基于第一高频分量产生第一输出图像的第二高频分量;以及
图像合成单元,将第一输出图像和第二高频分量合成并产生第二输出图像,
其中,高频分量产生单元基于第一高频分量估计第一高频分量的大小和第二高频分量的大小之间的比例,并基于所述比例产生第二高频分量,
其中,高频分量产生单元基于梯度分布的方差值产生具有第一方差值的第一高斯分布,基于所述第一方差值产生具有第二方差值的第二高斯分布,并基于第一高斯分布和第二高斯分布估计所述比例,所述梯度分布的方差值从第一输出图像的边缘被提取。
10.如权利要求9所述的设备,其中,高频分量产生单元将第一高频分量与所述比例相乘以产生第二高频分量。
11.如权利要求9所述的设备,其中,第一高频分量包括第一拉普拉斯信号,第二高频分量包括第二拉普拉斯信号。
12.如权利要求9所述的设备,其中,所述比例是第一高斯分布的导数和第二高斯分布的导数之间的比例。
13.如权利要求9所述的设备,其中,所述第二方差值小于所述第一方差值。
14.如权利要求9所述的设备,其中,高频分量产生单元基于第一输出图像的梯度图和第一输出图像的边缘图检测所述梯度分布。
15.如权利要求9所述的设备,其中,第一高斯分布和第二高斯分布中的每一个是广义高斯分布GGD。
16.一种获得高分辨率图像的方法,所述方法包括:
缩放输入图像并产生第一输出图像;
从输入图像提取第一输出图像的第一高频分量;
基于第一高频分量产生第一输出图像的第二高频分量;以及
将第一输出图像和第二高频分量合成并产生第二输出图像,
其中,使用至少一个处理器执行上述方法,
其中,所述产生第二高频分量的步骤包括:基于第一高频分量估计第一高频分量的大小和第二高频分量的大小之间的比例,其中,基于所述比例产生第二高频分量,
其中,所述估计步骤包括:基于梯度分布的方差值产生具有第一方差值的第一高斯分布,所述梯度分布的方差值从第一输出图像的边缘被提取;以及基于所述第一方差值产生具有第二方差值的第二高斯分布,其中,基于第一高斯分布和第二高斯分布估计所述比例。
17.如权利要求16所述的方法,其中,所述提取步骤缩放输入图像的高频分量以提取第一高频分量。
18.如权利要求16所述的方法,其中,所述比例是第一高斯分布的导数和第二高斯分布的导数之间的比例。
19.如权利要求16所述的方法,其中,所述第二方差值小于所述第一方差值。
20.如权利要求16所述的方法,其中,第一高斯分布和第二高斯分布中的每一个是广义高斯分布GGD。
21.一种获得高分辨率图像的方法,所述方法包括:
缩放输入图像并产生第一输出图像;
从第一输出图像提取第一高频分量,并基于第一高频分量产生第一输出图像的第二高频分量;以及
将第一输出图像和第二高频分量合成并产生第二输出图像,
其中,使用至少一个处理器执行上述方法,其中,所述产生第二高频分量的步骤包括:基于第一高频分量估计第一高频分量的大小和第二高频分量的大小之间的比例,其中,基于所述比例产生第二高频分量,
所述估计步骤包括:基于梯度分布的方差值产生具有第一方差值的第一高斯分布,所述梯度分布的方差值从第一输出图像的边缘被提取;以及基于所述第一方差值产生具有第二方差值的第二高斯分布,其中,基于第一高斯分布和第二高斯分布估计所述比例。
22.如权利要求21所述的方法,其中,所述比例是第一高斯分布的导数和第二高斯分布的导数之间的比例。
23.如权利要求21所述的方法,其中,所述第二方差值小于所述第一方差值。
24.如权利要求21所述的方法,其中,第一高斯分布和第二高斯分布中的每一个是广义高斯分布GGD。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2009-0004512 | 2009-01-20 | ||
KR1020090004512A KR101548285B1 (ko) | 2009-01-20 | 2009-01-20 | 고해상도 영상 획득 장치 및 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101783872A CN101783872A (zh) | 2010-07-21 |
CN101783872B true CN101783872B (zh) | 2014-02-26 |
Family
ID=42026406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910140262.7A Active CN101783872B (zh) | 2009-01-20 | 2009-07-13 | 获得高分辨率图像的设备和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8150197B2 (zh) |
EP (1) | EP2209087B1 (zh) |
JP (1) | JP5452116B2 (zh) |
KR (1) | KR101548285B1 (zh) |
CN (1) | CN101783872B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011048040A (ja) * | 2009-08-26 | 2011-03-10 | Sony Corp | 映像信号処理装置、映像信号処理方法およびプログラム |
US8798388B2 (en) * | 2009-12-03 | 2014-08-05 | Qualcomm Incorporated | Digital image combining to produce optical effects |
JP4960463B2 (ja) * | 2010-01-28 | 2012-06-27 | 株式会社東芝 | 映像信号処理装置及び映像信号処理方法 |
WO2012175010A1 (en) * | 2011-06-24 | 2012-12-27 | Technicolor (China) Technology Co., Ltd. | Method and device for processing of an image |
WO2013075038A1 (en) * | 2011-11-16 | 2013-05-23 | Dcg Systems, Inc. | Apparatus and method for polarization diversity imaging and alignment |
US20130177242A1 (en) * | 2012-01-10 | 2013-07-11 | James E. Adams, Jr. | Super-resolution image using selected edge pixels |
KR101934261B1 (ko) * | 2012-07-09 | 2019-01-03 | 삼성전자 주식회사 | 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치 |
KR101986108B1 (ko) * | 2012-12-06 | 2019-06-05 | 엘지이노텍 주식회사 | 선명도 향상장치 |
JP2014123173A (ja) * | 2012-12-20 | 2014-07-03 | Sony Corp | 画像処理装置、撮像装置及び画像処理方法 |
JP2014123787A (ja) * | 2012-12-20 | 2014-07-03 | Sony Corp | 画像処理装置、画像処理方法、および、プログラム |
US9154698B2 (en) * | 2013-06-19 | 2015-10-06 | Qualcomm Technologies, Inc. | System and method for single-frame based super resolution interpolation for digital cameras |
CN103873876A (zh) * | 2014-03-17 | 2014-06-18 | 天津大学 | 基于显著性的多视点彩色加深度视频编码方法 |
CN105070220B (zh) * | 2015-09-11 | 2017-11-10 | 京东方科技集团股份有限公司 | 一种显示面板的显示方法、显示器件及显示装置 |
CN106851399B (zh) | 2015-12-03 | 2021-01-22 | 阿里巴巴(中国)有限公司 | 视频分辨率提升方法及装置 |
US11645761B2 (en) * | 2020-08-14 | 2023-05-09 | Meta Platforms Technologies, Llc | Adaptive sampling of images |
CN113034481A (zh) * | 2021-04-02 | 2021-06-25 | 广州绿怡信息科技有限公司 | 设备图像模糊检测方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1018705A2 (en) * | 1994-04-14 | 2000-07-12 | Hewlett-Packard Company | Magnifying digital image using edge mapping |
CN101102399A (zh) * | 2007-07-26 | 2008-01-09 | 上海交通大学 | 带有去噪功能的实时数字图像处理增强方法 |
CN101105863A (zh) * | 2006-07-10 | 2008-01-16 | 西门子(中国)有限公司 | 基于边缘检测的局域化抗混叠方法 |
CN101197910A (zh) * | 2006-12-05 | 2008-06-11 | 广达电脑股份有限公司 | 图像锐化装置与其方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4571635A (en) * | 1984-02-17 | 1986-02-18 | Minnesota Mining And Manufacturing Company | Method of image enhancement by raster scanning |
US5131057A (en) | 1990-02-12 | 1992-07-14 | Wright State University | Method for video-to-printing image resolution conversion |
US5227789A (en) * | 1991-09-30 | 1993-07-13 | Eastman Kodak Company | Modified huffman encode/decode system with simplified decoding for imaging systems |
FR2685590B1 (fr) * | 1991-12-20 | 1995-01-13 | France Telecom | Photorecepteur non selectif pour signaux optiques modules en frequence et liaison optique utilisant ce photorecepteur. |
US5835637A (en) * | 1995-03-20 | 1998-11-10 | Eastman Kodak Company | Method and apparatus for sharpening an image by scaling spatial residual components during image reconstruction |
JP2000278532A (ja) * | 1999-03-26 | 2000-10-06 | Noritsu Koki Co Ltd | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
KR100311481B1 (ko) | 1999-10-20 | 2001-10-18 | 구자홍 | 영상 처리 시스템의 정규화 복원방법과 장치 |
US7068851B1 (en) * | 1999-12-10 | 2006-06-27 | Ricoh Co., Ltd. | Multiscale sharpening and smoothing with wavelets |
US6856704B1 (en) * | 2000-09-13 | 2005-02-15 | Eastman Kodak Company | Method for enhancing a digital image based upon pixel color |
KR100504594B1 (ko) | 2003-06-27 | 2005-08-30 | 주식회사 성진씨앤씨 | 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법 |
KR101006810B1 (ko) | 2004-03-02 | 2011-01-10 | 주식회사 케이티 | 예제 기반 초해상도 기법을 이용한 고품질 영상 획득 방법 |
US8340177B2 (en) | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
JP4565393B2 (ja) | 2005-12-22 | 2010-10-20 | 日本ビクター株式会社 | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム |
KR20070119879A (ko) | 2006-06-16 | 2007-12-21 | 삼성전자주식회사 | 영상의 해상도 변환 방법 및 그 장치 |
JP4999392B2 (ja) * | 2006-07-28 | 2012-08-15 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
US7952647B2 (en) * | 2006-12-27 | 2011-05-31 | Intel Corporation | Method and apparatus of content adaptive detailing filtering for digital pictures |
WO2009110328A1 (ja) * | 2008-03-03 | 2009-09-11 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
US8233734B2 (en) * | 2008-09-22 | 2012-07-31 | Microsoft Corporation | Image upsampling with training images |
-
2009
- 2009-01-20 KR KR1020090004512A patent/KR101548285B1/ko active IP Right Grant
- 2009-05-07 US US12/453,354 patent/US8150197B2/en active Active
- 2009-05-08 EP EP09159815.1A patent/EP2209087B1/en active Active
- 2009-07-13 CN CN200910140262.7A patent/CN101783872B/zh active Active
- 2009-07-23 JP JP2009171683A patent/JP5452116B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1018705A2 (en) * | 1994-04-14 | 2000-07-12 | Hewlett-Packard Company | Magnifying digital image using edge mapping |
CN101105863A (zh) * | 2006-07-10 | 2008-01-16 | 西门子(中国)有限公司 | 基于边缘检测的局域化抗混叠方法 |
CN101197910A (zh) * | 2006-12-05 | 2008-06-11 | 广达电脑股份有限公司 | 图像锐化装置与其方法 |
CN101102399A (zh) * | 2007-07-26 | 2008-01-09 | 上海交通大学 | 带有去噪功能的实时数字图像处理增强方法 |
Non-Patent Citations (2)
Title |
---|
mahesh k.parametric generalized gaussian density estimation.《journal fo the acoustic society of america》.1989,全文. |
parametric generalized gaussian density estimation;mahesh k;《journal fo the acoustic society of america》;19891130;全文 * |
Also Published As
Publication number | Publication date |
---|---|
JP2010170519A (ja) | 2010-08-05 |
KR101548285B1 (ko) | 2015-08-31 |
US8150197B2 (en) | 2012-04-03 |
EP2209087B1 (en) | 2014-05-21 |
CN101783872A (zh) | 2010-07-21 |
JP5452116B2 (ja) | 2014-03-26 |
EP2209087A1 (en) | 2010-07-21 |
US20100182459A1 (en) | 2010-07-22 |
KR20100085306A (ko) | 2010-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101783872B (zh) | 获得高分辨率图像的设备和方法 | |
KR101978172B1 (ko) | 깊이 영상을 고해상도로 변환하는 방법 및 장치 | |
CN101231743B (zh) | 信号处理设备和信号处理方法、以及程序和记录介质 | |
US7043091B2 (en) | Method and apparatus for increasing spatial resolution of an image | |
KR101584115B1 (ko) | 시각적 관심맵 생성 장치 및 방법 | |
CN102136144B (zh) | 图像配准可靠性模型和超分辨率图像的重构方法 | |
US8233748B2 (en) | Image-resolution-improvement apparatus and method | |
CN101677358B (zh) | 用于高质量图像和视频升频的系统和方法 | |
CN103426148A (zh) | 生成低分辨率输入数据结构的超分辨率版本的方法和设备 | |
US9105106B2 (en) | Two-dimensional super resolution scaling | |
CN102881000A (zh) | 一种视频图像的超分辨率方法、装置和设备 | |
Zhang et al. | Non‐local feature back‐projection for image super‐resolution | |
EP3021278A1 (en) | High-resolution image generation device, high-resolution image generation method, and high-resolution image generation program | |
CN109325909B (zh) | 一种图像放大方法和图像放大装置 | |
KR20130036430A (ko) | 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 | |
CN101841641B (zh) | 一种基于细分方法的视频放大方法及系统 | |
Liu et al. | Hyperspectral image super-resolution employing nonlocal block and hybrid multiscale three-dimensional convolution | |
CN106845540A (zh) | 一种图像重采样操作插值类型识别方法 | |
CN113536971A (zh) | 一种基于增量学习的目标检测方法 | |
CN102946522B (zh) | 基于非局部均值的超分辨率方法和设备 | |
KR101721632B1 (ko) | 변형된 커널 회귀 방법을 이용한 영상 보간 장치, 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체 | |
KR101607948B1 (ko) | 영상 처리 장치 및 방법 | |
Ousguine et al. | A new image interpolation using laplacian operator | |
JP2007155592A (ja) | 天気図生成装置、天気図生成方法、および天気図生成プログラム | |
CN116402683A (zh) | 图像超分辨率重建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |