CN103140874A - 用于产生输出图像数据的方法和系统 - Google Patents
用于产生输出图像数据的方法和系统 Download PDFInfo
- Publication number
- CN103140874A CN103140874A CN201180031630XA CN201180031630A CN103140874A CN 103140874 A CN103140874 A CN 103140874A CN 201180031630X A CN201180031630X A CN 201180031630XA CN 201180031630 A CN201180031630 A CN 201180031630A CN 103140874 A CN103140874 A CN 103140874A
- Authority
- CN
- China
- Prior art keywords
- image
- output image
- derivative
- image data
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000011084 recovery Methods 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 230000010354 integration Effects 0.000 description 8
- 230000002441 reversible effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及用于产生输出图像数据的方法和系统。产生输出图像数据的方法包括获得与基准图像有关的导数数据;获得输出图像数据的约束;和根据约束从与基准图像有关的导数数据产生输出图像数据。该方法可被用于从输入图像的导数恢复健壮的输出图像。
Description
技术领域
本发明涉及用于产生输出图像数据的方法和系统。
背景技术
我们在许多地方遇到形式Ax≈b的方程组。其中,数的n×m矩阵A已知为n×1矢量b,并且我们对于使得近似值尽可能接近地成立(在某种意义上)的矢量x求解。作为具体例子,我们可尝试并预测2006年的月份温度作为前5年的月份温度的线性组合。从而,这里A为12×5并且b为12×1,并且我们对于5×1矢量x求解。存在许多的对于x求解的方式,但是在本文中,我们关心健壮解。例如假定我们具有两个方程组:Ax≈b和Ay≈b+c。其中,c表示非常小的数的矢量;即,两组的方程有效地相同。如果我们对于x和y求解时它们的解相互不同,那么我们会感到奇怪。但是,如果我们单纯地求解方程,那么事实会是如此。健壮解策略会返回x≈y。
发明内容
根据本发明的一个方面,提供一种产生输出图像数据的方法,该方法包括:获得与基准图像有关的导数数据;获得输出图像数据的约束;和根据约束从与基准图像有关的导数数据产生输出图像数据。
根据本发明的一个方面,提供一种图像处理系统,该图像处理系统包括:被配置为获得与基准图像有关的导数数据的第一部件;被配置为获得输出图像数据的约束的第二部件;和可操作为从第一部件接收与基准图像有关的导数数据并从第二部件接收约束并根据约束从与基准图像有关的导数数据产生输出图像数据的第三部件。
根据本发明的一个方面,提供一种用于存储当被处理器执行时使处理器实现产生输出图像数据的方法的机器可执行指令的计算机可读存储介质,包括:获得与基准图像有关的导数数据;获得输出图像数据的约束;和根据约束从与基准图像有关的导数数据产生输出图像数据。
根据本发明的一个方面,提供一种用于从输入图像的导数恢复健壮输出图像的方法。
在本说明书中,使用术语“图像”和“图像数据”。一般地,使用“图像”以表示图像自身或从中呈现视觉图像的数据,从而以直接的方式描述它,例如不是描述图像的函数或导数。但是,“图像数据”可直接或间接地表示图像,它可例如指的是图像的函数或导数。
根据本发明一个方面,提供一种处理图像的方法,该方法包括获得图像的导数并然后从中恢复处理的图像。该方法具有能够产生健壮图像的优点。
在优选的方法中,处理或恢复的图像的平均值被设为等于原始图像的平均值;这具有避免由积分的未知常数导致的问题的优点。
根据本发明的一个方面,提供用于处理图像的设备,该设备包括用于获得图像的导数的装置和用于从导数恢复处理的图像的装置。
优选地,从基准图像的导数恢复基准图像的健壮版本以形成输出图像。
虽然描述一般涉及图像的产生或处理,但是本发明的方面也适用于例如音频信号的输入信号的任何形式。
可以在本发明的实施例中使用任何次数的导数。
可通过均方根度量或从最大和最小输出图像值之间的差值计算输出图像数据的函数的大小。
附图说明
现在参照附图仅作为例子描述优选实施例,其中:
图1是根据本发明的实施例的系统的示意图;
图2:a)是原始图像,b)是根据本发明的实施例的健壮方法的一次应用之后的图像,以及d)是两次应用之后的图像。2c)与2b)比较原始强度(图像的断面),以及2e)表示单次和双重应用的亮度;
图3是本发明的实施例的针对图像大小的拟合误差的两个示图;以及
图4:a)是原始图像,b)是健壮对应物,c)是效果得到减弱的健壮对应物,d)是较大的λ的健壮图像,以及e)是c)与d)的平均值。
具体实施方式
图1是用于产生与希望的健壮性的图像有关的输出图像数据的系统100的示意图。
在示出的实施例中,系统100是图像压缩系统,但是对于诸如以下描述的应用,系统可被用于产生希望的健壮性的图像。
图像捕获装置110在本实施例中是可操作为捕获场景的图像的数字照相机。第一部件120可操作为获得与由图像捕获装置110捕获的基准图像有关的数据。但是,第一部件120可替代性地通过其它的手段、诸如从数据存储器获得与基准图像有关的图像数据。
在本实施例中,第一部件120可操作为产生与基准图像有关的导数数据。但是,在其它的实施例中,由第一部件120接收的与基准图像有关的数据是与基准图像有关的导数数据。
第一部件120可操作为向与基准图像有关的导数数据应用函数,诸如阈值或削波到零函数。
第二部件130可操作为根据产生哪种输出图像数据获得规则化约束。
在示出的实施例中,约束包含使以下的项的和最小化的要求:输出图像数据的导数与基准图像的导数数据之间的差异;和正罚项。在后面更详细地描述可能的约束。
第三部件140从第一部件120获得对于基准图像的导数数据并从第二部件130获得规则化约束,并且根据约束从与基准图像有关的导数数据产生输出图像数据。
在示出的实施例中,由输出图像数据表现的输出图像是由于规则化约束中的正罚项压缩动态范围的健壮图像。如上面解释的那样,如果导数取自输出图像并然后轻微地改变,那么它们仍合并成接近输出图像的图像。因此,输出图像被称为健壮。但是,基准图像的细节不丢失,并且可通过使用输出图像作为系统100的基准图像但使用规则化约束中的适当的负罚项被恢复。这可使得图像不健壮并且延长压缩的动态范围。
第三部件140也可操作为向输出图像数据施加通过第一部件120向与基准图像有关的导数数据施加的函数的反函数。
当然,第一、第二和第三部件120、130和140不需要是单独的物理部件,而可以是诸如适当编程的处理器的单个部件。
另外,如上面解释的那样,系统不限于描述的图像压缩应用,而是可被用于需要预定的健壮性的图像的许多其它应用。对于它们中的许多,使用不同的规则化约束,并且在后面详细描述它们。
为了理解我们的方法,进一步检查我们如何求解方程组是有用的。假定我们具有n×2矩阵A=[b c1]并且我们尝试求解Ay≈b+c2。推荐c表示非常小的数的矢量,很显然,好的解会是x=[1 0]t。但是,同样地,假定1000c1≈0,则x=[1 10000]t是可能的。我们如何在这两个解之间区分?那么,可论证地,由于第2系数较小(0与10000相比),因此,x=[1 0]t比x=[1 10000]t简单。事实上,我们会说,方程组的好的解具有||Ax≈b||且||x||较小的性能(其中,||.||是大小的一些度量,例如,平方和的均方根)。在数学上,我们可以通过最小化下式找到这些解:
I=||Ax-b||+λ||x|| (1)
其中,λ是用户定义的罚标量。关于我们的例子,很显然,解x=[1 0]t会是优选的。
因此,该导言如何帮助我们考虑健壮图像?那么,假定我们具有表示为矢量Q的图像J(x,y):作为数的长矢量伸出的图像J。使q表示与Q相关的x和y导数。众所周知,图像的导数是图像自身的对偶表示(dual representation)[7]:给定图像导数,我们可通过积分(直到积分的单个未知常数)来恢复图像。为了进一步考虑这些思想,我们将微分写为矩阵式:
DQ=q (2)
位置(i,j)上的图像J的x导数可被写为J(i+1,j)-J(i,j)。类似地,y导数等于J(i,j+1)-J(i,j)。如果J为n×m,那么Q是数的nm矢量。微分算子矩阵D是2nm×nm矩阵(由于每个像素存在x和y导数,因此为2nm行)。除了为1和-1的两个条目,D的给定行均为0,如果J(i+1,j)和J(i,j+1)被映射到Q的第u行和第v行,那么我们将1置于列u并且将-1置于v。为了求解(2),我们会单纯地和错误地如原来那样写为:
Q=D-1q (3)
错误的是,由于微分算子矩阵均是非平方的(通过非逆定义)和缺少秩的。我们可通过在我们计算导数图像时仔细规定在图像的边界上出现什么使其为全秩(nm维)。例如,我们会假定:在图像的边界外面,图像信号为0(有效地,我们用0扩充原始图像)。这是Dirichlet边界条件的一个例子(我们假定我们知道什么在图像外面)。作为替代方案,我们会假定同类Newmann边界条件:图像的边缘上的导数为0。但是,我们仍不能直接将D求逆(它仍然不是平方)。而是,我们在最小平方的意义上对Q求解:
Q=D+q=Q=[DtD]-1Dtq (4)
其中,D+是伪倒数[3](有时称为Moore-Penrose倒数)。很显然,将DQ代入(4)中的q导致Q=Q的结论(即,我们正确地重新积分导数,以恢复开始的图像:我们已示出图像的对偶性和它们的导数)。
现在考虑给定方程DQ1≈q并且DQ2≈q+c。很显然,给定类似的导数,我们会喜欢Q1≈Q2。一种实现这一点的方式是使下式中的误差最小化:
Err=||DR-q||+λ||R|| (5)
即,给定导数q,我们恢复大小在一些意义上处于边界的图像R(罚项λ越大,则恢复图像的大小越小,正如式1那样)。我们说,以这种方式恢复的图像(从其自身的导数)是健壮的。这是由本发明的实施例提供的有用的优点。我们这里观察恢复具有希望的性能的图像的规则化的思想不是全新的。Hurlbert[6]将亮度恢复(反射率和照度的分离)公式化为规则化问题。其中,尽管对于使输入图像与具有希望性能的有关图像相关对于最小化求解(在Hurlbert的论文中,具有比方说强度梯度的图像与去除了梯度的对应物有关)。在本发明的实施例中,不给出解的“右手”部分(不是经典的回归)。并且,在Hurlbert的方法中,中心误差函数在原始(非导数)域中使误差最小化。
(5)的解等于:
R=[DtD+λI]-1Dtq (6)
其中,I表示nm×nm单位矩阵(identity matrix)。注意,q=DQ,我们将(6)重写为:
R=[DtD+λI]-1DtDQ (7)
关于(7),是值得多说几点的。首先,与(4)不同,恢复图像的导数一般不等于开始的导数:DQ≠q。但是这是我们想要:通过式(6),常常不健壮的输入图像被转变成健壮。第二,由于在矩阵求逆中不包含单位矩阵I,因此很显然,[DtD+λI]-1总是可逆的。即使当我们关于边界条件宽松时,这也保持成立。这是相当重要的一点。它意味着例如我们可用导数中的第二个、第三个(或者,事实上,任意序号或序号的组合)替换D中的导数运算,并且我们仍具有很好地形成的最小化。我们可在不进行强的边界假定的情况下从其导数恢复图像以及我们可用任意序号的导数工作是本发明的实施例的两个优点。可通过使用包括Jacobi迭代和Gauss-Seidel方法[8]的标准矩阵求逆技术求解式(7)。
在某些条件下(例如,假定同类的Neumann边界条件),(7)的矩阵计算可被写为卷积算子。关于同类的Neumann边界条件,可对于给定的λ表示它,(7)的结果可近似为:
其中,k是小于但接近1的常数,m使得逆指数和下面的面积小于但接近1,并且,r控制逆指数的形状(峰态)。随着λ增加,k、m和r减小。通过公式化为卷积计算,可以迅速地计算健壮图像(例如,通过在傅立叶域中实施卷积[4])。可通过可分离的一个通过近似过滤,获得进一步的加速[4](因此,行和列通过1维卷积过滤被成功地卷积)。
我们可通过允许通过同形函数f()变换输入图像并通过函数T变换Q的导数进一步实现一般化:
R=f1([DtD+λI]-1DtT(Df(Q)) (9)
其中,f()可为例如对数函数。在这种情况下,我们可在微分之前取对数,并且作为制作健壮图像的最终步骤将f1()取幂。由于像素之间的相对差异趋于在感觉上更明显,因此常常在对数空间中实施导数操作[9]。函数T会是阈值函数,例如,如果导数的绝对值非常大,那么T()会使其值衰减。同样,如果导数接近0,那么T()会将导数设为0。在图像增强文献[1]中找到衰减和削波到零的例子。本发明的实施例覆盖(9)的一般形式。
我们在图2中示出本发明的实施例:图(2a)表示台阶边缘图像,图(2b)表示通过使用式(6)恢复的图像。读者应通过小的孔径尝试和观察(2b)以实现最好的感觉效果。当在右面情况下观察时,(2b)的大小应看起来类似于(2a)。由于左边缘和右边缘上的灰度级值分别几乎相同,因此这是令人惊奇的。在图(2c)中,我们比对两个边缘的边缘轮廓。为了达到这些图,我们实施共同的图像处理工作流程。首先,强度值处于范围0~1中。由于在我们恢复Q时我们具有积分的未知常数,因此我们将恢复的图像的平均值设为等于初始的平均值。图(2c)中的示图以0为中心(这是由于,我们重添积分的常数):很显然,健壮图像的大小比我们期望的初始小。对于心理-物理学家来说,(2c)的弯曲强度轮廓被觉察为与原台阶边缘类似是公知的。事实上,该效果被称为Craik-Cornsweet假象[9]。这里值得评论的是,我们通过使用简单的很好地找到的健壮数学论点产生了该假象。
在图(2d)中,我们表示导致将(6)应用于(2c)的图像。实际上,我们对于Q1求解,其中,Q0是原始健壮图像:
I=||DQ1-DQ0||+λ||Q1|| (10)
当然,如果(2c)是健壮图像,那么我们不期望其健壮对应物太不同。事实上,如果是这样,那么图(2d)表示健壮过程的第二次应用。在(2e)中,我们比较健壮算法的单次和两次应用的强度轮廓。很显然,一旦图像健壮,那么它保持健壮。
值得注意的是,存在用于自动选择罚项λ的方法。例如,很显然,随着λ→0,最小的最小平方答案minR||DR-DQ||被返回,并且,随着λ→0,恢复的图像的大小变大。关于恢复的图像的大小绘制恢复误差导致L形曲线。在图(3a)中,我们对于λ的许多不同的选择示出了示例性的L曲线。在规则化理论中,λ常常被选择,使得恢复的矢量(在我们的情况下,为图像)的大小较小,以及存在较小的拟合误差,例如,λ=k[5]。
如图3(a)所示,选择λ=k返回具有小的大小和小的拟合误差的图像。关于动态范围压缩的应用(图3(b)),我们可设定λ=c,使得图像大小处于目标动态范围内。
(1)中示出的等式是规则化理论的例子[5]。量λ||Q||是罚项或者规则化项。事实上,存在许多其它的我们可规则化方程组的方式。我们可例如需要恢复的图像在一些意义上平滑或者在一些意义上恢复的健壮图像接近原点。事实上,可通过一般化罚项考虑许多的规则化。我们将一般的罚顶写为:
λ||g(Q)||p (11)
其中,p是Minkowski p范数。如果p=2,那么计算平方和(作为罚)。函数g()可以是相当任意的函数。例如,在恢复图像时,对于使图像范数的一些非线性函数最小化会是十分重要(例如,近似感觉量)。可在本发明的实施例中使用由(11)恢复的形式的任何规则。存在其它的将恢复的图像的范数划界的方式。我们可例如要求恢复的图像是一小组平滑函数的线性组合(例如,离散余弦基的前M个项)。但在这种情况下,健壮图像将是平滑的。存在各种的许多的规则,不胜枚举。可以说,每个提供用于促进健壮解的手段。本发明的实施例包括以下的规则化工作流程:
1.k=f(J),(f()是同态变换,J是开始图像)
2.q=T(DK)(q是一些导数,D或一些阶数的导数的组合。D可描述给定的线性算子或计算机程序。T是导数(诸如阈值)上的算子)。
3.从q恢复R经受一些规则化约束。
4.O=f1(R)破坏同态变换。
关于本发明,有用的优点在于,图像可关于自身被规则化(使得健壮)。一般地,给出方程A和回归矢量b,并且我们然后对x求解。其中,我们知道我们关注微分算子D,但是我们从原始图像计算q=DQ。由于罚项,因此恢复图像R不等于原始图像。一旦实现(发明)图像及其导数可被写为待求解的方程组的思想,可应用整个标准规则化理论,以实现图像健壮。
很显然,该思想扩展到图像被分解成不同的尺度的方案。例如,用给定的Gaussian滤波器将图像平滑化趋于抑制小的细节,但大的边缘保持存在。我们还可根据本发明的实施例使得该平滑化的图像健壮。常常地,不同的图像尺度在金字塔中排序,即,在Gaussian金字塔中,各水平包含通过具有先前使用的一个的标准偏差的两倍的Gaussian模糊化的图像。因此,在顶级上,我们具有原始图像,从而我们用1像素标准偏差Gaussian然后用标准偏差2、4、8、16、32等卷积。在底级上,我们存储图像的全局平均值。通过存储连续的层之间的差异,我们计算所谓的Laplacian金字塔[2]。可从k-1上的Gaussian和水平k上的差值预测水平k上的Gaussian。仅存储不同的模糊水平之间的差异提供有效的将原始图像编码的手段。在本发明的实施例中,我们可在不同的尺度上存储健壮图像的差异。替代性的在不同的尺度上计算健壮图像的方式是用不同的罚项λ计算一系列的算子。如果λ较小,那么将只有图像中的最大边缘被衰减。当λ变大时,较小的边缘的大小也是十分重要的,并因此使得它们较小。
健壮图像在计算机视图和图像处理中具有许多的应用。在图(4)中示出了呈现图像细节的应用的例子。其中,我们具有细节以阴影或突出显示的不明显的原始图像。明暗图像之间的该大的差异是非健壮的例子。应用根据本发明的实施例的方法产生图4b中的图像。很显然,我们可更好地看到所有的细节。但是,图像看起来有点不自然(天空变得太暗)。在图4c中,我们减弱使得图像健壮的过程(并确信不允许1和0附近的值在输出中变化太大),并且这导致我们同时呈现阴影的突出显示的细节的图像。在图4d中,我们示出了通过较大的λ罚项制作健壮图像的第二输出图像。注意亮度的范围如何减小(如我们期望的那样)。最后,在图4e中,我们示出了4d和4c的平均值。图4e是单纯地通过改变罚项并将结果平均化来实施多级处理的类型的例子。还能够选择目标动态范围并因此设定罚项λ。在3b中,我们设定λ=c,使得我们满足目标图像大小(对于动态范围压缩来说可被定义为最亮与最暗像素之间的差值)。
值得在规则化理论的背景中考虑该方法为什么对于该图像增强问题起作用。假定我们考虑图像作为其导数。我们知道,我们可将图像积分以返回原始(称为I1)。但是,考虑如果我们向图像中心下面的所有x导数添加(比方说)k发生什么。在这种情况下,重新积分的图像I2将在图片的中心具有台阶边缘。并且,||I1-I2||>>0(逐个像素比较的两个图像非常不同)。在本例子中,假定我们在nm像素图像中添加k~m个像素。这样,像素改变1/n(对于1000×1000像素,像素改变0.1%)。然而,当我们重新积分时,存在非常大的变化:图像的右面一半中的所有像素为+k更亮。这表示重复积分方程(与本说明书的开始的例子相同)不稳定:导数的小的变化导致恢复图像的大的变化。通过应用根据本发明的实施例的健壮图像方法,两个导数图像或多或少地重新积分到相同的健壮图像。
其它的应用包括目标识别、动态范围压缩、导航、跟踪和图像压缩。在目标识别中,目标的颜色或亮度有时被取为识别的暗示。可能在识别任务中看不到阴影中的目标。制作健壮图像将带来阴影(和突出显示)中的细节。动态范围压缩是将输入信号(具有等于最大减最小信号值的动态范围)映射到目标(通常较小)输出动态范围的过程。示例性的信号可包含图像和音频。导航问题与目标识别类似。自动机器人系统只能避免可以看到的目标。在跟踪中,我们希望避免在目标从场景的亮部移动到暗部时丢掉跟踪。其中,由于使得图像健壮的过程是可逆的,因此存在用于图像压缩的作用。给定健壮图像(没有阴影并因此没有较低的动态范围)并且给定λ的知识,我们可逆转使得图像健壮的过程。潜在地,与编码HDR图像相比,小的动态范围中的编码图像是更容易的(更有效的过程)(在文献中得到证明)。
本发明的实施例包括应用反向使得图像健壮的思想。其中,我们可选择λ为负数。即,我们可促进恢复的解具有大的范数。在实施该动作时,我们必须小心负罚项不导致缺秩矩阵(不能逆转)。替代性的反向应用方法的方式是观察(从式7):R=[DtD+λI]-1DtDQ意味着Q=[DtD]-1[DtD+λI]R。其中,算子[DtD]-1[DtD+λI]使得图像不健壮,而较大的λ意味着不健壮的输出。注意,算子[DtD]不是全秩,因此只有满足适当的边界条件时才可逆转(例如,Dirichlet或HomogeneousNeumann)。
使得图像不健壮可例如对于低对比度图像具有有用的应用,原因是它可带来细节。另外,由于根据本发明的实施例的方法是可逆的,因此为了压缩细节,可使得图像健壮,并且为了扩展细节,可使得健壮图像不健壮。由于该过程是非破坏性的,因此细节不丢失。因此,本发明的实施例提供有利的非破坏性的图像压缩功能。
应当理解,可作为驻留于固件中和/或具有用于使得能够在具有计算机处理器的计算机系统上执行的控制逻辑的计算机可用介质上的代码(例如,软件算法或程序)加入以上讨论的本发明的某些实施例。这种计算机系统一般包括被配置为从根据执行配置处理器的代码的执行提供输出的存储器。代码可被配置为固件或软件,并且可组织成诸如离散代码模块、功能呼叫、过程呼叫或面向对象的编程环境中的对象的一组模块。如果通过使用模块被实现,那么代码可包含单个模块或相互协作的多个模块。
本发明的可选实施例可被理解为包含这里提到或指示的部分、要素和特征中的任一个或两个或更多个的所有组合中单独或集体地包括这些部分、要素和特征,并且其中,这里提到具有与本发明有关的在本领域中已知的等同物的特定整数,这种已知的等同物被视为在这里被结合,如同被单独地阐述。
虽然描述了本发明的示出的实施例,但应理解,在不背离由以下的权利要求及其等同限定的本发明的情况下,本领域技术人员可以提出各种变化、替代和修改。
本申请从其要求优先权的英国专利申请No.GB1007580.2以及本申请的摘要中的公开在这里通过引用被结合于此。
参考文献
[1]Retinex at 40(series of papers).In B.E.Rogowitz and T.N.Pappas,editors,HumanVision and ELectronic Imaging VII.SPIE:the International Society for OpticalEngineering,2002.
[2]Peter J.Burt and Edward H.Adelson.The laplacian pyramid as a compact imagecode.pages 671-679,1987.
[3]G.H.Golub and C.F.van Loan.Matrix Computations.John Hopkins U.Press,1983.
[4]R.C.Gonzalez and P.Wintz.Digital Imagc Processing.Addison/Wesley,2ndedition,1987.
[5]Per Christian Hansen.Rank-deficient and discrete ill-posed problems:numericalaspects of linear inversion.Society for Industrial and Applied Mathematics,Philadelphia,PA,USA,1998.
[6]A.C.Hurlbert.The Computation of Color.PhD thesis,MIT Artificial IntelligenceLaboratory,1989.
[7]D.Marr.Vision.Freeman,1982.
[8]William Press,Saul Teukolsky,William Vetterling,and Brian Flannery.NumericalRecipes in
C.Cambridge University Press,Cambridge,UK,2nd edition,1992.
[9]B.A.Wandell.Foundations of Vision.Sinauer Associates,l st edition,1995.
Claims (32)
1.一种产生输出图像数据的方法,包括:
获得与基准图像有关的导数数据;
获得输出图像数据的约束;和
根据约束从与基准图像有关的导数数据产生输出图像数据。
2.根据权利要求1所述的方法,其中,所述约束包含要求输出图像是一组平滑函数的线性组合、优选离散余弦基的前M个项的线性组合。
3.根据权利要求1所述的方法,其中,所述约束包含使以下项的和最小化:
输出图像数据的导数和基准图像的导数数据之间的差值;和
罚项。
4.根据权利要求3所述的方法,其中,通过使用选自包含Gauss-Seidel方法和Jacobi方法的组的方法计算和的最小值。
5.根据权利要求3或4所述的方法,其中,所述罚项是常数与输出图像数据的函数的大小的积。
6.根据权利要求5所述的方法,其中,输出图像数据的函数是输出图像数据。
7.根据权利要求5或6所述的方法,其中,所述常数被选择为使输出图像数据的函数的目标大小最小化。
8.根据权利要求2~6中任一项所述的方法,其中,所述常数被选择为提供给定尺度的输出图像。
9.根据权利要求5或6所述的方法,其中,所述罚顶被选择为优化常数和输出图像数据的函数的大小。
10.根据权利要求5~9中任一项所述的方法,其中,所述常数为正以使得与输出图像数据对应的输出图像健壮。
11.根据权利要求10所述的方法,其中,基准图像的导数数据和罚项被选择,使得可通过特定的卷积求解使和最小化的步骤。
12.根据权利要求11所述的方法,其中,通过二维、一维可分离卷积近似卷积。
13.根据权利要求5~9中任一项所述的方法,其中,所述常数为负以使得与输出图像数据对应的输出图像不健壮。
14.根据任何前述权利要求所述的方法,还包括接收基准图像和从基准图像计算与基准图像有关的导数数据。
15.根据任何前述权利要求所述的方法,其中,与基准图像有关的导数数据包含基准图像数据的导数的第一函数,其中,基准图像数据包含基准图像的第二函数。
16.根据权利要求15所述的方法,其中,第一函数选自包含阈值函数、衰减函数和削波函数的组。
17.根据权利要求15或16中任一项所述的方法,其中,基准图像数据的导数的第一函数是基准图像数据的导数。
18.根据权利要求15~17中任一项所述的方法,还包括将输出图像数据的平均值设为等于基准图像数据的平均值。
19.根据权利要求15~18中任一项所述的方法,其中,第二函数是同态函数,优选为对数函数。
20.根据权利要求15~19中任一项所述的方法,还包括向输出图像数据应用第二函数的逆以产生输出图像。
21.根据权利要求15~18中任一项所述的方法,其中,基准图像的第二函数是基准图像,并且输出图像数据是输出图像。
22.根据权利要求20或21所述的方法,还包括在用于求解计算机视觉问题的图像处理方法中使用输出图像。
23.根据权利要求22所述的方法,其中,所述图像处理方法选自包含动态范围压缩、跟踪、导航和目标识别的组。
24.一种图像处理系统,包括:
被配置为获得与基准图像有关的导数数据的第一部件;
被配置为获得输出图像数据的约束的第二部件;和
可操作为从第一部件接收与基准图像有关的导数数据并从第二部件接收约束并根据约束从与基准图像有关的导数数据产生输出图像数据的第三部件。
25.根据权利要求24所述的图像处理系统,还包括可操作为捕获基准图像的图像捕获装置,所述第一部件可操作为从图像捕获装置接收基准图像并从基准图像计算与基准图像有关的导数数据。
26.一种用于存储当被处理器执行时使处理器实现产生输出图像数据的方法的机器可执行指令的计算机可读存储介质,包括:
获得与基准图像有关的导数数据;
获得输出图像数据的约束;和
根据约束从与基准图像有关的导数数据产生输出图像数据。
27.一种用于从输入图像的导数恢复健壮输出图像的方法。
28.根据权利要求27所述的方法,其中,所述约束被强加于输出图像上使得输出图像健壮。
29.根据权利要求28所述的方法,其中,输出图像是一组平滑函数的线性组合、优选离散余弦基的前M个项的线性组合。
30.根据权利要求28所述的方法,其中,所述约束是罚项。
31.根据权利要求30所述的方法,其中,所述导数和罚项被选择,使得产生输出图像的计算是输入图像的特定卷积。
32.根据权利要求31所述的方法,其中,可通过二维、一维可分离卷积近似卷积。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB1007580.2A GB201007580D0 (en) | 2010-05-06 | 2010-05-06 | Making robust images |
GB1007580.2 | 2010-05-06 | ||
PCT/GB2011/050883 WO2011138617A1 (en) | 2010-05-06 | 2011-05-06 | Method and system for generating output image data |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103140874A true CN103140874A (zh) | 2013-06-05 |
Family
ID=42314923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180031630XA Pending CN103140874A (zh) | 2010-05-06 | 2011-05-06 | 用于产生输出图像数据的方法和系统 |
Country Status (7)
Country | Link |
---|---|
US (2) | US8913845B2 (zh) |
KR (1) | KR101428904B1 (zh) |
CN (1) | CN103140874A (zh) |
CA (1) | CA2810794A1 (zh) |
DE (1) | DE112011101573T5 (zh) |
GB (2) | GB201007580D0 (zh) |
WO (1) | WO2011138617A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0914603D0 (en) * | 2009-08-20 | 2009-09-30 | Univ East Anglia | Image reconstruction method |
GB201007580D0 (en) * | 2010-05-06 | 2010-06-23 | Im Sense Ltd | Making robust images |
US11024047B2 (en) * | 2015-09-18 | 2021-06-01 | The Regents Of The University Of California | Cameras and depth estimation of images acquired in a distorting medium |
US11699094B2 (en) * | 2018-10-31 | 2023-07-11 | Salesforce, Inc. | Automatic feature selection and model generation for linear models |
GB201908514D0 (en) * | 2019-06-13 | 2019-07-31 | Spectral Edge Ltd | Image processing method and system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101261731A (zh) * | 2008-03-24 | 2008-09-10 | 安徽创世科技有限公司 | 一种对数字图像进行9比4下采样的方法 |
US20080225312A1 (en) * | 2007-03-12 | 2008-09-18 | Ricoh Company, Ltd | Image processor, image processing method, and computer program product |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL284926A (zh) | 1961-10-31 | |||
DE4207632C2 (de) | 1992-03-11 | 1995-07-20 | Bodenseewerk Geraetetech | Vorrichtung und Verfahren zur Positionierung eines Körperteils für Behandlungszwecke |
US5572248A (en) | 1994-09-19 | 1996-11-05 | Teleport Corporation | Teleconferencing method and system for providing face-to-face, non-animated teleconference environment |
US7463393B2 (en) * | 2003-05-19 | 2008-12-09 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
KR100504594B1 (ko) | 2003-06-27 | 2005-08-30 | 주식회사 성진씨앤씨 | 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법 |
US7561753B2 (en) * | 2004-01-09 | 2009-07-14 | The Boeing Company | System and method for comparing images with different contrast levels |
JP4463705B2 (ja) | 2005-03-01 | 2010-05-19 | 三菱電機株式会社 | 画像表示装置、および画像表示方法 |
WO2006122009A2 (en) * | 2005-05-09 | 2006-11-16 | Lockheed Martin Corporation | Continuous extended range image processing |
US7715654B2 (en) * | 2005-10-18 | 2010-05-11 | Siemens Medical Solutions Usa, Inc. | System and method for fast multimodal registration by least squares |
GB0914603D0 (en) * | 2009-08-20 | 2009-09-30 | Univ East Anglia | Image reconstruction method |
GB0914982D0 (en) * | 2009-08-27 | 2009-09-30 | Univ East Anglia | Methods and apparatus for generating accented image data |
GB201002632D0 (en) * | 2010-02-16 | 2010-03-31 | Im Sense Ltd | Method and system for generating enhanced images |
GB201007580D0 (en) * | 2010-05-06 | 2010-06-23 | Im Sense Ltd | Making robust images |
-
2010
- 2010-05-06 GB GBGB1007580.2A patent/GB201007580D0/en not_active Ceased
-
2011
- 2011-05-06 CN CN201180031630XA patent/CN103140874A/zh active Pending
- 2011-05-06 US US13/696,540 patent/US8913845B2/en not_active Expired - Fee Related
- 2011-05-06 DE DE112011101573T patent/DE112011101573T5/de not_active Withdrawn
- 2011-05-06 CA CA2810794A patent/CA2810794A1/en not_active Abandoned
- 2011-05-06 KR KR1020127031985A patent/KR101428904B1/ko not_active IP Right Cessation
- 2011-05-06 GB GB1107543.9A patent/GB2480156B/en not_active Expired - Fee Related
- 2011-05-06 WO PCT/GB2011/050883 patent/WO2011138617A1/en active Application Filing
-
2014
- 2014-12-11 US US14/566,895 patent/US20150170347A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080225312A1 (en) * | 2007-03-12 | 2008-09-18 | Ricoh Company, Ltd | Image processor, image processing method, and computer program product |
CN101261731A (zh) * | 2008-03-24 | 2008-09-10 | 安徽创世科技有限公司 | 一种对数字图像进行9比4下采样的方法 |
Non-Patent Citations (2)
Title |
---|
BHAT P: "GradientShop: A Gradient-Domain Optimization Framework for Image and Video Filtering", 《ACM TRANSACTIONS ON GRAPHICS ACM USA》 * |
ELAD M: "Reduced complexity Retinex algorithm via the variational approach", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION ACADEMIC PRESS USA》 * |
Also Published As
Publication number | Publication date |
---|---|
GB2480156A (en) | 2011-11-09 |
WO2011138617A1 (en) | 2011-11-10 |
DE112011101573T5 (de) | 2013-04-11 |
US20130136378A1 (en) | 2013-05-30 |
CA2810794A1 (en) | 2011-11-10 |
GB201107543D0 (en) | 2011-06-22 |
KR101428904B1 (ko) | 2014-08-08 |
US8913845B2 (en) | 2014-12-16 |
KR20130051955A (ko) | 2013-05-21 |
GB2480156B (en) | 2013-09-04 |
US20150170347A1 (en) | 2015-06-18 |
GB201007580D0 (en) | 2010-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bell-Kligler et al. | Blind super-resolution kernel estimation using an internal-gan | |
Wang et al. | Early stopping for deep image prior | |
US10360664B2 (en) | Image processing apparatus and method using machine learning | |
Rajwade et al. | Image denoising using the higher order singular value decomposition | |
CN111047516A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
KR102141163B1 (ko) | Sar 영상 생성을 위한 뉴럴 네크워크 학습 방법 및 장치. | |
CN103140874A (zh) | 用于产生输出图像数据的方法和系统 | |
US11943419B2 (en) | Depth of field image refocusing | |
US20220138924A1 (en) | Image restoration method and apparatus | |
US20220012898A1 (en) | Neural network systems for decomposing video data into layered representations | |
US11741579B2 (en) | Methods and systems for deblurring blurry images | |
Trinh et al. | On illumination-invariant variational optical flow for weakly textured scenes | |
Xiao et al. | Discriminative transfer learning for general image restoration | |
Mai et al. | Deep unrolled low-rank tensor completion for high dynamic range imaging | |
Sanghvi et al. | Photon-limited blind deconvolution using unsupervised iterative kernel estimation | |
Young et al. | Feature-align network with knowledge distillation for efficient denoising | |
Karaca et al. | Interpolation-based image inpainting in color images using high dimensional model representation | |
Bajić et al. | Restoration of images degraded by signal-dependent noise based on energy minimization: an empirical study | |
CN116503361A (zh) | 一种联合低秩稀疏感知的高光谱解混方法 | |
CN116263943A (zh) | 图像修复方法和设备以及电子装置 | |
CN103634591A (zh) | 一种视频质量评估的方法、装置和系统 | |
Wong et al. | Regularization-based modulation transfer function compensation for optical satellite image restoration using joint statistical model in curvelet domain | |
Tirer et al. | Deep internal learning: Deep learning from a single input | |
Kim et al. | Computational hyperspectral imaging with diffractive optics and deep residual network | |
Li et al. | Joint motion deblurring with blurred/noisy image pair |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130605 |
|
WD01 | Invention patent application deemed withdrawn after publication |