CN1371078A - 图像区域处理期间暴露像素的自动着色 - Google Patents

图像区域处理期间暴露像素的自动着色 Download PDF

Info

Publication number
CN1371078A
CN1371078A CN02104656A CN02104656A CN1371078A CN 1371078 A CN1371078 A CN 1371078A CN 02104656 A CN02104656 A CN 02104656A CN 02104656 A CN02104656 A CN 02104656A CN 1371078 A CN1371078 A CN 1371078A
Authority
CN
China
Prior art keywords
pixel
values
color
intensity value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02104656A
Other languages
English (en)
Other versions
CN1203453C (zh
Inventor
高拉夫·阿加沃尔
休格塔·戈萨尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1371078A publication Critical patent/CN1371078A/zh
Application granted granted Critical
Publication of CN1203453C publication Critical patent/CN1203453C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及一种用于修正图像的系统和方法,其中,其具有向在图像处理操作期间暴露的像素分配色彩强度值能力,该系统包括:用于使用在原始图像中剩余像素的色彩强度值的装置;以及用于向暴露像素分配与周围像素的色彩值相似的色彩值的装置,以便暴露区域与周围区域平滑地混合。本发明还提供一种配置用于执行上述方法的计算机程序产品。

Description

图像区域处理期间暴露像素的自动着色
                      技术领域
本发明涉及用于实现视觉上可接受的图像着色(render)的系统、方法、以及计算机程序产品,通过给作为图像处理操作结果的已经暴露的多个图像像素自动分配色彩值,所述图像已经作为该操作的结果被修正。
                      背景技术
象Adobe公司的Photoshop、JASC公司的Paint Shop Pro之类的图像编辑工具为用户提供图形用户界面(GUI),用于处理和编辑图像的部分或整体。用户可以在图像中标记区域,并对选择的区域进行各种编辑操作。诸如移动所述区域、删除所述区域、旋转所述区域、缩放所述区域的尺寸(增大以及缩小尺寸)之类的操作和其它类似操作将在修正的图像上留下空白区。将暴露像素定义为属于由用户处理的区域的像素,并且由于该像素被移至别处或者删除,当前没有为其分配色彩值,即,暴露像素是空白的。因此,图像处理操作可能在修正的图像中导致空洞,需要填充以便产生视觉上可接受型式的修正图像。通常,用户期望修正图像中的“对象”,并且图像编辑软件可以附有对象自动识别处理过程(比如Adobe Photoshop中的“magic wand(魔棒)”),以便提取图像中的对象。在这种情况下,用户则简单地在图像中选择感兴趣的对象,并进而修改这些对象。对象自动识别处理过程可以根据图像中的色彩和纹理,使用各种图像分段策略。
图像像素也可以通过图像自动处理和修正例程来暴露,如由本发明人在1999年6月9日申请的第09/328968号美国专利申请“用于理解多媒体数据的用户感觉的交互式框架(An interactive framework for understanding usersperception of multimedia data)”中所公开的、以及在1999年9月29日申请的第09/407434号美国专利申请“图像恢复期间用于学习用户感觉的有效修正策略(Efficient Modification Scheme for Learning User’s Perception during ImageRetrieval)”中所公开的。
一种公知的技术是为所有的暴露像素统一地分配同一种色彩,比如白色或黑色。诸如Adobe Photoshop的图像编辑软件允许用户选择用于填充的色彩,并且自动图像修正方法可以使用预定的色彩或根据图像特性计算的色彩。也可以使用某些重复的图案来填充所述区域。但是,这经常导致不可接受或不真实的图像,特别是在暴露洞周围的区域中包含重复色彩图案时。同一种色彩或固定的重复图案不能使周围区域的色彩值保持连续性,并将填充的洞人为地突出出来。另外,该色彩分配实际上大多靠手动完成。
因此,需要分配象RGB(红-绿-蓝)的色彩强度值,以便以暴露区域与周围区域,即,背景自然地融合在一起的方式填充图像中所产生的孔洞。
现有技术的方法使用关于浓淡、照明、阴影信息的先验信息来着色图像中固定的几何形状,如由本发明人在美国专利第5136664号中所公开的。其算法着色图像中的对象,而本发明着色已经将对象移去后的背景。
在美国专利第5222204号“透视空间中的像素插值(Pixel Interpolation inPerspective Space)”中公开了一种插值像素的方法,其计算3-D对象在图像上的透视投影中距离变化的非线性。
在美国专利第4815009号“用于填充图像轮廓的算法(Algorithm for fillingan Imaging Outline)”中,公开了一种用于将由矢量限定的区域转换为一组不规则四边形的方法。
类似地,在美国专利第4725966号“图像修正(Image Modification)”中提出了一种用于修正图像内容的方法。但是,所有这些发明都没有解决这里所提出的问题。
                        发明内容
本发明的目的是向作为图像处理操作的结果已经被暴露的多个图像像素自动地分配色彩值。
为了实现所述目的,本发明提供一种用于修正图像的系统,其中,其具有向在图像处理操作期间暴露的像素分配色彩强度值能力,该系统包括:用于使用在原始图像中剩余像素的色彩强度值的装置;以及用于向暴露像素分配与周围像素的色彩值相似的色彩值的装置,以便暴露区域与周围区域平滑地混合。
上述系统包括用于由用户向在图像区域的手动修正期间暴露的像素分配色彩值的装置。
上述系统包括用于向在自动修正所述图像区域期间暴露的像素分配色彩值的装置。
所述用于分配色彩值的装置根据在该像素位置处确定的色彩强度值函数分配色彩强度值。
所述用于向暴露像素分配值的色彩强度值函数,使用先验得到的图像模型确定。
所述用于向暴露像素分配值的色彩强度值函数,通过用一函数拟合在暴露像素的边界区域中的已知色彩强度值来确定。
色彩强度值函数使用沿着边界能量最低的条件来近似。
所述色彩强度值函数基于多阶导数的估算,该估算用来作为对于用作约束能量最低的平滑泛函的近似。
所述用于分配色彩值的装置向暴露像素分配等于通过查找沿着暴露区域的边界设置的假设镜像(mirror)所找到的其镜像像素的色彩强度值的色彩值。
所述用于分配色彩值的装置将原始图像分段为同质区域以便限制像素,所述像素用于通过使用下述装置向暴露像素分配强度值:用于仅从与到边界的法线相交的边界像素属于相同段的像素位置和该边界中复制强度值的装置;以及用于仅从属于与暴露区域具有最小接触长度的段的像素位置中复制强度值的装置。
用户明确地限制其中的强度值可以用来确定必须分配给暴露像素的强度值的区域。
其中使用有损(lossy)压缩技术压缩原始的未经修正的图像,并且其中所述装置用于向暴露像素分配色彩值的所述装置包括:用于对不属于暴露区域但围绕暴露区域的边界像素执行中值滤波的装置,其中中值滤波掩码(mask)不使用暴露区域内的像素;以及用于在确定暴露像素的强度值时确保不使用比到暴露区域边界的预定距离更近的像素的装置。
本发明还提供一种用于修正图像的方法,其中,其具有向在图像处理操作期间暴露的像素分配色彩强度值能力,该方法包括:使用在原始图像中剩余像素的色彩强度值;以及向暴露像素分配与周围像素的色彩值相似的色彩值,以便暴露区域与周围区域平滑地混合。
上述方法包括由用户生成暴露像素的手动修正。
上述方法包括自动修正所述图像区域,用于为所述暴露像素填充色彩值。
所述色彩值的分配根据在该像素位置处确定的色彩强度值函数分配色彩强度值。
所述用于向暴露像素分配值的色彩强度值函数,使用先验得到的图像模型确定。
所述用于向暴露像素分配值的色彩强度值函数,通过用一函数拟合在暴露像素的边界区域中的已知色彩强度值来确定。
色彩强度值函数使用沿着边界能量最低的条件来近似。
所述色彩强度值函数基于多阶导数的估算,该估算用来作为对于用作约束能量最低的平滑泛函的近似。
所述色彩值的分配向暴露像素分配等于通过查找沿着暴露区域的边界设置的假设镜像所找到的其镜像像素的色彩强度值的色彩值。
所述色彩值的分配将原始图像分段以便限制像素,所述像素用于通过使用下述步骤向暴露像素分配强度值:仅从与到边界的法线相交的边界像素属于相同段的像素位置和该边界中复制强度值;以及仅从属于与暴露区域具有最小接触长度的段的像素位置中复制强度值。
用户明确地限制其中的强度值可以用来确定必须分配给暴露像素的强度值的区域。
对于已经使用有损压缩技术压缩的原始图像,其中用于向暴露像素分配色彩值的所述步骤包括:对不属于暴露区域但围绕暴露区域的边界像素执行中值滤波,其中中值滤波掩码不使用暴露区域内的像素;以及在确定暴露像素的强度值时确保不使用比到暴露区域边界的预定距离更近的像素。
本发明还提供一种包括有存储在计算机可读存储介质上、用于修正图像的计算机可读程序代码的计算机程序产品,其中,其具有向在图像处理操作期间暴露的像素分配色彩强度值能力,该计算机程序产品包括:配置用于使用在原始图像中剩余像素的色彩强度值的计算机可读程序代码单元;以及配置用于向暴露像素分配与周围像素的色彩值相似的色彩值以便暴露区域与周围区域平滑地混合的计算机可读程序代码单元。
上述计算机程序产品包括配置用于由用户生成暴露像素的手动修正的计算机可读程序代码单元。
上述计算机程序产品包括配置用于自动修正所述图像区域的计算机可读程序代码单元,用于为所述暴露像素填充色彩强度值。
所述配置用于分配色彩值的计算机可读程序代码单元根据在该像素位置处确定的色彩强度值函数分配色彩强度值。
所述用于向暴露像素分配值的色彩强度值函数,使用先验得到的图像模型确定。
所述用于向暴露像素分配值的色彩强度值函数,通过用一函数拟合在暴露像素的边界区域中的已知色彩强度值来确定。
色彩强度值函数使用沿着边界能量最低的条件来近似。
所述色彩强度值函数基于多阶导数的估算,该估算用来作为对于用作约束能量最低的平滑泛函的近似。
所述配置用于分配色彩值的计算机可读程序代码单元向暴露像素分配等于通过查找沿着暴露区域的边界设置的假设镜像所找到的其镜像像素的色彩强度值的色彩值。
所述配置用于分配色彩值的计算机可读程序代码单元将原始图像分段以便限制像素,所述像素用于通过使用下述单元向暴露像素分配强度值:配置用于仅从与到边界的法线相交的边界像素属于相同段的像素位置和该边界中复制强度值的计算机可读程序代码单元;以及配置用于仅从属于与暴露区域具有最小接触长度的段的像素位置中复制强度值的计算机可读程序代码单元。
用户明确地限制其中的强度值可以用来确定必须分配给暴露像素的强度值的区域。
对于已经使用有损压缩技术压缩的原始图像,用于向暴露像素分配色彩值的所述单元包括:配置用于对不属于暴露区域但围绕暴露区域的边界像素执行中值滤波的计算机可读程序代码单元,其中中值滤波掩码不使用暴露区域内的像素;以及配置用于在确定暴露像素的强度值时确保不使用比到暴露区域边界的预定距离更近的像素的计算机可读程序代码单元。
                         附图说明
现在将结合附图描述本发明。
图1A示出根据本发明描述在手动图像修正期间以及随后对暴露像素着色处理中包括的步骤的流程图;
图1B示出根据本发明描述在自动图像修正期间以及随后对暴露像素着色处理中包括的步骤的流程图;
图2示出包括由于图像处理产生的暴露区域的经修正的图像的示例;
图3示出根据本发明说明用一函数拟合围绕暴露区域的像素值、并使用该函数近似暴露像素值的方法的流程图;
图4示出根据本发明描述用于使用镜像方法为暴露像素分配强度值的方法的流程图;
图5示出根据本发明使用镜像方法向像素分配强度值的方法;
图6示出暴露像素的镜像没有位于最接近边界像素的同一段上的示例;
图7是可能在着色图像中引起不自然的暴露像素的示范示例;
图8是用于向有损压缩图像中的暴露像素分配强度值的策略的方框图。
                         具体实施方式
图1A示出在手动图像修正期间包括的步骤的流程图。各种图像操作和修正任务产生没有为其分配任何色彩强度值的“暴露像素”。当用户使用某些图像编辑软件的图像用户界面在图像中手动选择感兴趣的区域时,可以产生此类空白像素。图1A包括下述步骤。
用户使用图像编辑工具进行如删除、移动、缩放、以及旋转的操作,选择感兴趣的区域(1A.1)。然后执行期望的操作(1A.2),并产生修正图像中的空白像素(1A.3)。给这些像素分配色彩强度值,以便得到视觉上可接受形式的修正图像(1A.4)。其结果是得到着色的图像,其中使用所述色彩强度值填充暴露的像素,使得难以从围绕的背景区域中实际上区分出暴露区域(1A.5)。
作为对原始图像的某些自动图像处理任务的结果,也可以产生暴露区域,如图1B所示。该自动修正步骤可以使用图像分段,以便在使用不同的方式对它们进行修正之前提取在图像中出现的对象。在自动图像修正期间包括下述步骤。自动图像处理任务暴露图像像素(1B.1)。填充带有没有色彩值的空白像素的图像(1B.2),以为所有的暴露像素分配色彩值(1B.3)。由此,以视觉上可接受的方式着色所述修正的图像(1B.4)。
图2示出用户希望将太阳移动到图像的右侧的日落图像的示例。用户选择图像中相应于太阳的像素,并向右移动所选择的区域。这在图像中太阳的原始位置留下了一孔洞。在此区域的像素不再具有分配给它们的任何色彩强度值。该暴露区域需要被填充,即,必须分配色彩强度值,以便暴露区域与天空背景相混合,并且原始区域变得难以从天空区域中区分出来。
图3示出通过最小化能量函数填充暴露像素的方法的流程图。
对于带有暴露像素的图像,确定边界像素(xi,yi)的集合(3.1),选择平滑特性函数Sf(3.2),以对像素集合中位置(xi,yi)处使用Sf所得到的值gi拟合一函数f作为该区域的约束(3.3)。每一个暴露像素(x,y)处的强度等于f(x,y)(3.4)。使用所有填充的像素着色图像(3.5)。
基本构思是对边界像素的色彩值拟合一函数,并使用在暴露像素的位置上该函数的估算值来填充该像素。关于将对边界像素的色彩值拟合的函数,作了一些平滑假设。
令f(x,y)为图像中像素位置或旋转变换的像素的函数。令位置(xi,yi)∈R为候选图像区域的边界像素集合(3.1),gi为位置(xi,yi)处第i个边界像素的像素色彩强度值(3.1)。那么候选区域内在位置(x,y)处的像素色彩f(x,y)通过使E=∑(f(xi,yi)-gi)2+λ∫∫Sfdydx最小来获得(3.4)。其中Sf是函数f的平滑量度。Sf(3.2)的形式为 S f = ( ∂ 2 f ∂ x 2 ) 2 + 2 ( ∂ 2 f ∂ x ∂ y ) 2 + ( ∂ 2 f ∂ y 2 ) 2 , S f = ( ∂ f ∂ x ) 2 + ( ∂ f ∂ y ) 2 , S f = ( ∂ 2 f ∂ x 2 ) 2 + 2 ( ∂ 2 f ∂ x ∂ y ) 2 + ( ∂ 2 f ∂ y 2 ) 2 + α [ ( ∂ f ∂ x ) 2 + ( ∂ f ∂ y ) 2 ] . 是曲率泛函,而
Figure A0210465600125
是梯度泛函。使曲率泛函最小化确保弯曲插值的表面最小,而使梯度泛函最小导致平坦(恒定)的插值表面。Sf的选择(3.2)根据包围暴露区域的像素值而定。如果周围像素值具有例如,使用归一化标准偏差度量的较强的强度变化,则最好执行曲率最小化。如果变化是标称的,则优选梯度最小化。
如果
Figure A0210465600126
则使E最小化导致带有特定边界条件、形式为δ(i)f(xi,yi)+λ[fxx+fyy]=δ(i)gi的偏微分等式。如果
Figure A0210465600127
,则δ(i)=1,如果
Figure A0210465600128
则δ(i)=0.01。fxx(i)和fyy(i)可以使用现有技术中发表的多种形式的有限差分公式,比如Wolfgang Boehm和Hartmut Prautzsch的“数值分析方法(Numerical Methods)”,AK Peters,1992,第132-133页。一个例子是
fxx(i)=f(i-1)-2f(i)+f(i+1)这是3阶有限差分的方案。也可以使用更高阶来计算fxx(i)和fyy(i),比如fxx(i)=2f(i)-5f(i+1)+4f(i+2)-f(i+3)或fxx(i)=-f(i-3)+4f(i-2)-5f(i-1)+2f(i)的4阶差分方案。如果使用高阶差分计算导数,则实际上将更多的周围像素的信息用于计算暴露像素的强度值。但是,使用高阶将降低填充操作的速度。
边界条件控制像素着色的性能,并且应该根据周围像素强度的变化来选择。如果变化是标称的,则假定fx(i)和fy(i)在边界像素上等于0。否则,对边界实施零曲率值。
图4示出另一实施例的流程图,其中没有对要拟合的函数设置平滑度和连续性的约束。该方法通过假定沿着所有的暴露区域边界均放置一面“镜子”,从封闭区域外侧的像素中复制色彩强度值。该方法通过识别暴露区域中的每一个像素(x,y)(4.1)、以及为该暴露像素分配其“镜像”像素的色彩强度值来进行。“镜像”像素通过在原始图像中暴露区域的边界上定位最接近未暴露的像素(xn,yn)(4.2)来求取。采用将暴露像素与最接近的边界像素相连的连线实际上是在最接近边界像素处到区域边界的法线的原理,可以使用整数算法非常方便地求得镜像像素。该镜像像素确定如下:
dx=xn-x
dy=yn-y  (4.3)
xm=xn+dx
ym=yn+dy (4.4)一旦以这种方式为所有的暴露像素分配了强度值(4.6),就得到填充了所有像素的着色图像(4.7)。
图5示出使用镜像方法向像素分配强度值的方法。给暴露像素(x,y)分配(xm,ym)处像素的色彩强度值。该暴露区域中的色彩强度值类似于包围该区域的那些像素,并且在该暴露区域中单个的像素具有高阶导数,类似于围绕该区域的那些像素,不过符号变号。这些高阶导数在边界像素处不再连续,尽管由于镜像值在边界像素处它们都为0。近似强度函数f保持类似于暴露区域外部的平滑特性,这是由于像素值是从外部复制的。对该像素作镜像以填充暴露区域的方案保留了围绕暴露区域的区域中存在的纹理,并由此真实地对修正的图像着色。
现在描述通过使用色彩强度值填充暴露像素来对具有暴露区域的图像着色的优选实施例。该处理过程从识别带有必须为其分配强度值的像素的封闭区域开始。接着,确定在该原始图像中的可从中复制到暴露像素的色彩强度值的像素。这通过对原始图像进行色彩分段实现。图像分段将原始图像分割成为图像中的每一个像素分配一个唯一的标号的段。该基于色彩的图像分段通常提取图像中的“对象”,并生成图像的对象级图。典型地,手动或自动图像处理步骤暴露属于一个或多个整条线段的组合的像素。
图6示出其镜像没有位于最接近边界像素的同一段上的暴露像素。对于暴露区域中的每一个像素(x,y),其镜像图像像素(xm,ym)根据如上所述并附加下述约束来确定。
a)为最接近于当前正在填充的暴露像素(x,y)的边界像素(xn,yn)确定线段标号sn
b)为真实的镜像图像像素(xm,ym)确定线段标号sm
c)如果线段标号sn和sm不相同,则不使用为真实的镜像图像像素(xm,ym)填充暴露像素(x,y)。这确保仅使用属于原始图像中该对象或围绕它的背景的像素来填充暴露区域,而不使用与暴露区域没有接触的那些对象/背景中的像素。沿着在点(xn,yn)处到边界的法线方向确定新像素(x′m,y′m),以便其具有标号sn。此方案的一种是使用二分法,并平分从边界像素(xn,yn)到暴露像素(x,y)的位移(dx,dy),并检验在像素位置 处的线段标号是否是线段标号sn。如果是,则将该像素的强度值复制到暴露像素,否则,进一步将位移(dx,dy)二平分。该处理可以一直继续,直到发现具有线段标号sn的像素或者迭代固定次数为止,在迭代固定次数后可以使用试探法来选择强度值填充暴露像素,例如,通过平均具有线段标号sn的像素的色彩强度。
d)对于真实世界图像的真实着色,可以假定暴露区域属于前景对象,并且这些暴露像素需要使用来自背景对象的强度值填充,而不是使用可能与该暴露区域相邻的前景对象中的强度值。该方案首先为接触暴露区域的所有线段确定接触百分比。线段si的接触百分比是线段si与暴露区域公共部分的边界像素数量与暴露区域的边界像素的总数量之比。然后,在确定最接近于暴露像素的边界像素(xn,yn)时,如果该边界像素所属的线段sn具有小于预定比率的接触百分比,比如20%,则忽略该边界像素,并求解其次最接近的边界像素。重复该处理过程,直到找到具有线段标号的接触百分比大于20%的最近的边界像素为止。
如果为邻近像素分配了来自彼此不靠近的像素的值,可能由镜像方法产生非真实着色。当邻近暴露像素的两个最短法线之间的夹角较大时,产生这些不自然现象。每当该现象发生,给暴露像素的值不从周围区域中彼此邻近、而是从离开相当远的像素中分配。因此,这些值可能差异很大,并由此在暴露像素位置上产生若干奇异性。该效果通过为每一个暴露像素确定到边界的多条最短法线使其最小化。一条法线是到边界最短的法线,其它法线按法线长度增加的顺序选取。另一个优选实施例除最短的法线之外,还使用两条法线。
图7示出可能在着色图像中引起不自然的暴露像素。如果最短法线和其它法线之间的夹角大于固定阈值,比如45度,则可能产生该暴露像素。此种类型的暴露像素标记为特殊像素。对于这种情况,在所有的暴露像素分配强度值之后,对这些特殊像素实施诸如平均或中值的低通滤波,以便减少可能存在的不自然。
在可替换的实施例中,不使用图像分段来确定可以从中复制像素强度值的区域。而是用户可以明确指定可以作镜像处理的区域的边界。
图8示出用于向有损压缩图像中的暴露像素分配强度值的方框图。在该用于使用象JPEG(联合图像专家组)的有损压缩技术在尺寸上进行压缩的图像的优选实施例中,所述填充暴露像素的方法包括另外的步骤序列,以改善最终着色的图像的视觉质量。这些向有损压缩图像中的暴露像素分配色彩值的步骤叙述如下。
对于带有暴露像素的有损压缩图像(8.1),其中x,y为暴露像素(8.2),xn,yn为暴露区域边界上最接近x,y的未暴露像素(8.3),则仅使用未暴露像素在xn,yn执行中值滤波(8.4)。
如果dx=xn-x,则dy=yn-y(8.5),并且
如果(abs(dx)<MIN),则
dx=MIN*sign(dx)
如果(abs(dy)<MIN),则
dy=MIN*sign(dy)(8.6)
那么,xn=xn+αdx,yn=yn+αdy(8.7)
则在(x,y)的强度等于在(xm,ym)的强度(8.8)。如果所有的像素分配了强度值(8.9),则使用分配了强度的所有像素对图像着色(8.10),否则,继续进行下一个暴露像素(x,y)的处理(8.2)。
有损压缩图像中的边缘并不尖锐。因此,此类图像的对象级处理留下了暴露区域边界外部的像素,其具有类似于原始图像中暴露区域之内的色彩强度值。上述方案的强度函数插值和像素镜像仅填充在着色图像中可能产生奇怪的不自然的像素,这是由于没有暴露但是具有足够区别于周围区域的强度值的强度值以引起视觉异常的不尖锐的边缘像素造成的。该建议方案通过对暴露区域之外和沿着暴露区域边界的像素使用中值滤波来使这些区域没有斑点。
此外,该方案确保镜像距离至少大于预定的最小距离,比如3个像素。这确保了暴露像素将从足够远离边界的像素中获得强度值,并由此将不受不尖锐的边缘效应的影响。

Claims (36)

1.一种用于修正图像的系统,其特征在于,其具有向在图像处理操作期间暴露的像素分配色彩强度值能力,该系统包括:
用于使用在原始图像中剩余像素的色彩强度值的装置;以及
用于向暴露像素分配与周围像素的色彩值相似的色彩值的装置,以便暴露区域与周围区域平滑地混合。
2.如权利要求1所述的系统,其特征在于,包括在由于手动修正所述图像引起像素暴露时用于分配色彩值的装置。
3.如权利要求1所述的系统,其特征在于,包括在由于自动修正所述图像引起像素暴露时用于分配色彩值的装置。
4.如权利要求1所述的系统,其特征在于,所述用于分配色彩值的装置根据在该像素位置处确定的色彩强度值函数分配色彩强度值。
5.如权利要求4所述的系统,其特征在于,所述用于向暴露像素分配值的色彩强度值函数,使用先验得到的图像模型确定。
6.如权利要求4所述的系统,其特征在于,所述用于向暴露像素分配值的色彩强度值函数,通过用一函数拟合在暴露像素的边界区域中的已知色彩强度值来确定。
7.如权利要求6所述的系统,其特征在于,色彩强度值函数使用沿着边界能量最低的条件来近似。
8.如权利要求6所述的系统,其特征在于,所述色彩强度值函数基于多阶导数的估算,该估算用来作为对于用作约束能量最低的平滑泛函的近似。
9.如权利要求1所述的系统,其特征在于,所述用于分配色彩值的装置向暴露像素分配等于通过查找沿着暴露区域的边界设置的假想镜像所找到的其镜像像素的色彩强度值的色彩值。
10.如权利要求1所述的系统,其特征在于,所述用于分配色彩值的装置将原始图像分段以便限制像素,所述像素用于通过使用下述装置向暴露像素分配强度值:
用于仅从与到边界的法线相交的边界像素属于相同段的像素位置和该边界中复制强度值的装置;以及
用于仅从属于与暴露区域具有最小接触长度的段的像素位置中复制强度值的装置。
11.如权利要求1所述的系统,其特征在于,用户明确地限制其中的强度值可以用来确定必须分配给暴露像素的强度值的区域。
12.如权利要求1所述的系统,其特征在于,对于已经使用有损压缩技术压缩的图像,其中用于向暴露像素分配色彩值的所述装置包括:
用于对不属于暴露区域但围绕暴露区域的边界像素执行中值滤波的装置,其中中值滤波掩码不使用暴露区域内的像素;以及
用于在确定暴露像素的强度值时确保不使用比到暴露区域边界的预定距离更近的像素的装置。
13.一种用于修正图像的方法,其特征在于,其具有向在图像处理操作期间暴露的像素分配色彩强度值能力,该方法包括:
使用在原始图像中剩余像素的色彩强度值;以及
向暴露像素分配与周围像素的色彩值相似的色彩值,以便暴露区域与周围区域平滑地混合。
14.如权利要求13所述的方法,其特征在于,包括当作为用户手动修正图像区域的结果像素被暴露时,分配色彩值。
15.如权利要求13所述的方法,其特征在于,包括当作为自动修正图像区域的结果像素被暴露时,分配色彩值。
16.如权利要求13所述的方法,其特征在于,所述色彩值的分配根据在该像素位置处确定的色彩强度值函数分配色彩强度值。
17.如权利要求16所述的方法,其特征在于,所述用于向暴露像素分配值的色彩强度值函数,使用先验得到的图像模型确定。
18.如权利要求16所述的方法,其特征在于,所述用于向暴露像素分配值的色彩强度值函数,通过用一函数拟合在暴露像素的边界区域中的已知色彩强度值来确定。
19.如权利要求18所述的方法,其特征在于,色彩强度值函数使用沿着边界能量最低的条件来近似。
20.如权利要求18所述的方法,其特征在于,所述色彩强度值函数基于多阶导数的估算,该估算用来作为对于用作约束能量最低的平滑泛函的近似。
21.如权利要求13所述的方法,其特征在于,所述色彩值的分配向暴露像素分配等于通过查找沿着暴露区域的边界设置的假想镜像所找到的其镜像像素的色彩强度值的色彩值。
22.如权利要求13所述的方法,其特征在于,所述色彩值的分配将原始图像分段以便限制像素,所述像素用于通过使用下述步骤向暴露像素分配强度值:
仅从与到边界的法线相交的边界像素属于相同段的像素位置和该边界中复制强度值;以及
仅从属于与暴露区域具有最小接触长度的段的像素位置中复制强度值。
23.如权利要求13所述的方法,其特征在于,用户明确地限制其中的强度值可以用来确定必须分配给暴露像素的强度值的区域。
24.如权利要求13所述的方法,其特征在于,对于已经使用有损压缩技术压缩的原始图像,其中用于向暴露像素分配色彩值的所述步骤包括:
对不属于暴露区域但围绕暴露区域的边界像素执行中值滤波,其中中值滤波掩码不使用暴露区域内的像素;以及
在确定暴露像素的强度值时确保不使用比到暴露区域边界的预定距离更近的像素。
25.一种包括存储在计算机可读存储介质上、用于修正图像的计算机可读程序代码的计算机程序产品,其特征在于,其具有向在图像处理操作期间暴露的像素分配色彩强度值能力,该计算机程序产品包括:
配置用于使用在原始图像中剩余像素的色彩强度值的计算机可读程序代码单元;以及
配置用于向暴露像素分配与周围像素的色彩值相似的色彩值的计算机可读程序代码单元,以便暴露区域与周围区域平滑地混合。
26.如权利要求25所述的计算机程序产品,其特征在于,包括配置用于向作为手动修正图像区域的结果的暴露像素分配色彩值的计算机可读程序代码单元。
27.如权利要求25所述的计算机程序产品,其特征在于,包括配置用于向作为自动修正所述图像区域的结果的暴露像素分配色彩值的计算机可读程序代码单元。
28.如权利要求25所述的计算机程序产品,其特征在于,所述配置用于分配色彩值的计算机可读程序代码单元根据在该像素位置处确定的色彩强度值函数分配色彩强度值。
29.如权利要求28所述的计算机程序产品,其特征在于,所述用于向暴露像素分配值的色彩强度值函数,使用先验得到的图像模型确定。
30.如权利要求28所述的计算机程序产品,其特征在于,所述用于向暴露像素分配值的色彩强度值函数,通过用一函数拟合在暴露像素的边界区域中的已知色彩强度值来确定。
31.如权利要求30所述的计算机程序产品,其特征在于,色彩强度值函数使用沿着边界能量最低的条件来近似。
32.如权利要求30所述的计算机程序产品,其特征在于,所述色彩强度值函数基于多阶导数的估算,该估算用来作为对于用作约束能量最低的平滑泛函的近似。
33.如权利要求25所述的计算机程序产品,其特征在于,所述配置用于分配色彩值的计算机可读程序代码单元向暴露像素分配等于通过查找沿着暴露区域的边界设置的假想镜像所找到的其镜像像素的色彩强度值的色彩值。
34.如权利要求25所述的计算机程序产品,其特征在于,所述配置用于分配色彩值的计算机可读程序代码单元将原始图像分段以便限制像素,所述像素用于通过使用下述单元向暴露像素分配强度值:
配置用于仅从与到边界的法线相交的边界像素属于相同段的像素位置和该边界中复制强度值的计算机可读程序代码单元;以及
配置用于仅从属于与暴露区域具有最小接触长度的段的像素位置中复制强度值的计算机可读程序代码单元。
35.如权利要求25所述的计算机程序产品,其特征在于,用户明确地限制其中的强度值可以用来确定必须分配给暴露像素的强度值的区域。
36.如权利要求25所述的计算机程序产品,其特征在于,对于已经使用有损压缩技术压缩的原始图像,用于向暴露像素分配色彩值的所述单元包括:
配置用于对不属于暴露区域但围绕暴露区域的边界像素执行中值滤波的计算机可读程序代码单元,其中中值滤波掩码不使用暴露区域内的像素;和
配置用于在确定暴露像素的强度值时确保不使用比到暴露区域边界的预定距离更近的像素的计算机可读程序代码单元。
CNB021046565A 2001-02-13 2002-02-10 图像区域处理期间暴露像素的自动着色方法和系统 Expired - Fee Related CN1203453C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/782,937 US6879717B2 (en) 2001-02-13 2001-02-13 Automatic coloring of pixels exposed during manipulation of image regions
US09/782,937 2001-02-13

Publications (2)

Publication Number Publication Date
CN1371078A true CN1371078A (zh) 2002-09-25
CN1203453C CN1203453C (zh) 2005-05-25

Family

ID=25127645

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021046565A Expired - Fee Related CN1203453C (zh) 2001-02-13 2002-02-10 图像区域处理期间暴露像素的自动着色方法和系统

Country Status (4)

Country Link
US (3) US6879717B2 (zh)
JP (1) JP3953332B2 (zh)
KR (1) KR100534170B1 (zh)
CN (1) CN1203453C (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100336011C (zh) * 2002-12-03 2007-09-05 微软公司 一种用于补偿γ修正缺乏的α修正的方法
CN101587586A (zh) * 2008-05-20 2009-11-25 株式会社理光 一种图像处理装置及图像处理方法
CN108320283A (zh) * 2018-02-01 2018-07-24 研靖信息科技(上海)有限公司 一种确定图像最优配色阈值范围的方法与设备
CN117576256A (zh) * 2023-11-16 2024-02-20 元橡科技(北京)有限公司 一种视差填充方法、系统及存储介质

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879717B2 (en) * 2001-02-13 2005-04-12 International Business Machines Corporation Automatic coloring of pixels exposed during manipulation of image regions
JP4190739B2 (ja) * 2001-02-19 2008-12-03 日本電気株式会社 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体
US20040135790A1 (en) * 2003-01-15 2004-07-15 Xerox Corporation Correcting the color cast of an image
US7088870B2 (en) * 2003-02-24 2006-08-08 Microsoft Corporation Image region filling by example-based tiling
US6987520B2 (en) * 2003-02-24 2006-01-17 Microsoft Corporation Image region filling by exemplar-based inpainting
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
DE10327576A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
US7379071B2 (en) * 2003-10-14 2008-05-27 Microsoft Corporation Geometry-driven feature point-based image synthesis
US20050286767A1 (en) * 2004-06-23 2005-12-29 Hager Gregory D System and method for 3D object recognition using range and intensity
DE102004061507B4 (de) * 2004-12-21 2007-04-12 Siemens Ag Verfahren zur Korrektur von Inhomogenitäten in einem Bild sowie bildgebende Vorrichtung dazu
WO2006092542A1 (en) * 2005-03-03 2006-09-08 Bourbay Limited Segmentation of digital images
US7929775B2 (en) * 2005-06-16 2011-04-19 Strider Labs, Inc. System and method for recognition in 2D images using 3D class models
US7986298B1 (en) * 2005-12-19 2011-07-26 Adobe Systems Incorporated Identifying changes to an image file
US7982747B1 (en) 2005-12-19 2011-07-19 Adobe Systems Incorporated Displaying generated changes to an image file
US7570841B2 (en) * 2006-01-13 2009-08-04 The Boeing Company Method for determining a set of boundary points in a lattice
EP1826723B1 (en) * 2006-02-28 2015-03-25 Microsoft Corporation Object-level image editing
US8019171B2 (en) * 2006-04-19 2011-09-13 Microsoft Corporation Vision-based compression
US7733350B2 (en) 2006-06-30 2010-06-08 Microsoft Corporation Anisometric texture synthesis
US8175409B1 (en) 2006-12-01 2012-05-08 Adobe Systems Incorporated Coherent image selection and modification
US8004536B2 (en) * 2006-12-01 2011-08-23 Adobe Systems Incorporated Coherent image selection and modification
US8073277B2 (en) * 2007-06-21 2011-12-06 The University Of Southern Mississippi Apparatus and methods for image restoration
US9355469B2 (en) 2009-01-09 2016-05-31 Adobe Systems Incorporated Mode-based graphical editing
KR101318756B1 (ko) * 2009-02-20 2013-10-16 엘지디스플레이 주식회사 터치정보 처리방법 및 장치와 이를 이용한 평판표시장치
US10524645B2 (en) * 2009-06-18 2020-01-07 Endochoice, Inc. Method and system for eliminating image motion blur in a multiple viewing elements endoscope
US8698747B1 (en) 2009-10-12 2014-04-15 Mattel, Inc. Hand-activated controller
AU2012201684A1 (en) * 2012-03-21 2013-10-10 Canon Kabushiki Kaisha Image compression
US10402661B2 (en) 2013-07-22 2019-09-03 Opengate Development, Llc Shape/object recognition using still/scan/moving image optical digital media processing
TWI596572B (zh) * 2016-07-06 2017-08-21 Method of automatically coloring image blocks
US11042969B2 (en) * 2019-05-23 2021-06-22 Adobe Inc. Automatic synthesis of a content-aware sampling region for a content-aware fill
JP7447417B2 (ja) * 2019-09-27 2024-03-12 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
US12067748B2 (en) 2021-09-28 2024-08-20 International Business Machines Corporation Selection of image label color based on image understanding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047842A (en) * 1989-11-03 1991-09-10 The Trustees Of Princeton University Color image display with a limited palette size
JP2528383B2 (ja) * 1990-11-22 1996-08-28 大日本スクリーン製造株式会社 ピンホ―ル消去方法
JP2639517B2 (ja) * 1991-03-12 1997-08-13 大日本スクリーン製造株式会社 画像領域の色付け処理方法
JPH0865519A (ja) 1994-08-19 1996-03-08 Toppan Printing Co Ltd 画像の欠陥修正方法及びその装置
KR100466593B1 (ko) * 1997-07-10 2005-06-13 주식회사 팬택앤큐리텔 물체내부 영역채움을 이용한 영상신호의 모양정보 부호화 방법
JPH1132206A (ja) * 1997-07-10 1999-02-02 Fuji Xerox Co Ltd 画像処理装置
US6175663B1 (en) * 1998-02-24 2001-01-16 Paravision Imaging, Inc. Method and apparatus for preserving background continuity in images
GB2336055B (en) * 1998-04-01 2002-10-16 Discreet Logic Inc Image processing
US6721446B1 (en) * 1999-04-26 2004-04-13 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels
US6434269B1 (en) * 1999-04-26 2002-08-13 Adobe Systems Incorporated Smart erasure brush
US6879717B2 (en) * 2001-02-13 2005-04-12 International Business Machines Corporation Automatic coloring of pixels exposed during manipulation of image regions
US7130491B2 (en) * 2003-03-14 2006-10-31 Hewlett-Packard Development Company, L.P. System and method for interpolating a color image

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100336011C (zh) * 2002-12-03 2007-09-05 微软公司 一种用于补偿γ修正缺乏的α修正的方法
CN101587586A (zh) * 2008-05-20 2009-11-25 株式会社理光 一种图像处理装置及图像处理方法
CN101587586B (zh) * 2008-05-20 2013-07-24 株式会社理光 一种图像处理装置及图像处理方法
CN108320283A (zh) * 2018-02-01 2018-07-24 研靖信息科技(上海)有限公司 一种确定图像最优配色阈值范围的方法与设备
CN117576256A (zh) * 2023-11-16 2024-02-20 元橡科技(北京)有限公司 一种视差填充方法、系统及存储介质
CN117576256B (zh) * 2023-11-16 2024-04-26 元橡科技(北京)有限公司 一种视差填充方法、系统及存储介质

Also Published As

Publication number Publication date
KR20020066981A (ko) 2002-08-21
US20090003694A1 (en) 2009-01-01
US6879717B2 (en) 2005-04-12
KR100534170B1 (ko) 2005-12-06
JP3953332B2 (ja) 2007-08-08
US20020136453A1 (en) 2002-09-26
US7457462B2 (en) 2008-11-25
US20050084151A1 (en) 2005-04-21
US7676086B2 (en) 2010-03-09
JP2002329192A (ja) 2002-11-15
CN1203453C (zh) 2005-05-25

Similar Documents

Publication Publication Date Title
CN1203453C (zh) 图像区域处理期间暴露像素的自动着色方法和系统
CN101739697B (zh) 一种图像马赛克拼图的合成方法及系统
US7199793B2 (en) Image-based modeling and photo editing
CN1604142A (zh) 基于图像的着色和编辑方法及装置
Brooks et al. Self-similarity based texture editing
CN1475969A (zh) 用于增强人像图像的方法和系统
Kim et al. Stippling by example
CN108510562B (zh) 基于图像分形纹理的数码迷彩图案生成方法
CN1741070A (zh) 外壳纹理函数
CN1147810C (zh) 色彩色泽色度色调色空间及用其和色扩散量化颜色的方法
CN1678016A (zh) 图像处理装置及图像处理方法
CN1716316A (zh) 基于彩色分割的立体3d重构系统和方法
CN1734503A (zh) 使用光谱分析的伸展驱动的网格参数化
CN1788283A (zh) 镜头呈现方法和装置
CN110223376B (zh) 一种基于单幅堆积颗粒材料图像的三维颗粒重建方法
CN1267859C (zh) 用于在二维屏幕上绘制图像的绘制方法
CA2211350A1 (en) Methods, apparatus and program storage device for removing scratch or wire noise, and recording media therefor
US6947591B2 (en) Process of identifying the sky in an image and an image obtained using this process
CN100337473C (zh) 运动视频的全景图合成方法
CN109448098B (zh) 一种基于建筑物单张夜景图像重建虚拟场景光源的方法
Corker-Marin et al. 4d cubism: Modeling, animation, and fabrication of artistic shapes
CN102063705B (zh) 一种大区域非均匀纹理合成方法
CN112700485B (zh) 图像深度信息提取方法
Chen et al. Parallel pencil drawing stylization via structure-aware optimization
CN1256706C (zh) 基于多样图的纹理转移方法

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050525

Termination date: 20190210

CF01 Termination of patent right due to non-payment of annual fee