CN101390090B - 编辑源数字图像的方法和设备 - Google Patents
编辑源数字图像的方法和设备 Download PDFInfo
- Publication number
- CN101390090B CN101390090B CN2007800067692A CN200780006769A CN101390090B CN 101390090 B CN101390090 B CN 101390090B CN 2007800067692 A CN2007800067692 A CN 2007800067692A CN 200780006769 A CN200780006769 A CN 200780006769A CN 101390090 B CN101390090 B CN 101390090B
- Authority
- CN
- China
- Prior art keywords
- image
- level information
- digital picture
- source
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 103
- 230000008569 process Effects 0.000 claims description 36
- 238000005520 cutting process Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 7
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 abstract description 11
- 230000006872 improvement Effects 0.000 abstract description 4
- 244000025254 Cannabis sativa Species 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 18
- 238000009941 weaving Methods 0.000 description 14
- 239000000203 mixture Substances 0.000 description 10
- 238000010008 shearing Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 239000008267 milk Substances 0.000 description 6
- 210000004080 milk Anatomy 0.000 description 6
- 235000013336 milk Nutrition 0.000 description 6
- 208000024754 bloodshot eye Diseases 0.000 description 5
- 239000012634 fragment Substances 0.000 description 5
- 201000005111 ocular hyperemia Diseases 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 101100043656 Caenorhabditis elegans stdh-4 gene Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
描述使用有关数字图像中对象的信息来编辑这些图像的系统和方法。例如，有关对象的信息包括深度排序信息和/或有关各对象是其成员的类的信息。类的示例包括天空、建筑物、飞机、草和人物。该对象级信息被用来提供新的和/或经改进的编辑功能，诸如剪切和粘贴、使用小块或拼缝物填入图像区域、数字织锦、消光生成、超分辨率、自动修剪、自动色彩平衡、对象选择、景深操纵、以及对象置换。此外，描述使用对象级信息对用于图像编辑系统的用户界面的改进。
Description
技术领域
本描述一般涉及图像编辑，尤其涉及但决不限于使用有关那些图像中对象的信息来编辑数字图像的系统和方法。
背景
诸如微软的Digital Image Suite(商标)、Adobe Photoshop(商标)和Illustrator(商标)以及Google Picasa(商标)的图像处理工具是已知的。在国内市场和专业市场中对这种工具有越来越多的需求。需要简化用户操作图像处理工具所需的动作，以及需要提供快速并有效地操作的工具。此外，需要在工具内提供增加的功能，以使得用户能对数字图像执行更多类型的操作，以及需要改进现有的功能，以使得操作的结果更为逼真和美观。
需要提供一种克服或至少减轻了本文中所提及问题的一个或多个的图像编辑或图像处理的经改进系统和方法。
概述
下面提供本揭示的简化概要以便为读者提供基本的理解。本概要不是本揭示的详尽概观，并且既不标识本发明的关键/本质元素也不描绘本发明的范围。其唯一目的是以简化形式提供在此揭示一些概念作为稍后提供的更详细描述的序言。
描述使用有关数字图像中对象的信息来编辑这些图像的系统和方法。例如，有关对象的信息包括深度排序信息和/或有关各对象是其成员的类的信息。类的示例包括天空、建筑物、飞机、草和人。该对象级信息被用来提供新的和/或经改进的编辑功能，诸如剪切和粘贴、使用小块或拼缝物填入图像区域、数字织锦、α消光生成、超分辨率、自动修剪、自动色彩平衡、对象选择、景深操纵、以及对象置换。此外，描述使用对象级信息对用于图像编辑系统的用户 界面的改进。
本示例提供一种包括以下步骤的编辑源数字图像的方法：
·访问自动生成的有关该源数字图像的对象级信息，该信息包括将图像分成一个或多个对象的分割，以及针对各个对象的该对象是其成员的类的细节；以及
·基于对象级信息自动处理源数字图像以形成输出数字图像。
在另一示例中，提供了一种用于编辑源数字图像的相应装置，包括：
·接口，安排成访问自动生成的有关该源数字图像的对象级信息，该信息包括将图像分成一个或多个对象的分割，以及针对各个对象的该对象是其成员的类的细节；以及
·处理器，安排成基于对象级信息自动处理源数字图像以形成输出数字图像。
优选地，对象级信息包括以下的任一个：有关至少一部分对象的深度排序的信息；对象属性；以及有关对象部分的位置的信息。
在某些示例中，该方法还包括：组合源数字图像的至少一部分与一个或多个基准数字图像以形成输出数字图像，且其中该方法包括：访问自动生成的有关基准数字图像的对象级信息，该信息包括将基准图像分成一个或多个对象的分割，以及针对各个对象的该对象是其成员的类的细节。
在某些示例中，针对多个源数字图像实现该方法以创建单个输出图像，且该输出图像基于有关各个源图像的对象级信息自动形成。例如，在数字织锦、照片-组合或其它图像混合技术中。优选地，那些方法包括基于对象级信息选择源图像的多个部分以包括在输出图像中。例如，基于对象级信息在输出图像中选择位置以定位源图像的多个部分。
在其它示例中，与输出图像相比，源图像具有低分辨率。例如，处理源图像的步骤包括：访问分辨率比源图像高的图像的数据库，以及基于对象级信息从该数据库中选择图像以在形成输出图像时使用。
在一些实施例中，从源图像裁剪输出图像，并且处理源图像的步骤包括基于对象级信息自动裁剪源图像。优选地，该方法进一步包括基于从多个指定模板、规则或标准中选择的模板、规则或标准自动裁剪源图像。在一些示例中， 处理源图像的步骤包括基于对象级信息调节该源图像的色彩平衡。
优选地，所述处理源图像的步骤包括：仅接收单个用户输入以选择源图像中的对象，并经由用户界面向用户呈现关于作为该单个用户输入的结果选择源图像中的哪个对象的指示，该选择已由用户用单个动作作出。
优选地，该方法还包括：安排用户界面以使经由界面呈现给用户的编辑选项基于与所选对象相关联的对象级信息选择。
在一些示例中，该方法还包括修改所选对象的色彩、焦点或深度次序的任一个。
优选地，处理源图像的所述步骤包括：用来自数据库的选定对象或对象部分的图像替换源图像中对象或对象的一部分，且其中该对象或对象部分的选择基于对象级信息作出。
上述装置可具有用以执行上述方法的任何适当功能部件。
另一示例提供了一种包括计算机程序代码装置的计算机程序，当所述程序在计算机上运行时适于执行任何方法的所有步骤。
例如，该计算机程序在计算机可读介质上具体实现。
本方法可由存储介质上具备机器可读形式的软件执行。软件能够适于在并行处理器或串行处理器上执行，使得本方法的各步骤可以按任何合适的次序或同时执行。
这里承认软件能够是有价值的、可以单独交易的商品。它旨在包含运行于或者控制“哑”或者标准的硬件以实现期望的功能的软件，(因此，软件本质上定义了寄存器的功能，并且可以被叫做寄存器，即使是在它与其标准硬件结合之前)。出于类似的理由，还旨在包含“描述”或者定义硬件配置的软件，例如HDL(硬件描述语言)软件，用于设计硅芯片，或者用于配置通用可编程芯片以实现期望的功能。
许多伴随特征将随着参考下面的详细描述并结合附图进行理解而得到更好的认识。
附图说明
从结合附图的下列详细描述将更好地理解本描述，在附图中：
图1是对对象级图像编辑系统的输入的示意性图示；
图2是对象级图像编辑系统的更详细的示意性图示；
图3是使用对象级图像编辑系统编辑图像的方法的高级流程图；
图4是使用由对象级信息引导的平铺来编辑图像的方法的流程图；
图5示出对象级图像编辑系统的用于语义对象移除的两个示例用户界面显示；
图6是智能复制和粘贴以及智能剪切和粘贴的方法的流程图；
图7a和7b是指示智能复制和粘贴的示意性图示；
图8是使用智能数字织锦产生的输出图像的示例；
图9是使用对象级信息引导的数字织锦的方法的流程图；
图10是使用对象级信息的超分辨率的方法的流程图；
图11是使用对象级信息自动裁剪图像的方法的流程图；
图12是使用对象级信息自动调节源图像色彩的方法的流程图；
图13是选择对象的单个用户动作方法的流程图；
图14示出源图像和使用对象级信息从该源图像中将前景对象选择成一组四头奶牛的结果。
图15示出使用图像编辑系统说明对象替换的示例用户界面显示；
图16是使用对象级信息的对象替换的方法的流程图；
图17示出使用对象级信息说明景深操纵的两个用户界面显示；
图18是提供使用对象级信息的图像编辑系统的用户界面的方法的流程图；
相同的标号用于指示附图中相同的部分。
详细描述
下面结合附图提供的详细说明旨在作为本发明的例子的描述，但是并不旨在表示可以构造或者使用本例子的仅有的形式。该描述阐述本示例的功能以及用于构造和操作本示例的步骤序列。然而，相同或等价的功能与序列可由不同 的示例来完成。
图1是对对象级图像编辑系统的输入的示意性图示。数字形式的任何适当类型的源图像10被提供给对象识别系统11。本示例中的源图像10示出停在建筑物前草坪上的轻型飞机。在建筑物之上可看到多云天空。对象识别系统产生对源图像的分析。分析结果在图1中被示为图像12，尽管并非必需如此。可使用任何适当形式的表示。源图像的分析包括将该源图像分成一个或多个对象的分割。在所示示例中，图像被分成由图1的图像12中的阴影区域指示的四个主要区域。对象识别系统还将每个分割区域标为属于特定类型的对象类。在该示例中，四个区域被标识为属于对象类天空14、草地16、建筑物15和飞机17。由对象识别系统产生的信息在本文中被称为对象级信息，并且连同源图像10本身可被本发明的图像编辑系统13访问。
可使用任何适当类型的能分割源图像并识别该源图像的分割区域的适当对象类的对象识别系统11。至少多个可能的对象类被用来标注分割图像区域(在优选示例中约有20个对象类)，并且增加系统的规模并使用数量多得多的对象类是可能的。对象类的示例包括天空、草地、人、建筑物、马、飞机、奶牛、羊、水、船、树、路和花。在一些实施例中，对象识别系统11优选地还能提供所标识对象的深度排序信息，尽管这并非是必需的。此外，对象识别系统优选地(但不是必需的)能标识对象的特定实例(例如将人的图像识别为属于具体指定的人)，并且能标识有关对象的信息，诸如其方向、对象属性、对象部分的存在和位置(例如，人脸、树叶、建筑物、屋顶)。对象识别系统任选地可包括与对象类相关联的语义信息，诸如有关类人和建筑物的对象的相对大小的信息，或者有关对象的一般位置的信息，诸如图像中的天空。
图2是图1的对象级图像编辑系统13的更详细的示意性图示。一个或多个源图像10和任选地一个或多个基准图像9被输入如上所述的对象识别系统11。例如，源图像可包括人靠在墙面背景的照片。基准图像可包括花园景观。在人物的图像被粘贴到花园景观上的情形中，输出图像将包括以花园景观为背景的人物的图像。对象识别系统优选地用来分析源图像和基准图像两者。识别结果以及源图像10和基准图像9变得对对象级图像编辑系统13可用。该系统包括对象级信息接口8，其通过接口与对象识别系统11相连或以任何适当方式 访问该对象识别系统的结果。还提供处理器7和任选的用户界面6。处理器具有任何适当类型，诸如个人计算机、操作系统、专用处理器或分布式系统。对象级图像编辑系统基于各个输入产生输出图像5。
通过使用由对象识别系统提供的对象级信息，能提供自动编辑图像的新方法并改进自动编辑图像的现有方法。现在给出编辑图像的方法的高级概要，然后阐述特定方法的示例。
在本文中所述的任一实施例中，对用户而言在将对象级信息用于图像编辑之前任选地修改或校正该信息也是可能的。用户可手动地或以任何其它适当方式作出这些修改或校正。
图3是使用对象级图像编辑系统编辑图像的方法的高级流程图。访问有关一个或多个源图像的对象级信息、以及任选的一个或多个基准图像(参见框35)。这是使用图2的接口8来实现的。基于对象级信息(参见框36)和所形成的输出图像(参见框37)来处理源图像和任何基准图像。
现在给出使用对象级信息编辑图像的特定方法的示例：
智能平铺
在我们的于2004年8月26日公布的公开号为US2004-0165787A1的题为“Image region filling by example-based tiling”(通过基于示例平铺进行图像区域填充)的较早美国专利申请中，描述了使用图像数据的平铺来执行各种任务，包括但不限于修复(例如，隐藏裂缝、擦痕、锈斑、和其它损害)、校正(例如，去除红眼和其它不合需要的特征)、以及修改(例如去除图像的特征)数字图像。在许多这种动作中，任务可通过用其它图像数据“填充”图像中的区域来完成。在该较早专利申请中，描述了借用因近似目标图像区域或某其它源而产生的示例图像数据块来生成新图像数据以供填充该区域。所述的基于示例填充系统标识适当的填充材料以替换图像中的目标区域并使用该材料填充目标区域，从而减轻或最小化填充图像中区域所需的手动编辑的量。目标区域可通过用户输入(例如由用户选择图像区域)或其它手段(例如指定要替换的色彩或特征)指定。
在本申请中，我们通过允许使用对象级信息引导适当填充材料的选择来基 于先前的工作进行扩展和构建。此外，我们通过使用对象级信息使目标区域的指定能自动实现。术语“小块”在本文中用来指适于填充数字图像的目标区域的图像数据区或碎片。小块可由一组或一网格像素表示，或者能以任何其它适当方式表示。
图4是在本申请的对象级图像编辑系统中使用小块的方法的流程图。该图与图3相同，其不同之处在于图像数据小块是在处理阶段使用的(参见框39)。例如，图像数据小块是像素碎片或像素网格。图像数据小块可例如用于填充图像的其中对象已被删除的区域。优选地，基于对象级信息选择图像数据小块(参见框38)。例如，它们是从与需要填充的对象/部分相同的类(或相同对象部分)的对象选择的。小块可从以下的任一个中选择：源图像和基准图像、源图像和基准图像中同一类的其它对象、以及同一类(与正在填充的对象相同)的其它对象的库。
此外，深度排序信息可被用来引导供填充图像区域的小块的选择。例如，所选小块仅需与要移除对象后面的对象相一致。现在参照图5中的示例进行讨论。图5给出对象级图像编辑系统的用于语义对象移除的两个示例用户界面显示35、36。显示35包括人31站在草地中，且小径消失在树木和天空可见的背景30中的图像。每个显示35、36都具有诸如分层选择结构34和操作条33的图形用户界面设备。在显示35中，操作条33指示图像焦点所在之处，呈现用以调节图像中的模糊度的滑动条33，并提供选择框以使图像成为例如灰度而非彩色。还提供了施加设置或取消它们的按钮。在显示35的示例中，用户已经以任何适当方式选择了人31，诸如通过将鼠标指针置于人31上，并呈现可用动作的菜单32，在本示例中包括擦除、聚焦、修复红眼和色彩电平。假设用户从菜单32中选择擦除功能。人31的图像被“在语义上”擦除，从而给出了显示36中示出的结果。
在显示36中，可看到背景30被保留，人31的图像被删去，并且先前被人31的图像所占据的图像区域以适于该图像的其余部分的方式填充。
先前被人所占据的图像区域由图5中的参考标号40和41指示。深度排序和形状信息被用来推断该人后面的区域要使用区域41中的“类似草地”小块和区域40中的“类似树木”小块来填充。没有这种深度排序信息，“类似草 地”小块会被用来填充人31的图像先前所在的整个区域。此外，如果在所擦除的人前面存在物体，则深度信息将使它们能在填充期间被忽略。另外，将图像分成草地、树木、人物对象和天空的分割信息被用来推断要使用哪类小块。
智能复制和粘贴(以及智能剪切和粘贴)
复制和剪切图像区域的过程优选地是相同的，除了剪切的过程还涉及填充源图像的从中剪切了一区域的空地。优选地，填充过程是智能地使用对象级信息实现的。
图6是将对象级信息用于智能复制和粘贴或智能剪切和粘贴的方法的流程图。假设源图像包括要剪切或复制的对象，并且提供了在此情形中被称为目标图像的基准图像以将所剪切/复制的对象贴入。该方法包括访问有关如上所述的源图像和目标图像的对象级信息(参见图6的框60)。该对象级信息被用来从源图像中复制或剪切对象(参见框61)。例如，分割信息被用来标识对象，且其中之一被自动地选择(例如使用深度排序信息以挑选前景对象、或使用预先指定规则连同对象类信息)或作为用户输入的结果而被选择。一旦选择了对象，就使用本领域中所公知的任何适当的剪切或复制该对象的方法。在剪切的情形中，优选地还填充源图像的从中剪切掉一区域的空地。该填充是智能地使用对象级信息实现的。
然后关于是否有剪切/复制对象的任何区域被遮挡在源图像之外作出评估。深度排序信息和/或其它对象级信息被用来作此评估。如果存在被遮挡区域，则使用用对象级信息从源图像中选择的小块(如上所述)来填充这些区域(参见框63)。此外，在需要时填充源图像中因为任何剪切操作而留白的区域。这是使用用对象级信息进行的小块选择实现的。
下一阶段包括将有关剪切/复制对象的对象级信息与目标图像作比较，并判定所剪切/复制的对象是否需要进行编辑(参见框64)。例如，所剪切/复制的对象的大小可能需要改变以对应于目标图像中对象的比例。对象类信息可包括有关不同类的对象的相对大小的信息。例如，类建筑物的对象可被指定为比类人物的对象大一特定倍数。使用该信息连同深度排序信息，有可能自动确定要贴入目标图像的对象的适当大小。在另一示例中，要粘贴对象的焦点可能需 要改变以匹配目标图像中的焦点。再一次，深度排序信息可与有关目标图像中景深信息的信息一起使用以决定要对要粘贴对象应用什么焦点。在另一实施例中，要粘贴对象的色彩可根据目标图像的色彩细节改变。其它选项包括改变要粘贴对象的照明或方向，改变人物图像的面部表情以匹配目标图像中的对象和其它。
如果确定以特定方式编辑要粘贴对象，则该对象被自动地按需编辑(参见框65)，然后粘贴到目标图像(框66)中。注意，该方法的步骤的任一个可并行或以不同顺序执行以实现等同的结果。
图7a和7b示出使用智能复制和粘贴的示例。图7a示意性地示出人物71站在柱子70后面的图像。该人物的图像要被复制和粘贴到基准图像——在本示例中称为目标图像74(参见图7b)。复制该人物图像的结果在图7a中示出，并且可看到存在柱子70先前遮挡人物图像的一部分的空白区域72。在复制过程期间，使用有关人物的对象级信息，其提供人物的分割和有关柱子和人物的深度排序信息。
所遮挡的区域72使用小块来填充以产生完整图像73(参见图7b)。该完整图像73要被粘贴到示出房子的目标图像74中。有关目标图像的对象级信息指示房子和人物的相对大小使得完整图像73需要调节大小。在适当地调整大小、以及诸如重新调焦或重新着色的任何其它确定编辑之后，人物75的图像被粘贴到基准图像内。
经改进的数字织锦
图8是在执行经改进的数字织锦之后从对象级图像编辑系统产生的输出图像的示例。术语“数字织锦”在本文中被用来指使用多个源图像的各个部分并将那些部分混合在一起来形成单个输出图像。在图8中所示的示例中，12个源图像被用来形成单个数字织锦输出图像。
可使用将多个图像部分混合在一起的任何适当方法。例如，我们的于2005年7月28日提交的题为“Image Blending”(图像混合)的早先欧洲专利申请No.05254745.2描述了一种数字织锦的适当方法。Carsten Rother、Sanjiv Kumar、Vladimir Kolmogorov和Andrew Blake在2005年美国圣地亚哥的CVPR会议上 发表的题为“Digital Tapestry”(数字织锦)的文章也描述了一种数字织锦的适当方法。在本申请中，数字织锦通过允许从源图像选择多个图像部分使用有关源图像的对象级信息引导来改进。此外，选择输出图像中的位置以放置那些图像部分是使用对象级信息来引导的。
图9是经改进数字织锦或图像混合的方法的流程图。它包括使用上述方法访问有关多个源图像的每一个的对象级信息(参见框90)。该对象级信息被用来选择要使用的源图像区域(参见框91)。例如，对象类信息可结合指定标准或规则使用以选择有关图像区域。如果例如存在许多人物图像，则可指定仅选择阈值数量的图像以包括在内。可指定标准或规则以使某些类的对象优于其它类的对象，例如，草地或道路被给予比动物或人物低的优先级。给予在源图像中例如仅存在一个或两个的稀有类对象优先级也是可能的。
对象级信息也可用来针对所选源图像区域自动选择输出图像中的位置(参见框92)。例如，源图像区域可被放置成使类天空的对象被置于靠近输出图像的顶部。然后源图像区域被混合以形成如上所述的数字织锦(参见框93)。例如，在图8中可看到包含天空的源图像区域都被放置成使天空处于合成输出图像的顶部。此外，人物图像被选择成使不同人物显示，或者同一人物被显示一次以上，给出了该人物的不同姿势。
使用对象级信息的超分辨率
超分辨率是从低分辨率图像制作高分辨率图像的过程。现有的超分辨率方法在创建高分辨率图像时忽略对象的类型，并因此常常填充不当的细节。现有的超分辨率方法的一个示例在William T.Freeman、Thouis R.Jones和Egon C.Pasztor在IEEE计算机图形学和应用(2002年3/4月)中的文章“Example-basedsuper-resolution”(基于示例的超分辨率)中给出。
图10是使用对象级信息改进超分辨率的方法的流程图。源图像具有比输出图像低的分辨率。访问有关如上所述源图像的对象级信息(参见框110)。然后访问分辨率比源图像高的图像的碎片或小块的数据库(参见框110)。图像编辑系统选择同一对象类或对象部分的碎片或小块作为源图像中的对象(参见框112)，并使用所选的碎片或小块来构建高分辨率图像(参见框113)。 小块和使用那些小块填充的方法可如上在标题为“智能小块平铺”的小节中所述，或者可使用任何其它适当方法。
使用对象级信息的自动裁剪
图像编辑中共同需要的是裁剪图像以创建美观的图像的能力，其中所述各个所示对象的比例以及对象的相对位置和色彩是协调和悦目的。还需要的是能裁剪图像以符合特定要求，诸如护照照片，并以最为清楚和最可理解的方式示出对象或场景。以前，艺术家和图片设计者都手工裁剪数字图像以实现这些目的和类似的目的。然而，存在使非熟练用户能有效地裁剪图像并提供自动裁剪图像而无需人工干预的系统的需要。
图11是使用对象级信息自动裁剪源图像的方法的流程图。访问有关如上所述源图像的对象级信息(参见框120)。然后图像编辑系统访问用于图像裁剪的规则、标准和/或模板(可以是或然的)。这些规则、标准和/或模板是预先指定的。例如，它们基于有关专业艺术家和图像裁剪者如何将给定数字图像变换成经裁剪图像的经验数据来创建。这些规则、标准和/或模板可与特定情形相关联，诸如护照图片的模板、横向照片的模板、纵向照片的模板、静物对象图像的规则、移动对象图像的规则等等。规则的一个示例是可在景观场景的图像中保留1/3天空到2/3地面的比值。
然后选择规则、标准和/或模板的适当之一(参见框122)。该选择可基于用户输入或自动地基于源图像中的对象级信息作出。例如，如果对象级信息指示图像包括前景中的人物和背景中的草地，则可选择肖像照片模板。
然后使用所选规则、标准或模板裁剪源图像(参见框123)。
使用对象级信息的自动色彩平衡
常常会是这样的情形：由于伪像和其它处理，给定数字图像的色彩分布不真实、不美观或不准确。在这些情形中，通过反复试验手动或半自动地改变色彩分布是已知的。我们通过允许使用对象级信息来引导和改进色彩平衡来对此作出改进。
图12是使用对象级信息自动使图像色彩平衡的方法的流程图。访问有关 如上所述源图像的对象级信息(参见框130)。然后对源图像中对象的色彩细节与有关同类对象的预先指定的色彩细节作出比较(参见框131)。例如，假设图像包括类草地的对象。实际图像中该对象的色彩分布可能会偏向一特定值，其与类草地对象的已知的、预先指定的色彩分布显著不同。这两个色彩分布之间的差异提供关于应当如何调节整个源图像的色彩分布以提供更为真实和/或悦目的结果的指示。所比较的色彩细节可以是色彩分布、色彩值、特定色彩统计数据或任何其它适当的色彩信息。然后基于该比较调节源图像的色彩成为可能(参见框132)。可仅改变该对象的色彩或改变整个图像的色彩。
触摸剪切(TouchCut)
如在本文中所述的对象级信息在图像编辑系统中的使用是特别有利的，因为它允许单击(或单个用户动作)对象选择。此能力对通常需要单独编辑图像中的给定对象、或独立于该图像的其余部分对其进行编辑的图像编辑者而言特别有用。以前，使用套索工具、绘画工具等来手动圈出所需对象来选择它们是必要的。这是耗时的，并且需要精细的手工技巧和专门技能。本申请的单击对象选择避免了这些问题，并且在本文中还被称为触摸剪切。
图13是这种方法的流程图。访问有关如上所述源图像的对象级信息(参见框140)。然后图像编辑系统接收选择源图像中对象的用户输入。该用户输入可以是任何适当类型的，诸如鼠标点击、触摸屏事件、按键按压、声音或其它用户输入。为了选择该对象，用户输入只需要作出单个用户动作(参见框141)。这是优于对象一般必须通过圈出其边界来选择的现有技术的极大改进。然后图像编辑系统选择对象(框142)并且可以或可以不通过用户界面来作出此指示，例如通过突出显示所选对象、在所选对象周围呈现闪烁边界或以其它方式。
图14示出与草地背景形成对照的一群四头奶牛的源图像20。触摸剪切被用来选择前景对象，即一群四头奶牛22。这以在源图像20的包括奶牛的区域内的任何地方单击鼠标来实现。
一旦触摸剪切被用来选择对象，该对象就可以任何方式进行操纵，例如通过改变其色彩、焦距或大小，通过对该对象添加边界，添加阴影，改变该对象 相对图像中的其它对象的深度排序，或以任何其它适当方式来强调该对象。或者，这种动作或操纵可对源图像的未选部分作出。
现在讨论其中所选对象被另一图像所替换的特定实施例。
智能替换(SmartReplace)
图15示出图像编辑系统的使用智能替换的示例用户界面显示。第一用户界面显示50包括停在其上面可看到天空的建筑物之前的草地上的飞机的图像。在该第一用户界面显示50中，可看到已使用触摸剪切或以任何其它适当方式选择了天空对象54。在该示例中，选择由天空对象54周围的虚线边界指示。此外，呈现了要对该天空对象执行的可能动作的菜单53。在本示例中该菜单包括选项：替换和色彩电平。
假设用户选择了替换选项，则呈现显示51。命令条呈现以指示替换功能现在可用，并提供两个示例天空对象实例55以用来替换现有天空。用户选择这些对象实例之一并点击应用。第一显示50的天空对象然后被如第二显示51中所示的所选天空对象实例替换。
假设用户接着擦除建筑物对象和草地对象并用天空来填充这些图像区域，则在第三显示52中指示仅示出结果为以天空为背景的飞机。已使用天空来填充先前被建筑物和草地占据的区域。在该显示中，命令条现在示出擦除飞机对象或再次填充的选项56，并且这可在需要时忽略对象标签57来实现。
因而，智能替换涉及使用有关所选对象的对象级信息来选择用其替换所选对象的适当材料。图16是智能替换方法的流程图。
对于源图像中的所选对象，图像编辑系统访问有关该对象和/或整个源图像的对象级信息(参见框170)。然后从数据库中选择基准对象(参见框171)。基准对象优选地属于与所选对象相同的类或相关的类。例如，晴空可被多云天空所替换。或者，不清晰的奶牛的图像可被马的图像所替换。该选择还可基于有关整个源图像的对象级信息作出。例如，该信息可指出该源图像是景观照片以使不适于包括在该景观中的对象实例不被选择。下一阶段涉及用基准对象替换所选对象(参见框172)。这以本领域技术人员所知的任何适当方式来实现。在特定实施例中，智能替换过程包括对象合成。例如，假设需要通过替换人物 的特定实例的头发来改变该人物的图像。在该情形中，对象级信息被用来标识和定位人物图像的头发对象部分。从数据库中挑选小块以使这些小块来自头发对象部分的另一实例。然后使用那些所选小块来替换图像中的现有头发。这样，特定类的新对象实例被创建；该新对象实例还不是该数据库的一部分。
智能景深操纵
对象级信息还可用于智能景深操纵。例如，图17示出来自图像编辑系统的两个用户界面显示180、181。第一用户界面显示180示出人物31站在前景，而草地区域延伸到背景的源图像。触摸剪切或任何其它适当方法被用来如上所述地选择人物31。菜单32呈现以指示可能的相关于人物31的图像的动作。这些包括例如擦除、聚焦、修复红眼和色彩电平。假设选择聚焦。这在第二用户界面显示181中的命令条中指示。提供设置了用于调节模糊度的滑动条33，并且在模糊度值被选择为高时，结果在显示181中示出。可看出人物31的图像被保留在焦距处，而模糊被应用于图像的其余部分。然而，这不是必须的。景深可考虑对象级信息以任何适当方式进行调节。
用户界面改进
还改进了使用对象级信息的图像编辑系统的用户界面。这通过安排用户界面以使经由界面呈现给用户的编辑选项基于与所选对象相关联的对象级信息选择来实现。例如，在图5中，与人物31的所选图像相关联的菜单32包括适于对人物图像进行操作的选项。这些包括：擦除、聚焦、修复红眼、色彩/电平。作为对比，图15示出与对象、天空相关联的菜单53。该菜单仅呈现替换和色彩/电平的选项。这是因为诸如修复红眼和聚焦的操作对类天空对象不适用。为了实现该类，特定编辑选项被指定并且可被图像编辑系统访问。菜单选项可取决于对象类的属性，例如，它是否被结构化或者它是否属于例如车辆的更大类。
图18是提供使用对象级信息的图像编辑系统的用户界面的方法的流程图。访问有关在用户界面上显示的图像的对象级信息(参见框190)。然后选择图像中的对象(参见框191)。例如，这是使用用户输入实现的或者是由编辑系统自动执行的。然后访问来自指定类特定编辑选项库的类特定编辑选项。 适于所选对象类的编辑选项被访问(参见框192)并通过用户界面呈现(参见框193)。
本领域的技术人员将认识到用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可存储描述为软件的该过程的示例。本地或终端计算机可访问远程计算机并下载该软件的一部分或全部以运行该程序。可替换地，本地计算机可按需下载软件的片断，或者可以在本地终端上执行一些软件指令而在远程计算机(或计算机网络)上执行一些软件指令。本领域的技术人员将认识到，通过使用本领域技术人员已知的常规技术，软件指令的全部或部分可由专用电路如DSP、可编程逻辑阵列等来执行。
如对于本领域的技术人员而言，显然此处给出的任何范围或者设备值可以被扩展或者改变而不失去所寻求的效果。
文本中描述的各方法步骤可以在需要时按任何合适的次序或同时执行。
可以理解，上面对于较佳实施例的描述仅仅是作为例子给出的，而本领域的技术人员可以做出多种改变。
尽管本示例在本文中被描述和例示为在针对数字静止图像的图像编辑系统中实现，但所述系统作为示例而非限制提供。如本领域技术人员将理解地，本示例适于在各种不同类型的图像处理系统中应用，诸如视频处理、医疗图像操纵系统、虚拟现实系统、计算机游戏演示系统、以及嵌入相机的编辑工具。
Claims (15)
1.一种编辑源数字图像的方法，包括以下步骤：
(i)访问自动生成的有关所述源数字图像的对象级信息，该对象级信息包括将所述源数字图像分成一个或多个对象的分割，并且对于所述一个或多个对象中的每个对象，所述对象级信息还包括该对象是其成员的类的细节；
(ii)基于所述对象级信息自动处理所述源数字图像以形成输出数字图像，其中所述处理所述源图像的步骤(ii)包括：
(a)获取所述源数字图像中的被选对象的色彩细节；
(b)获取与所述被选对象同类的对象的预先指定的色彩细节；
(c)将所述预先指定的色彩细节与所述被选对象的色彩细节进行比较；
(d)基于所述比较调节所述源数字图像的色彩以形成输出图像。
2.如权利要求1所述的方法，其特征在于，所述对象级信息包括以下的任一个：有关至少一部分所述对象的深度排序的信息；对象属性；以及有关所述对象部分的位置的信息。
3.如权利要求1或2所述的方法，其特征在于，还包括：组合所述源数字图像的至少一部分与一个或多个基准数字图像以形成所述输出数字图像，且其中所述方法包括：访问自动生成的有关所述基准数字图像的对象级信息，该对象级信息包括将所述基准数字图像分成一个或多个对象的分割，并且对于所述一个或多个对象中的每个对象，所述对象级信息还包括该对象是其成员的类的细节。
4.如权利要求1所述的方法，其特征在于，所述源数字图像与所述输出图像相比具有低分辨率。
5.如权利要求4所述的方法，其特征在于，所述处理所述源数字图像的 步骤(ii)还包括：访问分辨率比所述源数字图像高的图像的数据库，以及基于所述对象级信息从所述数据库中选择图像以在形成所述输出图像时使用。
6.如权利要求1所述的方法，其特征在于，所述输出图像从源数字图像裁剪，并且其中所述处理所述源数字图像的步骤(ii)还包括基于所述对象级信息自动裁剪所述源数字图像。
7.如权利要求6所述的方法，其特征在于，进一步包括基于从多个指定模板、规则或标准中选择的模板、规则或标准自动裁剪所述源数字图像。
8.如权利要求1或2所述的方法，其特征在于，所述处理源数字图像的步骤(ii)还包括：仅接收单个用户输入以选择所述源数字图像中的对象，并经由用户界面向用户呈现关于作为所述单个用户输入的结果选择所述源数字图像中的哪个对象的指示，所述选择已由用户用单个动作作出。
9.如权利要求8所述的方法，其特征在于，还包括：安排所述用户界面以使经由所述界面呈现给用户的编辑选项基于与所选对象相关联的所述对象级信息选择。
10.如权利要求8所述的方法，其特征在于，还包括修改所选对象的色彩、焦距或深度次序的任一个。
11.如权利要求9所述的方法，其特征在于，还包括修改所选对象的色彩、焦距或深度次序的任一个。
12.如权利要求1或2所述的方法，其特征在于，所述处理源数字图像的步骤(ii)还包括：用来自数据库的选定对象或对象部分的图像替换所述源数字图像中对象或对象的一部分，且其中所述对象或对象部分的选择基于所述对象级信息作出。
13.一种编辑源数字图像的设备，包括：
(i)用于访问自动生成的有关所述源数字图像的对象级信息的装置，所述对象级信息包括将所述源数字图像分成一个或多个对象的分割，并且对于所述一个或多个对象中的每个对象，所述对象级信息还包括该对象是其成员的类的细节。
(ii)用于基于所述对象级信息自动处理所述源数字图像以形成输出数字图像的装置，其中用于处理所述源数字图像的装置(ii)包括：
(a)用于获取所述源数字图像中的被选对象的色彩细节的装置；
(b)用于获取与所述被选对象同类的对象的预先指定的色彩细节的装置；
(c)用于将所述预先指定的色彩细节与所述被选对象的色彩细节进行比较的装置；
(d)用于基于所述比较调节所述源数字图像的色彩以形成输出图像的装置。
14.如权利要求13所述的设备，其特征在于，所述对象级信息包括以下的任一个：有关至少一部分所述对象的深度排序的信息；对象属性；以及有关所述对象部分的位置的信息。
15.如权利要求13或14所述的设备，其特征在于，还包括用于组合所述源数字图像的至少一部分与一个或多个基准数字图像以形成所述输出数字图像的装置，且其中所述设备包括用于访问自动生成的有关所述基准数字图像的对象级信息的装置，该对象级信息包括将所述基准数字图像分成一个或多个对象的分割，并且对于所述一个或多个对象中的每个对象，所述对象级信息还包括该对象是其成员的类的细节。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20060270024 EP1826723B1 (en) | 2006-02-28 | 2006-02-28 | Object-level image editing |
| EP06270024.0 | 2006-02-28 | ||
| PCT/US2007/003529 WO2007100470A1 (en) | 2006-02-28 | 2007-02-08 | Object-level image editing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101390090A CN101390090A (zh) | 2009-03-18 |
| CN101390090B true CN101390090B (zh) | 2011-11-16 |
Family
ID=36609493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007800067692A Expired - Fee Related CN101390090B (zh) | 2006-02-28 | 2007-02-08 | 编辑源数字图像的方法和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9135732B2 (zh) |
| EP (1) | EP1826723B1 (zh) |
| KR (1) | KR101376832B1 (zh) |
| CN (1) | CN101390090B (zh) |
| WO (1) | WO2007100470A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701823A (zh) * | 2016-01-14 | 2016-06-22 | 无锡北邮感知技术产业研究院有限公司 | 由遮挡关系恢复深度次序的方法 |
| CN105719288A (zh) * | 2016-01-19 | 2016-06-29 | 无锡北邮感知技术产业研究院有限公司 | 基于二叉树的单目图像中物体深度次序估计方法 |
| CN109952610A (zh) * | 2016-11-07 | 2019-06-28 | 斯纳普公司 | 图像修改器的选择性识别和排序 |
Families Citing this family (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4289420B2 (ja) | 2007-05-10 | 2009-07-01 | セイコーエプソン株式会社 | 画像処理装置および画像処理方法 |
| DE102007045834B4 (de) | 2007-09-25 | 2012-01-26 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| DE102007045835B4 (de) * | 2007-09-25 | 2012-12-20 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| US8233739B1 (en) | 2008-08-29 | 2012-07-31 | Adobe Systems Incorporated | Patch jittering for visual artifact correction |
| US8340463B1 (en) | 2008-08-29 | 2012-12-25 | Adobe Systems Incorporated | Candidate pruning for patch transforms |
| KR101498206B1 (ko) * | 2008-09-30 | 2015-03-06 | 삼성전자주식회사 | 고해상도 영상 획득 장치 및 그 방법 |
| US8401222B2 (en) * | 2009-05-22 | 2013-03-19 | Pictometry International Corp. | System and process for roof measurement using aerial imagery |
| US8854395B2 (en) | 2009-07-30 | 2014-10-07 | Intellectual Ventures Fund 83 Llc | Method for producing artistic image template designs |
| US8274523B2 (en) * | 2009-07-30 | 2012-09-25 | Eastman Kodak Company | Processing digital templates for image display |
| US8422794B2 (en) | 2009-07-30 | 2013-04-16 | Intellectual Ventures Fund 83 Llc | System for matching artistic attributes of secondary image and template to a primary image |
| US8849853B2 (en) | 2009-07-30 | 2014-09-30 | Intellectual Ventures Fund 83 Llc | Method for matching artistic attributes of a template and secondary images to a primary image |
| US8645287B2 (en) * | 2010-02-04 | 2014-02-04 | Microsoft Corporation | Image tagging based upon cross domain context |
| US8483518B2 (en) | 2010-02-19 | 2013-07-09 | Microsoft Corporation | Image-based CAPTCHA exploiting context in object recognition |
| CN102339472B (zh) * | 2010-07-15 | 2016-01-27 | 腾讯科技（深圳）有限公司 | 图片编辑方法及装置 |
| US8503801B2 (en) * | 2010-09-21 | 2013-08-06 | Adobe Systems Incorporated | System and method for classifying the blur state of digital image pixels |
| KR101056753B1 (ko) * | 2010-12-08 | 2011-08-12 | 주식회사 네오시드넷 | 고해상도 이미지의 딥인딥 편집을 이용한 콘텐츠 저작 서비스 제공시스템 |
| US9436685B2 (en) | 2010-12-23 | 2016-09-06 | Microsoft Technology Licensing, Llc | Techniques for electronic aggregation of information |
| US9715485B2 (en) | 2011-03-28 | 2017-07-25 | Microsoft Technology Licensing, Llc | Techniques for electronic aggregation of information |
| TWI567570B (zh) * | 2011-06-15 | 2017-01-21 | 微軟技術授權有限責任公司 | 用於產生代表內容檔案之客製物件的技術 |
| US9153031B2 (en) | 2011-06-22 | 2015-10-06 | Microsoft Technology Licensing, Llc | Modifying video regions using mobile device input |
| CN104204938B (zh) * | 2012-04-19 | 2017-11-17 | 索尼移动通信株式会社 | 图像聚焦 |
| US8867841B2 (en) | 2012-08-08 | 2014-10-21 | Google Inc. | Intelligent cropping of images based on multiple interacting variables |
| JP2014068273A (ja) * | 2012-09-26 | 2014-04-17 | Olympus Imaging Corp | 画像編集装置、画像編集方法、およびプログラム |
| US9270876B2 (en) | 2013-01-05 | 2016-02-23 | The Lightco Inc. | Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times |
| US9860510B2 (en) * | 2013-03-15 | 2018-01-02 | Intuitive Surgical Operations, Inc. | Depth based modification of captured images |
| US20150089446A1 (en) * | 2013-09-24 | 2015-03-26 | Google Inc. | Providing control points in images |
| US9374514B2 (en) | 2013-10-18 | 2016-06-21 | The Lightco Inc. | Methods and apparatus relating to a camera including multiple optical chains |
| US9325906B2 (en) | 2013-10-18 | 2016-04-26 | The Lightco Inc. | Methods and apparatus relating to a thin camera device |
| US9557519B2 (en) | 2013-10-18 | 2017-01-31 | Light Labs Inc. | Methods and apparatus for implementing a camera device supporting a number of different focal lengths |
| US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
| US9460533B2 (en) | 2013-10-27 | 2016-10-04 | Google Inc. | Generating image compositions |
| US9686471B2 (en) | 2013-11-01 | 2017-06-20 | Light Labs Inc. | Methods and apparatus relating to image stabilization |
| US10114532B2 (en) * | 2013-12-06 | 2018-10-30 | Google Llc | Editing options for image regions |
| US9554031B2 (en) | 2013-12-31 | 2017-01-24 | Light Labs Inc. | Camera focusing related methods and apparatus |
| US9773313B1 (en) * | 2014-01-03 | 2017-09-26 | Google Inc. | Image registration with device data |
| US10931866B2 (en) | 2014-01-05 | 2021-02-23 | Light Labs Inc. | Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture |
| US10026206B2 (en) | 2014-02-19 | 2018-07-17 | Qualcomm Incorporated | Image editing techniques for a device |
| US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
| WO2016004422A1 (en) | 2014-07-04 | 2016-01-07 | The Lightco Inc. | Methods and apparatus relating to detection and/or indicating a dirty lens condition |
| US10110794B2 (en) | 2014-07-09 | 2018-10-23 | Light Labs Inc. | Camera device including multiple optical chains and related methods |
| US10210642B2 (en) * | 2014-07-28 | 2019-02-19 | Hewlett-Packard Development Company, L.P. | Representing an edit |
| CN105447895A (zh) * | 2014-09-22 | 2016-03-30 | 酷派软件技术（深圳）有限公司 | 一种层次化的图片黏贴方法、装置及终端设备 |
| US9912865B2 (en) | 2014-10-17 | 2018-03-06 | Light Labs Inc. | Methods and apparatus for supporting burst modes of camera operation |
| WO2016100756A1 (en) | 2014-12-17 | 2016-06-23 | The Lightco Inc. | Methods and apparatus for implementing and using camera devices |
| US9544503B2 (en) | 2014-12-30 | 2017-01-10 | Light Labs Inc. | Exposure control methods and apparatus |
| US9569697B1 (en) * | 2015-02-19 | 2017-02-14 | Google Inc. | Object oriented image editing |
| US10580220B2 (en) * | 2015-03-04 | 2020-03-03 | Pixar | Selecting animation manipulators via rollover and dot manipulators |
| US9824427B2 (en) | 2015-04-15 | 2017-11-21 | Light Labs Inc. | Methods and apparatus for generating a sharp image |
| US9967535B2 (en) | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
| US10075651B2 (en) | 2015-04-17 | 2018-09-11 | Light Labs Inc. | Methods and apparatus for capturing images using multiple camera modules in an efficient manner |
| US9857584B2 (en) | 2015-04-17 | 2018-01-02 | Light Labs Inc. | Camera device methods, apparatus and components |
| US10091447B2 (en) | 2015-04-17 | 2018-10-02 | Light Labs Inc. | Methods and apparatus for synchronizing readout of multiple image sensors |
| WO2016172641A1 (en) | 2015-04-22 | 2016-10-27 | The Lightco Inc. | Filter mounting methods and apparatus and related camera apparatus |
| US10129483B2 (en) | 2015-06-23 | 2018-11-13 | Light Labs Inc. | Methods and apparatus for implementing zoom using one or more moveable camera modules |
| US10491806B2 (en) | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
| US10365480B2 (en) | 2015-08-27 | 2019-07-30 | Light Labs Inc. | Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices |
| CN105120336A (zh) * | 2015-09-23 | 2015-12-02 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US10051182B2 (en) | 2015-10-05 | 2018-08-14 | Light Labs Inc. | Methods and apparatus for compensating for motion and/or changing light conditions during image capture |
| US9749549B2 (en) * | 2015-10-06 | 2017-08-29 | Light Labs Inc. | Methods and apparatus for facilitating selective blurring of one or more image portions |
| US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
| US10225445B2 (en) | 2015-12-18 | 2019-03-05 | Light Labs Inc. | Methods and apparatus for providing a camera lens or viewing point indicator |
| US10306218B2 (en) | 2016-03-22 | 2019-05-28 | Light Labs Inc. | Camera calibration apparatus and methods |
| US10198839B2 (en) | 2016-09-22 | 2019-02-05 | Apple Inc. | Style transfer-based image content correction |
| US10147459B2 (en) | 2016-09-22 | 2018-12-04 | Apple Inc. | Artistic style transfer for videos |
| JP2018077644A (ja) * | 2016-11-08 | 2018-05-17 | 富士ゼロックス株式会社 | 情報処理システム及びプログラム |
| US11160688B2 (en) * | 2016-11-10 | 2021-11-02 | Samsung Electronics Co., Ltd. | Visual aid display device and method of operating the same |
| CN106791111A (zh) * | 2016-12-23 | 2017-05-31 | 努比亚技术有限公司 | 一种图像分享方法、装置及终端 |
| US10789694B1 (en) | 2017-09-11 | 2020-09-29 | Apple Inc. | Real-time adjustment of temporal consistency constraints for video style |
| US10614604B2 (en) * | 2017-12-04 | 2020-04-07 | International Business Machines Corporation | Filling in an entity within an image |
| US10636186B2 (en) | 2017-12-04 | 2020-04-28 | International Business Machines Corporation | Filling in an entity within a video |
| CN108230343B (zh) * | 2018-01-05 | 2020-06-05 | 厦门华联电子股份有限公司 | 一种图像处理方法及装置 |
| US11367163B2 (en) | 2019-05-31 | 2022-06-21 | Apple Inc. | Enhanced image processing techniques for deep neural networks |
| US11100664B2 (en) * | 2019-08-09 | 2021-08-24 | Google Llc | Depth-aware photo editing |
| WO2021080158A1 (en) | 2019-10-25 | 2021-04-29 | Samsung Electronics Co., Ltd. | Image processing method, apparatus, electronic device and computer readable storage medium |
| CN111402271A (zh) * | 2020-03-18 | 2020-07-10 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| US11764941B2 (en) * | 2020-04-30 | 2023-09-19 | International Business Machines Corporation | Decision tree-based inference on homomorphically-encrypted data without bootstrapping |
| US11294556B1 (en) * | 2021-01-05 | 2022-04-05 | Adobe Inc. | Editing digital images using multi-panel graphical user interfaces |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5469536A (en) * | 1992-02-25 | 1995-11-21 | Imageware Software, Inc. | Image editing system including masking capability |
| US6069713A (en) * | 1997-02-14 | 2000-05-30 | Canon Kabushiki Kaisha | Image editing method and apparatus and storage medium |
| CN1719455A (zh) * | 2004-07-09 | 2006-01-11 | 大日本网目版制造株式会社 | 基于色彩的彩色图像的区域分割技术 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5420966A (en) | 1992-04-29 | 1995-05-30 | Canon Information Systems Canon Kabushiki Kaisha | Method and apparatus for filling an object based rasterized image |
| US5596693A (en) | 1992-11-02 | 1997-01-21 | The 3Do Company | Method for controlling a spryte rendering processor |
| US5872867A (en) | 1995-08-04 | 1999-02-16 | Sarnoff Corporation | Method and apparatus for generating image textures |
| US5870100A (en) | 1995-11-22 | 1999-02-09 | Compaq Computer Corporation | Filling of graphical regions |
| US6070167A (en) * | 1997-09-29 | 2000-05-30 | Sharp Laboratories Of America, Inc. | Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation |
| JP4365950B2 (ja) | 1998-09-11 | 2009-11-18 | キヤノン株式会社 | 高速ラスタ形式レンダリングのためのグラフィックオブジェクト処理方法および装置 |
| CA2309378C (en) | 1999-05-25 | 2005-09-27 | Nippon Telegraph And Telephone Corporation | Image filling method, apparatus and computer readable medium for reducing filling process in producing animation |
| US6404426B1 (en) * | 1999-06-11 | 2002-06-11 | Zenimax Media, Inc. | Method and system for a computer-rendered three-dimensional mannequin |
| US6593933B1 (en) | 2000-01-13 | 2003-07-15 | Microsoft Corporation | Block-based synthesis of texture in computer rendered images |
| AU2002239703A1 (en) | 2000-12-20 | 2002-07-01 | Pulsent Corporation | Method of filling exposed areas in digital images |
| US6879717B2 (en) | 2001-02-13 | 2005-04-12 | International Business Machines Corporation | Automatic coloring of pixels exposed during manipulation of image regions |
| US6587592B2 (en) | 2001-11-16 | 2003-07-01 | Adobe Systems Incorporated | Generating replacement data values for an image region |
| US6762769B2 (en) | 2002-01-23 | 2004-07-13 | Microsoft Corporation | System and method for real-time texture synthesis using patch-based sampling |
| US7199793B2 (en) | 2002-05-21 | 2007-04-03 | Mok3, Inc. | Image-based modeling and photo editing |
| US7873909B2 (en) * | 2004-08-10 | 2011-01-18 | Photoinaphoto.Com, Inc. | Manipulation and merging of graphic images |
| US20060053374A1 (en) * | 2004-09-07 | 2006-03-09 | Adobe Systems Incorporated | Localization of activity with respect to digital data |
| US7835577B2 (en) * | 2005-01-18 | 2010-11-16 | Siemens Corporation | System and method for multi-label image segmentation of digital photographs |
| EP1748389A1 (en) | 2005-07-28 | 2007-01-31 | Microsoft Corporation | Image blending |
-
2006
- 2006-02-28 EP EP20060270024 patent/EP1826723B1/en not_active Not-in-force
-
2007
- 2007-02-08 CN CN2007800067692A patent/CN101390090B/zh not_active Expired - Fee Related
- 2007-02-08 WO PCT/US2007/003529 patent/WO2007100470A1/en active Application Filing
- 2007-02-08 US US12/280,892 patent/US9135732B2/en active Active
-
2008
- 2008-08-27 KR KR1020087020990A patent/KR101376832B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5469536A (en) * | 1992-02-25 | 1995-11-21 | Imageware Software, Inc. | Image editing system including masking capability |
| US6069713A (en) * | 1997-02-14 | 2000-05-30 | Canon Kabushiki Kaisha | Image editing method and apparatus and storage medium |
| CN1719455A (zh) * | 2004-07-09 | 2006-01-11 | 大日本网目版制造株式会社 | 基于色彩的彩色图像的区域分割技术 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701823A (zh) * | 2016-01-14 | 2016-06-22 | 无锡北邮感知技术产业研究院有限公司 | 由遮挡关系恢复深度次序的方法 |
| CN105719288A (zh) * | 2016-01-19 | 2016-06-29 | 无锡北邮感知技术产业研究院有限公司 | 基于二叉树的单目图像中物体深度次序估计方法 |
| CN109952610A (zh) * | 2016-11-07 | 2019-06-28 | 斯纳普公司 | 图像修改器的选择性识别和排序 |
| CN109952610B (zh) * | 2016-11-07 | 2021-01-08 | 斯纳普公司 | 图像修改器的选择性识别和排序 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007100470A1 (en) | 2007-09-07 |
| US20090096808A1 (en) | 2009-04-16 |
| KR101376832B1 (ko) | 2014-03-20 |
| KR20080103973A (ko) | 2008-11-28 |
| US9135732B2 (en) | 2015-09-15 |
| EP1826723A1 (en) | 2007-08-29 |
| EP1826723B1 (en) | 2015-03-25 |
| CN101390090A (zh) | 2009-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101390090B (zh) | 编辑源数字图像的方法和设备 | |
| US10657652B2 (en) | Image matting using deep learning | |
| CA2267440C (en) | A system for automatic generation of selective partial renderings of complex scenes | |
| CN107169247B (zh) | 基于3d云设计的家居行业服务系统 | |
| US8077931B1 (en) | Method and apparatus for determining facial characteristics | |
| US6009209A (en) | Automated removal of red eye effect from a digital image | |
| Ijiri et al. | Seamless integration of initial sketching and subsequent detail editing in flower modeling | |
| CN108230262A (zh) | 图像处理方法、图像处理装置和存储介质 | |
| CN100524362C (zh) | 在显示屏上分层同时显示数据和/或对象 | |
| US11386589B2 (en) | Method and device for image generation and colorization | |
| CN102326181A (zh) | 动态图像拼贴 | |
| US11625875B2 (en) | Generating modified digital images incorporating scene layout utilizing a swapping autoencoder | |
| CN104221358A (zh) | 用于修改多个图像属性的统一滑块控制器 | |
| US11551384B2 (en) | Flow-based color transfer from source graphic to target graphic | |
| EP1826724B1 (en) | Object-level image editing using tiles of image data | |
| CN108230236B (zh) | 数字图像自动拼版方法及数字化出版的图片拼版方法 | |
| CN112257406A (zh) | 一种基于web前端的内容封面生成器及方法 | |
| US20090109236A1 (en) | Localized color transfer | |
| CN113379865B (zh) | 目标对象的绘制方法和系统 | |
| CN114820292A (zh) | 图像合成方法、装置、设备及存储介质 | |
| JP6949671B2 (ja) | 情報処理装置、画像領域選択方法、コンピュータプログラム、及び記憶媒体 | |
| EP3872673A1 (en) | Automation of user-based model creation | |
| CN113924857B (zh) | 一种自动割草机、割草系统及割草地图的处理方法 | |
| Cowen | Part 3: The Merger of Computer Data and Thematic Mapping: Rethinking Dids: The Next Generation Of Interactive Color Mapping Systems | |
| Jia et al. | Designing a Mini-Program for Culture Learning and Creative Product Customization: DIY RADP |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150430 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20150430 Address after: Washington State Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC Address before: Washington State Patentee before: Microsoft Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111116 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |