CN107967709B - 通过使用透视图或者传送的改进的对象涂绘 - Google Patents

通过使用透视图或者传送的改进的对象涂绘 Download PDF

Info

Publication number
CN107967709B
CN107967709B CN201710712538.9A CN201710712538A CN107967709B CN 107967709 B CN107967709 B CN 107967709B CN 201710712538 A CN201710712538 A CN 201710712538A CN 107967709 B CN107967709 B CN 107967709B
Authority
CN
China
Prior art keywords
dimensional
digital
paint
source object
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710712538.9A
Other languages
English (en)
Other versions
CN107967709A (zh
Inventor
陈志立
S·M·P·安加拉
D·塞兰阿克斯特
B·金
G·朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN107967709A publication Critical patent/CN107967709A/zh
Application granted granted Critical
Publication of CN107967709B publication Critical patent/CN107967709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请的各实施例涉及数字媒体环境中的通过使用透视图或者传送的改进的对象涂绘。在此描述了在数字媒体环境中通过使用透视图和传送来支持数字图像中的改进的对象涂绘的技术和系统。在一个示例中,用户与由计算设备输出的用户界面中的二维数字图像交互以涂抹数字涂料。计算设备向数字图像内的对象(例如,脸部)拟合三维模型。如向三维模型拟合的对象用来支持对象的视图的多个透视图的输出,用户可以与这些透视图交互以数字地涂绘对象。作为这一点的部分,如通过用户输入而被指定的数字涂料被计算设备直接地涂抹到对象的二维纹理映射。这可以通过使用相应的二维纹理映射传送数字涂料来支持由计算设备在对象之间传送数字涂料。

Description

通过使用透视图或者传送的改进的对象涂绘
技术领域
本申请的各实施例涉及数字媒体环境中的通过使用透视图或者传送的改进的对象涂绘。
背景技术
用户由于可以用来捕获数字图像的设备以及可以用来共享数字图像的技术(比如社交网络、消息接发等等)的激增而收集和共享数目不断增长的这些数字图像。作为这一点的部分,已经开发了用于向数字图像添加数字涂料的技术。例如,用户可以在数字图像中的用户的脸部上绘制动物特征作为虚拟脸部涂料从而作为一种用于创建可以让其他用户感兴趣的数字图像的娱乐方式。
然而,用于这样做的常规技术可能难以执行和缺乏逼真。例如,用户可能难以用解决脸部的轮廓和形状的逼真方式向二维数字图像中的用户的脸部涂抹数字涂料。因而,这一常规技术的结果可能缺乏逼真并且因此限于卡通漫画。在另一示例中,已经开发了支持与三维表面的直接交互的常规技术。然而,这一交互需要用户这一部分上的、用于向三维表面直接地涂绘的专门知识。例如,涉及三维的这些常规技术涉及与作为定义的三维表面的部分的数字涂料的交互和该数字涂料的涂抹。作为这一点的部分,复杂的非直观操控(例如,三维旋转和平移)用来涂抹作为定义的三维表面的部分而被存储的数字涂料。这使这些常规技术限于由高深用户使用以及使这一数字涂料的该适用性限于该定义的三维表面。
发明内容
在此描述了在数字媒体环境中通过使用透视图和传送来支持数字图像中的改进的对象涂绘的技术和系统。在一个示例中,用户与由计算设备输出的用户界面中的二维数字图像交互以涂抹数字涂料。为了支持这一点,计算设备向在图像内的对象(例如,脸部)拟合三维模型。如向三维模型拟合的对象用来输出对象的视图的多个透视图,用户可以与这些透视图交互以数字地涂绘对象。例如,用户输入可以由计算设备接收以旋转用户的脸部以便向用户的脸颊涂抹涂料。因此,可以生成初始地未被包括的透视图作为二维数字图像的部分以改进用户的用于涂绘对象的能力。
作为这一点的部分,如通过用户输入而被指定的数字涂料由计算设备直接地涂抹到对象的二维纹理映射而不是常规技术中的三维表面。以这一方式,可以支持简化的数字涂料控件。这也可以通过使用相应二维纹理映射传送数字涂料来支持由计算设备在对象之间对数字涂料的传送。因此,没有迫使用户人工地重建数字涂料。
这一发明内容以简化的形式介绍了以下在具体实施方式中被进一步描述的概念的选集。这样,这一发明内容并非旨在于标识要求保护的主题内容的实质特征,它也并非旨在于用作辅助确定要求保护的主题内容的范围。
附图说明
参照附图描述具体实施方式。各图中被代表的实体可以指示一个或者多个实体并且因此可以在讨论中可互换地参照实体的单数或者复数形式。
图1是示例实现方式中的可操作用于运用用于通过使用透视图或者传送的改进的对象涂绘的技术的数字媒体环境的图示。
图2描绘了示例实现方式中的系统,该系统更具体地示出了图1的对象涂绘模块的操作。
图3描绘了通过使用对象检测模块来检测数字图像中的对象和对象内的地标并且由图2的3D对象拟合模块向3D模型拟合对象的示例实现方式。
图4描绘了如下示例实现方式,其中运用透视图的改变以通过使用如向图2和图3的三维模型拟合的数字图像中的对象来向该对象涂抹数字涂料。
图5描绘了如下示例实现方式,其中运用二维涂绘引擎以由图2的对象涂料控制模块向对象的二维纹理映射直接地涂绘。
图6和图7描绘了如下示例实现方式,其中通过使用对象的二维纹理映射来在对象之间传送数字涂料。
图8描绘了如下示例实现方式,其中使用语义标签来控制向数字图像中的对象涂抹数字涂料。
图9是描绘了示例实现方式中的过程的流程图,其中改变二维数字图像中的对象的透视图以允许接收数字涂料。
图10是描绘了示例实现方式中的过程的流程图,其中通过使用二维纹理映射在一个或者多个数字图像中从一个对象向另一对象传送数字涂料。
图11图示了包括示例设备的各种部件的示例系统,该设备可以被实施为如描述的任何类型的计算设备和/或参照图1至图10用来实施在此描述的技术的实施例。
具体实施方式
概述
数字图像中的对象的数字涂绘已经作为用户可以用来例如经由社交网络、聊天、消息接发等等相互交互以增加对数字图像的兴趣的流行方式而被显现。然而,一些对象可能难以使用常规技术来数字地涂绘。这一点的示例是脸部和展现多种轮廓的其它对象。例如,向数字图像中的人的脸部涂抹数字涂料可能由于在从单个透视图查看这些轮廓时的常规限制而使用常规技术是有难度的。由于这一点,用户可能不容易理解轮廓如何影响向对象涂抹数字涂料,例如,如何在消没表面上涂抹数字涂料。作为结果,常规技术可能缺乏逼真并且对于它的既定目的(比如模仿如向对象涂抹的实际物理涂料)而失败。
因而,在此描述了在数字媒体环境中通过使用透视图和传送来支持数字图像中的改进的对象涂绘的技术和系统。在一个示例中,用户与由计算设备输出的用户界面中的二维数字图像交互。作为这一交互的部分,计算设备接收输入,该输入指示将向在数字图像中的对象(例如,脸部)涂抹数字涂料。
作为响应,计算设备向对象(例如,脸部)拟合三维模型。这可以用多种方式而被执行,比如通过检测对象中的地标(例如,眼睛和嘴部的拐角、鼻子的顶端等等)。这些地标然后用来向三维模型的对应地标拟合对象。
如向三维模型拟合的对象因此用来支持对象的视图的多个透视图的输出,用户可以与这些透视图交互以数字地涂绘对象。用户输入例如可以由计算设备接收以将用户的脸部从其中用户正在直视相机的原有透视图旋转到其中可以查看用户的脸部的附加部分(例如,用户的脸颊的侧部)的已旋转透视图。然后可以在这一已旋转透视图处接收用于在用户的脸颊上涂绘的用户输入。一旦被完成,透视图就被返回到具有如向对象涂抹的数字涂料的原有透视图。以这一方式,用户可以与对象的不同透视图直观地交互以涂抹数字涂料,而无需具有复杂的常规三维涂绘技术的具体知识。
作为这一点的部分,如通过用户输入而被指定的数字涂料由计算设备直接地涂抹到对象(例如,脸部)的二维纹理映射,而没有被涂抹到对象被拟合到的三维模型。二维纹理映射用来描述如何通过对准模型的点与脸部中的对象的地标(例如,眼睛的拐角、鼻子的顶端等等)来向三维模型拟合对象。以这一方式,纹理映射指示对象的部分与三维模型的相应部分的对应性。这然后用来“在”三维模型“之上”“卷包”来自数字图像的对象,以在三维空间中显示对象。这一显示然后通过用户交互而被操控以查看对象的不同透视图,例如,前部、侧部和中间增量。
在在此描述的实现方式中,取代在包括对象的三维模型上涂抹数字涂料,二维涂绘引擎用来在二维纹理映射上直接地涂绘。这具有诸多益处。在一个这样的示例中,这支持使用简化的二维涂绘引擎以数字地涂绘具有用户容易理解的控件(例如,简单毛刷选择)的二维纹理映射,而不是常规三维涂绘引擎运用的如下控件,这些控件需要专门知识以操控模型并且在三维中向模型涂抹数字涂料。
另一益处是可以在相同或者不同数字图像内的对象之间容易地传送数字涂料。例如,从三维模型(例如,脸部)和二维纹理映射的映射可以被配置为跨相同类型的对象而通用。例如,使用相同三维模型而被建模的脸部可以使用二维纹理映射,这些二维纹理映射具有匹配配置,例如,对应点和从这些点形成的多边形。
由于在映射之间的对应性而例如可以从第一脸部的二维纹理映射向第二脸部的二维纹理映射容易地传送向第一脸部涂抹的数字涂料。以这一方式,可以向共享模型的多个对象传送相同数字涂料而没有人工地重建数字涂料。在以下章节中包括对这些和其它示例的进一步讨论,包括利用语义标签以控制可以在何处向对象涂抹数字涂料以例如防止数字涂料被涂抹到脸部的眼睛。虽然对象的示例在下文中被描述为脸部,但是对象可以包括能够在三维空间中被建模的任何对象。
在以下讨论中,首先描述可以运用在此描述的技术的示例数字媒体环境。然后描述可以在示例数字媒体环境以及其它环境中被执行的示例过程。因而,对示例过程的执行不限于示例环境,并且示例环境不限于示例过程的执行。
示例环境
图1是示例实现方式中的可操作用于运用在此描述的技术的数字媒体环境100的图示。所图示的数字媒体环境100包括可以用多种方式被配置的、被配置用于在数字地涂绘数字图像中的对象时使用的计算设备102。
计算设备102例如可以被配置为台式计算机、膝上型计算机、移动设备(例如,假设手持配置,比如平板计算机或者移动电话)等等。因此,计算设备102可以范围从具有大量存储器和处理器资源的全资源设备(例如,个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如,移动设备)。附加地,虽然示出了单个计算设备102,但是计算设备102可以表示多个不同设备,比如由企业用来如相对于图11进一步描述的那样“在云之上”执行操作的多个服务。
计算设备102被图示为包括图像处理系统104。至少部分地在硬件中实施图像处理系统104以变换为了简洁而在下文中也被称为“数字图像”和“图像106”的二维数字图像106。对图像的变换包括对被存储在计算设备106的计算机可读存储介质中的数字图像106的创建、编辑和其它修改。这样的功能的示例被图示为对象涂绘模块108。至少部分地在计算设备102的硬件中实施对象涂绘模块108(例如,被存储在计算机可读存储介质上的和在处理系统上可执行的操作)以向数字图像106中的对象涂抹数字涂料。
这一点的示例由如在计算设备102的显示设备110的用户界面中被渲染的数字图像示出。如所图示的,用户界面包括在这一示例是第一脸部112、第二脸部114和第三脸部116的第一对象、第二对象和第三对象。这些技术同样地适用于被包括在能够在三维中被建模的二维数字图像中的任何其它对象。对象涂绘模块108在这一示例中由用户运用以变换数字图像106的第一脸部112、第二脸部114和第三脸部116以分别包括数字涂料118、120、122。
对象涂绘模块108例如可以在用户界面中输出可由用户选择以使得如向在数字图像内的对象的表面涂抹的数字涂料出现的工具和命令。如在显示设备110的用户界面中所示的,数字涂料118、120、122是模仿如在狂欢节、儿童的生日聚会等等普遍地见到的那样向脸部的表面现实地涂抹涂料的脸部涂绘。然而,在二维数字图像上这样做使用常规技术是有挑战的,比如向具有缩减轮廓(比如脸部的脸颊和侧部)的对象涂抹数字涂料。
然而,在此描述的技术支持生成对象(例如,脸部)的不同透视图,从而使得用户可以利用增加的准确度来数字地涂绘对象的表面。在以下描述中相对于图2至图4描述这一点的示例。另外,这一数字涂料可以被直接地涂抹到二维纹理映射,并且因此支持如相对于图5进一步描述的那样使用二维涂绘引擎以及如相对于图6和图7进一步描述的那样向不同对象传送。作为用来生成不同透视图的三维模型的部分而被定义的语义标签也可以用来控制数字涂料的涂抹,以比如使数字涂料的涂抹限于对象的某些部分,比如如相对于图8进一步描述的用户的眼睛。
图2描绘了在示例实现方式中的系统200,系统200支持用于向在二维数字图像106中的对象涂抹数字涂料的技术。作为开始,对象涂绘模块108被发起以支持向数字图像106涂抹数字涂料。可以例如从存储装置202(例如,在图1的计算设备102本地或者远离计算设备102)获得并且在图1的显示设备110上显示数字图像106。然后接收用户输入,该用户输入指示希望向数字图像106中的对象涂抹数字涂料,比如进入“涂绘模式”、选择用户界面中的数字涂绘操作的表示等等。
作为响应,对象检测模块204由对象涂绘模块108发起。至少部分地在计算设备102的硬件中实施对象检测模块204以基于3D模型210来检测对象206和对象206内的地标208,在下文中描述并且在对应的图中示出该3D模型的示例。
图3描绘了通过使用对象检测模块204来检测数字图像106中的对象206和对象内的地标208并且由图2的3D对象拟合模块212向3D模型210拟合对象206的示例实现方式300。使用第一阶段302、第二阶段304和第三阶段306来图示这一实现方式。在第一阶段302处,对象检测模块204接收3D模型210。3D模型210已经定义了用来向模型拟合对象206(例如,用户的脸部)的点308。因而,对象检测模块204通过首先定位数字图像106中的对象206的与3D模型210的定义的点308对应的路标208来开始检测对象206。
对象检测模块204例如首先检测数字图像106内的作为地标208的眼睛的位置。这可以被执行作为与如由用户指定的位置邻近开始的图像搜索的部分,以例如指定具有多个对象的图像中的特定对象。用户输入例如可以通过使用光标控制设备或者通过使用手势的触屏功能、在如由显示设备110显示的脸部112、114、116中的特定脸部上“点击”来生成。这也可以例如在其中单个或者主要对象(例如,最大对象)被包括在数字图像106中的实例中被自动地执行而无用户干预。
如在第二阶段304处所示的,一旦在数字图像106内检测到眼睛的位置作为地标208,对象检测模块204然后就可以扩张数字图像206内的区域以定位其它地标208。如由3D模型210的点308定义的这些其它地标208可以使用图像搜索和对象识别来包括眼睛的拐角和边界、鼻子的边缘、下巴以及眉毛和其它地标208。
检测到的对象206然后由3D对象拟合模块212拟合到3D模型210。在第三阶段306处,对象206的地标208例如被匹配到3D模型210的对应点308。这一对应性用来生成如向3D对象模型210拟合的对象206的组合。换而言之,对象206的地标208与3D模型210的对应点的对应性用来“在”3D模型“之上”卷包对象,由此在图2的系统200中产生如向3D模型214拟合的对象。
作为这一拟合的部分,3D模型210可以包括向对象206的对应部分指派的语义标签216。语义标签216例如可以如在图3的第三阶段306处所示的定义对象206的哪些部分包括眼睛310、鼻子312、嘴唇314等等。这然后可以用来控制向这些部分涂抹数字涂料,相对于图8进一步描述这一点的示例。
然后向对象涂料控制模块218提供如向对象模型214拟合的对象作为输入以用于在生成对象206的在用户界面内可查看的不同多种不同透视图时使用。在下文中描述和在对应图中示出这一点的示例。
图4描绘了示例实现方式400,其中运用透视图改变以通过使用如向图2的三维模型214拟合的对象来向数字图像中的对象涂抹数字涂料。使用第一阶段402、第二阶段404、第三阶段406、第四阶段408、第五阶段410、第六阶段412、第七阶段414和第八阶段416来图示这一示例实现方式400。
在第一阶段402处,图2的对象涂绘模块108接收数字图像106。数字图像106包括第一脸部112、第二脸部114和第三脸部116。然后接收用户输入以如在第二阶段404处所示“放大”用户界面中的第一脸部112的视图。
在第三阶段406处,对象涂绘模块108接收用户输入以发起第一脸部112的数字涂绘。作为响应,对象涂绘模块108运用对象检测模块204和3D对象拟合模块212以如相对于图2和图3先前描述的那样向3D模型214拟合对象。这然后由对象涂料控制模块218用来控制在用户界面中输出对象以支持在对象的不同透视图之间导航。
在所图示的示例中,用户希望绕着眼睛并且在第一脸部112的脸颊上涂抹数字涂料。因而,对象(例如,第一脸部)与3D模型的组合用来改变第一脸部112的透视图,从而使得用户的界面的原本在二维数字图像106中不可查看的侧部现在通过在三维空间中操控而可查看。用户例如可以使用光标控制设备或者手势来“抓取和拉动”第一脸部112以在希望的透视图处查看对象。
在第四阶段408处,在用户界面中输出可用来选择将向第一脸部112涂抹的数字涂料的颜色的选项418。在第五阶段410处,在改变的透视图处向第一脸部112涂抹数字涂料420。以这一方式,向用户提供原本从二维数字图像106不可用的对象的增加的视图。一旦如希望的那样涂抹了数字涂料420,就提供用于如在第六阶段412处所示的保存422数字涂料的选项。对“重置姿态”424选项的选择用来将对象的视图返回到如被包括在数字图像106中的原有透视图,但是包括数字涂料420。因此,如在第八阶段416处所示的,数字涂料420被配置为跟随逼真和自然的第一脸部112的轮廓,并且以直观的方式涂抹涂料而无需知道高级3D对象操控技术。
如图2中所示的,例如,对象涂料和控制模块218接受用于数字地涂绘数字图像106的用户输入220。这通过使用二维纹理映射222以形成数字涂料224被涂抹到的2D图像纹理映射22而被执行而不是向三维表面常规地涂抹数字涂料(这需要知道复杂的三维涂料引擎以在三维中导航和映射数字涂料)。
图5描绘了示例实现方式500,其中运用二维涂绘引擎502以向对象的二维纹理映射222直接地涂绘。使用多个多边形来形成二维纹理映射222。例如,可以至少部分基于对象206的地标208与3D模型210上的点308的对应性来定义二维纹理映射222的多边形。通过在二维中实施,可以运用二维涂绘引擎502以向二维纹理映射222直接地涂绘,二维纹理映射222然后“在”3D模型210“之上被伸展”以支持如相对于图4描述的那样在三维空间中可导航的显示。
作为结果,用户可以在二维数字图像106中的对象的不同透视图之间容易地导航并且使用由二维涂绘引擎502支持的容易地理解的技术来涂抹数字涂料。通过在二维纹理映射222上直接地涂绘,也支持用于在数字图像内的对象之间和/或向另一数字图像传送数字涂料的技术,如下描述和在对应图中示出这一点的示例。
图6描绘了示例实现方式600,其中通过使用对象的二维纹理映射来在对象之间传送数字涂料。使用第一阶段602、第二阶段604和第三阶段606来图示图6。在第一阶段602处,通过使用二维纹理映射来将数字涂料420渲染为向第一脸部112涂抹。
在第二阶段604处,接收用户输入,该用户输入例如通过在第二脸部114上“点击”来指示将向第二脸部传送来自第一脸部112的数字涂料420。作为响应,对象涂料控制模块218从第一脸部的2D纹理映射向第二脸部114的2D纹理传送数字涂料420。这一点的结果在用户界面中被显示为数字涂料608。这一过程也可以对于第三脸部116继续以传送数字涂料420以用于显示为数字涂料610。二维纹理映射因此可以用来向其它对象传送数字涂料420而未人工地重建数字涂料。在下文中描述这一点的具体示例。
图7也描绘了示例实现方式700,其中通过使用对象的二维纹理映射来在对象之间传送数字涂料。使用第一阶段702、第二阶段704和第三阶段706来图示图7。在第一阶段702处,示出了3D模型210和对应的二维纹理映射222。如先前描述的那样,二维纹理映射222定义对象如何对应于3D模型210,并且因此可以用来如图4中所示的卷包对象以形成3D输出。
如在第二阶段704处所示,用户与数字图像交互以向第二脸部114涂抹数字涂料708。然而,使用二维涂绘引擎502向二维纹理映射222直接涂抹数字涂料708。这样,这定义二维纹理映射222的哪些部分(例如,多边形和多边形的部分)接收作为数字图像106的部分而被输出的涂料。
如先前描述的那样,二维纹理映射222定义对象206的哪些地标208与3D模型210的点对应。因而,不同二维纹理映射可以用于不同对象(例如,第一脸部112、第二脸部114和第三脸部116)以定义那些对象如何被拟合到3D模型210。然而,虽然不同,但是由这些不同对象使用的二维纹理映射222具有对应结构,例如,相似地标208和在地标之间的关系用来形成定义映射的多边形。通过利用地图的这一对应结构,可以使用对应二维纹理映射从第二脸部114向第一脸部112和第三脸部116传送数字涂料,在第三阶段706处示出了这一点的示例。以这一方式,在数字图像706中的对象之间和/或向另一数字图像容易地传送数字涂料。
另外,这可以支持使用可由用户通过与用户界面交互而可选择的用于向相应对象涂抹的“预先配置”的数字涂料集合。例如,可以运用图2的对象检测模块204以检测数字图像106中的对象类型。作为响应,对象检测模块204获得与检测到的对象类型对应的数字涂料224和/或甚至3D模型210。这可以用来配置检测到的对象以接收涂料。
再次返回图2,如先前描述的那样,可以基于3D模型210为2D纹理映射222的对应部分指定语义标签216。2D纹理映射222例如可以定义哪些多边形对应于用户的眼睛、内嘴等等。这然后可以由对象涂料控制模块218的语义控制模块226用来基于这些语义标签216来控制数字涂料224的涂抹,在下文中描述和在对应图中示出了这一点的示例。
图8描绘了示例实现方式800,其中使用语义标签以控制向在数字图像106中的对象涂抹数字涂料。使用第一阶段802和第二阶段804来图示这一示例实现方式800。在第一阶段802处,向数字图像106中的脸部808涂抹数字涂料806,例如,使用图4的技术来绘制或者使用图6和图7的技术来传送数字涂料。
在第二阶段804处,向包括用户的眼睛810的新位置移动数字涂料806。语义控制模块226通过利用向与眼睛对应的多边形指派的语义标签216来限制数字涂料806向眼睛810涂抹。以这一方式,语义控制模块226可以自动地保留逼真结果而无用户干预,由此允许在脸部808上的多种位置处定位数字涂料806而无需用户人工地修改数字涂料806。也设想了其它示例以比如控制允许向对象的特定部分涂抹哪些颜色、对比度、色调、亮度等等。
示例过程
以下讨论描述了可以利用先前描述的系统和设备而被实施的技术。可以在硬件、固件、软件或者它们的组合中实施过程中的每个过程的方面。过程被示出为指定由一个或者多个设备执行的操作的块的集合而未必地限于被示出用于由相应块执行操作的顺序。在以下讨论的部分中,将参照图1至图8。
图9描绘了示例实现方式中的过程900,其中二位数字图像中的对象的透视图被改变以允许接收数字涂料。二维数字图像中的对象被配置为支持三维空间中的操控(块902)。在一个示例中,对象检测模块204用来检测数字图像106内的对象206和对象的地标208。然后向3D模型210的对应点308拟合对象206的地标208以支持输出对象的不同透视图以例如在三维空间中移动对象。
响应于用于在三维空间中操控配置的对象的用户输入来改变如被显示在用户界面中的配置的对象的透视图(块904)。用户例如可以使用光标控制设备(例如,鼠标)、手势、口述讲话等等以提供用于在用户界面中使得配置的对象在三维空间中移动的用户输入,从而使得用户可以查看对象的在二维数字图像106中先前不可查看的部分,例如,如图4中所示的用户的脸颊。
接收用户输入,该用户输入通过与用户界面中的对象的改变的透视图的交互来指定将向对象涂抹的数字涂料(块906)。用户例如可以与二维涂绘引擎502交互以涂抹数字涂料。作为响应,基于指定的数字涂料来数字地涂抹二维数字图像的二维纹理映射222(块908)。基于二维纹理映射来将二维数字图像中的对象的显示输出为具有指定的数字涂料(块910)。
图10描绘了示例实现方式中的过程1000,其中通过使用二维纹理映射来在一个或者多个数字图像中从一个对象向另一对象传送数字涂料。接收至少一个用户输入,该至少一个用户输入指定将向二维数字图像中的对象涂抹的数字涂料(块1002)以例如如图4中所示的人工地、数字地涂抹对象作为源数字图像的部分。在另一示例中,用户可以选择用户界面中的用于选择如向源二维纹理映射的部分涂抹的预先配置的数字涂料的选项。
向二维数字图像中的二维纹理映射的对应部分传送如向源二维纹理映射的部分涂抹的数字涂料(块1004)。同样,这可以从人工地录入数字涂料或者对预先配置的数字涂料的选择而被执行。无论数字涂料如何来源,然后在二维纹理映射的对应部分之间传送数字涂料。然后在用户界面中的二维数字图像中将对象显示为具有例如由图1的显示设备110渲染的数字涂料(块1006)。
示例系统和设备
图11在1100处总体上图示了包括示例计算设备1102的示例系统,示例计算设备1102表示可以实施在此描述的各种技术的一个或者多个计算系统和/或设备。这通过包括图像处理系统104而被举例说明。计算设备1102可以例如是服务提供方的服务器、与客户端关联的设备(例如,客户端设备)、片上系统和/或任何其它适当计算设备或者计算系统。
如所图示示例计算设备1102包括相互通信地被耦合的处理系统1104、一个或者多个计算机可读介质1108和一个或者多个I/O接口1106。虽然未被示出,但是计算设备1102还可以包括一个到另一个地耦合各种部件的系统总线或者其它数据和命令传送系统。系统总线可以包括不同总线结构(比如存储器总线或者存储器控制器、外围总线、通用串行总线和/或利用多种总线架构中的任何总线架构的处理器或者本地总线中的任何总线结构或者组合。也设想了多种其它示例,比如控制和数据线。
处理系统1104表示用于使用硬件来执行一个或者多个操作的功能。因而,可以至少部分在可以被配置为处理器、功能块等等的硬件单元中实施处理系统1104。这可以包括在硬件中被实施为专用集成电路或者使用一个或者多个半导体而被形成的其它逻辑器件。硬件单元不受形成它们的材料或者在其中运用的处理机制所限制。例如,处理器可以由半导体和/或晶体管(例如,电子集成电路(IC))组成。在这样的情境中,处理器可执行的指令可以是电子地可执行的指令。
计算机可读存储介质1108被图示为包括电子存储装置1112。电子存储装置1112表示与一个或者多个计算机可读介质关联的存储器/存储容量。电子存储装置1112可以包括易失性介质(比如随机存取存储器(RAM))和/或非易失性介质(比如只读存储器(ROM)、闪存、光盘、磁盘等等)。电子存储装置1112可以包括固定介质(例如,RAM、ROM、固定硬驱动等)以及可拆卸介质(例如,闪存、可拆卸硬驱动、光盘等等)。可以用如以下进一步描述的多种其它方式配置计算机可读介质1108。
输入/输出接口1106表示用于允许用户向计算设备1102录入命令和信息并且也允许使用各种输入/输出设备向用户和/或其它部件或者设备呈现信息的功能。输入设备的示例包括键盘、光标控制设备(例如,鼠标)、麦克风、扫描仪、触摸功能(例如,被配置为检测物理触摸的电容或者其它传感器)、相机(例如,该相机可以运用可见光或者不可见光波长(比如红外线频率)以将移动识别为不涉及触摸的手势)等等。输出设备的示例包括显示设备(例如,监视器或者投影仪)、扬声器、打印机、网卡、触觉响应设备等等。因此,可以用如以下进一步描述的多种方式配置计算设备1102以支持用户交互。
在此可以在软件、硬件单元或者程序模块的一般情境中描述各种技术。一般而言,这样的模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、单元、部件、数据结构等等。如在此所用的术语“模块”、“功能”和“部件”总体上表示软件、固件、硬件或者它们的组合。在此描述的技术的特征独立于平台,这意味着可以在具有多种处理器的多种商用计算平台上实施技术。
可以在某个形式的计算机可读介质上存储或者跨该形式的计算机可读介质传输描述的模块和技术的实现方式。计算机可读介质可以包括计算设备1102可以访问的多种介质。举例而言而无限制,计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”可以是指与仅信号传输、载波或者信号本身对照而言实现信息的持久和/或非瞬态存储的介质和/或设备。因此,计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括硬件,比如在适合用于存储信息(比如计算机可读指令、数据结构、程序模块、逻辑元件/电路或者其它数据)的方法或者技术中实施的易失性和非易失性、可拆卸和非可拆卸介质以及存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或者其它存储器技术、CD-ROM、数字万用盘(DVD)或者其它光存储装置、硬盘、磁盒、磁带、磁盘存储装置或者其它磁存储设备或者适合用来存储希望的信息并且可以由计算机访问的其它存储设备、有形介质或者制造品。
“计算机可读信号介质”可以是指被配置为比如经由网络向计算设备1102的硬件传输指令的信号承载介质。信号介质通常可以在调制的数据信号(比如载波、数据信号或者其它传送机制)中体现计算机可读指令、数据结构、程序模块或者其它数据。信号介质也包括任何信息递送介质。术语“调制的数据信号”意味着如下信号,该信号让它的特性中的一个或者多个特性以对信号中的信息进行编码这样的方式而被设置或者改变。举例而言而非限制,通信介质包括有线介质(比如有线网络或者直接有线连接)以及无线介质(比如声学、RF、红外线和其它无线介质)。
如先前描述的那样,计算机可读介质1108和其它硬件单元表示以如下硬件形式实施的模块、可编程逻辑器件和/或固定器件逻辑,可以在一些实施例中运用该硬件形式以实施在此描述的技术的至少一些方面,比如执行一个或者多个指令。硬件可以包括集成电路或者片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)和在硅或者其它硬件中的其它实现方式。在本文中,硬件可以作为处理设备操作,该处理设备执行由指令定义的程序任务和/或由硬件体现的逻辑以及用来存储用于执行的指令的硬件,例如,先前描述的计算机可读存储介质。
可以运用前述各项的组合以实施在此描述的各种技术。因而,软件、硬件或者可执行模块可以被实施为在某个形式的计算机可读存储介质上和/或由一个或者多个硬件单元体现的一个或者多个指令和/或逻辑。计算设备1102可以被配置为实施与软件和/或硬件模块对应的特定指令和/或功能。因而,可以至少部分地在硬件中(例如,通过使用计算机可读存储介质和/或处理系统1104的硬件单元)来实现作为软件可由计算设备1102执行的模块的实现方式。指令和/或功能可以由一个或者多个制造品(例如,一个或者多个计算设备1102和/或处理系统1104)可执行/可操作以实施在此描述的技术、模块和示例。
在此描述的技术可以由计算设备1102的各种配置支持而不限于在此描述的技术的具体示例。也可以全部或者部分通过使用分布式系统(比如如以下描述的那样经由平台1112在“云”1110之上)实施这一功能。
云1110包括和/或表示用于资源1114的平台1112。平台1112将云1110的硬件(例如,服务器)和软件资源1114的下层功能抽象化。资源1114可以包括可以在远离计算设备1102的服务器上执行计算机处理之时利用的应用和/或数据。资源1114也可以包括在因特网之上和/或通过预订者网络(比如蜂窝或者Wi-Fi网络)而被提供的服务。
平台1112可以将用于连接计算设备1102与其它计算设备的资源和功能抽象化。平台1112也可以服务于将对资源的缩放抽象化以提供与对于经由平台1112而被实施的资源1113的所遇需求对应的规模级别。因而,在一个互连设备实施例中,可以遍及系统1100分布在此描述的功能的实现方式。例如,可以部分在计算设备1102上以及经由将云1110的功能抽象化的平台1112来实施该功能。
结论
虽然已经用结构特征和方法动作特有的言语描述了本发明,但是将理解,在所附权利要求中定义的本发明未必限于描述的具体特征或者动作。实际上,具体特征和动作被公开为实施要求保护的本发明的示例形式。

Claims (20)

1.一种在数字媒体环境中用于在二维数字图像对象之间传送数字涂料的计算设备,所述计算设备包括:
处理系统,被配置为执行一个或者多个操作;以及
计算机可读存储媒体,所述计算机可读存储媒体具有存储于其上的指令,所述指令响应于由所述处理系统执行,使得所述处理系统执行操作,所述操作包括:
接收至少一个用户输入,所述至少一个用户输入指定将向二维数字图像中的所述对象的二维纹理映射涂抹的数字涂料;
将被涂抹到源对象的二维纹理映射的部分的所述数字涂料传送给所述二维数字图像中的所述对象的所述二维纹理映射的对应的部分,所述传送包括基于被指派给所述对应的部分中的至少一个对应的部分的语义标签来将所述数字涂料的所述传送限制到所述至少一个对应的部分上;以及
在用户界面中将所述对象显示为具有所述数字涂料。
2.根据权利要求1所述的计算设备,其中通过以下向所述源对象的所述二维纹理映射涂抹所述数字涂料:
配置在二维中被实施的所述源对象以支持三维空间中的操控;
响应于用于在所述三维空间中操控配置的所述源对象的用户输入来改变被显示在所述用户界面中的配置的所述源对象的透视图;
接收用户输入,所述用户输入通过与所述用户界面中的所述源对象的改变的所述透视图的交互来指定将向所述源对象涂抹的数字涂料;
基于来自接收的所述用户输入的指定的所述数字涂料来直接涂绘所述二维数字图像上的所述源对象的所述二维纹理映射;以及
基于所述源对象的所述二维纹理映射来将所述源对象的显示输出为具有指定的所述数字涂料。
3.根据权利要求2所述的计算设备,其中所述操作还包括接收用于发起对所述源对象的涂绘的用户输入,并且其中所述配置响应于所述接收而被执行。
4.根据权利要求2所述的计算设备,其中所述配置包括:
检测所述源对象的地标;
基于所述地标来向所述源对象拟合三维模型以配置所述源对象,以支持所述用户界面中的三维空间中的操控;并且
其中配置的所述源对象的所述透视图的所述改变基于向所述三维模型的所述拟合。
5.根据权利要求1所述的计算设备,其中被指派给所述至少一个对应的部分的所述语义标签标识脸部的特定部分。
6.根据权利要求1所述的计算设备,其中所述对象包括脸部。
7.根据权利要求1所述的计算设备,其中所述源对象和所述对象二者被包括在所述二维图像中。
8.根据权利要求1所述的计算设备,其中所述源对象被包括在与包括所述对象的所述二维数字图像分离的二维数字图像中。
9.一种在数字媒体环境中用于在二维数字图像对象之间传送数字涂料的由计算设备实施的方法,所述方法包括:
由所述计算设备接收指定将向二维数字图像中的对象的二维纹理映射涂抹的数字涂料的至少一个用户输入;
由所述计算设备向所述二维数字图像中的所述对象的二维纹理映射的对应的部分传送向源对象的源二维纹理映射的部分涂抹的所述数字涂料,所述传送包括基于被指派给所述对应的部分中的至少一个对应的部分的语义标签来将所述数字涂料的所述传送限制到所述至少一个对应的部分上;以及
由所述计算设备在用户界面中将所述二维数字图像中的所述对象显示为具有所述数字涂料。
10.根据权利要求9所述的方法,其中通过以下各项向所述源二维纹理映射的部分涂抹所述数字涂料:
由所述计算设备配置在二维中被实施的所述源对象以支持三维空间中的操控;
由所述计算设备响应于用于在所述三维空间中操控配置的所述源对象的用户输入来改变被显示在所述用户界面中的配置的所述源对象的透视图;
由所述计算设备接收用户输入,所述用户输入通过与所述用户界面中的配置的所述源对象的改变的所述透视图的交互来指定将向配置的所述源对象涂抹的所述数字涂料;以及
由所述计算设备基于向配置的所述源对象涂抹的指定的所述数字涂料来涂绘所述源二维纹理映射。
11.根据权利要求10所述的方法,其中所述源对象和所述对象二者被包括在所述二维数字图像中。
12.根据权利要求10所述的方法,其中所述源对象被包括在与包括所述对象的所述二维数字图像分离的二维数字图像中。
13.根据权利要求10所述的方法,其中所述配置包括:
由所述至少一个计算设备检测所述源对象的地标;
由所述至少一个计算设备基于所述地标来向所述源对象拟合三维模型,以配置所述源对象以支持三维空间中的操控;并且
其中配置的所述对象的所述透视图的所述改变基于向所述三维模型的所述拟合。
14.根据权利要求9所述的方法,其中所述对象是脸部。
15.根据权利要求9所述的方法,其中被指派给所述至少一个对应的部分的所述语义标签标识脸部的特定部分。
16.一种在数字媒体环境中用于在二维数字图像对象之间传送数字涂料的系统,所述系统包括:
用于通过以下来在用户界面中数字地涂绘对象的装置:
接收用户输入,所述用户输入指定将向二维数字图像中的所述对象的二维纹理映射涂抹的数字涂料;
将被涂抹到源对象的源二维纹理映射的部分的所述数字涂料传送给所述二维数字图像中的所述对象的二维纹理映射的对应的部分,所述传送包括基于被指派给所述对应的部分中的至少一个对应的部分的语义标签来将所述数字涂料的所述传送限制到所述至少一个对应的部分上;以及
由计算设备在所述用户界面中将所述二维数字图像中的所述对象显示为具有所述数字涂料。
17.根据权利要求16所述的系统,其中所述对象被包括在与包括所述源对象的所述二维数字图像不同的二维数字图像中。
18.根据权利要求16所述的系统,其中所述对象是脸部。
19.根据权利要求16所述的系统,还包括:
用于检测在二维中被实施的所述源对象的地标的装置;
用于基于所述地标来向所述源对象拟合三维模型以配置所述源对象,以支持所述用户界面中的三维空间中的操控的装置;以及
用于通过以下来在所述用户界面中直接涂绘所述源对象的装置:
响应于用于在所述三维空间中操控配置的所述源对象的用户输入来改变被显示在所述用户界面中的配置的所述源对象的透视图,以及
基于所述用户输入来直接涂绘所述源对象的二维纹理映射。
20.根据权利要求16所述的系统,其中所述源对象和所述对象二者被包括在所述二维数字图像中。
CN201710712538.9A 2016-10-19 2017-08-18 通过使用透视图或者传送的改进的对象涂绘 Active CN107967709B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/297,938 2016-10-19
US15/297,938 US10755459B2 (en) 2016-10-19 2016-10-19 Object painting through use of perspectives or transfers in a digital medium environment

Publications (2)

Publication Number Publication Date
CN107967709A CN107967709A (zh) 2018-04-27
CN107967709B true CN107967709B (zh) 2023-06-20

Family

ID=60037282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710712538.9A Active CN107967709B (zh) 2016-10-19 2017-08-18 通过使用透视图或者传送的改进的对象涂绘

Country Status (5)

Country Link
US (1) US10755459B2 (zh)
CN (1) CN107967709B (zh)
AU (1) AU2017213546B2 (zh)
DE (1) DE102017007714A1 (zh)
GB (1) GB2555521B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11404086B2 (en) 2020-02-14 2022-08-02 Perfect Mobile Corp. Systems and methods for segment-based virtual application of makeup effects to facial regions displayed in video frames
US11922540B2 (en) 2020-02-14 2024-03-05 Perfect Mobile Corp. Systems and methods for segment-based virtual application of facial effects to facial regions displayed in video frames

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226000B1 (en) * 1995-09-11 2001-05-01 Informatix Software International Limited Interactive image editing
US6268865B1 (en) * 1998-01-13 2001-07-31 Disney Enterprises, Inc. Method and apparatus for three-dimensional painting
US9058765B1 (en) * 2008-03-17 2015-06-16 Taaz, Inc. System and method for creating and sharing personalized virtual makeovers

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090289A (ja) * 1998-07-13 2000-03-31 Sony Corp 画像処理装置および画像処理方法、並びに媒体
US8660319B2 (en) * 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8040355B2 (en) * 2007-07-23 2011-10-18 Disney Enterprises, Inc. Three-dimensional location-based texture transfers
US8482569B2 (en) * 2008-08-28 2013-07-09 Pixar Mesh transfer using UV-space
JP4569670B2 (ja) 2008-06-11 2010-10-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8587608B2 (en) * 2008-08-29 2013-11-19 Adobe Systems Incorporated Preventing pixel modification of an image based on a metric indicating distortion in a 2D representation of a 3D object
US8462173B2 (en) 2009-09-30 2013-06-11 Adobe Systems Incorporated System and method for simulation of paint deposition using a pickup and reservoir model
US9202309B2 (en) * 2011-09-01 2015-12-01 Adobe Systems Incorporated Methods and apparatus for digital stereo drawing
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
EP2755164A3 (en) 2013-01-09 2017-03-01 Samsung Electronics Co., Ltd Display apparatus and control method for adjusting the eyes of a photographed user
GB201502018D0 (en) 2015-02-06 2015-03-25 Knyttan Ltd 2D graphical coding to create a 3D image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226000B1 (en) * 1995-09-11 2001-05-01 Informatix Software International Limited Interactive image editing
US6268865B1 (en) * 1998-01-13 2001-07-31 Disney Enterprises, Inc. Method and apparatus for three-dimensional painting
US9058765B1 (en) * 2008-03-17 2015-06-16 Taaz, Inc. System and method for creating and sharing personalized virtual makeovers

Also Published As

Publication number Publication date
CN107967709A (zh) 2018-04-27
GB201713605D0 (en) 2017-10-11
GB2555521A (en) 2018-05-02
DE102017007714A1 (de) 2018-04-19
US10755459B2 (en) 2020-08-25
GB2555521B (en) 2021-04-07
US20180108160A1 (en) 2018-04-19
AU2017213546B2 (en) 2021-12-02
AU2017213546A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
CN106997613B (zh) 根据2d图像的3d模型生成
US10249089B2 (en) System and method for representing remote participants to a meeting
US9865032B2 (en) Focal length warping
CA3083486C (en) Method, medium, and system for live preview via machine learning models
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN111754517A (zh) 使用神经网络的交互式图像抠图
CN108876706B (zh) 根据全景图像的缩略图生成
US20220237872A1 (en) Multi-Resolution Voxel Meshing
US11244518B2 (en) Digital stages for presenting digital three-dimensional models
US10559116B2 (en) Interactive caricature generation from a digital image
US11004247B2 (en) Path-constrained drawing with visual properties based on drawing tool
CN114648615B (zh) 目标对象交互式重现的控制方法、装置、设备及存储介质
CN107967709B (zh) 通过使用透视图或者传送的改进的对象涂绘
CN112204623A (zh) 着色三维数字模型生成
CN107103209B (zh) 3d数字内容交互和控制
WO2022150252A1 (en) Three-dimensional scan registration with deformable models
US11875462B2 (en) Systems for augmented reality authoring of remote environments
CN116647657A (zh) 响应式视频画布生成

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant