CN113168727B - 模拟cg动画中的手绘线条 - Google Patents

模拟cg动画中的手绘线条 Download PDF

Info

Publication number
CN113168727B
CN113168727B CN201980078460.7A CN201980078460A CN113168727B CN 113168727 B CN113168727 B CN 113168727B CN 201980078460 A CN201980078460 A CN 201980078460A CN 113168727 B CN113168727 B CN 113168727B
Authority
CN
China
Prior art keywords
animation
artist
training data
character
nudge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980078460.7A
Other languages
English (en)
Other versions
CN113168727A (zh
Inventor
P·格罗乔拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Group Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp, Sony Pictures Entertainment Inc filed Critical Sony Group Corp
Publication of CN113168727A publication Critical patent/CN113168727A/zh
Application granted granted Critical
Publication of CN113168727B publication Critical patent/CN113168727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在CG动画中模拟艺术手绘线条，包括：第一次附着直接绘画到CG动画的角色上的墨水线条；第一次使艺术家能够使用微移来修改墨水线条以生成图画；将图画第一次移动至UV空间内并生成第一遍训练数据；将墨水线条第二次附着到CG动画的角色上；第二次使艺术家能够修改墨水线条；将图画第二次移动至UV空间内并生成第二遍训练数据；组合第一遍训练数据和第二遍训练数据以生成组合数据；并且使用组合数据来创建和输出第二代机器学习。

Description

模拟CG动画中的手绘线条
相关申请的交叉引用
本申请依据35U.S.C§119(e)要求于2018年12月5日提交的题为“用于模拟手绘线条的墨水线条和机器学习”的共同待决的美国临时专利申请序列号62/775843的优先权的权益。以上引用的申请的公开内容通过引用并入本文。
技术领域
本公开涉及CG动画，并且更具体地，涉及在CG动画中模拟艺术手绘线条。
背景技术
在计算机图形(CG)动画中，目标可以包括创建提供手绘角色的感觉和外观的被渲染的角色。已经确定，包括基于程序的“规则”(例如，使用卡通着色器)的“线条作品/墨水线条”的方法在获得令人满意的结果上是无效的。主要的问题是艺术家不基于有限的规则集绘画。对于创建具有艺术外观的手绘线条作品的问题需要鲁棒得多的解决方案。此外，需要调整已创建的线条作品(如有必要)，并将其合并到现有的CG动画中。
发明内容
本公开提供用于在CG动画中模拟艺术手绘线条。
在一种实现方式中，公开了用于在CG动画中模拟艺术手绘线条的方法。该方法包括：第一次附着直接绘画到CG动画的角色上的墨水线条；第一次使艺术家能够使用微移(nudge)来修改墨水线条以生成图画；将图画第一次移动至UV空间中并生成第一遍训练数据；将墨水线条第二次附着到CG动画的角色上；第二次使艺术家能够修改墨水线条；将图画第二次移动至UV空间中并生成第二遍训练数据；组合第一遍训练数据和第二遍训练数据以生成组合数据；并使用组合数据创建和输出第二代机器学习。
在一种实现方式中，其中，角色在CG动画的帧中。在一种实现方式中，直接绘画在角色上的墨水线条针对角色的特定姿势提供正确的墨水线条。在一种实现方式中，使用微移刷创建微移。在一种实现方式中，方法还包括通过将墨水线条直接投影到角色上来键控和插值微移。在一种实现方式中，该方法还包括生成关键帧并在关键帧之间插值。在一种实现方式中，角色以3-D几何形状形成。在一种实现中，将图画第一次移动至UV空间中允许艺术家在2-D屏幕空间中处理角色的3-D几何形状。在一种实现方式中，方法还包括将在2-D屏幕空间中完成的作品转换回3-D几何形状。
在另一种实现方式中，公开了用于在CG动画中模拟由艺术家手绘的线条并生成图画的系统。该系统包括：预测模块，其被配置为接收包括相机角度和表情的镜头数据以及第二代机器学习模型，该预测模块被配置为生成图画的预测；粘接模块，其被配置为接收预测并将墨水线条附着到动画角色的3-D几何形状上；以及微移模块，其被配置为使艺术家能够使用微移刷生成微移来修改墨水线条并将图画移动至UV空间。
在一种实现方式中，用于预测模块的训练数据使用动画曲线，该动画曲线是针对具有一组表情变化的相应一组角度创建的。
在另一种实现方式中，公开了用于在CG动画中模拟艺术手绘线条以生成图画的设备。该设备包括：用于第一启用的装置，其使艺术家能够将墨水线条直接绘画到图画中的动画角色上；用于附着的装置，其用于将绘画的墨水线条直接附着到动画角色上；用于第二启用的装置，其用于使艺术家能够使用微移来修改墨水线条；用于移动的装置，其用于将图画移动至UV空间以使艺术家能够在2-D屏幕空间中工作，其中，如果这遍是第一遍，则用于移动的装置生成第一遍训练数据，而如果这遍不是第一遍，则用于移动的装置生成第二训练数据；用于创建的第一装置，其用于创建第一代机器学习模型，并将第一代机器学习模型发送至用于附着的装置以用于第二遍；用于组合的装置，其用于组合第一遍训练数据和第二遍训练数据以生成组合数据；以及用于创建的第二装置，其用于使用组合数据来创建第二代机器学习模型。
在一种实现方式中，用于第一启用的装置包括平板电脑或平板类型的设备以及电子笔。在一种实现方式中，平板电脑或平板类型的设备包括至少一个应用，该应用能够在逐帧的基础上显示CG动画。在一种实现方式中，用于附着的装置包括至少一个应用，该应用能够处理由艺术家制作的到用于附着的装置内的输入，以将该输入集成到CG动画上。在一种实现方式中，用于第二启用的装置使艺术家能够使用微移刷来进行微移。在一种实现方式中，用于移动的装置使用微移来创建关键帧并在关键帧之间插值。在一种实现方式中，用于移动的装置通过自动地混合关键帧之间的所有帧来在关键帧之间插值。
从本发明的描述中，其他特征和优点将是显而易见的，所述描述通过示例图示了本公开的方面。
附图说明
本公开的细节，关于其结构和操作两者，可以通过附图的研究来部分地收集，其中，相同的附图标记指代相同的部件，并且其中：
图1是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的过程的流程图；
图2是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的系统的框图；
图3是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的设备的框图；
图4A是根据本公开的实现方式的计算机系统和用户的代表；
图4B是根据本公开的实现方式的托管模拟应用的图示的计算机系统的功能框图；和
图5、图6、图7和图8图示了模拟系统、过程和设备的中间结果的示例。
具体实施方式
如上所述，在CG动画中，对于创建具有艺术外观的手绘线条作品的问题，需要鲁棒得多的解决方案。此外，需要粘接、调整(如有必要)已创建的线条作品，并将其合并到现有的CG动画中。本公开的某些实现方式提供用于在CG动画中模拟艺术手绘线条。在阅读这些描述之后，如何在各种实现方式和应用中实现本公开将变得显而易见。尽管本文将描述本公开的各种实现方式，但是可以理解，这些实现方式仅以示例而非限制的方式给出。这样，各种实现方式的这种详细描述不应被解释为限制本公开的范围或广度。
在一种实现方式中，实现了具有两种模式的增强墨水线条应用，其用于生成逼真的手绘墨水线条集。第一种模式是“粘接模式”，第二种模式是“调整模式”。增强墨水线条应用的粘接模式涉及将墨水线条(例如，曲线几何形状)粘接或附着到CG动画的3-D几何形状上。因此，在粘接模式下，应用为艺术家提供简易控制来调整图画，以保持正确的2-D灵感设计。例如，在一种实现方式中，应用使艺术家能够使用电子笔在CG动画的帧之上绘画。这允许帧的图画看起来像动态图画，而不是标准的纹理映射。增强墨水线条应用的调整模式针对由艺术家捕获和编目对墨水线条进行的附着，以使用机器学习加快工作流程。
在一种实现方式中，增强墨水线条应用的粘接模式使艺术家能够直接在图画上的一个或多个角色(和/或一个或多个对象)上绘画，从而为一个或多个角色的特定姿势提供正确的线条。一旦绘画完墨水线条，应用就使艺术家能够使用微移(nudging)的“刷子”去快速并且容易地调整图画。在一种实现方式中，粘接模式用于最复杂的镜头，其中在调整模式中调整机器学习比从头开始获取镜头慢。
在一种实现方式中，由微移刷创建的微移由应用自动地键控和插值。在一种实现方式中，键控和插值包括将墨水线条直接投影到几何图形上，并将微移插值到屏幕空间中或任意UV空间中。增强墨水线条应用使艺术家能够在2-D屏幕空间中工作，从而为艺术家提供最直观的空间去绘画和微移，以产生期望的结果。转换回3-D空间是自动进行的，无需艺术家干预。
在一种实现方式中，键控和插值使用微移来创建关键帧并在关键帧之间插值。例如，艺术家微移帧1中的图画的墨水线条，并且然后在帧10中的图画的墨水线条上执行微移，以创建两个关键帧1和10。然后，增强墨水线条应用的粘接模式通过自动地混合(blend)两个关键帧之间的所有帧，来在关键帧之间插值。
在一种实现方式中，UV空间中的曲线位置控制角色在3-D空间中在哪里结束。当图画微移时，这些编辑可以转移至UV空间。因此，UV空间中的曲线的位置相对于视角和角色的表情之间有复杂的关系。通过足够的示例，机器学习可以在UV空间中的曲线形状与视角和角色表情之间找到模式(pattern)。因此，机器学习映射这种关系。
在一种实现方式中，增强墨水线条应用的调整模式包括：(1)使用机器学习对在角色上创建墨水线条的第一遍预测，其用于产生初始预测结果；(2)由艺术家使用“微移刷”修改；和(3)一旦初始预测已经由艺术家使用微移刷校正，则将调整转移至UV空间。然后将数据导出并与初始数据组合。然后使用组合数据“再训练”机器学习模型。因此，“再训练”提高模型的准确性。
在一种实现方式中，用于第一遍预测的训练数据使用“转盘(turntable)”动画，所述“转盘”动画从具有表情变化的不同角度创建。然后使用增强墨水线条应用的粘接模式创建用于这些角度和表情的动画曲线(即，图画)。随后将动画曲线转移到UV空间中，用于机器学习训练。这成为第一代训练数据集(每个角色大约600帧)的“目标”。“特征”是相对的相机角度和表情变化。因此，一旦产生训练数据，就训练机器学习算法以找到图画位置和“特征”之间的关系。
在一种实现方式中，一旦机器学习算法已经训练以找到关系，则在另一组动画数据上运行预测。然后由艺术家使用微移刷来调整(或“校正”)这些初始预测。然后将这些校正后的调整移动至UV空间并导出为进一步的训练数据。然后使用这些沿着初始训练数据的校正的组合的训练数据对机器学习模型进行再训练。
图1是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的过程100的流程图。在一种实现方式中，过程100为艺术家提供简易控制，以调整图画从而维持正确的2-D灵感设计。例如，过程100使艺术家能够使用电子笔在CG动画的帧之上绘画。这允许帧的图画看起来像动态图画，而不是标准的纹理映射。
在图1的图示实现方式中，过程100在框110使艺术家能够将墨水线条直接绘画到图画上的角色上，以提供用于角色的特定姿势的正确的线条。在一种实现方式中，角色在CG动画的帧中。在一种实现方式中，直接绘画在角色上的墨水线条提供用于角色的特定姿势的正确墨水线条。然后在框112，将墨水线条附着到动画角色上(即，附着到3-D几何形状上)。一旦绘画并附着了墨水线条，则过程100在框114使艺术家能够使用微移“刷”来调整图画。然后，在框116，将图画移动至UV空间并生成训练数据。过程100使艺术家能够在2-D屏幕空间中工作，以提供最直观的空间供艺术家绘画和微移以产生期望的结果。转换回3-D空间是自动进行的，无需艺术家干预。
在一种实现方式中，微移创建关键帧并在关键帧之间插值。例如，艺术家微移帧1中的图画的墨水线条，并且然后在帧10中的图画的墨水线条上执行微移，以创建两个关键帧1和10。然后过程200通过自动混合两个关键帧之间的所有帧以在关键帧之间插值。
在一种实现方式中，一旦图画移动至UV空间并且生成训练数据，则过程100在框118创建第一代机器学习模型，并且第一代机器学习模型在框120处被调用以做出预测。在框122，再次将墨水线条附着到动画角色上，并且在框124，艺术家能够使用“微移刷”修改墨水线条的预测。然后在框126，将图画移动至UV空间，并再次生成训练数据。在框128，将第一遍训练数据(在框116生成)和第二遍训练数据(在框126生成)组合。因此，一旦训练数据被组合，则过程100在框130处创建第二代机器学习模型。
在一种实现方式中，用于第一遍预测的训练数据使用从具有表情变化的不同角度创建的“转盘”动画。然后，由过程100创建用于这些角度和表情的动画曲线。随后将动画曲线转换到UV空间中，以用于机器学习训练。这成为第一代训练数据集(每个角色大约600帧)的“目标”。“特征”是相对的相机角度和表情变化。因此，一旦产生训练数据，则训练机器学习算法以找到图画位置和“特征”之间的关系。
图2是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的系统200的框图。在图2的图示实现方式中，系统200包括预测模块230、粘接模块240和微移模块250。
在一种实现方式中，预测模块230接收镜头数据210和在图1的框130处创建的第二代机器学习“模型”220，并做出预测。镜头数据210包括相对的相机角度和相对的表情。
在一种实现方式中，粘接模块240被配置为从预测模块230接收预测，并实现粘接模式，该粘接模式涉及将墨水线条(例如，曲线几何形状)粘接或附着到动画角色上。因此，粘接模块240为艺术家提供调整图画从而维持正确的2-D灵感设计的容易的控制。例如，在一种实现方式中，粘接模块240使艺术家能够使用电子笔在CG动画的帧之上绘画。
在一种实现方式中，一旦绘画并附着了墨水线条，则微移模块250使艺术家能够使用微移“刷”来调节图画并移动图画至UV空间。因此，微移模块250使艺术家能够在2-D屏幕空间中工作，从而为艺术家提供最直观的空间来绘画和微移以产生期望的结果。微移模块250执行回到3-D空间的转换，无需艺术家干预。由微移模块250输出的图画260被导出以用于照明。
图3是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的设备300的框图。在图3的图示实现方式中，设备300包括用于使艺术家能够绘画墨水线条的装置310，用于附着墨水线条的装置320、用于使艺术家能够修改墨水线条的装置330、用于将图画移动至UV空间的装置340、用于创建第一代机器学习模型的装置360、用于组合训练数据的装置380和用于创建第二代机器学习模型的装置390。
用于使艺术家能够绘画墨水线条的装置310使艺术家能够将墨水线条直接绘画到图画上的角色上，从而为角色的特定姿势提供正确的线条。在一种实现方式中，装置310包括平板电脑或平板类型的设备以及电子笔。在一种实现方式中，平板设备包括至少一个应用，该应用能够在逐帧的基础上显示CG动画。
用于附着墨水线条的装置320将绘画的墨水线条直接附着至CG动画的角色上。在一种实现方式中，装置320包括至少一个应用，该应用能够处理由艺术家对装置310的输入，以将输入集成到CG动画上。
用于使艺术家能够修改墨水线条的装置330使艺术家能够使用微移“刷”来调整图画。在一种实现方式中，装置330包括平板电脑或平板类型的设备以及用作微移刷的电子笔。在一种实现方式中，平板设备包括至少一个应用，该应用能够在逐帧的基础上显示CG动画。用于使艺术家能够修改墨水线条的装置330还使艺术家能够修改墨水线条的预测。
用于将图画移动至UV空间的装置340将图画移动至UV空间，以使艺术家能够在2-D屏幕空间中工作，从而为艺术家提供最直观的空间用于绘画和微移，以产生期望的结果。在一种实现方式中，用于将图画移动至UV空间的装置340使用微移来创建关键帧并在关键帧之间插值。例如，艺术家微移帧1中的图画中的墨水线条，并且然后在帧10中的图画的墨水线条上执行微移，以创建两个关键帧1和10。然后，装置340通过自动混合两个关键帧之间的所有帧以在关键帧之间插值。如果该遍是第一遍，则用于将图画移动至UV空间的装置340生成第一遍训练数据350，而如果该遍不是第一遍(即，是第二遍)，则用于将图画移动至UV空间的装置340生成第二遍训练数据370。
用于创建第一代机器学习模型的装置360创建第一代机器学习模型，并将模型发送到用于附着墨水线条的装置320以用于第二遍。
在第二遍中，用于组合训练数据的装置380将第一遍训练数据350和第二遍训练数据370组合。组合的训练数据由用于创建第二代机器学习模型的装置390使用以创建第二代机器学习模型。
图4A是根据本公开的实现方式的计算机系统400和用户402的代表。用户402使用计算机系统400来实现用于在CG动画中模拟艺术手绘线条的模拟应用490，如关于图1中图示的用于在CG动画中模拟艺术手绘线条的过程100和图2中示出的框图的模拟器200所图示和描述的。
计算机系统400存储并执行图4B的模拟应用490。此外，计算机系统400可以与软件程序404通信。软件程序404可以包括用于屏幕色调外观应用的软件代码。可以将软件程序404加载在诸如CD、DVD或存储设备驱动器的外部介质上，如将在下面进一步解释的。
此外，计算机系统400可以连接到网络480。网络480可以以各种不同的体系结构连接，例如，客户端-服务器体系结构、对等网络体系结构或其他类型的体系结构。例如，网络480可以与服务器485通信，该服务器485协调在模拟应用490内使用的引擎和数据。同时，该网络可以是不同类型的网络。例如，网络480可以是因特网、局域网或局域网的任何变体、广域网、城域网、内联网或外联网或者无线网络。
图4B是功能框图，其示出根据本公开的实现方式的托管模拟应用490的计算机系统400。控制器410是可编程处理器，并且控制计算机系统400及其组件的操作。控制器410从存储器420或嵌入式控制器存储器(未示出)加载指令(例如，以计算机程序的形式)，并执行这些指令以控制系统。在其执行中，控制器410给模拟应用490提供软件系统，诸如用于启用模拟应用490中的引擎和数据提取器的创建和配置。可替代地，该服务可以被实现为控制器410或计算机系统400中的单独的硬件组件。
存储器420临时存储数据以供计算机系统400的其他组件使用。
在一种实现方式中，存储器420被实现为RAM。在一种实现方式中，存储器420还包括长期或永久存储器，例如闪存和/或ROM。
存储设备430临时或长时间存储数据，以供计算机系统400的其他组件使用。例如，存储设备430存储由模拟应用490使用的数据。
在一种实现方式中，存储设备430是硬盘驱动器。
介质设备440接收可移除介质，并向插入的介质读取和/或写入数据。例如，在一种实现方式中，介质设备440是光盘驱动器。
用户接口450包括用于接受来自计算机系统400的用户的用户输入并向用户402呈现信息的组件。在一种实现方式中，用户接口450包括键盘、鼠标、音频扬声器和显示器。控制器410使用来自用户402的输入来调整计算机系统400的操作。
I/O接口460包括一个或多个I/O端口，以连接到相应的I/O设备，例如外部存储设备或辅助设备(例如，打印机或PDA)。在一种实现方式中，I/O接口460的端口包括诸如以下的端口：USB端口、PCMCIA端口、串行端口和/或并行端口。在另一种实现方式中，I/O接口460包括用于与外部设备无线通信的无线接口。
网络接口470包括有线和/或无线网络连接，诸如支持以太网连接的RJ-45或“Wi-Fi”接口(包括但不限于802.11)。
计算机系统400包括计算机系统所特有的附加的硬件和软件(例如，电源、冷却、操作系统)，尽管为简单起见，这些组件未在图4B中具体示出。在其他实现方式中，可以使用计算机系统的不同配置(例如，不同的总线或存储设备配置或多处理器配置)。
图5、图6、图7和图8图示了模拟系统、过程和设备的中间结果的示例。
在一种实现方式中，模拟系统100是完全由硬件配置的系统，该硬件包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门/逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。在另一种实现方式中，模拟系统100配置有硬件和软件的组合。
提供本文所公开的实现方式的描述以使本领域的任何技术人员能够制造或使用本公开。对这些实现方式的多个修改对于本领域技术人员而言将是显而易见的，并且本文定义的原理可以应用于其他实现方式而不脱离本公开的精神或范围。因此，本公开不旨在限于本文所示的实现方式，而是应被赋予与本文公开的原理和新颖性特征相一致的最广范围。
本公开的各种实现方式以电子硬件、计算机软件或这些技术的组合来实现。一些实现方式包括由一个或多个计算设备执行的一个或多个计算机程序。通常，计算设备包括一个或多个处理器、一个或多个数据存储设备组件(例如，易失性或非易失性存储器模块以及永久性的光和磁存储设备，例如硬盘和软盘驱动器、CD-ROM驱动器和磁带驱动器)、一个或多个输入设备(例如，游戏控制器、鼠标和键盘)和一个或多个输出设备(例如，显示设备)。
计算机程序包括可执行代码，所述可执行代码通常存储在持久性存储设备介质中，然后在运行时被复制到存储器中。至少一个处理器通过以预定顺序从存储器中检索程序指令来执行代码。当执行程序代码时，计算机从输入和/或存储设备接收数据，在数据上执行操作，并且然后将结果数据传递到输出和/或存储设备。
本领域技术人员将理解，本文描述的各种说明性的模块和方法步骤可以被实现为电子硬件、软件、固件或前述的组合。为了清楚地图示硬件和软件的这种互换性，本文中总体上根据它们的功能性描述了各种说明性的模块和方法步骤。将这种功能性实现为硬件还是软件取决于特定应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以各种方式来实现所描述的功能性，但是这种实现决定不应被解释为导致脱离本公开的范围。另外，模块或步骤内的功能分组是为了便于描述。可以将特定功能从一个模块或步骤移动至另一模块或步骤而不脱离本公开。
在本公开的特定实现方式中，并不一定需要每个上述示例的所有特征。此外，要理解，本文提出的描述和附图是由本公开广泛地构想到的主题的代表。还要理解，本公开的范围完全涵盖对于本领域技术人员而言会变得显而易见的其他实现方式，并且本公开的范围相应地仅由所附的权利要求来限制。

Claims (17)

1.一种用于在CG动画中模拟艺术手绘线条的方法，所述方法包括：
第一次附着直接绘画到所述CG动画的角色上的墨水线条；
第一次使艺术家能够使用微移来修改所述墨水线条以生成图画；
将所述图画第一次移动至UV空间内并生成第一遍训练数据，第一遍训练数据使用了针对具有一组表情变化的相应一组角度创建的动画曲线；
使用第一遍训练数据创建第一代机器学习模型；
调用第一代机器学习模型以预测墨水线条；
将所述墨水线条第二次附着到所述CG动画的所述角色上；
第二次使艺术家能够使用微移来修改所述墨水线条以生成图画；
将所述图画第二次移动至所述UV空间内并生成第二遍训练数据；
组合所述第一遍训练数据和所述第二遍训练数据以生成组合数据；和
使用组合数据来创建和输出第二代机器学习模型。
2.根据权利要求1所述的方法，其中，所述角色在所述CG动画的帧中。
3.根据权利要求1所述的方法，其中，直接绘画在所述角色上的所述墨水线条提供针对所述角色的特定姿势的正确的墨水线条。
4.根据权利要求1所述的方法，其中，所述微移是使用微移刷创建的。
5.根据权利要求1所述的方法，进一步包括：
通过将所述墨水线条直接投影到所述角色上来键控和插值所述微移。
6.根据权利要求1所述的方法，进一步包括：
生成关键帧并在所述关键帧之间插值。
7.根据权利要求1所述的方法，其中，所述角色以3-D几何形状形成。
8.根据权利要求7所述的方法，其中，将所述图画第一次移动至所述UV空间内允许艺术家在2-D屏幕空间中处理所述角色的所述3-D几何形状。
9.根据权利要求8所述的方法，进一步包括：
将在所述2-D屏幕空间中完成的作品转换回所述3-D几何形状。
10.一种用于在CG动画中模拟由艺术家手绘的线条并生成图画的系统，所述系统包括：
预测模块，其被配置为接收包括相机角度和表情的镜头数据以及根据权利要求1-9中的任一项所述的方法创建和输出的第二代机器学习模型，所述预测模块被配置为使用第二代机器学习模型生成所述图画的预测；
粘接模块，其被配置为接收所述预测并将墨水线条附着到动画角色的3-D几何形状上；和
微移模块，其被配置为使艺术家能够使用微移刷产生微移来修改所述墨水线条并将所述图画移动至UV空间。
11.一种用于在CG动画中模拟艺术手绘线条以生成图画的设备，所述设备包括：
用于第一启用的装置，其用于使艺术家能够将墨水线条直接绘画到所述图画中的动画角色上；
用于附着的装置，其用于将所绘画的墨水线条直接附着到所述动画角色上；
用于第二启用的装置，其用于使所述艺术家能够使用微移来修改所述墨水线条；
用于移动的装置，其用于将所述图画移动至UV空间以使所述艺术家能够在2-D屏幕空间中工作，其中，如果这遍是第一遍，则用于移动的装置生成第一遍训练数据，而如果这遍不是第一遍，则所述用于移动的装置生成第二遍训练数据，其中第一遍训练数据使用了针对具有一组表情变化的相应一组角度创建的动画曲线；
用于创建的第一装置，其用于使用第一遍训练数据创建第一代机器学习模型，并将第一代机器学习模型发送至所述用于附着的装置，以调用第一代机器学习模型来预测墨水线条从而用于生成第二遍训练数据；
用于组合的装置，其用于组合所述第一遍训练数据和所述第二遍训练数据以生成组合数据；和
用于创建的第二装置，其用于使用所述组合数据创建第二代机器学习模型。
12.根据权利要求11所述的设备，其中，所述用于第一启用的装置包括平板电脑或平板类型的设备以及电子笔。
13.根据权利要求12所述的设备，其中，所述平板电脑或平板类型的设备包括能够在逐帧的基础上显示所述CG动画的至少一个应用。
14.根据权利要求11所述的设备，其中，所述用于附着的装置包括至少一个应用，所述应用能够处理由所述艺术家制作的到所述用于附着的装置中的输入，以将所述输入集成到所述CG动画上。
15.根据权利要求11所述的设备，其中，所述用于第二启用的装置使所述艺术家能够使用微移刷来进行所述微移。
16.根据权利要求11所述的设备，其中，所述用于移动的装置使用所述微移来创建关键帧并在所述关键帧之间插值。
17.根据权利要求16所述的设备，其中，所述用于移动的装置通过自动地混合所述关键帧之间的所有帧来在所述关键帧之间插值。
CN201980078460.7A 2018-12-05 2019-12-05 模拟cg动画中的手绘线条 Active CN113168727B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862775843P 2018-12-05 2018-12-05
US62/775,843 2018-12-05
US16/655,023 2019-10-16
US16/655,023 US11763507B2 (en) 2018-12-05 2019-10-16 Emulating hand-drawn lines in CG animation
PCT/US2019/064696 WO2020118062A1 (en) 2018-12-05 2019-12-05 Emulating hand-drawn lines in cg animation

Publications (2)

Publication Number Publication Date
CN113168727A CN113168727A (zh) 2021-07-23
CN113168727B true CN113168727B (zh) 2024-04-23

Family

ID=70971033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980078460.7A Active CN113168727B (zh) 2018-12-05 2019-12-05 模拟cg动画中的手绘线条

Country Status (6)

Country Link
US (1) US11763507B2 (zh)
EP (1) EP3874463A4 (zh)
JP (2) JP2022508159A (zh)
KR (1) KR102561020B1 (zh)
CN (1) CN113168727B (zh)
WO (1) WO2020118062A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667284A (zh) * 2008-08-22 2010-03-10 Arm有限公司 用于中央处理单元和图形处理单元之间通信的设备和方法
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN106485773A (zh) * 2016-09-14 2017-03-08 厦门幻世网络科技有限公司 一种用于生成动画数据的方法和装置
CN107003825A (zh) * 2014-09-09 2017-08-01 马克·史蒂芬·梅多斯 通过自然语言输出控制电影指导和动态角色的系统和方法
JP2018180781A (ja) * 2017-04-07 2018-11-15 国立大学法人東京工業大学 アニメーション制作システム、アニメーション制作方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06507743A (ja) * 1991-05-21 1994-09-01 ケンブリッジ　アニメーション　システムズ　リミテッド 画像合成及び処理
US6661418B1 (en) * 2001-01-22 2003-12-09 Digital Animations Limited Character animation system
CN101473352A (zh) * 2006-04-24 2009-07-01 索尼株式会社 表演驱动的脸部动画
US8482569B2 (en) * 2008-08-28 2013-07-09 Pixar Mesh transfer using UV-space
US8451277B2 (en) * 2009-07-24 2013-05-28 Disney Enterprises, Inc. Tight inbetweening
US20110249007A1 (en) 2010-04-13 2011-10-13 Disney Enterprises, Inc. Computer rendering of drawing-tool strokes
US9041717B2 (en) 2011-09-12 2015-05-26 Disney Enterprises, Inc. Techniques for processing image data generated from three-dimensional graphic models
US9911220B2 (en) * 2014-07-28 2018-03-06 Adobe Systes Incorporated Automatically determining correspondences between three-dimensional models
US11087517B2 (en) * 2015-06-03 2021-08-10 Disney Enterprises, Inc. Sketch-based abstraction for character posing and synthesis
US10572979B2 (en) * 2017-04-06 2020-02-25 Pixar Denoising Monte Carlo renderings using machine learning with importance sampling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667284A (zh) * 2008-08-22 2010-03-10 Arm有限公司 用于中央处理单元和图形处理单元之间通信的设备和方法
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN107003825A (zh) * 2014-09-09 2017-08-01 马克·史蒂芬·梅多斯 通过自然语言输出控制电影指导和动态角色的系统和方法
CN106485773A (zh) * 2016-09-14 2017-03-08 厦门幻世网络科技有限公司 一种用于生成动画数据的方法和装置
JP2018180781A (ja) * 2017-04-07 2018-11-15 国立大学法人東京工業大学 アニメーション制作システム、アニメーション制作方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
利用卷积神经网络的3DCG的强弱有线图像的生成;前田浩辅，斋藤豪;《日本信息处理学会研究报告》(第7期);1-7 *
面向卡通动画生成的表情特征提取技术与系统;赵洪德;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110715(第7期);I138-442 *

Also Published As

Publication number Publication date
US11763507B2 (en) 2023-09-19
WO2020118062A1 (en) 2020-06-11
CN113168727A (zh) 2021-07-23
JP2023138944A (ja) 2023-10-03
EP3874463A1 (en) 2021-09-08
US20200184699A1 (en) 2020-06-11
KR20210082203A (ko) 2021-07-02
JP2022508159A (ja) 2022-01-19
EP3874463A4 (en) 2022-09-07
KR102561020B1 (ko) 2023-07-31

Similar Documents

Publication Publication Date Title
US11908057B2 (en) Image regularization and retargeting system
US10109083B2 (en) Local optimization for curvy brush stroke synthesis
JP5344358B2 (ja) 演技から作り出される顔アニメーション
US10565792B2 (en) Approximating mesh deformations for character rigs
US9041717B2 (en) Techniques for processing image data generated from three-dimensional graphic models
US10055874B2 (en) Lip synchronization between rigs
US11087517B2 (en) Sketch-based abstraction for character posing and synthesis
US8054311B1 (en) Rig baking for arbitrary deformers
Miranda et al. Sketch express: A sketching interface for facial animation
Orvalho et al. Transferring the rig and animations from a character to different face models
US8237719B1 (en) Pose-structured animation interface
US11170550B2 (en) Facial animation retargeting using an anatomical local model
Miranda et al. Sketch express: facial expressions made easy
CN113168727B (zh) 模拟cg动画中的手绘线条
US20240013464A1 (en) Multimodal disentanglement for generating virtual human avatars
US11893671B2 (en) Image regularization and retargeting system
US10620610B2 (en) Techniques for generating motion sculpture models for three-dimensional printing
US8890889B1 (en) System and method for generating a pose of an object
JP6827337B2 (ja) 手話ｃｇ生成装置及びプログラム
US8077183B1 (en) Stepmode animation visualization
US11941739B1 (en) Object deformation network system and method
Cannavò et al. A sketch-based interface for facial animation in immersive virtual reality
CN110433000B (zh) 一种物体上色方法、装置、设备及存储介质
WO2024027285A1 (zh) 面部表情处理方法、装置、计算机设备和存储介质
CN116309966A (zh) 虚拟对象的变形处理方法、装置、存储介质与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant