CN113168709B - 网点外观生成器 - Google Patents

网点外观生成器 Download PDF

Info

Publication number
CN113168709B
CN113168709B CN201980077686.5A CN201980077686A CN113168709B CN 113168709 B CN113168709 B CN 113168709B CN 201980077686 A CN201980077686 A CN 201980077686A CN 113168709 B CN113168709 B CN 113168709B
Authority
CN
China
Prior art keywords
pattern
image
luminance
luminance gradient
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980077686.5A
Other languages
English (en)
Other versions
CN113168709A (zh
Inventor
B·圣克莱尔
M·雷库奥伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Group Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp, Sony Pictures Entertainment Inc filed Critical Sony Group Corp
Publication of CN113168709A publication Critical patent/CN113168709A/zh
Application granted granted Critical
Publication of CN113168709B publication Critical patent/CN113168709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment

Abstract

为视频生成网点外观图像,包括:接收平滑渐变渲染图像和渲染图像中像素的位置信息;使用位置信息为渲染图像中的像素中的每个像素生成图案;将渲染图像划分为由亮度定义的固定数量的分区,以产生亮度梯度图像;以及将图案施加到亮度梯度图像的固定数量的分区。

Description

网点外观生成器
相关申请的交叉引用
本申请依据35U.S.C.§119(e)要求于2018年12月5日提交的题为“Thresher andHatcher tools:The Creation of a Screentone Look”的共同待决的美国临时专利申请No.62/775,842的优先权的权益。上述申请的公开内容通过引用并入本文。
技术领域
本公开涉及CG动画电影,并且更具体而言,涉及为CG动画电影生成“漫画书(comic-book)”外观。
背景技术
计算机图形(CG)动画电影的“图片外观(look of picture)”的基本原理通常包括:(1)为着色(shading)渲染平滑渐变;(2)模仿材料的真实世界表面特性;(3)模拟纹理的真实生活中看到的物理细节。但是,需要重新设计这些原理,以使CG动画电影中的“漫画书”外观栩栩如生。
发明内容
本公开提供了为CG动画电影生成网点(screen-tone)外观,其包括量化从渲染器接收到的渲染的平滑着色以及将半色调点(halftone dot)和阴影线(hatched line)集成到渲染图像。
在一个实施方式中,公开了一种用于为视频生成网点外观图像的方法。该方法包括:接收平滑渐变渲染图像和渲染图像中像素的位置信息;使用位置信息针对渲染图像中的像素中的每个像素生成图案;将渲染图像划分为由亮度定义的固定数量的分区,以产生亮度梯度图像;以及将图案施加到亮度梯度图像的固定数量的分区。
在一个实施方式中,固定数量的分区包括一系列连续的带,其中每个带被单独地操纵。在一个实施方式中,该方法还包括提供对位置、宽度、过渡宽度、过渡图案和最终颜色校正的交互式控制。在一个实施方式中,生成图案包括生成模拟打印的伪像的图案,包括点、线和网格图案。在一个实施方式中,该方法还包括调整图案的位置、朝向和频率。在一个实施方式中,该方法还包括将图案投影到视频场景中的对象上。在一个实施方式中,该方法还包括一旦图案被定位,就编辑图案中的每个图案的外观。在一个实施方式中,该方法还包括从亮度提取颜色。在一个实施方式中,该方法还包括:将所提取的颜色施加到亮度梯度图像;以及将亮度梯度图像输出为新颜色。在一个实施方式中,向固定数量的分区施加图案包括在相对明亮的分区中施加点和在相对阴暗的分区中施加线。
在另一个实施方式中,公开了一种网点外观生成系统。该系统包括:孵化器(hatcher),用于从渲染器接收平滑渐变渲染图像以及每个像素的位置信息,该孵化器被配置为使用位置信息来生成渲染图像的图案;以及脱粒器(thresher),用于将渲染图像划分为由亮度定义的固定数量的分区以产生亮度梯度图像,该脱粒器被配置为将图案施加到亮度梯度图像的固定数量的分区。
在一个实施方式中,图案模拟打印的伪像。在一个实施方式中,图案包括点、线和网格。在一个实施方式中,固定数量的分区包括一系列连续的带。在一个实施方式中,该系统还包括投影仪,该投影仪被配置为将图案投影到视频场景中的对象上。在一个实施方式中,该系统还包括提取器,该提取器被配置为从亮度提取颜色。在一个实施方式中,该系统还包括施加器,该施加器被配置为将所提取的颜色施加到亮度梯度图像,并且将亮度梯度图像输出为新颜色。
在另一个实施方式中,公开了一种用于为视频生成网点外观图像的装置。该装置包括:用于接收平滑渐变渲染图像和渲染图像中像素的位置信息的部件;用于使用位置信息为渲染图像中的像素中的每个像素生成图案的部件;用于将渲染图像划分为由亮度定义的固定数量的分区以产生亮度梯度图像的部件;以及用于将图案施加到亮度梯度图像的固定数量的分区的部件。
在一个实施方式中,该装置还包括用于将图案投影到视频场景中的对象上的部件。在一个实施方式中,该装置还包括用于将所提取的颜色施加到亮度梯度图像,以及将亮度梯度图像输出为新颜色的部件。
其它特征和优点从本描述中应该是显而易见的,本描述通过举例的方式说明了本公开的各方面。
附图说明
关于本公开的结构和操作的细节可以部分地通过研究附图来获得,其中相同的附图标记指代相同的部分,并且其中:
图1是根据本公开的一个实施方式的网点外观生成器的框图;
图2A是根据本公开的一个实施方式的生成网点图像的示例进展;
图2B、图2C和图2D示出了根据本公开的一个实施方式的在平滑梯度图像上施加网点外观生成器的结果;
图2E、图2F、图2G、图2H和图2J示出了根据本公开的另一个实施方式的在平滑梯度图像上施加网点外观生成器的结果;
图3是根据本公开的一个实施方式的用于生成网点外观图像的处理的流程图;
图4A是根据本公开的实施方式的计算机系统和用户的表示;
图4B是图示根据本公开的实施方式的托管网点外观应用的计算机系统的功能框图;以及
图5是根据本公开的一个实施方式的用于为视频生成网点外观图像的装置的框图。
具体实施方式
本公开的某些实施方式提供了为CG动画电影生成“网点”外观,其包括量化从渲染器(例如,光线跟踪器)接收到的渲染的平滑着色并且将半色调点和阴影线集成到渲染。在阅读这些描述之后,如何在各个实施方式和应用中实施本公开将变得显而易见。虽然本文将描述本公开的各个实施方式,但是应该理解的是,这些实施方式仅以示例而非限制的方式给出。由此,不应将各个实施方式的这种详细描述解释为限制本公开的范围或广度。
如上所述,CG动画电影的“图片外观”的基本原理需要被重新设计以通过生成网点外观来使“漫画书”外观栩栩如生。问题之一包括重组照明和渲染模型以模仿打印和手绘的艺术品。CG动画电影的图片外观的基本原理的其它问题包括图案投影问题、图案梯度问题、打印技术问题和量化问题。
关于图案投影问题,虽然阴影图案有时提供3D形式的指示,但是打印页面上的网点和阴影图案通常存在于图像的空间中,并且不需要移动或存在于真实的3D空间中。但是,由于图像不是静态的(即,对象和相机移动),因此需要解决许多打印技术能够忽略的问题。例如,需要解决的一个问题包括当点图案被简单地投影到场景中并且场景中的角色转向时点图案的布置。该问题变成角色是否应该游遍图案、图案是否应该粘在角色上但可能伸展,或者是否应该填充附加图案。其它需要解决的问题包括如何响应极端的相机移动以及如何处置具有相同对象的稍微偏移视角的立体输出。
关于图案梯度问题,网点不能仅仅是打开(on)或关闭(off)的点。即,为了模拟打印,需要知道相对于每个色调梯度的每个像素的位置。
关于打印技术问题,打印图案中的任何点或线的厚度通常反映该区域沿着单个色调范围的亮度。但是,当引入运动时,图案可能会分散注意力,尤其是当图案在重要特征(诸如,眼睛)上移动时。因此,需要一种在复杂的移动表面上重现丝网印刷的感觉,同时专门保护可能在值梯度内任何地方的特征的方法。该解决方案还需要是灵活的和交互式的。
关于量化问题,需要简化平滑渐变以匹配到均匀值的区域中。
因此,为了解决上述问题,将从对漫画书艺术和概念绘画的研究中获得的规则结合到应用中。在一个实施方式中,本公开提供了孵化器和脱粒器应用,以量化光线跟踪器的平滑着色,并将半色调点和阴影线(统称为“网点”)集成到渲染图像中。由于可以在CG动画电影的每一帧上使用孵化器和脱粒器应用,因此这些应用还必须足够快和稳健,以满足整个电影的需求。
图1是根据本公开的一个实施方式的网点外观生成器100的框图。在图1所示的实施方式中,网点外观生成器100包括孵化器120和脱粒器130。
在一个实施方式中,渲染器110(例如,光线跟踪器)生成渲染模型的平滑着色,并将渲染图像以及渲染图像的每个像素的位置信息发送到网点外观生成器100。孵化器120使用来自渲染器110的位置信息为渲染图像的每个像素生成图案。例如,孵化器120生成沿着角色的边缘延伸的点,使得随着角色靠近相机,这些点变得更大,并且随着角色远离相机,这些点变得更小。
在一个实施方式中,孵化器120生成模拟打印的伪像的图案。例如,孵化器120从渲染模型生成网点、线和网格图案(对于2-D和3-D实施方式)。孵化器120包括投影仪122,其然后使用点的位置(P)、参考位置(Pref)、该点处的表面法线(N),以及渲染模型的UV全局变量将图案投影到场景中的对象上。
在一个实施方式中,孵化器120还使用对象空间和边界框中心。投影模式被选择为以下之一:(1)UV空间;(2)屏幕空间;(3)单轴;或者(4)三平面的。然后修改投影变换,以根据给定镜头的需要调整图案的位置、朝向和频率。对于其中三平面投影不能对每个轴工作的情况(例如,当相机非常宽或对象形状或透视收缩导致不必要的压缩或拉伸时),将提供控件来调整每个轴的变换。如果包括对象空间或边界框中心,那么锁定投影,使得图案跟踪到几何形状的位置,并且图案比例根据需要进行标准化。
在另一个实施方式中,孵化器120还使用孵化器节点的轴输入来附着动画轴以匹配对象的平移和旋转。因此,在这个实施方式中,一旦图案被定位,艺术家就可以编辑每个图案的外观。即,使得艺术家可以控制比例、朝向、间距和硬度。该工具的3D实施方式还提供了可选的分叉模式,该模式使用导数来标准化图案比例(即,如果图案变得太大,那么线或点被分开)。
在一个实施方式中,脱粒器130将渲染图像划分为由亮度定义的固定数量的分区(或梯度)。即,脱粒器130将亮度梯度划分为可以被单独操纵的一系列连续的带。因此,脱粒器130在以下方面提供了快速的全局控制:要细分的梯度范围;以及最终条件(即,超出范围的值的布置)。对于每个所得的带,脱粒器130提供对亮度带的位置和宽度、带之间的过渡区的宽度,要在每个过渡区上施加的图案以及最终颜色校正的交互式控制。这允许用户快速定位图案(通过定位具有相关联的图案的带),并将图案限制到其中图案的干扰最小或最有用的值区域。
在另一个实施方式中,脱粒器130包括施加器134,该施加器134将新生成的梯度施加到第二图像的亮度提取的颜色,并且将结果输出为新的RGB颜色。脱粒器130还包括提取器132,该提取器132通过从亮度提取颜色来工作。基于亮度相对于给定像素处的传入的网点梯度通道的值来重新映射亮度。这些值然后被存储为“乘数”层,这是新的梯度,其值取决于像素是需要变暗还是变亮或者大于一或者小于一。一旦亮度被转换,就可以使用标准乘法将网点施加到任何图像。因此,在另一个实施方式中,无论新位置处的亮度如何,都可以在图形的其它位置使用新生成的梯度来应用如上游定义的网点分布。在另一个实施方式中,为了获得动漫外观,可以使用脱粒器130,但是可以用统一的灰度值代替网点。这可能会迫使梯度的每个带以相同的值步进,从而将网点梯度简化为简单的轮廓。
在一个实施方式中,脱粒器130还接收由孵化器120生成的图案,并将该图案施加到量化的分区。例如,如果脱粒器130被设置为将图像量化为四个亮度分区,那么脱粒器130可以被设置为向两个最亮的分区施加点,并且向两个较暗的分区施加阴影线。因此,在这个实施方式中,脱粒器130将渲染的图像划分为由亮度定义的分区(或梯度),并将所选择的图案集成到定义的分区的边缘上。
图2A是根据本公开的一个实施方式的生成网点图像的示例进展200。在图2A所示的实施方式中,通过将平滑梯度图像210量化为量化图像220并且将由孵化器120生成的图案240集成在渐变带之间的过渡区中将平滑梯度图像210处理为“网点”图像230。
图2B、图2C和图2D示出了根据本公开的一个实施方式的在平滑梯度图像上施加网点外观生成器的结果。图2B是平滑梯度图像的示例。图2C是带有图案的图像的示例。图2D是网点图像的示例。
图2E、图2F、图2G、图2H和图2J示出了根据本公开的另一个实施方式的在平滑梯度图像上施加网点外观生成器的结果。图2E是平滑梯度图像的示例。图2F和图2G是通过将孵化器处理施加到图2E所产生的图案的示例。图2H是经由脱粒器处理施加到图2E的灰度亮度梯度的图案的示例。图2J是通过将脱粒器处理过的亮度图2E施加到输入平滑梯度图像图2E而得到的最终网点图像的示例。
图3是根据本公开的一个实施方式的用于生成网点外观图像的处理300的流程图。在一个实施方式中,方法300被实现为应用,其可以被划分为孵化器应用和脱粒器应用。
在一个实施方式中,孵化器应用在方框310从渲染器接收渲染图像的平滑着色以及位置信息。孵化器应用在位置312处使用位置信息为渲染图像的每个像素生成图案。例如,孵化器应用生成沿着角色边缘延伸的点,使得随着角色靠近相机,这些点变得更大,并且随着角色远离相机,这些点变得更小。孵化器应用生成模拟打印的伪像的图案,诸如网点、线和网格图案。孵化器应用在方框314处使用点的位置(P)、参考位置(Pref)、该点处的表面法线(N)和渲染图像的UV全局变量将图案投影到场景中的对象上。
在一个实施方式中,孵化器应用还使用对象空间和边界框中心。投影模式被选择为以下之一:(1)UV空间;(2)屏幕空间;(3)单轴;或者(4)三平面的。然后修改投影变换,以根据给定镜头的需要调整图案的位置、朝向和频率。对于其中三平面投影不能对每个轴工作的情况(例如,当相机非常宽或对象形状或透视收缩导致不必要的压缩或拉伸时),将提供控件来调整每个轴的变换。如果包括对象空间或边界框中心,那么锁定投影,使得图案跟踪到几何形状的位置,并图案比例根据需要进行标准化。
在另一个实施方式中,孵化器应用还使用孵化器节点的轴输入来附着动画轴以匹配对象的平移和旋转。因此,在这个实施方式中,一旦图案被定位,艺术家就可以编辑每个图案的外观。即,使艺术家可以控制比例、朝向、间距和硬度。该工具的3D实施方式还提供了可选的分叉模式,该模式使用导数来标准化图案比例(即,如果图案变得太大,那么线或点被分开(split))。
在一个实施方式中,在方框320处,脱粒器应用将渲染图像划分为由亮度定义的分区(或梯度)。即,脱粒器应用将亮度梯度划分为可以被单独操纵的一系列连续的带。因此,脱粒器应用在以下方面提供了快速的全局控制:要细分的梯度范围;以及最终条件(即,在范围之外的值的布置)。对于每个所得的带,脱粒器应用提供对亮度带的位置和宽度、带之间的过渡区的宽度,要在每个过渡区上施加的图案以及最终颜色校正的交互式控制。这允许用户快速定位图案(通过定位具有相关联的图案的带),并将图案限制到其中图案的干扰最小或图案最有用的值区域。
在另一个实施方式中,脱粒器应用在方框330处从亮度提取颜色,该亮度基于其相对于给定像素处的传入的网点梯度通道的值被重新映射。然后在方框332处,这些值被存储为“乘数”层,这是新的梯度,其值取决于像素是需要变暗还是变亮或者大于一或者小于一。一旦亮度被转换,在方框334处就使用标准乘法将网点施加到任何图像。因此,在另一个实施方式中,无论新位置处的亮度如何,都可以在图形的其它位置使用新生成的梯度来应用如上游定义的网点分布。然后,在方框336处,脱粒器应用将所提取的颜色施加到修改后的亮度梯度,并将结果输出为新的RGB颜色。在另一个实施方式中,为了获得动漫外观,可以使用脱粒器应用,但是可以用统一的灰度值代替网点。这可能会迫使梯度的每个带以相同的值步进,从而将网点梯度简化为简单的轮廓。
在一个实施方式中,在方框340处,脱粒器应用接收由孵化器应用生成的图案,并将图案施加到量化或分区的图像。例如,在相对亮的分区中,脱粒器应用施加点,而在相对暗或阴影的分区中,脱粒器应用施加线。因此,在这个实施方式中,脱粒器应用将渲染图像划分为由亮度定义的分区(或梯度),并将所选择的图案集成到定义的分区的边缘上。
图4A是根据本公开的实施方式的计算机系统400和用户402的表示。用户402使用计算机系统400来实现如相对于图1中所示的框图的网点外观生成器100和图3中所示的处理300所示和所述的网点外观应用490。
计算机系统400存储并执行图4B的网点外观应用490。另外,计算机系统400可以与软件程序404通信。软件程序404可以包括用于网点外观应用的软件代码。可以将软件程序404加载在诸如CD、DVD或存储驱动器的外部介质上,如将在下面进一步解释的。
此外,计算机系统400可以连接到网络480。网络480可以以各种不同的体系架构连接,例如,客户端-服务器体系架构、对等网络体系架构或其它类型的体系架构。例如,网络480可以与服务器485通信,该服务器485协调在网点外观应用490内使用的引擎和数据。同样,网络可以是不同类型的网络。例如,网络480可以是互联网、局域网或局域网的任何变体、广域网、城域网、内联网或外联网或无线网络。
图4B是图示根据本公开的实施方式的托管网点外观应用490的计算机系统400的功能框图。控制器410是可编程处理器,并且控制计算机系统400及其组件的操作。控制器410从存储器420或嵌入式控制器存储器(未示出)加载指令(例如,以计算机程序的形式),并执行这些指令以控制系统。在其执行中,控制器410向网点外观应用490提供软件系统,诸如,以使得能够在网点外观应用490内创建和配置引擎和数据提取器。替代地,该服务可以被实现为控制器410或计算机系统400中的单独的硬件组件。
存储器420临时存储供计算机系统400的其它组件使用的数据。在一种实施方式中,存储器420被实现为RAM。在一种实施方式中,存储器420还包括长期或永久存储器,诸如闪存和/或ROM。
存储器430临时或长时间存储数据,以供计算机系统400的其它组件使用。例如,存储装置430存储由网点外观应用490使用的数据。在一种实施方式中,存储装置430是硬盘驱动器。
媒体设备440接收可移除媒体,并从插入的媒体读取数据和/或向插入的媒体读取写入数据。在一种实施方式中,例如,媒体设备440是光盘驱动器。
用户界面450包括用于接受来自计算机系统400的用户的用户输入并将信息呈现给用户402的组件。在一种实施方式中,用户界面450包括键盘、鼠标、音频扬声器和显示器。控制器410使用来自用户402的输入来调整计算机系统400的操作。
I/O接口460包括一个或多个I/O端口,以连接到对应的I/O设备,诸如外部存储装置或辅助设备(例如,打印机或PDA)。在一种实施方式中,I/O接口460的端口包括诸如USB端口、PCMCIA端口、串行端口和/或并行端口之类的端口。在另一种实施方式中,I/O接口460包括用于与外部设备无线通信的无线接口。
网络接口470包括支持以太网连接的有线和/或无线网络连接,诸如RJ-45或“Wi-Fi”接口(包括但不限于802.11)。
计算机系统400包括计算机系统典型的附加硬件和软件(例如,电源、冷却、操作系统),但是为了简单起见在图4B中未具体示出这些组件。在其它实施方式中,可以使用计算机系统的不同配置(例如,不同的总线或存储配置或多处理器配置)。
图5是根据本公开的一个实施方式的用于为视频生成网点外观图像的装置500的框图。在图5所示的实施方式中,装置500包括用于接收的部件510、用于生成的部件520、用于划分的部件530以及用于施加的部件540。
用于接收的部件510被配置为(例如,从渲染器)接收平滑渐变渲染图像和渲染图像中像素的位置信息。用于生成的部件520被配置为使用位置信息为渲染图像中的像素中的每个像素生成图案。用于划分的部件530被配置为将渲染图像划分为由亮度定义的固定数量的分区,以产生亮度梯度图像。用于施加的部件540被配置为将图案施加到亮度梯度图像的固定数量的分区。
在一个实施方式中,网点外观生成系统100是完全用硬件配置的系统,该硬件包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门/逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路系统。在另一个实施方式中,网点外观生成系统100配置有硬件和软件的组合。例如,孵化器120和脱粒器130配置有硬件,而渲染器的功能被配置为驻留在单独处理器内的软件。
提供本文所公开的实现方式的描述以使本领域的任何技术人员能够制造或使用本公开。对这些实现方式的许多修改对于本领域技术人员而言将是显而易见的,并且在不脱离本公开的精神或范围的情况下,本文中定义的原理可以应用于其它实现方式。因此,本公开不旨在限于本文中所示的实现方式,而是应被赋予与本文中公开的原理和新颖特征一致的最广范围。
本公开的各种实现方式用电子硬件、计算机软件或这些技术的组合来实现。一些实现方式包括由一个或多个计算设备执行的一个或多个计算机程序。一般而言,计算设备包括一个或多个处理器、一个或多个数据存储组件(例如,易失性或非易失性存储器模块以及永久性光和磁存储设备,诸如硬盘和软盘驱动器、CD-ROM驱动器和磁带驱动器)、一个或多个输入设备(例如,游戏控制器、鼠标和键盘)和一个或多个输出设备(例如,显示设备)。
计算机程序包括可执行代码,该可执行代码通常存储在持久性存储介质中,然后在运行时被复制到存储器中。至少一个处理器通过以规定顺序从存储器中检索程序指令来执行代码。当执行程序代码时,计算机从输入设备和/或存储设备接收数据、对数据执行操作,并且然后将结果数据传递到输出设备和/或存储设备。
本领域技术人员将认识到的是,本文描述的各种说明性模块和方法步骤可以被实现为电子硬件、软件、固件或前述的组合。为了清楚地说明硬件和软件的这种互换性,在本文中总体上根据其功能描述了各种说明性模块和方法步骤。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以各种方式来实现所描述的功能,但是这种实现决定不应被解释为导致脱离本公开的范围。此外,模块或步骤内的功能分组是为了易于描述。可以在不脱离本公开的情况下将特定功能从一个模块或步骤移动到另一个模块或步骤。
在本公开的特定实现方式中,不一定需要每个上述示例的所有特征。另外,应该理解的是,本文提出的描述和附图代表本公开广泛预期的主题。还应该理解的是,本公开的范围完全涵盖对于本领域技术人员而言将变得显而易见的其它实现方式,并且本公开的范围因此仅由所附权利要求书来限制。

Claims (18)

1.一种用于为相机捕获的视频中的角色生成网点外观图像的方法,所述方法包括:
从渲染器接收平滑渐变渲染图像和渲染图像中像素的位置信息;
使用像素的位置信息针对渲染图像中的像素生成图案,所生成的图案包括沿着角色的边缘延伸的点,使得随着角色靠近相机,这些点变得更大,并且随着角色远离相机,这些点变得更小;
将渲染图像划分为由亮度定义的固定数量的分区,以产生亮度梯度图像,其中所述亮度梯度图像包括能够被单独操纵的一系列连续的带;以及
将生成的图案施加到亮度梯度图像的固定数量的分区。
2.如权利要求1所述的方法,还包括:
提供对位置、宽度、过渡宽度、过渡图案和最终颜色校正的交互式控制。
3.如权利要求1所述的方法,其中生成图案包括:
生成模拟打印的伪像的图案,包括点、线和网格图案。
4.如权利要求1所述的方法,还包括:
调整图案的位置、朝向和频率。
5.如权利要求1所述的方法,还包括:
将图案投影到视频场景中的对象上。
6.如权利要求1所述的方法,还包括:
一旦图案被定位,就编辑图案中的每个图案的外观。
7.如权利要求1所述的方法,还包括:
从亮度提取颜色。
8.如权利要求7所述的方法,还包括:
将所提取的颜色施加到亮度梯度图像;以及
将亮度梯度图像输出为新颜色。
9.如权利要求1所述的方法,其中将图案施加到固定数量的分区包括:
在相对亮的分区中施加点,并且在相对暗的分区中施加线。
10.一种用于为相机捕获的视频中的角色生成网点外观图像的网点外观生成系统,包括:
孵化器,用于从渲染器接收平滑渐变渲染图像以及每个像素的位置信息,所述孵化器被配置为使用像素的位置信息来生成用于渲染图像的图案,其中所生成的图案包括沿着角色的边缘延伸的点,使得随着角色靠近相机,这些点变得更大,并且随着角色远离相机,这些点变得更小;以及
脱粒器,用于将渲染图像划分为由亮度定义的固定数量的分区以产生亮度梯度图像,其中所述亮度梯度图像包括能够被单独操纵的一系列连续的带,
所述脱粒器被配置为将生成的图案施加到亮度梯度图像的固定数量的分区。
11.如权利要求10所述的系统,其中所述图案模拟打印的伪像。
12.如权利要求10所述的系统,其中所述图案包括点、线和网格。
13.如权利要求10所述的系统,还包括:
投影仪,被配置为将图案投影到视频场景中的对象上。
14.如权利要求10所述的系统,还包括:
提取器,被配置为从亮度提取颜色。
15.如权利要求14所述的系统,还包括:
施加器,被配置为将所提取的颜色施加到亮度梯度图像,并且将亮度梯度图像输出为新颜色。
16.一种用于为相机捕获的视频中的角色生成网点外观图像的装置,所述装置包括:
用于从渲染器接收平滑渐变渲染图像和渲染图像中像素的位置信息的部件;
用于使用像素的位置信息针对渲染图像中的像素生成图案的部件,所生成的图案包括沿着角色的边缘延伸的点,使得随着角色靠近相机,这些点变得更大,并且随着角色远离相机,这些点变得更小;
用于将渲染图像划分为由亮度定义的固定数量的分区以产生亮度梯度图像的部件,其中所述亮度梯度图像包括能够被单独操纵的一系列连续的带;以及
用于将生成的图案施加到亮度梯度图像的固定数量的分区的部件。
17.如权利要求16所述的装置,还包括:
用于将图案投影到视频场景中的对象上的部件。
18.如权利要求16所述的装置,还包括:
用于将所提取的颜色施加到亮度梯度图像,并且将亮度梯度图像输出为新颜色的部件。
CN201980077686.5A 2018-12-05 2019-12-05 网点外观生成器 Active CN113168709B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862775842P 2018-12-05 2018-12-05
US62/775,842 2018-12-05
US16/655,008 2019-10-16
US16/655,008 US11270474B2 (en) 2018-12-05 2019-10-16 Screen-tone look generator
PCT/US2019/064659 WO2020118040A1 (en) 2018-12-05 2019-12-05 Screen-tone look generator

Publications (2)

Publication Number Publication Date
CN113168709A CN113168709A (zh) 2021-07-23
CN113168709B true CN113168709B (zh) 2024-01-12

Family

ID=70970322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980077686.5A Active CN113168709B (zh) 2018-12-05 2019-12-05 网点外观生成器

Country Status (6)

Country Link
US (1) US11270474B2 (zh)
EP (1) EP3874454A4 (zh)
JP (2) JP2022511423A (zh)
KR (1) KR102594008B1 (zh)
CN (1) CN113168709B (zh)
WO (1) WO2020118040A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102608863B1 (ko) * 2022-10-31 2023-12-01 주식회사 스튜디오징스 만화 특성 표현을 위한 애니메이팅 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184888B1 (en) * 1997-10-31 2001-02-06 Hewlett-Packard Company Method and apparatus for rapidly rendering and image in response to three-dimensional graphics data in a data rate limited environment
US6847361B1 (en) * 1999-09-10 2005-01-25 Namco, Ltd. Image generation system and program
US7126723B1 (en) * 1999-08-06 2006-10-24 Hewlett-Packard Development Company, L.P. Producing engraving-style halftone images
CN102984526A (zh) * 2011-09-02 2013-03-20 索尼公司 图像处理装置和方法以及程序
CN103403755A (zh) * 2011-02-08 2013-11-20 浦项工科大学校产学协力团 图像处理方法及装置
JP2017111719A (ja) * 2015-12-18 2017-06-22 株式会社コーエーテクモゲームス 映像処理装置、映像処理方法、及び映像処理プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771262B2 (en) * 1998-11-25 2004-08-03 Siemens Corporate Research, Inc. System and method for volume rendering-based segmentation
JP4174133B2 (ja) * 1999-05-12 2008-10-29 株式会社バンダイナムコゲームス 画像生成方式
US20020118209A1 (en) * 1999-09-21 2002-08-29 Hylen Steve H.L. Computer program product for introducing painting effects into a digitized photographic image
JP3777288B2 (ja) * 2000-05-10 2006-05-24 株式会社ナムコ ゲームシステム及び情報記憶媒体
JP2002372948A (ja) * 2001-06-18 2002-12-26 Fujitsu Ltd Pdpの駆動方法および表示装置
JP3626144B2 (ja) * 2002-03-01 2005-03-02 株式会社セルシス 立体オブジェクトデータからの漫画的表現の2次元画像の生成方法および生成プログラム
JP2004179903A (ja) * 2002-11-26 2004-06-24 Seiko Epson Corp スクリーン組み合わせ決定方法、装置、プログラム、記録媒体およびスクリーン組み合わせ
US7738725B2 (en) * 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
JP4804382B2 (ja) * 2007-03-05 2011-11-02 シャープ株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
JP2011118833A (ja) 2009-12-07 2011-06-16 Sony Corp マンガ作成装置、マンガ作成方法及びマンガ作成プログラム
US9754629B2 (en) * 2010-03-03 2017-09-05 Koninklijke Philips N.V. Methods and apparatuses for processing or defining luminance/color regimes
US9041717B2 (en) 2011-09-12 2015-05-26 Disney Enterprises, Inc. Techniques for processing image data generated from three-dimensional graphic models
JP2014078823A (ja) * 2012-10-10 2014-05-01 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
US20140267342A1 (en) * 2013-03-13 2014-09-18 Victor Liu Method of creating realistic and comic avatars from photographs
US9466259B2 (en) * 2014-10-01 2016-10-11 Honda Motor Co., Ltd. Color management
KR101975246B1 (ko) * 2014-10-10 2019-05-07 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184888B1 (en) * 1997-10-31 2001-02-06 Hewlett-Packard Company Method and apparatus for rapidly rendering and image in response to three-dimensional graphics data in a data rate limited environment
US7126723B1 (en) * 1999-08-06 2006-10-24 Hewlett-Packard Development Company, L.P. Producing engraving-style halftone images
US6847361B1 (en) * 1999-09-10 2005-01-25 Namco, Ltd. Image generation system and program
CN103403755A (zh) * 2011-02-08 2013-11-20 浦项工科大学校产学协力团 图像处理方法及装置
CN102984526A (zh) * 2011-09-02 2013-03-20 索尼公司 图像处理装置和方法以及程序
JP2017111719A (ja) * 2015-12-18 2017-06-22 株式会社コーエーテクモゲームス 映像処理装置、映像処理方法、及び映像処理プログラム

Also Published As

Publication number Publication date
JP2023126774A (ja) 2023-09-12
US11270474B2 (en) 2022-03-08
EP3874454A1 (en) 2021-09-08
WO2020118040A1 (en) 2020-06-11
CN113168709A (zh) 2021-07-23
US20200184689A1 (en) 2020-06-11
KR102594008B1 (ko) 2023-10-26
JP2022511423A (ja) 2022-01-31
EP3874454A4 (en) 2022-01-19
KR20210080484A (ko) 2021-06-30

Similar Documents

Publication Publication Date Title
US11055828B2 (en) Video inpainting with deep internal learning
US11158117B2 (en) Estimating lighting parameters for positions within augmented-reality scenes
CN110121034B (zh) 一种在视频中植入信息的方法、装置、设备及存储介质
CN109964255B (zh) 使用3d视频数据的3d打印
CA2326996A1 (en) Method and apparatus for color manipulation
JP6543508B2 (ja) 映像処理方法及び装置
CN111988657A (zh) 一种广告插入方法及装置
JP2023126774A (ja) スクリーントーンルック生成器
CN106447756A (zh) 用于生成用户定制的计算机生成动画的方法和系统
CN111402385B (zh) 一种模型处理的方法及装置、电子设备、存储介质
US8842913B2 (en) Saturation varying color space
US8942476B1 (en) Saturation varying and lighting independent color color control for computer graphics
KR102448551B1 (ko) 노드 기반 그래프에 의해 구성되는 알고리즘을 이용한 영상 처리 방법 및 장치
KR102402643B1 (ko) 3차원 모델링의 색상 최적화 처리 시스템
KR20230022153A (ko) 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진
US11195308B2 (en) Patcher tool
CN112991498A (zh) 一种镜头动画快速生成系统及方法
KR102656674B1 (ko) 타겟 스타일 및 타겟 색상 정보에 기반하여, 입력 이미지를 변환하는 방법 및 장치
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
KR20230133061A (ko) 3차원 스캐닝 방법 및 장치
KR20230149934A (ko) 증강현실 기반의 입술 메이크업을 위한 이미지 처리 방법 및 시스템
CN117974946A (zh) 一种图像处理方法、系统及电子设备
CN115689914A (zh) 用于减少图像中的干扰的技术
CN117745892A (zh) 粒子生成表现控制方法、装置、存储介质及电子装置
CN117649352A (zh) 一种图像光照处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant