CN113379775A

CN113379775A - 利用彩色化神经网络基于交互式颜色边缘生成彩色化图像

Info

Publication number: CN113379775A
Application number: CN202011551713.9A
Authority: CN
Inventors: 柳承珠; R·张; M·费希尔; 吕婧琬
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 2020-03-09
Filing date: 2020-12-24
Publication date: 2021-09-10
Also published as: DE102020007951A1; US10997752B1

Abstract

本公开的实施例涉及利用彩色化神经网络基于交互式颜色边缘生成彩色化图像。公开了用于利用边缘预测神经网络和边缘引导彩色化神经网络将灰度数字图像转变为彩色化的数字图像的方法、系统和非瞬态计算机可读存储介质。在一个或多个实施例中，所公开的系统将颜色边缘预测神经网络应用于灰度图像以生成指示预测色度边缘的颜色边缘图。所公开的系统可以经由彩色化图形用户界面向用户呈现颜色边缘图，并且接收用户色点和颜色边缘修改。所公开的系统可以将第二神经网络、边缘引导彩色化神经网络应用于颜色边缘图或修改后的边缘图、用户色点和灰度图像以生成边缘约束的彩色化的数字图像。

Description

利用彩色化神经网络基于交互式颜色边缘生成彩色化图像

技术领域

本公开的实施例涉及数字图像领域，更具体地涉及生成反映所选择的颜色的数字图像。

背景技术

近年来，在用于编辑和生成数字图像的硬件和软件平台方面已经实现了明显改进。例如，开发人员已经创建了用于修改或改进包括照片和图示的数字图像的技术。为了说明，常规图像彩色化(colorizing) 系统可以基于对特定填充颜色的用户选择来向复杂的黑白或灰度图像自动添加颜色。例如，客户端设备可以选择与灰度图像的特定区域相对应的颜色，并且图像彩色化系统可以生成反映所选择的颜色的数字图像。

尽管常规图像彩色化系统可以向数字图像添加颜色，但其具有若干技术缺点。具体地，在将颜色应用于数字图像时，常规图像编辑系统时常是不准确的、不灵活的且效率低的。例如，常规图像彩色化系统时常添加导致难以置信的、不真实的数字图像的颜色。更具体地，常规系统时常无法针对图像的特定区域精确地确定期望颜色区，并且不准确地生成难以置信的所得数字图像。实际上，由常规图像彩色化系统上色的图像时常遭受颜色泄漏于不确定性段之间的渗色问题。

附加地，常规图像彩色化系统时常是不灵活的。特别地，常规图像彩色化系统死板地生成难以修改或调整的彩色化的数字图像。例如，在生成彩色化的数字图像之后，常规图像彩色化系统时常是死板的，这是因为其无法灵活地调整彩色化的数字图像以反映不同的颜色区 (不具有大量用户输入)。更具体地，常规系统时常包括将单个黑白图像死板地映射到彩色图像的单组填充边界中的算法。因此，常规图像彩色化系统时常是不灵活的且未能提供用于修改彩色化的数字图像和着色区的流畅选项。

此外，常规图像彩色化系统时常是效率低的。特别地，常规系统必须时常投入附加计算资源来校正渗色或其他不准确性。例如，常规系统时常需要大量的用户交互以及对应的存储器和处理能力，以在不正确地着色的区域内修改数字图像。因此，时常需要常规图像彩色化系统来重新分析像素或区并且调整期望的彩色化。即使这样，通过在一个段中添加颜色，常规系统也可以时常对其他段进行错误着色。备选地，许多常规系统通过要求用户明确地分割期望区并且执行泛洪填充，来投入附加计算和时间资源。

相对于常规图像彩色化系统存在这些和其他缺点。

发明内容

一个或多个实施例利用系统、方法和非瞬态计算机可读存储介质来提供益处和/或解决前述问题或本领域中的其他问题中的一个或多个问题，该系统、方法和非瞬态计算机可读存储介质利用彩色化神经网络来高效地、准确地且灵活地执行用户引导的灰度图像彩色化。特别地，所公开的系统可以并入颜色边缘作为输入，以帮助引导彩色化神经网络准确地传播颜色输入。为了说明，所公开的系统可以利用颜色边缘预测神经网络来生成和呈现用户可选择的颜色边缘。所公开的系统可以灵活地添加或移除颜色边缘，然后利用彩色化神经网络来分析颜色边缘和所选择的色点，以生成彩色化的图像。通过使用颜色边缘预测神经网络来生成可以与彩色化神经网络一起利用的交互式颜色边缘，所公开的系统可以高效地且灵活地生成准确的彩色化的数字图像。

本公开的一个或多个实施例的附加特征和优点将在以下描述中阐述，并且部分地将根据说明书而变得明显，或者可以通过此类示例实施例的实践而获知。

附图说明

将通过使用下文总结的附图以附加特性和细节描述和解释各种实施例。

图1图示了根据本公开的一个或多个实施例的边缘引导彩色化系统可以在其中操作的环境。

图2A至图2B图示了根据本公开的一个或多个实施例的由常规系统和边缘引导彩色化系统生成的示例彩色化的图像。

图3图示了根据本公开的一个或多个实施例的用于生成彩色化的图像的概览。

图4A至图4B图示了根据本公开的一个或多个实施例的训练和应用颜色边缘预测神经网络以生成颜色边缘图的边缘引导彩色化系统。

图5图示了根据本公开的一个或多个实施例的根据颜色边缘图生成修改后的边缘图的边缘引导彩色化系统的概览。

图6A至图6B图示了根据本公开的一个或多个实施例的训练和应用边缘引导彩色化神经网络的边缘引导彩色化系统。

图7A至图7B图示了根据本公开的一个或多个实施例的示例彩色化图形用户界面。

图8图示了根据本公开的一个或多个实施例的边缘引导彩色化系统的示例架构的示意图。

图9图示了根据本公开的一个或多个实施例的用于生成彩色化的图像的一系列动作。

图10图示了根据本公开的一个或多个实施例的示例计算设备的框图。

具体实施方式

本公开的一个或多个实施例包括一种边缘引导彩色化系统，其利用深度彩色化神经网络来使用用户引导的颜色边缘高效地且准确地生成彩色化的图像。例如，边缘引导彩色化系统可以利用两阶段途径来生成彩色化的数字图像。在第一阶段，边缘引导彩色化系统可以利用边缘预测神经网络来分析灰度图像，并且生成包括一组颜色边缘的交互式边缘图。特别地，边缘引导彩色化系统可以经由图形用户界面来呈现该交互式边缘图，该图形用户界面包括用于修改颜色边缘的各种动态元件(诸如修改颜色边缘的数量的全局滑块元件、或推荐附加颜色边缘的建议(suggestion)元件)。在第二阶段中，边缘引导彩色化系统可以利用边缘引导彩色化神经网络来分析边缘图，以生成彩色化的数字图像。特别地，边缘引导彩色化系统可以利用所选择的颜色边缘连同灰度图像和所选择的色点作为对边缘引导彩色化神经网络的通道输入，以生成彩色化的数字图像。通过利用颜色边缘预测神经网络预测和呈现交互式颜色边缘，然后将交互式颜色边缘与边缘引导彩色化神经网络结合使用，边缘引导彩色化系统可以灵活地且高效地生成准确的彩色化的数字图像。

为了说明，在一个或多个实施例中，边缘引导彩色化系统利用颜色边缘预测神经网络来为灰度数字图像生成包括颜色边缘的颜色边缘图。边缘引导彩色化系统可以提供彩色化图形用户界面以供向客户端设备显示，该彩色化图形用户界面包括颜色边缘图、色点输入元件和灰度数字图像。边缘引导彩色化系统可以基于灰度数字图像、颜色边缘图和与色点输入元件的用户交互，使用边缘引导彩色化神经网络来生成彩色化的图像。边缘引导彩色化系统然后可以经由彩色化图形用户界面来提供彩色化的图像以供向用户显示。

如所提及的，边缘引导彩色化系统可以训练和应用颜色边缘预测神经网络来生成颜色边缘图。更具体地，边缘引导彩色化系统可以基于将预测颜色边缘与地面实况颜色边缘进行比较来训练颜色边缘预测神经网络。特别地，边缘引导彩色化系统可以利用Canny边缘检测算法来根据色度图像生成地面实况边缘。边缘引导彩色化系统然后可以将颜色边缘预测神经网络应用于对应的灰度图像以预测颜色边缘，然后通过将预测颜色边缘与地面实况边缘进行比较来训练边缘引导彩色化系统。

边缘引导彩色化系统一旦被训练就可以利用颜色边缘预测神经网络来预测灰度数字图像的颜色边缘。更具体地，边缘引导彩色化系统可以利用颜色边缘预测神经网络来生成初始边缘并且针对初始边缘中的每个初始边缘确定置信度得分。边缘引导彩色化系统可以标识具有满足颜色边缘阈值的置信度得分的初始边缘，并且利用所标识的边缘来生成颜色边缘图。

如所讨论的，边缘引导彩色化系统可以提供彩色化图形用户界面以供在客户端设备处进行显示，该彩色化图形用户界面包括颜色边缘图、色点输入元件和灰度数字图像。边缘引导彩色化系统可以利用彩色化图形用户界面来收集针对边缘引导彩色化神经网络的输入。特别地，边缘引导彩色化系统可以经由色点输入元件接收用户色点，该用户色点标识数字图像的、与特定颜色相对应的位置。

如上文所提及的，在一些实施例中，边缘引导彩色化系统还提供动态用户界面元件，以收集用户边缘引导并修改颜色边缘。在一些实施例中，边缘引导彩色化系统可以提供颜色边缘阈值元件、边缘建议元件和/或用户绘制的边缘元件。例如，基于与颜色边缘阈值元件(例如滑块或某种其他类型的元件)的交互，边缘引导彩色化系统可以修改由颜色边缘预测神经网络在生成颜色边缘时利用的颜色边缘阈值。类似地，基于与边缘建议元件的用户交互，边缘引导彩色化系统可以应用Canny边缘检测算法来标识灰度图像的亮度边缘以向客户端设备进行建议。而且，基于与用户绘制的边缘元件的用户交互，边缘引导彩色化系统可以经由客户端设备标识由用户绘制的边缘。

另外，边缘引导彩色化系统还可以训练和利用边缘引导彩色化神经网络来生成彩色化的图像。边缘引导彩色化系统可以使用训练数据来训练边缘引导彩色化神经网络。更具体地，边缘引导彩色化系统可以使用训练灰度图像、训练色点和从地面实况彩色图像提取到的训练颜色边缘作为边缘引导彩色化神经网络的训练输入，以生成预测的彩色化的图像。边缘引导彩色化系统可以通过将预测的彩色化的图像与地面实况彩色化的图像进行比较来训练边缘引导彩色化神经网络，并且调整网络参数以使损失最小化。

边缘引导彩色化系统一旦被训练就可以将边缘引导彩色化神经网络应用于目标灰度数字图像，以生成彩色化的图像。例如，在一些实施例中，边缘引导彩色化系统利用目标灰度图像、用户选择的色点和颜色边缘图作为边缘引导彩色化神经网络的输入通道，以生成彩色化的数字图像。在一些实施例中，边缘引导彩色化系统将边缘图直接级联到在边缘引导彩色化神经网络的各种层处分析的特征图中，以在预测灰度图像的颜色时进一步合并边缘引导。因此，边缘引导彩色化神经网络可以生成彩色化的图像，并且边缘引导彩色化系统可以经由彩色化图形用户界面向用户呈现彩色化的图像。

相对于常规系统，边缘引导彩色化系统提供了若干技术益处。例如，相对于常规系统，边缘引导彩色化系统可以提高准确性。特别地，通过利用颜色边缘预测神经网络来生成可以结合边缘引导彩色化神经网络使用的交互式颜色边缘，边缘引导彩色化系统可以减少渗色。实际上，通过利用颜色边缘预测神经网络来生成颜色边缘图，边缘引导彩色化系统更准确地定义了彩色化的图像的色度边缘。此外，边缘引导彩色化系统可以通过接收关于预测颜色边缘的用户边缘引导来提高预测的颜色边缘图的准确性。例如，边缘引导彩色化系统可以通过基于与交互式颜色边缘的用户交互生成修改后的颜色边缘图来提高准确性。

相对于常规系统，边缘引导彩色化系统还可以提高灵活性。实际上，通过提供各种边缘修改接口元件，边缘引导彩色化系统可以根据单个灰度数字图像生成若干不同的彩色化的图像。例如，边缘引导彩色化系统可以通过修改边缘阈值以在颜色边缘图内包括更多或更少的颜色边缘，来生成具有不同数量的色度边缘的彩色化的图像。类似地，通过所建议的附加颜色边缘并且允许用户修改颜色边缘，边缘引导彩色化系统可以灵活地生成彩色化的图像，并且提供各种选项来流畅地修改边缘或颜色区。

附加地，相对于常规系统，边缘引导彩色化系统可以提高效率。更具体地，边缘引导图像彩色化系统可以减少生成准确的彩色化的图像所需的交互数量和对应资源。例如，通过与边缘修改接口元件进行少数交互，边缘引导彩色化系统可以修改颜色边缘并且高效地校正所得数字图像中的误差。实际上，边缘引导彩色化系统可以生成边缘图，建议附加边缘并且快速地添加或移除边缘，从而以最少的用户输入生成彩色化的数字图像。

如由前述讨论所说明，本公开利用各种术语来描述边缘引导彩色化系统的特征和优点。现在提供关于此类术语的含义的附加细节。例如，如本文中所使用的，术语“灰度数字图像”是指包括反映灰色阴影的像素的数字图像。特别地，灰度数字图像可以包括每个像素具有在白色与黑色之间的中间色级值(intermediate tone gradation value)的图像。更具体地，灰度数字图像中的每个像素可以表示明度或强度值 (例如不表示颜色或色彩)。为了说明，灰度图像可以包括在CIE Lab 颜色空间中的L或明度通道中具有值的像素。

如本文中所使用的，术语“颜色边缘图”是指颜色边缘的类集。特别地，颜色边缘图可以包括阵列、图像或指示数字图像内的颜色边缘的位置的其他数字表示。例如，颜色边缘图可以包括二进制图像，该二进制图像具有指示对应目标数字图像的颜色边缘或色度边缘边界的位置的值。此外，颜色边缘图可以包括色度图内的检测到的边缘。与灰度数字图像相反，色度图是其像素反映颜色值的图像。例如，色度图可以包括CIE Lab颜色空间中的a和/或b个通道。

如本文中所使用的，术语“神经网络”是指可以基于训练输入来训练以粗略估计未知功能的机器学习模型。特别地，术语“神经网络” 可以包括互连的数字神经元的模型，该互连的数字神经元通信并且学习以粗略估计复杂功能，并且基于向模型提供的多个输入来生成输出。例如，术语“神经网络”包括一种或多种机器学习算法，包括卷积神经网络、递归神经网络(例如LSTM)、生成式神经网络、对抗式神经网络、支持向量机、前馈神经网络、自动编码器或变分自动编码器。如下文更详细地描述的，边缘引导彩色化系统可以利用颜色边缘预测神经网络(即，用于预测颜色边缘的神经网络)和边缘引导彩色化神经网络(即，用于基于颜色边缘来生成彩色化的数字图像的神经网络)。

如本文中所使用的，术语“颜色边缘”是指不同颜色的区域之间的边界。特别地，颜色边缘是指色度边界或色度值在数字图像内改变的区。颜色边缘指示数字图像内的颜色值的差异。例如，术语“颜色边缘”是指指示了在数字图像内具有不同颜色值的区域之间的边界的线。

如本文中所使用的，术语“色点输入元件”是指用于接收颜色输入的用户界面元件。更特别地，术语“色点输入元件”是指数字图像的与特定颜色相对应的点的用户输入的图形用户界面元件。例如，色点输入元件可以包括提供可用于数字图像的特定像素的整个颜色范围的色域。

如本文中所使用的，术语“彩色化的图像”是指包括具有颜色或色彩值的像素的数字图像。特别地，术语“彩色化的图像”是指已经被添加了颜色(例如RBG值)的图像。例如，术语“彩色化的图像” 可以指在CIE Lab颜色空间中的a和/或b个通道中具有像素值的图像。更具体地，彩色化的图像包括具有明度和颜色值的像素。

现在将相对于描绘边缘引导彩色化系统的示例实施例和实现的说明图提供关于边缘引导彩色化系统的附加细节。例如，图1图示了根据一个或多个实施例的边缘引导彩色化系统106可以在其中操作的系统环境(或“环境”)100的示意图。如所图示的，环境100包括经由网络112连接至用户客户端设备108的一个或多个服务器设备102。虽然图1示出了边缘引导彩色化系统106的实施例，但备选实施例和配置是可能的。

如图1中所示出，(多个)服务器设备102和用户客户端设备108 经由网络112被连接。环境100的组件中的每个组件可以经由网络112 进行通信。网络112包括计算设备可以借以进行通信的任何合适的网络。下文相对于图1以附加细节讨论了示例网络。

如所示出的，环境100包括(多个)服务器设备102。(多个)服务器设备102可以生成、存储、接收和传输电子数据，诸如数字视频、数字图像、数字音频、元数据等。(多个)服务器设备102可以从用户客户端设备108接收数据。例如，(多个)服务器设备102可以收集和/或接收数字图像，包括灰度数字图像、元数据、色点、颜色边缘、颜色边缘修改和其他数据。(多个)服务器设备102可以经由网络112 与用户客户端设备108进行通信。例如，(多个)服务器设备102可以将包括彩色化的图像、颜色边缘图和其他数据的数字图像发送给用户客户端设备108。在一些实施例中，(多个)服务器设备102包括分布式服务器，其中(多个)服务器设备102包括跨网络112分发并且位于不同物理位置中的多个服务器设备。(多个)服务器设备120可以包括内容服务器、应用服务器、通信服务器、web托管服务器或数字内容管理服务器。

如图1中进一步示出的，(多个)服务器设备102可以包括图像编辑系统104。图像编辑系统104可以创建、修改、编辑、共享、分发和/或管理数字图像。例如，图像编辑系统104存储从用户客户端设备 108和一个或多个其他用户客户端设备接收到的灰度数字图像和彩色化的图像的存储库。附加地，图像编辑系统104可以访问存储包括彩色数字图像和对应灰度图像的地面实况图像的数据库。图像编辑系统 104可以从用户客户端设备108接收数字图像、色点、颜色边缘修改和其他数据。此外，图像编辑系统104可以(例如经由用户客户端设备 108所访问的应用或网站)向用户客户端设备108分发彩色化的图像。

如图1中所示出的，边缘引导彩色化系统106可以被实现为图像编辑系统104的一部分。边缘引导彩色化系统106可以接收灰度数字图像并且生成彩色化的图像。更具体地，边缘引导彩色化系统106可以实现用于预测颜色边缘的颜色边缘预测神经网络和用于结合边缘约束对图像进行着色的边缘引导彩色化神经网络。边缘引导彩色化系统 106可以与用户客户端设备108进行通信。边缘引导彩色化系统106 可以接收灰度数字图像、色点和颜色边缘修改。附加地，边缘引导彩色化系统106可以(例如经由网络112)分发彩色化的图像。

如图1中所图示的，环境100包括用户客户端设备108。用户客户端设备108可以生成、存储、接收和发送数字数据。特别地，用户客户端设备108可以经由网络112将包括数字图像的数字数据发送给(多个)服务器设备102。用户客户端设备108可以向与用户客户端设备 108相关联的用户呈现数字图像。

图1中所图示的用户客户端设备108可以包括各种类型的客户端设备。例如，在一些实施例中，用户客户端设备108包括移动设备，诸如膝上型电脑、平板电脑、移动电话、智能电话等。在其他实施例中，用户客户端设备108包括非移动设备，诸如台式计算机或服务器或其他类型的客户端设备。下面相对于图1讨论了关于用户客户端设备108的附加细节。

如图1中进一步图示的，用户客户端设备108包括应用110。应用 110可以是用户客户端设备108上的web应用或本机应用(例如移动应用、桌面应用等)。应用110可以与边缘引导彩色化系统106接口连接，以向(多个)服务器设备102提供包括数字图像的数字内容。实际上，应用110可以从边缘引导彩色化系统106接收数据，并且可以呈现由边缘引导彩色化系统106生成的彩色化的图像以供在用户客户端设备108处进行显示。

尽管图1描绘了位于(多个)服务器设备102上的边缘引导彩色化系统106，但在一些实施例中，边缘引导彩色化系统106可以通过在环境100的一个或多个其他组件上(例如完全或部分地位于一个或多个其他组件上)来实现。例如，可以在用户客户端设备108上完全(或部分地)实现边缘引导彩色化系统106。例如，(多个)服务器设备 102和/或用户客户端设备108可以具有存储在其上的数字图像。

附加地，用户客户端设备108可以绕过网络112直接与边缘引导彩色化系统106通信。而且，边缘引导彩色化系统106可以访问安置在(多个)服务器设备102上或环境100中的其他位置的一个或多个数据库(例如数字文档数据库)。进一步地，边缘引导彩色化系统106 可以包括一个或多个机器学习模型(例如神经网络)，并且边缘引导彩色化系统106可以以各种不同方式跨(多个)服务器设备102、网络 112和用户客户端设备108实现。

如先前所提及的，边缘引导彩色化系统106可以生成彩色化的图像。例如，图2A至图2B图示了根据一个或多个实施例的生成彩色化的图像的边缘引导彩色化系统106。特别地，图2A至图2B将边缘引导彩色化系统106的一个或多个实施例与常规系统进行对比。例如，图2A图示了包括常规颜色边界206的常规彩色图像202。图2B图示了由边缘引导彩色化系统106生成的并且包括颜色边缘208的彩色化的图像204。

图2A图示了常规系统如何时常生成遭受渗色的彩色图像。渗色在颜色未留在准确边界内时发生。因为并未利用颜色呈现图2A，所以使用虚线图示该效果，该虚线示出了描画不同着色区的颜色边界。如所图示的，一些常规系统将灰度图像映射到常规彩色图像202。然而，常规系统时常无法为不确定性区域预测正确颜色，并且用不正确的颜色填充不确定性区域。常规彩色图像202包括描画像素颜色值的常规颜色边界206。例如，由常规颜色边界206界定的区内的像素共享相同颜色值。附加地，常规颜色边界206的任一侧上的区包含具有不同颜色值的像素。如所图示的，常规彩色图像202的常规颜色边界206是不准确的并且未能遵循火烈鸟或其他物体的轮廓。

图2B图示了由边缘引导彩色化系统106生成的彩色化的图像204。如上文所提及的，边缘引导彩色化系统106结合了边缘引导以对图像进行更准确地着色。边缘引导彩色化系统106可以基于预测颜色边缘和修改后的颜色边缘来对图像进行着色。通过结合边缘引导，边缘引导彩色化系统106依赖于所定义的颜色边缘以更准确地解决不确定性区域。彩色化的图像204包括颜色边缘208。颜色边缘208比图2A中所描绘的常规颜色边界206更为准确。特别地，由颜色边缘208界定的区内的像素具有相同的颜色值。例如，火烈鸟的颜色是粉色，水的颜色是蓝绿色，且天空的颜色是蓝色。如所图示的，边缘引导彩色化系统106生成彩色化的图像204，该彩色化的图像比由常规系统生成的常规彩色图像202更加准确。以下诸图和随附讨论提供了关于边缘引导彩色化系统106如何准确地生成彩色化的图像并且合并边缘引导的附加细节。

例如，图3图示了根据一个或多个实施例的利用两阶段途径生成彩色化的图像的边缘引导彩色化系统106。在第一阶段，边缘引导彩色化系统106利用颜色边缘预测神经网络来生成颜色边缘图。在第二阶段，边缘引导彩色化系统106利用边缘引导彩色化神经网络来生成彩色化的图像。

如所图示的，边缘引导彩色化系统106接收灰度数字图像302。边缘引导彩色化系统106利用颜色边缘预测神经网络304分析灰度数字图像302。例如，颜色边缘预测神经网络304可以包括具有多个层的深度卷积神经网络。在卷积神经网络的各种层处，颜色边缘预测神经网络304可以生成允许网络分析不同抽象级的特征图(例如特征向量)。通过分析这些特征图，颜色边缘预测神经网络304基于灰度数字图像 302来预测颜色边缘图306。例如，在一些实施例中，颜色边缘预测神经网络304利用由Richard Zhang、Phillip Isola和Alexei A.Efros在 649-666(2016)的ECCV 2016的“Colorful Image Colorization(彩色图像彩色化)”中描述的神经网络架构和方法，并且由Richard Zhang、 Jun-Yan Zhu、Phillip Isola、Xinyang Geng、Angela S.Lin、Tianhe Yu 和Alexei A.Efros在2017年计算机绘图专业组大会，预印文本库： 1705:02999上发表的“Real-Time User-Guided ImageColorization with Learned Deep Priors(具有所学习的深度先验的实时用户引导的图像彩色化)”中所描述的神经网络架构和方法，上述文献以其整体内容并入本文。

相对于图3，颜色边缘预测神经网络304使用颜色边缘阈值生成颜色边缘图306。边缘引导彩色化系统106利用颜色边缘预测神经网络 304来生成包括初始边缘的初始颜色边缘图。作为生成初始颜色边缘图的一部分，颜色边缘预测神经网络304针对初始边缘中的每个初始边缘确定置信度得分。边缘引导彩色化系统106确定颜色边缘阈值。在一个或多个实施例中，边缘引导彩色化系统106利用预定颜色边缘阈值。此外，边缘引导彩色化系统106可以从用户接收颜色边缘阈值。基于确定与初始边缘相关联的置信度得分满足颜色边缘阈值，边缘引导彩色化系统106将初始边缘作为颜色边缘包括在颜色边缘图306中。边缘引导彩色化系统106从颜色边缘图306中排除置信度得分低于颜色边缘阈值的初始边缘。图5至图6以及随附讨论提供了关于颜色边缘阈值的附加细节。

如图3中所示出的，边缘引导彩色化系统106向用户呈现颜色边缘图306。在至少一个实施例中，边缘引导彩色化系统106接收指示一个或多个颜色边缘修改310的用户输入。例如，相对于图3，边缘引导彩色化系统106经由颜色边缘阈值元件318、边缘建议元件320和/或用户绘制的边缘元件322来接收颜色边缘修改310。基于颜色边缘修改 310，边缘引导彩色化系统106生成修改后的边缘图324。

例如，边缘引导彩色化系统106可以检测与颜色边缘阈值元件318 的用户交互，并且修改颜色边缘阈值。基于修改后的边缘阈值，边缘引导彩色化系统106在修改后的边缘图324中包括一组修改后的颜色边缘。例如，如果边缘引导彩色化系统106利用高于颜色边缘阈值的修改后的边缘阈值，那么边缘引导彩色化系统106通过移除其置信度得分低于修改后的边缘阈值的颜色边缘来减少颜色边缘图306中的颜色边缘的数量。因此，修改后的边缘图324的这组修改后的颜色边缘包括比颜色边缘图306更少的颜色边缘。类似地，当边缘引导彩色化系统106实现低于颜色边缘阈值的修改后的边缘阈值时，边缘引导彩色化系统106增加这组修改后的颜色边缘中的边缘数量。

如所图示的，边缘引导彩色化系统106还可以经由边缘建议元件 320接收颜色边缘修改310。如所提及的，边缘引导彩色化系统106可以向用户呈现所建议的边缘。在至少一个实施例中，边缘引导彩色化系统106经由彩色化图形用户界面将照度边缘呈现为所建议的边缘。例如，边缘引导彩色化系统106可以将Canny边缘检测算法应用于灰度数字图像302以生成预测照度边缘。边缘引导彩色化系统106然后可以将预测照度边缘呈现为所建议的边缘。基于对照度边缘中的一个或多个边缘的用户选择，边缘引导彩色化系统106将所选择的边缘包括在修改后的边缘图324中。图5和随附讨论提供了关于边缘建议元件320的附加细节。

附加地，边缘引导彩色化系统106可以检测与用户绘制的边缘元件322的用户交互以确定颜色边缘修改310。在至少一个实施例中，边缘引导彩色化系统106向用户呈现用户绘制的边缘元件322。用户可以经由用户绘制的边缘元件322手动地输入附加的用户绘制的边缘。边缘引导彩色化系统106将用户绘制的边缘包括在修改后的边缘图324 中。图5和图7A至图7B以及随附讨论提供了关于用户绘制的边缘元件322的附加细节。

如图3中进一步图示的，边缘引导彩色化系统106利用边缘引导彩色化神经网络314来生成彩色化的图像316。边缘引导彩色化系统 106利用修改后的边缘图324、用户色点312和灰度数字图像302作为边缘引导彩色化神经网络314的输入。例如，边缘引导彩色化系统106 可以生成反映灰度数字图像302的灰度通道(例如灰度数字图像302 的像素的向量表示)。类似地，边缘引导彩色化系统106可以生成反映用户色点312的色点通道(例如像素位置和用户所选择的颜色的向量表示)。而且，边缘引导彩色化系统可以生成反映修改后的边缘图 324的边缘图通道(例如与颜色边缘相对应的像素的向量表示)。边缘引导彩色化系统106可以经由边缘引导彩色化神经网络314分析这些输入通道，以生成彩色化的图像316。

如图3中所图示的，边缘引导彩色化系统106经由彩色化图形用户界面接收用户色点312。用户色点312包括在彩色化的图像316内的各种位置处的用户指示的颜色样本。如上文所讨论的，边缘引导彩色化系统106可以利用边缘引导彩色化神经网络314来分析色点312，以生成准确地反映所选择的色点的彩色化的图像。

如上文所讨论的，边缘引导彩色化神经网络106可以包括具有多个层的深度卷积神经网络。这些中间层可以生成和分析处于不同抽象级的特征图，以生成预测的彩色化的图像。例如，不同卷积层可以生成不同维度的特征向量，并且将这些潜在向量馈送给附加卷积层。在每一层处，所学习的加权参数可以强调对生成准确预测输出很重要的不同特征。在一些实施例中，边缘引导彩色化系统106将修改后的边缘图324联接到在边缘引导彩色化神经网络314的中间层处被分析的所有特征图(或其子集)中。通过在边缘引导彩色化神经网络314的多个中间层处强调边缘图，边缘引导彩色化系统106可以减少渗色并且提高彩色化的图像316的准确性。图6A至图6B和随附讨论进一步描述了边缘引导彩色化系统106如何训练和应用边缘引导彩色化神经网络314。

因此，如图3中所图示的，边缘引导彩色化系统106利用边缘引导彩色化神经网络314来分析修改后的边缘图324(或如果边缘引导彩色化系统106未接收到颜色边缘修改310，则分析颜色边缘图306)、用户色点312和灰度数字图像302。边缘引导彩色化系统106利用边缘引导彩色化神经网络314来生成彩色化的图像316。因为边缘引导彩色化神经网络314依赖于颜色边缘的输入，所以可以将颜色边缘预测神经网络304视为预处理步骤。因为(1)要求用户手动输入颜色边缘既花费时间又耗费计算资源且(2)在从空白画布开始的情况下，用户可能无法直观地理解“边缘”的概念，所以颜色边缘预测神经网络304 提高了效率。因此，颜色边缘预测神经网络304通过基于灰度数字图像302预测颜色边缘图306来提供初始化。

尽管图3图示了利用修改后的边缘图324作为边缘引导彩色化神经网络314的输入，但边缘引导彩色化系统106也可以使用颜色边缘图306作为边缘引导彩色化神经网络314的输入。更具体地，在一个或多个实施例中，边缘引导彩色化系统106可以在不接收颜色边缘修改310的情况下自动生成彩色化的图像316。边缘引导彩色化系统106 可以将彩色化的图像316作为预览向用户进行呈现或作为成品进行呈现。

图4A至图4B提供了根据本公开的一个或多个实施例的关于边缘引导彩色化系统106如何训练和应用颜色边缘预测神经网络304的附加细节。更具体地，图4A图示了训练颜色边缘预测神经网络304的边缘引导彩色化系统106，并且图4B图示了应用颜色边缘预测神经网络 304以生成包括颜色边缘的颜色边缘图306的边缘引导彩色化系统 106。

如图4A中所图示的，在训练期间，边缘引导彩色化系统106将 canny边缘检测404应用于色度图Y 402，以生成地面实况色度边缘V 406。附加地，边缘引导彩色化系统106使用地面实况灰度数字图像X 408作为颜色边缘预测神经网络304的输入，以生成预测的边缘

410。边缘引导彩色化系统106将地面实况色度边缘V 406与预测的边缘

410进行比较并且应用损失函数412。基于损失函数412，边缘引导彩色化系统106训练颜色边缘预测神经网络304的参数。

边缘引导彩色化系统106从地面实况彩色图像提取色度值，以生成色度图Y 402。如本文中所使用的，术语“色度图”是指反映色度值的图像。特别地，色度图传达图像的颜色信息(例如与亮度信息相比)。例如，图4A的色度图Y 402表示玫瑰的地面实况彩色图像的色度图。

在训练期间，边缘引导彩色化系统106在色度图Y 402上运行 Canny边缘检测404，以生成地面实况色度边缘V 406。相对于图4， Canny边缘检测404包括三个部分：滤波、非极大值抑制(NMS)、阈值化和滞后。在滤波期间，边缘引导彩色化系统106应用滤波器以使色度图Y 402变平滑，以便移除噪声。例如，边缘引导彩色化系统 106应用高斯滤波器。在边缘引导彩色化系统106应用滤波之后，所得图像可以包括改变厚度的边缘。因此，边缘引导彩色化系统106应用 NMS以将边缘减薄至更均匀的厚度。在至少一个实施例中，边缘引导彩色化系统106应用NMS，以将边缘减薄至1像素宽度。边缘引导彩色化系统106还应用阈值化以移除低于某一阈值的滤波响应。附加地，在至少一个实施例中，边缘引导彩色化系统106应用滞后以产生连续边缘。例如，边缘引导彩色化系统106可以利用边缘追踪算法，以移除浮动的弱边缘并且将弱边缘连接至强边缘。

通过将Canny边缘检测404应用于色度图Y 402，边缘引导彩色化系统106生成地面实况色度边缘V 406。地面实况色度边缘V 406指示色度边界或色度值(即，颜色)在色度图Y 402中改变的位置。如所提及的，地面实况色度边缘V 406包括均匀厚度的二进制边缘。

如图4A中进一步图示的，边缘引导彩色化系统106将地面实况灰度数字图像X408输入到颜色边缘预测神经网络304中。边缘引导彩色化系统106从地面实况彩色图像提取强度值，以生成地面实况灰度数字图像X 408。边缘引导彩色化系统106使用地面实况灰度数字图像 X 408作为颜色边缘预测神经网络304的输入。颜色边缘预测神经网络 304生成预测边缘

410。

边缘引导彩色化系统106还应用损失函数412。边缘引导彩色化系统106在地面实况色度边缘V 406与预测边缘

410之间执行每像素的分类比较。例如，边缘引导彩色化系统106可以调整颜色边缘预测神经网络304的参数，以使由下式给出的二进制交叉熵损失函数

最小化：

其中，X表示地面实况灰度数字图像X 408，V表示地面实况色度边缘 V 406，且

表示颜色边缘预测神经网络304。边缘引导彩色化系统106 训练网络

以使地面实况彩色图像的训练集上的所耗费的分类损失

最小化。在一些实施例中，边缘引导彩色化系统106可以利用备选损失函数，诸如均方差、二次损失、L2损失、L1损失或平均偏差误差。而且，边缘引导彩色化系统106可以基于损失函数(例如通过反向传播)来更新神经网络的参数。

图4A图示了训练颜色边缘预测神经网络304的边缘引导彩色化系统106。图4B图示了应用颜色边缘预测神经网络304以生成颜色边缘图(即，颜色边缘图306)的边缘引导彩色化系统106。边缘引导彩色化系统106将颜色边缘预测神经网络304应用于灰度数字图像X 420。颜色边缘预测神经网络304基于灰度数字图像X 420来生成初始颜色边缘图422。边缘引导彩色化系统106将非极大值抑制(NMS)430(或简称为“NMS 430”)和阈值化426应用于初始颜色边缘图422，以生成颜色边缘图434。

如图4B中所图示的，颜色边缘预测神经网络304生成初始颜色边缘图422。初始颜色边缘图422包括初始边缘424。然而，在训练期间使用的地面实况色度边缘V 406包括二进制边缘，初始颜色边缘图422 的初始边缘424是软值。例如，如图4B中所图示的，初始颜色边缘图 422的这组初始边缘424包括与地面实况色度边缘V 406的连续且均匀厚度的边缘形成对比的弱边缘、阴影化和其他软特征。因此，边缘引导彩色化系统106应用包括NMS430和阈值化426的后处理步骤来对初始颜色边缘图422进行二值化。

如图4B中所图示的，边缘引导彩色化系统106将NMS 430应用于初始颜色边缘图422的初始边缘424。如先前所提及的，应用NMS 430将像素宽度调整为均匀厚度。因此，边缘引导彩色化系统106生成均匀厚度边缘图428，其中颜色边缘是均匀厚度。在至少一个实施例中，边缘引导彩色化系统106应用NMS 430，使得均匀厚度边缘图428的颜色边缘为1像素宽度。

如图4B中进一步图示的，边缘引导彩色化系统106将阈值化426 应用于均匀厚度边缘图428。颜色边缘预测神经网络304(例如针对最终出现在均匀厚度边缘图428中的颜色边缘中的每个颜色边缘)生成置信度得分。在阈值化426期间，边缘引导彩色化系统106确定阈值t ∈[0,1]，其中t表示阈值，并且值在0到1的范围内。作为阈值化426 的一部分，边缘引导彩色化系统106移除颜色边缘中的其置信度得分低于所确定的阈值的边缘。基于阈值化426，边缘引导彩色化系统106 生成颜色边缘图434，该颜色边缘图仅包含均匀厚度边缘图428中的其置信度得分满足所确定的阈值的边缘。例如，如图4B中所图示的，颜色边缘图434包含比均匀厚度边缘图428更少的阴影和其他软值。

边缘引导彩色化系统106可以利用预定阈值作为颜色边缘阈值。例如，在至少一个实施例中，边缘引导彩色化系统106利用预定颜色边缘阈值(例如t＝0.17)来生成颜色边缘图434。如先前相对于图3 所提及的，边缘引导彩色化系统106可以经由彩色化图形用户界面来呈现由颜色边缘阈值产生的颜色边缘图434。彩色化图形用户界面可以包括颜色边缘阈值元件318。在至少一个实施例中，颜色边缘阈值元件是指示颜色边缘阈值的滑动条。基于与颜色边缘阈值元件的用户交互 (例如滑动条以指示不同阈值)，边缘引导彩色化系统106可以确定修改后的边缘阈值。在此类情况下，边缘引导彩色化系统106可以利用修改后的边缘阈值来生成修改后的阈值化边缘图，并且随后(在 NMS、阈值化和滞后之后)利用修改后的边缘图。图5和随附讨论提供了关于边缘引导彩色化系统106如何生成修改后的边缘图的附加细节。

尽管在图4B中未图示，但除了NMS 430和阈值化426之外，边缘引导彩色化系统106还应用了滞后。如所提及的，通过利用滞后，边缘引导彩色化系统106确保了颜色边缘图434的颜色边缘

432是连续的且连接的。

类似地，尽管相对于将颜色边缘预测神经网络应用于灰度数字图像X 420大致描述了图4B，但边缘引导彩色化系统106还可以在训练中利用NMS、阈值化和其他后处理动作。例如，在生成预测边缘

410 时，边缘引导彩色化系统106可以应用类似的后处理，以使得颜色边缘预测神经网络304的输出可易于与地面实况色度边缘V 406进行比较。

如上文所描述的，边缘引导彩色化系统106可以经由彩色化图形用户界面向用户呈现颜色边缘图，并且接收颜色边缘修改。基于颜色边缘修改，边缘引导彩色化系统106可以生成修改后的边缘图。图5 图示了根据一个或多个实施例的生成修改后的边缘图(即，修改后的边缘图324)的边缘引导彩色化系统106。

如图5中所图示的，边缘引导彩色化系统106经由彩色化图形用户界面504呈现颜色边缘图306。彩色化图形用户界面504包括颜色边缘阈值元件318、边缘建议元件320和用户绘制的边缘元件322。基于与颜色边缘阈值元件318、边缘建议元件320和用户绘制的边缘元件 322的用户交互，边缘引导彩色化系统106生成修改后的边缘图324。

如图5中所图示的，颜色边缘阈值元件318包括交互式滑动标尺。在至少一个实施例中，边缘引导彩色化系统106经由颜色边缘阈值元件318呈现颜色边缘阈值。例如，颜色边缘阈值元件318可以指示边缘引导彩色化系统106使用颜色边缘阈值t＝0.17来生成颜色边缘图 306。边缘引导彩色化系统106接收与颜色边缘阈值元件318的用户交互，以确定修改后的边缘阈值。例如，如图5中所图示的，修改后的边缘阈值t＝0.50。边缘引导彩色化系统106将使用修改后的边缘阈值的阈值化应用于均匀厚度边缘图428，以生成修改后的阈值化边缘图。如所图示的，因为修改后的边缘阈值(t＝0.50)高于颜色边缘阈值(t ＝0.17)，所以修改后的阈值化边缘图包含比颜色边缘图306更少的边缘。附加地，边缘引导彩色化系统106将滞后应用于修改后的阈值化边缘图，以生成修改后的边缘图324。

彩色化图形用户界面504还包括边缘建议元件320。边缘引导彩色化系统106向用户呈现所建议的边缘，并且边缘引导彩色化系统106 将所建议的边缘中的一个或多个用户选择的边缘包括在修改后的边缘图324中。颜色边缘扫描可以包括照度边缘的子集。因此，在至少一个实施例中，边缘引导彩色化系统106呈现照度边缘作为所建议的边缘。如本文中所使用的，术语“照度边缘”是指照度图内的边缘。特别地，照度图传达每个像素与亮度值相对应的图像的亮度信息。照度边缘指示亮度值改变的位置或边界。

如图5中所图示的，边缘引导彩色化系统106将Canny边缘检测器506应用于彩色化的图像，以生成灰度数字图像302的照度边缘508。相对于图5，Canny边缘检测器506执行与图4A的Canny边缘检测404 中相同的处理。具体地，边缘引导彩色化系统106利用Canny边缘检测器506将滤波、NMS、阈值化和滞后应用于灰度数字图像302。

边缘引导彩色化系统106经由彩色化图形用户界面504向用户呈现亮度边缘508作为所建议的边缘。基于对亮度边缘508中的一个或多个边缘的用户选择，边缘引导彩色化系统106将一个或多个边缘包括在修改后的边缘图324中。

如图5中进一步图示的，边缘引导彩色化系统106在彩色化图形用户界面504内提供用户绘制的边缘元件322。边缘引导彩色化系统 106可以经由用户绘制的边缘元件322接收附加边缘。特别地，边缘引导彩色化系统106基于与用户绘制的边缘元件322的用户交互来接收手绘输入，并且生成用户绘制的边缘510。边缘引导彩色化系统106 将这组修改后的颜色边缘内的用户绘制的边缘510包括在修改后的边缘图324内。

如上文所讨论的，边缘引导彩色化系统106可以利用边缘图作为边缘引导彩色化神经网络的输入，以合并边缘引导。图6A至图6B图示了根据一个或多个实施例的训练和应用边缘引导彩色化神经网络以生成彩色化的图像的边缘引导彩色化系统106。边缘引导彩色化系统 106可以通过合并用户色点和边缘引导来预测灰度图像的颜色。在CIE Lab空间中，灰度数字图像包括L或明度通道，并且期望的彩色化的图像包括ab或颜色分量。

图6A图示了训练边缘引导彩色化神经网络606的边缘引导彩色化系统106。边缘引导彩色化系统106使用地面实况颜色Y 602、训练灰度图像X 604、训练色点U 614和Canny边缘V 612作为边缘引导彩色化神经网络606的输入。边缘引导彩色化神经网络606生成训练预测颜色

608，边缘引导彩色化系统106将其与地面实况颜色Y 602进行比较。边缘引导彩色化系统106调整边缘引导彩色化神经网络606的参数，以减少训练预测颜色

608与地面实况颜色Y 602之间的损失 610。

相对于图6A，边缘引导彩色化系统106根据训练地面实况彩色图像生成针对边缘引导彩色化神经网络606的训练输入。特别地，边缘引导彩色化系统106隔离训练地面实况彩色图像的明度值以生成训练灰度图像X 604。边缘引导彩色化系统106还隔离训练地面实况彩色图像的色度值，以生成与训练灰度图像X 604相对应的地面实况颜色Y 602。因此，在一个或多个实施例中，地面实况颜色Y 602包括训练彩色图像的色度图。此外，边缘引导彩色化系统106从训练彩色图像提取强度或明度值，以生成训练灰度图像X 604。

边缘引导彩色化神经网络606在生成彩色化的图像时合并了边缘引导。在训练期间，边缘引导彩色化系统106使用投影功能来模拟用户绘制的边缘。在至少一个实施例中，边缘引导彩色化系统106通过将Canny边缘检测器620应用于地面实况颜色Y 602来投影边缘。应用Canny边缘检测器620的目的是指示色度值实际上在色度图(即，地面实况颜色Y602)中改变的区。因此，在至少一个实施例中，边缘引导彩色化系统106利用低级边缘检测器。附加地，在至少一个实施例中，边缘引导彩色化系统106以半分辨率而非全分辨率提取颜色边缘，这时常产生过于复杂的颜色边缘。边缘引导彩色化系统106在应用期间使用Canny边缘V 612来模拟颜色边缘图或修改后的边缘图输入。

在训练期间，边缘引导彩色化系统106利用训练色点U 614作为边缘引导彩色化神经网络606的输入。边缘引导彩色化系统106通过随机地显露地面实况颜色Y 602中的点(例如采样像素)以生成训练色点U 614，来模拟用户交互。通过从地面实况颜色中进行采样并且使用训练色点U 614作为输入，边缘引导彩色化系统106将边缘引导彩色化神经网络606训练为依赖于训练色点U 614。在应用期间，即使不具有明显约束，边缘引导彩色化神经网络606也遵循用户提供的颜色。

如图6A中所图示的，边缘引导彩色化神经网络606生成训练预测颜色

608。训练预测颜色

608包括预测色度图，该预测色度图在与对应灰度图像(即，训练灰度图像X604)组合时创建完整的彩色化的图像。

边缘引导彩色化系统106将训练预测颜色

608与地面实况颜色Y 602进行比较，以调整边缘引导彩色化神经网络606的参数。边缘引导彩色化系统106训练边缘引导彩色化神经网络606的参数，以尽可能接近于地面实况颜色Y 602地映射输入训练灰度图像X604、训练色点 U 614和canny边缘V 612。在至少一个实施例中，边缘引导彩色化系统106通过将训练预测颜色

608的每个像素与地面实况颜色Y 602 中的对应像素进行比较，来利用每像素l₀的回归损失。如先前所提及的，边缘引导彩色化系统106还可以利用备选损失函数。

在训练期间，边缘引导彩色化系统106合并训练灰度图像X 604、训练色点U 614和Canny边缘V 612，作为边缘引导彩色化神经网络 606的输入

边缘引导彩色化系统106利用以下目标函数调整边缘引导彩色化神经网络606的参数以使损失610最小化：

其中

表示损失函数，该损失函数针对地面实况颜色Y 602映射边缘引导彩色化神经网络606的输出

(即，训练预测颜色

608)。函数P_u(Y) 指示通过随机地显露地面实况颜色Y 602中的点(即，训练色点U 614) 模拟的用户交互。函数P_u(Y)模拟用户绘制的边缘(即，Canny边缘V 612)。

虽然图6A图示了边缘引导彩色化系统106如何训练边缘引导彩色化神经网络606，但图6B图示了根据一个或多个实施例的应用边缘引导彩色化神经网络606的边缘引导彩色化系统106。在应用期间，边缘引导彩色化系统106使用边缘引导彩色化神经网络606来分析灰度数字图像X 622、用户色点U 624和用户边缘图626。具体地，边缘引导彩色化系统106生成灰度通道、色点通道和边缘图通道，并且经由边缘引导彩色化神经网络606分析这些通道。边缘引导彩色化神经网络 606生成预测颜色

628，边缘引导彩色化系统106将其与灰度数字图像X 622组合以创建彩色化的图像630。

在应用期间，边缘引导彩色化系统106从用户接收灰度数字图像X 622。边缘引导彩色化系统106利用经训练的边缘引导彩色化神经网络 606来为接收到的灰度数字图像X622生成预测颜色

628。期望输出包括灰度数字图像X 622的彩色化的版本。

边缘引导彩色化系统106包括用户色点U 624作为边缘引导彩色化神经网络606的输入。在至少一个实施例中，边缘引导彩色化系统 106经由一组色点通道将用户色点U624表示为

其中前两个通道是用户选择的色度值，且第三个通道是指示用户是否已在该位置处选择了颜色的二进制掩码。在至少一个实施例中，色点通道以全零开始，并且随着边缘引导彩色化系统106接收用户色点而被稀疏地填充。

边缘引导彩色化系统106经由彩色化图形用户界面接收用户色点 U 624。例如，在至少一个实施例中，边缘引导彩色化系统106经由彩色化图形用户界面呈现灰度图像和ab色域。边缘引导彩色化系统106 接收对灰度图像中的各种点的选择以及对色域上的与各种点相对应的色度值的选择。图7A和随附讨论提供了关于边缘引导彩色化系统106 如何接收用户色点U 624的附加细节。

附加地，边缘引导彩色化系统106通过使用用户边缘图V 626和对应边缘图通道来合并来自用户的边缘引导。如果用户尚未修改颜色边缘图434，那么用户边缘图V 626包括颜色边缘图434。备选地，如果边缘引导彩色化系统106接收到对颜色边缘图434的用户修改，那么用户边缘图V 626包括修改后的边缘图324。在至少一个实施例中，边缘引导彩色化系统106经由边缘图通道将用户边缘图V 626指示为稀疏二进制矩阵。更具体地，边缘引导彩色化系统106通过边缘图通道将用户边缘图V 626指示为

其表示存在或不存在边缘。

如先前所提及的，边缘引导彩色化系统106训练边缘引导彩色化神经网络606以映射灰度数字图像X 622、用户色点U 624和用户边缘图V 626，从而输出预测颜色

628。附加地，在一些实施例中，边缘引导彩色化系统106将用户边缘图V 626联接到神经网络的所有中间层处的特征向量中。在至少一个实施例中，边缘引导彩色化神经网络 606包括U-Net卷积神经网络。

如图6B中所图示的，边缘引导彩色化神经网络606生成预测颜色

628。预测颜色

628包括与灰度数字图像X 622相对应的预测色度图。特别地，预测颜色

628包括灰度数字图像X 622中的每个像素的色度值。此外，预测颜色

628反映了由边缘引导彩色化神经网络 606集成的边缘引导。

边缘引导彩色化系统106可以通过将预测颜色

628的色度或颜色值与灰度数字图像X 622的明度值组合来生成彩色化的图像630。例如，边缘引导彩色化系统106可以通过将灰度数字图像X 622的L值与预测颜色

628的ab值组合来生成CIE Lab空间内的彩色化的图像 630。边缘引导彩色化系统106经由彩色化图形用户界面向用户呈现彩色化的图像630。

如所提及的，在至少一个实施例中，边缘引导彩色化系统106将用户边缘图V 626馈送到边缘引导彩色化神经网络606的多个层中。例如，边缘引导彩色化系统106可以将用户边缘图V 626联接到边缘引导彩色化神经网络606的每一层处的特征向量中。在另一实施例中，边缘引导彩色化系统106将用户边缘图V 626馈送到边缘引导彩色化神经网络606的多个层但并非所有层中。

特别地，如上文所讨论的，边缘引导彩色化神经网络606可以包括基于所学习的权重/参数对特征向量执行操作的各种层。因此，任何特定层都可以接收输入特征向量作为输入，并且生成输出特征向量。边缘引导彩色化系统106可以将用户边缘图V 626添加(即，联接) 到边缘引导彩色化神经网络606的多个层的特征向量。因此，边缘引导彩色化系统106强调了边缘引导彩色化神经网络314的多个中间层处的用户边缘图V 626。

此外，边缘引导彩色化系统106可以针对边缘引导彩色化神经网络606的每一层的特征向量调整用户边缘图V 626的大小和维度。特别地，边缘引导彩色化神经网络606的层可以设置为不同大小，以在不同的细节级别分析灰度数字图像X 622。因此，边缘引导彩色化系统 106可以调整用户边缘图V 626的大小，以与边缘引导彩色化神经网络 606的对应层相匹配。

为了说明，边缘引导彩色化系统106可以利用边缘引导彩色化神经网络606的第一层(例如第一卷积层)来分析灰度通道、颜色边缘图通道和/或色点通道，以生成特征向量。边缘引导彩色化系统106可以将边缘图添加(例如联接或以其他方式附加)到特征向量，以生成边缘图修改后的特征向量。边缘引导彩色化系统106然后可以利用边缘引导彩色化神经网络606的第二层(例如第二卷积层)来分析边缘图修改后的特征向量。边缘引导彩色化系统可以迭代地在神经网络的不同层处添加边缘图(以不同大小或比例)。

边缘引导彩色化系统106接收各种用户交互以生成针对边缘引导彩色化神经网络606的输入。例如，边缘引导彩色化系统106经由彩色化图形用户界面接收用户色点U624。附加地，边缘引导彩色化系统 106接收包括颜色边缘修改310的输入，以生成用户边缘图V 626。图 7A至图7B图示了示例彩色化图形用户界面。更具体地，图7A图示了根据一个或多个实施例的边缘引导彩色化系统106如何在颜色模式下经由彩色化图形用户界面接收用户色点U 624。图7B图示了根据一个或多个实施例的边缘引导彩色化系统106如何在边缘模式下经由彩色化图形用户界面接收颜色边缘修改310。尽管图7A和图7B图示了一系列示例彩色化图形用户界面，但应了解，边缘引导彩色化系统106 可以利用包括不同配置或不同用户界面元件的不同彩色化图形用户界面。

如图7A中所图示的，在颜色模式下，边缘引导彩色化系统106经由用户客户端设备702(即，用户客户端设备108)上的显示屏704呈现彩色化图形用户界面706。如所示出的，彩色化图形用户界面706 包括色点输入元件709，边缘引导彩色化系统106通过该色点输入元件接收用户色点U 624的用户输入。色点输入元件709包括颜色选择元件710、点选择元件712、所建议的颜色716、最近使用的颜色718和所选择的颜色720。附加地，如图7A中所图示的，处于颜色模式下的彩色化图形用户界面706包括绘图选项选择元件722、加载元件725、加载元件727、重启元件729和退出元件730。

如通过绘图选项选择元件722所图示的，图7A的彩色化图形用户界面706处于颜色模式。基于与绘图选项选择元件722的用户交互，边缘引导彩色化系统106在呈现用于选择用户色点U 624的色点输入元件708与呈现用于生成用户边缘图V 626的颜色边缘修改元件之间切换。基于与绘图选项选择元件722的颜色模式选项的用户交互，边缘引导彩色化系统106经由彩色化图形用户界面706呈现色点输入元件709。

基于与点选择元件712的交互，边缘引导彩色化系统106标识用户色点U 624的点。点选择元件712包括输入灰度数字图像。边缘引导彩色化系统106检测对点选择元件712中的区的选择，并且将用户选择的颜色与那些点中的每个点相关联。附加地，如所图示的，边缘引导彩色化系统106经由点选择元件712显示哪些色点已经被选择并且与颜色值相关联。

边缘引导彩色化系统106将颜色值与点选择元件712中的所选择的色点相关联。例如，边缘引导彩色化系统检测对所选择的色点724 的用户选择并且突出显示所选择的色点724以指示所选择的色点724 内的像素的有效颜色选择。边缘引导彩色化系统106接收颜色选择，以经由颜色选择元件710与所选择的色点724相关联。

边缘引导彩色化系统106将颜色选择元件710呈现为色点输入元件709的一部分。颜色选择元件710包括色域，该色域显示了可用于所选择的色点724的整个颜色范围。如所图示的，颜色选择元件710 包括ab色域。边缘引导彩色化系统106检测与颜色选择元件710的用户交互，并且更新所选择的颜色720，以在颜色选择元件710中显示当前由图标选择的颜色。

除了呈现颜色选择元件710之外，边缘引导彩色化系统106还呈现了所建议的颜色716。边缘引导彩色化系统106预测所选择的色点 724的可能颜色，并且在所建议的颜色716中呈现可能的颜色。在至少一个实施例中，边缘引导彩色化系统106使用颜色预测神经网络来预测给定点的可能颜色。边缘引导彩色化系统106使用训练颜色和训练灰度图像来训练颜色预测神经网络。基于分析训练灰度图像的值，边缘引导彩色化系统106生成颜色的预测。附加地，边缘引导彩色化系统106可以通过将其他色点的颜色相关联来提高在所建议的颜色716 内呈现的可能颜色的准确性。例如，如果用户指示色点的一种颜色，那么边缘引导彩色化系统106确定将在不同色点处使用相同颜色的较低可能性。

在边缘引导彩色化系统106经由色点输入元件709接收色点U 624 时，边缘引导彩色化系统106更新彩色化的图像714。彩色化的图像 714包括具有由边缘引导彩色化神经网络606确定的预测颜色的输入灰度数字图像。在至少一个实施例中，在接收任何色点之前，边缘引导彩色化系统106使用预测颜色来生成彩色化的图像714。因此，边缘引导彩色化系统106可以经由色点输入元件709接收对预测颜色的校正。在另一实施例中，边缘引导彩色化系统106将灰度图像呈现为彩色化的图像714，并且通过基于接收到的用户色点实时添加颜色来更新彩色化的图像714。

如图7A中所图示的，彩色化图形用户界面706还包括加载元件 727、重启元件729和退出元件730。基于与加载元件725的交互，边缘引导彩色化系统106加载不同灰度图像以进行彩色化。例如，边缘引导彩色化系统106可以访问存储在用户客户端设备702处的灰度图像。基于对加载元件727的用户选择，边缘引导彩色化系统106保存所键入的用户色点和最新的边缘修改。基于对重启元件729的用户选择，边缘引导彩色化系统106移除所有所选择的色点和边缘修改。在至少一个实施例中，加载元件727和重启元件729是特定颜色模式或边缘模式。例如，基于在颜色模式下对加载元件727的用户选择，边缘引导彩色化系统106保存当前输入色点。如果边缘引导彩色化系统 106在处于颜色模式时检测到对重启元件729的选择，那么边缘引导彩色化系统106仅重置色点而非边缘。基于退出元件730的用户选择，边缘引导彩色化系统106关闭彩色化图形用户界面706。

基于对绘图选项选择元件722的边缘模式的用户选择，边缘引导彩色化系统106将彩色化图形用户界面706更新为边缘模式。图7B图示了边缘模式下的彩色化图形用户界面706，边缘引导彩色化系统106 通过该彩色化图形用户界面接收边缘修改以生成边缘图。边缘引导彩色化系统106经由用户客户端设备702上的显示屏704呈现彩色化图形用户界面706。如图7B中所图示的，边缘引导彩色化系统106经由彩色化图形用户界面706呈现颜色边缘修改元件735。颜色边缘修改元件735包括修改后的边缘图元件736、颜色边缘阈值元件732和用户绘制的边缘元件734以用于颜色边缘修改的输入。附加地，边缘引导彩色化系统106呈现绘图选项选择元件722、可选择的灰色元件740、显示边缘元件742、边缘建议元件744和更新边缘元件738。

边缘引导彩色化系统106呈现颜色边缘阈值元件732作为颜色边缘修改元件735的一部分。基于与颜色边缘阈值元件732的交互，边缘引导彩色化系统106确定在对初始颜色边缘图422进行阈值化时所使用的修改后的边缘阈值。较高的修改后的边缘阈值被链接至更少颜色边缘，而较低的修改后的边缘阈值产生更多颜色边缘。如图7B中所图示的，颜色边缘阈值元件732包括滑动标尺和对阈值的指示(例如， t＝0.5)。边缘引导彩色化系统106基于与滑动标尺或阈值指示的用户交互来确定修改后的边缘阈值。例如，边缘引导彩色化系统106基于用户选择或拖拽滑动标尺来修改边缘阈值。附加地，边缘引导彩色化系统106使得用户能够使用阈值指示来手动地录入修改后的阈值。

边缘引导彩色化系统106还呈现了用户绘制的边缘元件734，作为颜色边缘修改元件735的一部分。用户绘制的边缘元件734包括用户可以在其中绘制其他期望边缘的区域。基于与用户绘制的边缘元件734 的用户交互(例如在用户绘制的边缘元件上拖拽光标或点击用户绘制的边缘元件)，边缘引导彩色化系统106向修改后的边缘图添加用户绘制的边缘。例如，除了颜色边缘726之外，边缘引导彩色化系统106 还向修改后的边缘图元件736添加用户绘制的边缘728。

边缘引导彩色化系统106基于与灰色元件740和显示边缘元件742 的检测到的用户交互来确定要显示为用户绘制的边缘元件的一部分的内容。如所图示的，边缘引导彩色化系统106检测到对灰度元件740 的选择，且因此在用户绘制的边缘元件734内呈现上传的灰度图像。备选地，在至少一个实施例中，边缘引导彩色化系统106呈现仅显示边缘作为用户绘制的边缘元件的一部分的选项。此外，基于对显示边缘元件742的选择，边缘引导彩色化系统106显示颜色边缘726。基于对显示边缘元件742的检测到的取消选择，边缘引导彩色化系统106 移除颜色边缘726并且仅显示用户绘制的边缘728。

边缘引导彩色化系统106还包括边缘建议元件744，作为颜色边缘修改元件的一部分。基于检测到与边缘建议元件744的用户交互，边缘引导彩色化系统106将附加照度边缘呈现为所建议的边缘。例如，在一个实施例中，边缘引导彩色化系统106呈现了附加面板，该附加面部显示了灰度图像的照度边缘。在另一实施例中，基于对边缘建议元件744的选择，边缘引导彩色化系统106将照度边缘覆盖在用户绘制的边缘元件734中的颜色边缘726和用户绘制的边缘728的顶部。例如，边缘引导彩色化系统106将照度边缘呈现为与颜色边缘726和用户绘制的边缘728不同的颜色。基于对照度边缘的一个或多个边缘的用户选择，边缘引导彩色化系统106确定要将一个或多个边缘包括在修改后的边缘图中。边缘引导彩色化系统106突出显示了照度边缘中的所选择的一个或多个边缘，以指示所选择的一个或多个边缘将被包括在修改后的边缘图中。

在边缘引导彩色化系统106通过颜色边缘阈值元件732、用户绘制的边缘元件和边缘建议元件744接收用户交互时，边缘引导彩色化系统106实时地更新修改后的边缘图元件736。例如，边缘引导彩色化系统106添加或移除修改后的边缘图元件736中的边缘，以图示对修改后的边缘的最新改变。

如图7B中所图示的，彩色化图形用户界面706包括彩色化的图像 714。边缘引导彩色化系统106呈现最新预测的彩色化的图像。在至少一个实施例中，边缘引导彩色化系统106基于对更新边缘元件738的用户选择来刷新彩色化的图像714。在另一实施例中，边缘引导彩色化系统106基于与颜色边缘修改元件735的用户交互来自动更新彩色化的图像714。

尽管在图7B中未图示，但是边缘引导彩色化系统106还基于用户交互来移除边缘。在至少一个实施例中，边缘引导彩色化系统106经由彩色化图形用户界面706呈现移除边缘选项。基于对移除边缘选项和(例如经由修改后的边缘图元件736、用户绘制的边缘元件734或另一边缘显示器显示的)颜色边缘中的边缘的选择，边缘引导彩色化系统106从修改后的边缘图中移除所选择的边缘。

图8图示了根据一个或多个实施例的边缘引导彩色化系统106的组件的示意图。如所示出的，边缘引导彩色化系统106可以是计算设备800(例如用户客户端设备108和/或(多个)服务器设备102)的一部分。附加地，边缘引导彩色化系统106可以是图像编辑系统104的一部分。边缘引导彩色化系统106可以包括但不限于，颜色边缘预测神经网络训练引擎802、颜色边缘预测神经网络应用引擎804、图形用户界面管理器806、边缘修改管理器808、色点输入管理器810、边缘引导彩色化神经网络训练引擎812、边缘引导彩色化神经网络应用引擎 814和存储管理器816。边缘引导彩色化系统106可以被实现为用于管理、存储和编辑数字图像的服务器设备的分布式系统中的图像编辑系统104的一部分。备选地，边缘引导彩色化系统106可以被实现在单个计算设备(诸如图1的用户客户端设备108)上。

在一个或多个实施例中，边缘引导彩色化系统106的组件中的每个组件使用任何合适的通信技术彼此通信。附加地，如图1中所图示的，边缘引导彩色化系统106的组件可以与包括用户客户端设备108 的一个或多个其他设备通信。尽管在图8中将边缘引导彩色化系统106 的组件示出为分离的，但可以将子组件中的任何子组件组合成更少的组件，诸如组合成单个组件或划分成更多的组件，这是由于其可以服务于特定实现。此外，尽管结合边缘引导彩色化系统106描述了图8 的组件，但可以在环境内的其他设备上实现用于结合本文中所描述的边缘引导彩色化系统106执行操作的组件中的至少一些组件。

边缘引导彩色化系统106的组件可以包括软件、硬件或两者。例如，边缘引导彩色化系统106的组件可以包括一个或多个指令，该指令被存储在计算机可读存储介质上并且由一个或多个计算设备(例如用户客户端设备108)的处理器可执行。边缘引导彩色化系统106的计算机可执行指令在被一个或多个处理器执行时可以使计算设备执行本文中所描述的图像编辑方法。备选地，边缘引导彩色化系统106的组件可以包括硬件(诸如专用处理设备)以执行特定功能或功能组。附加地或备选地，边缘引导彩色化系统106的组件可以包括计算机可执行指令与硬件的组合。

此外，执行本文中所描述的功能的边缘引导彩色化系统106的组件可以例如被实现为独立式应用的一部分，被实现为应用的模块，被实现为包括内容管理应用的应用插件，被实现为可以由其他应用调用的一个或多个库函数和/或被实现为云计算模型。因此，边缘引导彩色化系统106的组件可以被实现为个人计算设备或移动设备上的独立式应用的一部分。备选地或附加地，边缘引导彩色化系统106的组件可以在允许创建营销内容并且向用户递送营销内容的任何应用中实现，这些应用包括但不限于，

CREATIVE

(诸如

COLOR和

)中的应用。“ADOBE”、“ADOBE PHOTOSHOP”、“ADOBE LIGHTROOM”、 “ADOBE ILLUSTRATOR”、“ADOBECOLOR”、“ADOBE CREATIVE CLOUD”和“ADOBE INDESIGN”为Adobe公司在美国和/或其他国家的注册商标。

如图8中所示出的，边缘引导彩色化系统106包括颜色边缘预测神经网络训练引擎802。颜色边缘预测神经网络训练引擎802使用训练数据来训练颜色边缘预测神经网络的网络参数。特别地，颜色边缘预测神经网络训练引擎802将地面实况灰度数字图像输入到颜色边缘预测神经网络中以生成预测边缘。颜色边缘预测神经网络训练引擎802 将预测边缘与地面实况数据(包括地面实况色度边缘)进行比较。附加地，颜色边缘预测神经网络训练引擎802可以确定、评估、标识或生成预测边缘与地面实况数据之间的损失或误差的测量。

边缘引导彩色化系统106还包括颜色边缘预测神经网络应用引擎 804。颜色边缘预测神经网络应用引擎804基于接收到灰度数字图像来生成颜色边缘图。颜色边缘预测神经网络应用引擎804管理包括初始颜色边缘和由颜色边缘预测神经网络生成的对应置信度得分的初始颜色边缘图。附加地，颜色边缘预测神经网络应用引擎804将NMS和阈值化应用于初始颜色边缘图。因此，颜色边缘预测神经网络应用引擎 804访问、管理和存储颜色边缘阈值。附加地，颜色边缘预测神经网络应用引擎804将滞后应用于阈值化的边缘图，以生成包括颜色边缘的颜色边缘图。

边缘引导彩色化系统106还包括图形用户界面管理器806。图形用户界面管理器806生成、管理和接收来自一个或多个图形用户界面的输入。图形用户界面管理器806在用户客户端设备108处生成彩色化图形用户界面，该彩色化图形用户界面呈现颜色边缘图、颜色边缘阈值元件、边缘建议元件和用户绘制的边缘元件。图形用户界面管理器 806接收与所提及的元件中的一个或多个元件的用户交互，并且将用户交互传达给边缘修改管理器808。附加地，图形用户界面管理器806 呈现与对灰度图像进行着色相关的数据。例如，图形用户界面管理器 806可以经由用户客户端设备108显示灰度图像、预测的彩色化的图像和其他数据。

边缘修改管理器808接收、实现和管理颜色边缘修改，以生成修改后的边缘图，作为边缘引导彩色化神经网络的输入。边缘修改管理器808访问来自图形用户界面管理器806的用户响应。特别地，边缘修改管理器808通过确定修改后的边缘阈值来添加和移除边缘。附加地，边缘修改管理器808向修改后的边缘图添加用户绘制的边缘和照度边缘的一个或多个所选择的边缘。边缘修改管理器808还可以移除所选择的边缘以生成修改后的边缘图。

如图8中所图示的，边缘引导彩色化系统106还包括色点输入管理器810。色点输入管理器810与图形用户界面管理器806通信，以生成输入到边缘引导彩色化神经网络的用户色点。色点输入管理器810 访问、管理和存储链接至任何灰度图像的所选择的色点的色度值。

边缘引导彩色化神经网络训练引擎812是边缘引导彩色化系统106 的一部分。边缘引导彩色化神经网络训练引擎812使用训练数据来训练边缘引导彩色化神经网络的网络参数。特别地，边缘引导彩色化神经网络训练引擎812访问、管理和存储包括地面实况彩色图像的训练数据。特别地，边缘引导彩色化神经网络训练引擎812将地面实况彩色图像分成训练灰度图像和地面实况颜色。边缘引导彩色化神经网络训练引擎812从地面实况颜色提取训练色点和canny边缘，并且除了将训练灰度图像用作对边缘引导彩色化神经网络的输入之外，还使用这些训练色点和canny边缘。边缘引导彩色化神经网络训练引擎812访问边缘引导彩色化网络的训练预测颜色输出，将训练预测颜色输出与地面实况颜色进行比较，并且改变边缘引导彩色化神经网络的网络参数。边缘引导彩色化神经网络训练引擎812可以确定、评估、标识或生成训练预测颜色与地面实况颜色之间的损失或误差的测量。

边缘引导彩色化系统106包括边缘引导彩色化神经网络应用引擎 814。边缘引导彩色化神经网络应用引擎814基于接收到灰度数字图像、用户色点和/或用户边缘图来生成预测颜色。边缘引导彩色化神经网络应用引擎814与图形用户界面管理器806、边缘修改管理器808和色点输入管理器810通信，以访问对边缘引导彩色化神经网络的灰度数字图像输入、用户色点输入和用户边缘图输入。边缘引导彩色化神经网络应用引擎814还管理边缘引导彩色化神经网络的预测颜色输出。在至少一个实施例中，边缘引导彩色化神经网络应用引擎814还将预测颜色与灰度数字图像组合以生成彩色化的图像。

边缘引导彩色化系统106包括存储管理器816。存储管理器816(经由一个或多个存储器设备)存储颜色边缘预测神经网络304、边缘引导彩色化神经网络606、训练数据822、数字图像824和/或颜色边缘826。颜色边缘预测神经网络304包括由颜色边缘预测神经网络训练引擎 802训练的神经网络，以基于接收和分析灰度数字图像来生成初始颜色边缘图。存储管理器816存储颜色边缘预测神经网络304的经训练的网络参数。

存储管理器816还存储边缘引导彩色化神经网络606。边缘引导彩色化神经网络训练引擎812训练边缘引导彩色化神经网络606，以基于接收到灰度数字图像、用户色点和用户边缘图来生成预测颜色。存储管理器816存储边缘引导彩色化神经网络606的经训练的网络参数。

存储管理器816还存储训练数据822。训练数据822包括用于训练颜色边缘预测神经网络304和边缘引导彩色化神经网络606的地面实况彩色图像。更特别地，为了训练颜色边缘预测神经网络304，训练数据822包括色度图、地面实况灰度数字图像和地面实况色度边缘。为了训练边缘引导彩色化神经网络606，训练数据822包括训练灰度图像、训练色点、canny边缘和地面实况颜色。

存储管理器816存储数字图像824。数字图像824包括从用户接收到的灰度图像和由边缘引导彩色化神经网络606生成的对应的彩色化的图像。

存储管理器816还存储颜色边缘826。颜色边缘826包括用于生成最终的彩色化的图像的颜色边缘图的颜色边缘。例如，颜色边缘826 包括初始颜色边缘图和由颜色边缘预测神经网络304生成的对应边缘置信度得分、均匀厚度边缘图和颜色边缘图以及修改后的边缘图。此外，颜色边缘826存储用作所建议的边缘的照度边缘。

图9图示了用于生成彩色化的图像的方法的流程图。虽然图9图示了根据一个实施例的动作，但备选实施例可以省略、添加、重新定序和/或修改图9中所示出的动作中的任何动作。图9的动作可以作为方法的一部分而执行。备选地，非瞬态计算机可读介质可以包括指令，这些指令在被一个或多个过程执行时使计算设备执行图9的动作。在又一些实施例中，系统可以执行图9的动作。

如图9中所示出的，动作系列900包括使用经训练的颜色边缘预测神经网络来生成颜色边缘图的动作910。特别地，动作910包括：使用颜色边缘预测神经网络为灰度数字图像生成颜色边缘图，其中颜色边缘图包括颜色边缘。动作910还包括通过以下生成颜色边缘图的动作：利用颜色边缘预测神经网络来生成包括初始边缘的初始颜色边缘图；利用颜色边缘预测神经网络来针对初始边缘中的每个初始边缘确定置信度得分；以及基于确定与初始边缘中的一个初始边缘相关联的置信度得分满足颜色边缘阈值，将该一个初始边缘包括在颜色边缘图中作为颜色边缘中的一个颜色边缘。动作910还包括通过以下来生成颜色边缘图的动作：利用非极大值抑制来根据初始颜色边缘图生成颜色边缘图。

动作系列900包括提供颜色边缘图、色点输入元件和灰度数字图像以供显示的动作920。特别地，动作920包括：提供彩色化图形用户界面以供在客户端设备处进行显示，该彩色化图形用户界面包括颜色边缘图、色点输入元件和灰度数字图像。

动作系列900还包括使用经训练的边缘引导彩色化神经网络来生成彩色化的图像的动作930。特别地，动作930包括：基于灰度数字图像、颜色边缘图和与色点输入元件的用户交互，使用边缘引导彩色化神经网络来生成彩色化的图像。

在至少一个实施例中，动作930还包括附加动作：生成反映灰度数字图像的灰度通道、反映颜色边缘图的颜色边缘图通道和反映用户输入的色点通道；利用边缘引导彩色化神经网络来处理灰度通道和色点通道以经由边缘引导彩色化神经网络的第一层生成第一特征向量；将颜色边缘图通道联接到第一特征向量，以生成边缘图修改后的特征向量；以及利用边缘引导彩色化神经网络的第二层来处理边缘图修改后的特征向量。

动作系列900包括提供彩色化的图像以供显示的动作940。特别地，动作940包括：经由彩色化图形用户界面提供彩色化的图像以供显示。

在至少一个实施例中，动作系列900还包括附加动作：经由彩色化图形用户界面标识与颜色边缘修改元件的用户交互；基于与颜色边缘修改元件的用户交互，通过修改颜色边缘来生成修改后的边缘图。

动作系列900还可以包括附加动作：经由彩色化图形用户界面提供彩色化的图像以供显示；基于与颜色边缘修改元件的用户交互来生成修改后的边缘图；以及基于灰度数字图像、修改后的边缘图和与色点输入元件的用户交互，使用边缘引导彩色化神经网络来生成修改后的彩色化的图像。此外，在至少一个实施例中，颜色边缘修改元件包括颜色边缘阈值元件，并且附加动作还包括：基于与颜色边缘阈值元件的用户交互来确定修改后的边缘阈值；以及基于修改后的边缘阈值来将一组修改后的颜色边缘包括在修改后的边缘图中。

附加地，在至少一个实施例中，颜色边缘修改元件包括边缘建议元件，并且附加动作还包括通过以下来生成修改后的边缘图：基于与边缘建议元件的用户交互，通过利用canny边缘检测器来生成灰度数字图像的照度边缘；经由彩色化图形用户界面来呈现照度边缘；以及基于对照度边缘中的一个或多个边缘的用户选择，将一个或多个边缘包括在修改后的边缘图中。

在至少一个实施例中，颜色边缘修改元件包括用户绘制的边缘元件，并且附加动作还包括通过以下来生成修改后的边缘图：基于与用户绘制的边缘元件的用户交互来生成用户绘制的边缘；以及将用户绘制的边缘包括在修改后的边缘图中。

除了上文所描述的动作之外(或作为对上文所描述的动作的备选方案)，在一些实施例中，动作系列900还包括用于使用颜色边缘根据灰度数字图像和色点来生成彩色化的图像的步骤。例如，参考图3、图4B、图5和图6B所描述的动作可以包括对应动作(或结构)，来执行用于使用颜色边缘根据灰度数字图像和色点来生成彩色化的图像的步骤。

如下文更详细地讨论的，本公开的实施例可以包括或利用专用计算机或通用计算机，其包括计算机硬件，诸如(例如)一个或多个处理器和系统存储器。本公开的范围内的实施例还包括用于携载或存储计算机可执行指令和/或数据结构的物理计算机可读介质和其他计算机可读介质。特别地，本文中所描述的过程中的一个或多个过程可以至少部分地被实现为在非瞬态计算机可读介质中实施且由一个或多个计算设备(例如本文中所描述的媒体内容访问设备中的任何媒体内容访问设备)可执行的指令。通常，处理器(例如微处理器)从非瞬态计算机可读介质(例如存储器等)接收指令并且执行那些指令，从而执行一个或多个过程，包括本文中所描述的过程中的一个或多个过程。

计算机可读介质可以是可以由通用计算机系统或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是非瞬态计算机可读存储介质(设备)。携载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施例可以包括至少两种明显不同种类的计算机可读介质：非瞬态计算机可读存储介质(设备)和传输介质。

非瞬态计算机可读存储介质(设备)包括RAM、ROM、EEPROM、 CD-ROM、(例如基于RAM的)固态驱动器(“SSD”)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器或其他光盘存储装置、磁盘存储装置或其他磁性存储设备或可以用于以计算机可执行指令或数据结构的形式存储期望程序代码装置并且可以由通用计算机或专用计算机访问的任何其他介质。

将“网络”定义为使得能够在计算机系统和/或模块和/或其他电子设备之间运送电子数据的一个或多个数据链路。当通过网络或另一通信连接(硬连线、无线或硬连线与无线的组合中的任一者)向计算机传递或提供信息时，计算机将连接适当地视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携载期望程序代码装置并且可以由通用计算机或专用计算机访问。上述的组合也应该被包括在计算机可读介质的范围内。

进一步地，在到达各种计算机系统组件时，可以将呈计算机可执行指令或数据结构的形式的程序代码装置从传输介质自动传递到非瞬态计算机可读存储介质(设备)(反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如“NIC”)内的RAM中，然后最终传递给计算机系统RAM 和/或计算机系统处的低易失性计算机存储介质(设备)。因此，应理解，非瞬态计算机可读存储介质(设备)可以被包括在计算机系统组件中，该计算机系统组件还(或甚至主要地)利用传输介质。

计算机可执行指令包括例如在处理器处被执行时使通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令或数据。在一些实施例中，在通用计算机上执行计算机可执行指令，以将通用计算机转变成实现本公开的元件的专用计算机。计算机可执行指令可以是例如二进制、中间格式指令(诸如汇编语言)或甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但应理解，在随附权利要求书中限定的主题并不一定限于所描述的特征或上文所描述的动作。相反，将所描述的特征和动作公开为实现权利要求书的示例形式。

本领域的技术人员应了解，可以在具有许多类型的计算机系统配置的网络计算环境中实践本公开，该计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程的消费类电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机等。还可以在分布式系统环境中实践本公开，在分布式系统环境中，通过网络(由硬连线数据链路、无线数据链路或者由硬连线数据链路与无线数据链路的组合)链接的本地计算机系统和远程计算机系统均执行任务。在分布式系统环境中，程序模块可以位于本地存储器存储设备和远程存储器存储设备两者中。

本公开的实施例还可以在云计算环境中实现。在本说明书中，“云计算”被定义为用于实现对可配置的计算资源的共享池的按需网络访问的模型。例如，可以在市场中采用云计算以提供对可配置的计算资源的共享池的普遍存在且方便的按需访问。可以经由虚拟化来快速地配置可配置的计算资源的共享池，并且以低管理工作量或服务提供方交互来发布该共享池，然后相应地进行缩放。

云计算模型可以由各种特性组成，诸如(例如)按需自助服务、广泛的网络访问、资源池化、快速弹性、所测量的服务等。云计算模型还可以公开各种服务模型，诸如(例如)软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础架构即服务(“IaaS”)。还可以使用不同部署模型(诸如私有云、社区云、公共云、混合云等)来部署云计算模型。在本说明书中和权利要求书中，“云计算环境”是采用云计算的环境。

图10图示了可以被配置为执行上文所描述的过程中的一个或多个过程的计算设备1000的框图。应了解，一个或多个计算设备(诸如计算设备1000)可以实现边缘引导彩色化系统106和图像编辑系统104。如利用图10所示出的，计算设备1000可以包括可以通过通信基础设施1012通信地耦合的处理器1002、存储器1004、存储设备1006、I/O 接口1008和通信接口1010。在某些实施例中，计算设备1000可以包括比图10中所示出的组件更少或更多的组件。现在将以附加细节描述图10中所示出的计算设备1000的组件。

在一个或多个实施例中，处理器1002包括用于执行指令的硬件，诸如构成计算机程序的硬件。作为示例而非限制，为了执行用于动态地修改工作流程的指令，处理器1002可以从内部寄存器、内部高速缓存、存储器1004或存储设备1006中获取(或取得)指令，并且对这些指令进行译码并执行这些指令。存储器1004可以是用于存储数据、元数据和由(多个)处理器执行的程序的易失性存储器或非易失性存储器。存储设备1006包括用于存储数据或用来执行本文中所描述的方法的指令的存储装置，诸如硬盘、闪存盘驱动器或其他数字存储设备。

I/O接口1008允许用户向计算设备1000提供输入、从计算设备 1000接收输出以及以其他方式向计算设备1000传递数据和从计算设备1000接收数据。I/O接口1008可以包括鼠标、小键盘或键盘、触摸屏、相机、光学扫描仪、网络接口、调制解调器、其他已知的I/O设备或此类I/O接口的组合。I/O接口1008可以包括用于向用户呈现输出的一个或多个设备，包括但不限于，图形引擎、显示器(例如显示屏)、一个或多个输出驱动(例如显示器驱动)、一个或多个音频扬声器和一个或多个音频驱动。在某些实施例中，I/O接口1008被配置为向显示器提供图形数据以供向用户呈现。图形数据可以表示一个或多个图形用户界面和/或如可以服务于特定实现的任何其他图形内容。

通信接口1010可以包括硬件、软件或两者。在任何情况下，通信接口1010可以提供用于在计算设备1000与一个或多个其他计算设备或网络之间的通信(诸如(例如)基于分组的通信)的一个或多个接口。作为示例而非限制，通信接口1010可以包括用于与以太网或其他基于有线的网络通信的网络接口控制器(NIC)或网络适配器；或用于与无线网络(诸如WI-FI)通信的无线NIC(WNIC)或无线适配器。

附加地，通信接口1010可以支持与各种类型的有线网络或无线网络的通信。通信接口1010还可以支持使用各种通信协议的通信。通信基础设施1012还可以包括将计算设备1000的组件彼此耦合的硬件、软件或两者。例如，通信接口1010可以使用一个或多个网络和/或协议来使得通过特定基础设施连接的多个计算设备能够彼此通信，以执行本文中所描述的过程的一个或多个方面。为了说明，数字内容活动管理过程可以允许多个设备(例如客户端设备和服务器设备)使用各种通信网络和协议来交换信息，以便共享信息，诸如数字消息、用户交互信息、参与度量或活动管理资源。

在前述说明书中，已经参考本公开的特定示例性实施例描述了本公开。参考本文中所讨论的细节描述了(多个)本公开的各种实施例和方面，并且附图图示了各种实施例。以上描述和绘图是对本公开的说明，并且不应被解释为限制本公开。描述了若干特定细节以提供对本公开的各种实施例的透彻理解。

本公开可以在不脱离其精神或基本特性的情况下以其他特定形式实施。所描述的实施例在所有方面都应被视为仅仅是说明性的而非限制性的。例如，可以用更少或更多的步骤/动作执行本文中所描述的方法，或可以以不同顺序来执行步骤/动作。附加地，本文中所描述的步骤/动作可以彼此并行地重复或执行，或可以与相同或类似步骤/动作的不同实例并行地重复或执行。因此，本申请的范围由随附权利要求书而不是前述描述指示。在权利要求书的含义和等效范围内的所有变化都应包含在其范围内。

Claims

1.一种用于生成彩色化的图像的非瞬态计算机可读介质，所述非瞬态计算机可读介质包括指令，所述指令在被至少一个处理器执行时使计算设备：

使用颜色边缘预测神经网络针对灰度数字图像生成颜色边缘图，其中所述颜色边缘图包括颜色边缘；

提供彩色化图形用户界面以供在客户端设备处显示，所述彩色化图形用户界面包括所述颜色边缘图、色点输入元件和所述灰度数字图像；

基于所述灰度数字图像、所述颜色边缘图和与所述色点输入元件的用户交互，使用边缘引导彩色化神经网络来生成彩色化的图像；以及

经由所述彩色化图形用户界面提供所述彩色化的图像以供显示。

2.根据权利要求1所述的非瞬态计算机可读介质，还包括指令，所述指令在被所述至少一个处理器执行时使所述计算设备：

提供所述颜色边缘图连同颜色边缘修改元件以供显示为所述彩色化图形用户界面的一部分；

基于与所述颜色边缘修改元件的用户交互来生成修改后的边缘图；以及

基于所述灰度数字图像、所述修改后的边缘图和与所述色点输入元件的所述用户交互，使用所述边缘引导彩色化神经网络来生成修改后的彩色化的图像。

3.根据权利要求2所述的非瞬态计算机可读介质，还包括指令，所述指令在被所述至少一个处理器执行时使所述计算设备通过以下来生成所述颜色边缘图：

利用所述颜色边缘预测神经网络来生成包括初始边缘的初始颜色边缘图；

利用所述颜色边缘预测神经网络来针对所述初始边缘中的每个初始边缘确定置信度得分；以及

基于确定与所述初始边缘中的一个初始边缘相关联的置信度得分满足颜色边缘阈值，将所述一个初始边缘包括在所述颜色边缘图中作为所述颜色边缘中的一个颜色边缘。

4.根据权利要求3所述的非瞬态计算机可读介质，其中所述颜色边缘修改元件包括颜色边缘阈值元件，并且所述非瞬态计算机可读介质还包括指令，所述指令在被所述至少一个处理器执行时使所述计算设备通过以下来生成所述修改后的边缘图：

基于与所述颜色边缘阈值元件的用户交互来确定修改后的边缘阈值；以及

基于所述修改后的边缘阈值来将一组修改后的颜色边缘包括在所述修改后的边缘图中。

5.根据权利要求2所述的非瞬态计算机可读介质，其中所述颜色边缘修改元件包括边缘建议元件，并且所述非瞬态计算机可读介质还包括指令，所述指令在被所述至少一个处理器执行时使所述计算设备通过以下来生成所述修改后的边缘图：

基于与所述边缘建议元件的用户交互，通过利用canny边缘检测器来生成所述灰度数字图像的照度边缘；

经由所述彩色化图形用户界面呈现所述照度边缘；以及

基于对所述照度边缘中的一个或多个边缘的用户选择，将所述一个或多个边缘包括在所述修改后的边缘图中。

6.根据权利要求4所述的非瞬态计算机可读介质，其中所述颜色边缘修改元件包括用户绘制的边缘元件，并且所述非瞬态计算机可读介质还包括指令，所述指令在被所述至少一个处理器执行时使所述计算设备通过以下来生成所述修改后的边缘图：

基于与所述用户绘制的边缘元件的用户交互来生成用户绘制的边缘；以及

将所述用户绘制的边缘包括在所述修改后的边缘图中。

7.根据权利要求3所述的非瞬态计算机可读介质，还包括指令，所述指令在被所述至少一个处理器执行时使所述计算设备通过以下来生成所述颜色边缘图：利用非极大值抑制来根据所述初始颜色边缘图生成所述颜色边缘图。

8.根据权利要求1所述的非瞬态计算机可读介质，还包括指令，所述指令在被所述至少一个处理器执行时使所述计算设备通过以下来训练所述边缘引导彩色化神经网络：

将canny边缘检测器应用于与地面实况彩色图像相对应的地面实况颜色以生成canny边缘；

将所述边缘引导彩色化神经网络应用于与所述地面实况彩色图像、训练色点和所述canny边缘相对应的训练灰度图像；

利用所述边缘引导彩色化神经网络来生成预测颜色；以及

通过将所述预测颜色与所述地面实况颜色进行比较来修改所述边缘引导彩色化神经网络的参数。

9.根据权利要求1所述的非瞬态计算机可读介质，还包括指令，所述指令在被所述至少一个处理器执行时使所述计算设备通过以下来生成所述彩色化的图像：

生成反映所述灰度数字图像的灰度通道、反映所述颜色边缘图的颜色边缘图通道和反映用户输入的色点通道；

利用所述边缘引导彩色化神经网络来处理所述灰度通道和所述色点通道，以经由所述边缘引导彩色化神经网络的第一层生成第一特征向量；

将所述颜色边缘图通道联接到所述第一特征向量，以生成边缘图修改后的特征向量；以及

利用所述边缘引导彩色化神经网络的第二层来处理所述边缘图修改后的特征向量。

10.一种系统，包括：

一个或多个存储器设备，存储灰度数字图像、颜色边缘预测神经网络和边缘引导彩色化神经网络；

至少一个服务器，被配置为使所述系统：

使用所述颜色边缘预测神经网络针对所述灰度数字图像生成包括颜色边缘的颜色边缘图；

提供彩色化图形用户界面以供在客户端设备处显示，所述彩色化图形用户界面包括所述颜色边缘图、色点输入元件和用于修改所述颜色边缘的颜色边缘修改元件；

经由所述彩色化图形用户界面标识与所述颜色边缘修改元件的用户交互；

基于与所述颜色边缘修改元件的所述用户交互，通过修改颜色边缘来生成修改后的边缘图；以及

使用所述边缘引导彩色化神经网络、基于所述修改后的边缘图和与所述色点输入元件的用户交互来生成彩色化的图像。

11.根据权利要求10所述的系统，还包括指令，所述指令在被所述至少一个服务器执行时使所述系统通过以下来生成所述颜色边缘图：

12.根据权利要求11所述的系统，其中所述颜色边缘修改元件包括颜色边缘阈值元件，并且所述系统还包括指令，所述指令在被所述至少一个服务器执行时使所述系统通过以下来生成所述修改后的边缘图：

13.根据权利要求10所述的系统，其中所述颜色边缘修改元件包括边缘建议元件，并且所述系统还包括指令，所述指令在被所述至少一个服务器执行时使所述系统通过以下来生成所述修改后的边缘图：

经由所述彩色化图形用户界面来呈现所述照度边缘；以及

14.根据权利要求12所述的系统，其中所述颜色边缘修改元件包括用户绘制的边缘元件，并且所述系统还包括指令，所述指令在被所述至少一个服务器执行时使所述系统通过以下来生成所述修改后的边缘图：

将所述用户绘制的边缘包括在所述修改后的边缘图中。

15.根据权利要求11所述的系统，还包括指令，所述指令在被所述至少一个服务器执行时使所述系统通过以下来生成所述颜色边缘图：利用非极大值抑制来根据所述初始颜色边缘图生成所述颜色边缘图。

16.根据权利要求10所述的系统，还包括指令，所述指令在被所述至少一个服务器执行时使所述系统通过以下来训练所述边缘引导彩色化神经网络：

利用所述边缘引导彩色化神经网络来生成预测颜色；以及

17.根据权利要求10所述的系统，还包括指令，所述指令在被所述至少一个服务器执行时使所述系统通过以下来生成所述彩色化的图像：将所述颜色边缘图联接到所述边缘引导彩色化神经网络的多个层中。

18.一种在用于编辑和生成数字图像的数字介质环境中的、用于生成增强型彩色数字图像的计算机实现的方法，包括：

标识灰度数字图像和与所述灰度数字图像相对应的色点的用户输入；

执行用于使用颜色边缘根据所述灰度数字图像和所述色点生成彩色化的图像的步骤；以及

提供所述彩色化的图像以供向客户端设备显示。

19.根据权利要求18所述的方法，还包括：通过以下来标识色点的所述用户输入：提供彩色化图形用户界面以供在所述客户端设备处显示，所述彩色化图形用户界面包括所述灰度数字图像和色点输入元件。

20.根据权利要求19所述的方法，还包括：通过以下来提供所述彩色化的图像以供向所述客户端设备显示：经由所述彩色化图形用户界面呈现所述彩色化的图像。