CN113228111A - 图像处理方法、图像处理系统和程序 - Google Patents

图像处理方法、图像处理系统和程序 Download PDF

Info

Publication number
CN113228111A
CN113228111A CN201980086315.3A CN201980086315A CN113228111A CN 113228111 A CN113228111 A CN 113228111A CN 201980086315 A CN201980086315 A CN 201980086315A CN 113228111 A CN113228111 A CN 113228111A
Authority
CN
China
Prior art keywords
image
line drawing
layer
coloring
image file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980086315.3A
Other languages
English (en)
Inventor
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Publication of CN113228111A publication Critical patent/CN113228111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供图像处理方法，其中计算机：针对各元素存储包括成对的线条画图像和着色图像的学习数据；针对各元素通过使用元素的学习数据的机器学习来生成用于从线条画图像估计着色图像的估计模型；获得要着色的对象的线条画图像即对象线条画图像；识别与对象线条画图像相对应的元素；基于与所识别的元素相对应的估计模型和对象线条画图像来生成与对象线条画图像要配对的着色图像即对象着色图像；通过使用对象着色图像来生成包括线条画层和着色层的图像文件的着色层；将所生成的着色层插入到包括与对象线条画图像相对应的线条画层的图像文件即对象图像文件中；基于用户输入来修改被插入了着色层的对象图像文件的着色层；提取修改后的着色层和相应线条画层作为学习用的图像对；以及同与在生成对象着色图像时使用的估计模型相对应的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为学习数据。

Description

图像处理方法、图像处理系统和程序
技术领域
本发明涉及图像处理方法、图像处理系统和程序。
背景技术
非专利文献1和非专利文献2公开了与pix2pix有关的技术。
现有技术列表
非专利文献
非专利文献1：Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,Alexei A.Efros,Image-to-Image Translation with Conditional Adversarial Networks,arXiv:1611.07004,2016.
非专利文献2：Satoshi Iizuka,Edgar Simo-Serra,and Hiroshi Ishikawa.“Letthere be Color！:Joint End-to-end Learning of Global and Local Image Priorsfor Automatic Image Colorization with Simultaneous Classification”.ACMTransaction on Graphics(Proc.of SIGGRAPH),35(4):110,2016.
发明内容
发明要解决的问题
利用传统的自动着色技术，已不能对游戏、动画等中的现有角色等的线条画(line-drawing)进行高精度着色。本发明的目的是对游戏、动画等中的现有角色等的线条画进行高精度着色。
用于解决问题的方案
本发明提供一种图像处理方法，其中，计算机：
针对各元素，存储包括成对的线条画图像和着色图像的学习数据；
针对各元素，通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型；
获得对象线条画图像，所述对象线条画图像是要着色的对象的线条画图像；
识别与所述对象线条画图像相对应的元素；
基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层；
将所生成的着色层插入到对象图像文件中，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层；
提取修改后的着色层和相应的线条画层作为学习用的图像对；以及
同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地，存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据。
本发明还提供一种图像处理方法，其中，计算机：
针对各元素，存储包括成对的线条画图像和着色图像的学习数据；
获得学习用的图像文件，所述图像文件包括线条画层和着色层；
从学习用的所述图像文件中提取所述线条画层和所述着色层；
识别与学习用的所述图像文件所表示的图像相对应的元素；
与所识别的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据；
针对各元素，通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型；
获得对象线条画图像，所述对象线条画图像是要着色的对象的线条画图像；
识别与所述对象线条画图像相对应的元素；
基于与对应于所述对象线条画图像的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
通过使用所述对象着色图像来生成所述图像文件的所述着色层；
将所生成的着色层插入到对象图像文件中，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层；以及
获得包括修改后的着色层的对象图像文件作为学习用的所述图像文件。
本发明还提供一种图像处理系统，包括：
用于针对各元素存储包括成对的线条画图像和着色图像的学习数据的部件；
用于针对各元素、通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型的部件；
用于获得对象线条画图像的部件，所述对象线条画图像是要着色的对象的线条画图像；
用于识别与所述对象线条画图像相对应的元素的部件；
用于基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像的部件，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
用于通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层的部件；
用于将所生成的着色层插入到对象图像文件中的部件，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
用于基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层的部件；
用于提取修改后的着色层和相应的线条画层作为学习用的图像对的部件；以及
用于同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据的部件。
本发明还提供一种程序，用于使得计算机用作：
用于针对各元素存储包括成对的线条画图像和着色图像的学习数据的部件；
用于针对各元素、通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型的部件；
用于获得对象线条画图像的部件，所述对象线条画图像是要着色的对象的线条画图像；
用于识别与所述对象线条画图像相对应的元素的部件；
用于基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像的部件，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
用于通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层的部件；
用于将所生成的着色层插入到对象图像文件中的部件，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
用于基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层的部件；
用于提取修改后的着色层和相应的线条画层作为学习用的图像对的部件；以及
用于同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据的部件。
发明的效果
本发明使得可以对游戏、动画等中的现有角色等的线条画进行高精度着色。
附图说明
考虑到以下所述的优选实施方式和以下的附图，上述的目的、其它目的、特征和优点将变得更加明显。
图1是根据本实施方式的图像处理系统的示例功能框图。
图2是示出根据本实施方式的图像处理系统的示例硬件结构的图。
图3是示出本实施方式中的线条画层的示例图像的图。
图4是示出本实施方式中的着色层的示例图像的图。
图5是示出本实施方式中的底涂层(base-painting layer)的示例图像的图。
图6是示意性示出本实施方式中的图像文件的示例层结构的图。
图7是示出利用根据本实施方式的图像处理系统的处理的示例流程的图。
图8是示出利用根据本实施方式的图像处理系统的处理的示例流程的图。
图9是示出利用根据本实施方式的图像处理系统的处理的示例流程的图。
图10是示出利用根据本实施方式的图像处理系统的处理的示例流程的图。
具体实施方式
<实施方式>
首先，将说明本实施方式的概述。在本实施方式中，计算机执行以下处理。
(1)针对游戏或动画等中的各现有元素(例如，角色或服装)，存储包括成对的线条画图像和着色图像的学习数据。然后，针对各元素进行机器学习，并且针对各元素生成用于从线条画图像估计着色图像的估计模型。
(2)在给出要着色的线条画图像时，识别与该线条画图像相对应的元素，并且基于与所识别的元素相对应的估计模型以及该线条画图像来生成要与该线条画图像配对的着色图像。
(3)在手动修改所生成的着色图像时，将修改后的着色图像和与该修改后的着色图像相对应的线条画图像存储为新的学习数据。
接着，将说明根据本实施方式的图像处理系统的结构。图1示出图像处理系统的示例功能框图。如该图所示，图像处理系统包括学习图像文件输入单元10、学习数据生成单元11、分类单元12、学习数据存储单元13、学习单元14、估计模型存储单元15、对象图像文件输入单元16、对象线条画图像生成单元17、识别单元18，估计单元19、插入单元20、输出单元21和修改单元22。
图像处理系统可以由多个物理上和/或逻辑上分离的装置来实现。在这种情况下，图1所示的多个功能单元中的各功能单元由这多个装置其中之一来实现。可选地，图像处理系统可以在物理上和逻辑上由单个装置来实现。在这种情况下，图1所示的这多个功能单元全部由单个装置来实现。
现在，将说明图像处理系统的示例硬件结构。根据本实施方式的图像处理系统中所设置的功能单元由硬件和软件的任意组合来实现，该硬件和软件主要包括任意计算机的中央处理单元(CPU)、存储器、加载到该存储器中的程序、诸如硬盘等的用于存储程序的存储单元(其可以存储在装置出厂时已存储的程序、以及存储在诸如致密盘(CD)等的存储介质中或者从因特网上的服务器等下载的程序)、以及网络连接接口。此外，本领域技术人员将理解，存在关于实现方法和装置的各种修改。
图2是示出根据本实施方式的图像处理系统的示例硬件结构的框图。如图2所示，图像处理系统包括处理器1A、存储器2A、输入/输出接口3A、外围电路4A和总线5A。外围电路4A包括各种模块。图像处理系统不需要包括外围电路4A。在图像处理系统由多个物理和/或逻辑上分离的装置配置成的情况下，这多个装置中的各装置可以包括上述的硬件结构。
总线5A是允许处理器1A、存储器2A、外围电路4A和输入/输出接口3A相互发送和接收数据的数据传输路径。处理器1A是诸如CPU或图形处理单元(GPU)等的计算处理装置。存储器2A是诸如随机存取存储器(RAM)或只读存储器(ROM)等的存储器。输入/输出接口3A包括：用于从输入装置、外部装置、外部服务器、外部传感器等获得信息的接口；以及用于向输出装置、外部装置、外部服务器等输出信息的接口；等等。输入装置例如是键盘、鼠标或麦克风。输出装置例如是显示器、扬声器、打印机或邮件收发机。处理器1A可以向各个模块发出指令，并且可以基于这些计算的结果来进行计算。
接着，将说明图1所示的多个功能单元的各个功能结构。
学习图像文件输入单元10接受学习用的图像文件(以下称为“学习图像文件”)的输入。图像处理系统可以通过学习图像文件输入单元10接受学习图像文件的输入的操作来获得学习图像文件。
现在，将说明图像文件。本实施方式中的图像文件具有作为在用户(例如，插画家)创建图像时使用的标准数据结构的层结构。图像文件至少包括底涂层。底涂层包括线条画层和着色层。线条画层表示通过仅使用线条所描绘的线条画。着色层不包括线条画，并且表示应用于线条画的着色的内容。现在，将给出线条画层、着色层和底涂层各自的示例。图3示出线条画层的示例图像。图4示出着色层的示例图像。图5示出底涂层的示例图像。
接着，图6示意性示出本实施方式中的图像文件的示例层结构。在所示示例的情况下，图像文件包括底涂层和表示阴影的阴影层。底涂层包括线条画层和着色层。线条画包括表示角色的上半身的上半身层和表示角色的下半身的下半身层。着色层包括用于各个颜色的多个层。注意，所示的层结构仅仅是示例，并且不限于此。
本实施方式中的图像文件的示例包括PSD(Adobe Photoshop(注册商标))文件和AI(Adobe Illustrator(注册商标))文件，但不限于此。
返回参考图1，学习数据生成单元11从输入至学习图像文件输入单元10的学习图像文件生成学习数据。具体地，学习数据生成单元11从学习图像文件提取线条画层和着色层。然后，学习数据生成单元11通过将所提取的线条画层和着色层分别转换成适合于机器学习的预定文件格式来生成线条画图像和着色图像。从单个学习图像文件生成的成对的线条画图像和着色图像构成学习数据。
学习数据中所包括的线条画图像是以适合于机器学习的预定文件格式表示的图像，并且该图像表示与学习图像文件中所包括的线条画层相同的内容。此外，学习数据中所包括的着色图像是以适合于本实施方式中的机器学习的预定文件格式表示的图像，并且该图像表示与学习图像文件中所包括的着色层相同的内容。
适合于本实施方式中的机器学习的预定文件格式的示例包括诸如BMP(位图)格式等的非压缩光栅图像、以及诸如PNG(便携式网络图形)文件等的可逆压缩光栅图像，但不限于此。
现在，将说明用于从学习图像文件提取线条画层和着色层的处理的具体示例。
学习数据生成单元11可以基于用于标识学习图像文件中所包括的多个层中的各层的信息(元数据)来提取线条画层和着色层。用于标识多个层中的各层的信息的示例包括层名称、层ID(标识符)、层编号、以及诸如层之间的上下关系等的结构特征，但不限于此。
例如，用于指定线条画层和着色层的各个层名称、层ID、层编号等的规则是预先规定的。例如，这些规则规定将用于分别标识线条画层和着色层的预定信息添加到线条画层和着色层的各个层名称、层ID、层编号等。生成图像文件的用户根据这些规则来指定各层的层名称、层ID、层编号等。这使得学习数据生成单元11能够基于层名称、层ID、层编号等来从学习图像文件中提取线条画层和着色层。
可选地，例如，关于图像文件中所包括的多个层之间的上下关系的规则是预先规定的。例如，这些规则规定以下：“在组层中所包括的多个层中，底涂层位于最上方。此外，在底涂层中所包括的多个层中，线条图层位于最上方，并且着色层位于下一层”。生成图像文件的用户根据这些规则来指定图像文件中所包括的多个层之间的上下关系。这使得学习数据生成单元11能够基于图像文件中所包括的多个层之间的上下关系来从学习图像文件中提取线条画层和着色层。
分类单元12识别与由学习图像文件表示的图像相对应的元素。“与图像相对应的元素”是指在图像中描绘的元素。该元素是游戏或动画等中的现有角色或服装等。假定在由单个图像文件表示的图像中描绘单个元素。
此外，分类单元12将学习数据生成单元11所生成的学习数据与所识别的元素相关联地存储在学习数据存储单元13中。
现在，将说明用于识别与由学习图像文件表示的图像相对应的元素的处理的具体示例。
分类单元12可以例如基于学习图像文件的名称来识别上述元素。例如，用于指定图像文件的名称的规则是预先规定的。例如，这些规则规定将用于标识与由各图像文件表示的图像相对应的元素的预定信息(例如，角色名称或服装名称)添加到该图像文件的名称。生成图像文件的用户根据这些规则来指定图像文件的名称。这使得分类单元12能够基于图像文件的名称来识别与由学习图像文件表示的图像相对应的元素。
可选地，用户可以对图像处理系统进行用于指定元素的输入。然后，分类单元12可以基于用户所指定的内容来识别元素。
学习数据存储单元13针对各元素存储包括成对的线条画图像和着色图像的学习数据。例如，如该图所示，学习数据存储单元13可以包括分别与多个元素相对应的数据桶(data bucket)，并且可以将针对各个元素的学习数据累积在各个数据桶中。
学习单元14通过使用学习数据存储单元13中所存储的各元素的学习数据来针对该元素进行机器学习，由此生成用于从线条画图像估计着色图像的估计模型。机器学习的方法的示例是诸如生成对抗网络(GAN)等的生成神经网络，但不限于此。例如，学习单元14可以由pix2pix构成。
估计模型存储单元15存储学习单元14所生成的针对各元素的估计模型。估计模型存储单元15将基于各元素的学习数据所生成的估计模型与该元素相关联地存储。
对象图像文件输入单元16接受要着色的图像文件(以下称为“对象图像文件”)的输入。图像处理系统可以通过对象图像文件输入单元16接受对象图像文件的输入的操作来获得对象图像文件。对象图像文件包括线条画层但不包括着色层。
对象线条画图像生成单元17从对象图像文件中提取着色层，并将所提取的着色层转换成预定文件格式，由此获得要着色的线条画图像(以下称为“对象线条画图像”)。该预定文件格式与学习数据中所包括的线条画图像的文件格式相同。对象线条画图像生成单元17可以通过与学习数据生成单元11相同的方法从对象图像文件中提取着色层。
识别单元18识别与对象线条画图像相对应的元素。识别单元18可以通过与“用于识别与由学习图像文件表示的图像相对应的元素的部件(分类单元12)”相同的部件来识别与对象线条画图像相对应的元素。
估计单元19基于与由识别单元18识别的元素相对应的估计模型以及对象线条画图像来生成要与对象线条画图像配对的着色图像(以下称为“对象着色图像”)。与第一元素相对应的估计模型是与第一元素相关联地存储在估计模型存储单元15中的估计模型。
插入单元20通过使用估计单元19所生成的对象着色图像来生成着色层。然后，插入单元20将所生成的着色层插入到输入至对象图像文件输入单元16的对象图像文件中。在下文，由插入单元20插入了着色层的对象图像文件将被称为“已着色图像文件”。此外，由已着色图像文件表示的图像将被称为“已着色图像”。注意，插入单元20可以执行噪声去除、用于将着色层分割成多个层的处理等。
输出单元21处理已着色图像文件并输出已着色图像。输出单元21经由诸如显示器、打印机、邮件收发机或投影装置等的任何类型的输出装置来实现已着色图像的输出。
修改单元22基于用户输入来修改已着色图像文件的着色层。此外，在修改已着色图像文件的着色层之后，当满足第一预定条件时，修改单元22将着色层已被修改的已着色图像文件作为学习图像文件输入到学习图像文件输入单元10。
第一预定条件例如是“接受到了来自用户的预定用户输入”。该预定用户输入可以是用于将着色层已被修改的已着色图像文件登记为学习图像文件的指令的输入。
可选地，预定用户输入可以是用于锁定预定层以禁止着色层的编辑的输入。该预定层是着色层或底涂层等。可假定用户在完成着色层的修改时、锁定预定层以禁止着色层的编辑。也就是说，可假定：在锁定了预定层以禁止着色层的编辑的情况下，着色层的修改已完成，并且数据已变得适合作为学习用的数据。通过响应于锁定预定层以禁止着色层的编辑而输出已着色图像文件作为学习图像文件，可以在不需要用户的不必要操作的情况下，将优选作为学习用的数据的数据输入到学习图像文件输入单元10。
可选地，预定用户输入可以是用于将作业对象从着色层改变为另一层(例如，着色层上方的层)的指令的输入。同样在这种情况下，由于与上述的锁定情况相同的原因，可以在不需要用户的不必要操作的情况下，将优选作为学习用的数据的数据输入到学习图像文件输入单元10。
接着，将参考图7的流程图来说明利用图像处理系统进行的处理的示例流程。图7示出用于登记学习数据的处理的示例流程。
首先，图像处理系统获得学习图像文件(S10)。然后，图像处理系统从在S10中获得的学习图像文件中提取线条画层和着色层(S11)。然后，图像处理系统改变在S11中提取的线条画层和着色层的各个文件格式，以生成以适合于机器学习的预定文件格式表示的线条画图像和着色图像(S12)。
然后，图像处理系统识别与由在S10中获得的学习图像文件表示的图像相对应的元素(S13)。然后，图像处理系统将包括在S12中生成的成对的线条画图像和着色图像的学习数据与在S13中识别的元素相关联地登记(S14)。
注意，S11～S13的处理顺序不限于所示的顺序。
接着，将参考图8的流程图来说明利用图像处理系统的处理的另一示例流程。图8示出用于生成估计模型的处理的示例流程。
图像处理系统监视学习定时的到来(S20)。学习定时可以是添加了新学习数据的定时、新添加了预定数量的学习数据的定时、接收到指示执行学习的用户输入的定时、预先登记的定时(例如，每天0点或每周一0点)、或者其它定时。
当学习定时到来时(在S20中为“是”)，图像处理系统通过使用针对各元素所登记的学习数据，来针对该元素进行机器学习以针对该元素生成估计模型(S21)。然后，图像处理系统针对各元素登记在S21中生成的估计模型(S22)。注意，在S21中，可以针对所有元素进行机器学习，或者可以针对这些元素中的一些元素进行机器学习。例如，图像处理系统可以仅针对添加了新学习数据的元素进行机器学习并且更新估计模型。
接着，将参考图9的流程图来说明利用图像处理系统的处理的另一示例流程。图9示出用于对对象图像文件进行自动着色的处理的示例流程。
首先，图像处理系统获得对象图像文件(S30)。然后，图像处理系统从在S30中获得的对象图像文件中提取线条画层(S31)。然后，图像处理系统改变在S31中提取的线条画层的文件格式，由此生成以预定文件格式表示的对象线条画图像(S32)。该预定文件格式与学习数据中所包括的线条画图像的文件格式相同。
然后，图像处理系统识别与由在S30中获得的对象图像文件表示的图像相对应的元素(S33)。然后，图像处理系统基于与在S33中识别的元素相对应的估计模型以及在S32中生成的对象线条画图像来生成对象着色图像(S34)。
然后，图像处理系统通过使用在S34中生成的对象着色图像来生成着色层(S35)，并且将所生成的着色层插入到在S30中获得的对象图像文件中(S36)。然后，图像处理系统输出被插入了着色层的对象图像文件(S37)。
注意，S31～S33的处理顺序不限于所示的顺序。
接着，将参考图10的流程图来说明利用图像处理系统的处理的另一示例流程。图10示出如下处理的示例流程，该处理用于修改作为通过图9的处理被插入了着色层的对象图像文件的已着色图像文件，并且输出修改后的已着色图像文件作为学习图像文件。
图像处理系统将由已着色图像文件表示的图像例如显示在显示器上(S40)。用户查看显示器上所显示的自动着色图像，并且适当地修改预定层。这里，假定图像处理系统基于用户输入来修改已着色图像文件中所包括的着色层(S41)。
然后，在满足用于使用修改后的已着色图像文件作为学习图像文件的第一条件时(S42中为“是”)，图像处理系统输出该修改后的已着色图像文件作为学习图像文件(S43)。然后，图像处理系统执行图7的处理。注意，第一条件是前面所述的条件。
另一方面，在不满足第一条件时(S42中为“否”)，图像处理系统等待，直到满足第一条件为止。在这种情况下，图像处理系统可以在满足预定义的终止条件时终止处理。终止条件可以是接受到用于终止用于修改已着色图像文件的处理的用户输入，或者可以是其它条件。
接着，将说明本实施方式的操作和优点。
本实施方式涉及一种用于配置AI的方法，该AI用于例如关于游戏或动画等中的现有元素(例如，角色或服装)，针对用户所创建的线条画图像，自动实现用作底涂的高精度着色。
本实施方式的技术特征在于：在将作为游戏和动画特有的概念的诸如“角色”和“服装”等的元素视为基本单位时，进行学习数据的分类、估计模型的生成、推理时的估计模型的选择、反馈时的学习数据管理等，由此实现使得能够进行由用户隐含地拥有的各个元素的特征的高精度学习的人在回路深度学习(human-in-the-loop deep learning，HITL-DL)。
这里，人在回路是指以不会给用户带来负担的自然方式实现以用户参与为前提的学习。利用涉及复杂调整的传统深度学习，HITL的实现被认为是相对困难的。本实施方式例如通过采用以下的三个特征来建立用于用作专业用途中的底涂的高精度自动着色的HITL。
·在输入学习图像文件(例如，PSD)时，通过使用层名称等来提取线条画层和着色层。然后，通过使用所提取的线条画层和着色层来生成用作学习数据的线条画图像和着色图像。然后，通过使用文件名等来识别与学习图像文件相对应的元素，并且将所生成的学习数据与所识别的元素相关联地存储。然后，针对各元素进行机器学习，以针对该元素生成用于从线条画图像生成着色图像的估计模型。
·在输入对象图像文件以进行自动着色时，通过使用层名称等来提取线条画层以生成对象线条画图像，并且通过使用文件名等来识别与对象图像文件相对应的元素。然后，基于与所识别的元素相对应的估计模型以及对象线条画图像来生成要与对象线条画图像配对的着色图像。然后，基于所生成的着色图像来生成着色层，并且将该着色层插入到对象图像文件中。
·在用户修改通过上述自动着色所生成的着色层时，输出包括修改后的着色层的对象图像文件作为学习图像文件。
这些特征使得可以自动学习底涂的人类知识，并对现有元素应用高精度着色。此外，在添加新元素时，可以在不影响现有估计模型的情况下可扩展地添加新估计模型。
此外，在本实施方式中，为了学习的目的而输入到图像处理系统的图像文件和在着色之后从图像处理系统输出的图像文件具有相同的文件格式。因而，计算系统是封闭的，这使得可以执行永久的人在回路。
此外，在本实施方式中，通过集体使用分别针对特定元素具有低泛化性能的估计模型来实现高精度估计。
<实施例>
接着，将说明实施例。首先，将说明本实施例中的数据结构。本实施例是通过使用以下的三个数据结构构成的：即，输入到图像处理系统的图像文件D、针对各个元素存储学习数据的数据桶B、以及从图像处理系统输出的图像文件D′。
可以如等式(1)那样定义图像文件D。图像文件D的文件格式例如是PSD文件。
{等式1}
D＝{L1，L2，...，Ln}|Li←{Li+1，Li+2，...，Li+x}…(1)
这里，Li表示第i层，并且在各个层之间存在非循环的亲子关系。Li具有任意数量的子元素。
数据桶B包括针对各个元素的多个数据桶。可以如等式(2)那样定义与元素a相对应的数据桶Ba。
{等式2}
Ba＝{s1，c1，s2，c2，...，sk，ck}…(2)
这里，sk表示第k线条画图像，并且ck表示第k着色图像。成对的sk和ck构成单个学习数据。线条画图像和着色图像的文件格式例如是BMP文件。
图像文件D′具有与图像文件D相同的文件格式。也就是所，输入到图像处理系统的图像文件D和从图像处理系统输出的图像文件D′具有相同的文件格式。可以如等式(3)那样定义图像文件D′。图像文件D′例如是PSD文件。
{等式3}
D′＝{L1，L2，...，Lm}|Li←{Li+1，Li+2，...，Li+x}…(3)
这里，Li表示第i层，并且在各个层之间存在非循环的亲子关系。Li具有任意数量的子元素。
接着，将说明用于实现本实施例的基本功能。在本实施例中，使用normalize(归一化)和append(添加)这两个函数作为用于配置人在回路的控制函数，使用learn(学习)函数作为用于通过使用GAN来进行学习的函数，并且使用infer(推断)、denoise(去噪)和divide(分割)这三个函数作为用于进行自动着色的函数。也就是说，在本实施例中使用总共六个原函数。
normalize函数从具有层结构的图像文件D中提取线条画层和着色层，并且进行文件格式的改变、图像大小的调节等，以生成线条画图像st和着色图像ct。此外，normalize函数识别与由图像文件D表示的图像相对应的元素a。可以如等式(4)那样定义normalize函数。
{等式4}
normalize(Dt，w，h)→{a，st，ct}…(4)
这里，Dt表示要处理的图像文件。w和h表示要输出的线条画图像st和着色图像ct的数据大小(宽度和高度)。利用诸如pix2pix等的生成神经网络(generative neuralnetwork)，需要用作学习数据的图像的大小(沿着垂直方向和水平方向的像素数量)是一致的。在本实施例中，通过使用normalize函数来将这些图像的大小归一化。
append函数是将从normalize函数输出的线条画图像st和着色图像ct的图像对存储在与从normalize函数输出的元素a相对应的数据桶Ba中的函数。可以如等式(5)那样定义append函数。
{等式5}
append(Ba，st，ct)…(5)
这里，Ba表示与元素a相对应的数据桶。
leam函数基于与元素a相对应的数据桶Ba中所存储的学习数据来进行机器学习，并且生成用于从与元素a相对应的线条画图像生成着色图像的估计模型Ma。可以如等式(6)那样定义leam函数。
{等式6}
learn(Ba)→Ma…(6)
leam函数可以通过直接使用诸如pix2pix等的现有的生成神经网络来实现。
infer函数是如下的函数，该函数接收与元素a相对应的线条画图像sa的输入，并且通过使用与元素a相对应的估计模型Ma来自动生成着色图像ca。可以如等式(7)那样定义infer函数。
{等式7}
infer(Ma，sa)→ca…(7)
denoise函数是在假定自动着色的结果表示素描(plain painting)时去除噪声的函数(去噪滤波器)。利用基于GAN的自动着色，存在在特征往往会丢失的区域(诸如画边缘、密集地描绘了线的区域等)中引入噪声的趋势。因而，通过引入作为诸如整平(levelling)等的图像处理而工作的去噪滤波器，可以提高底涂或素描的精度。可以如等式(8)那样定义denoise函数。
{等式8}
denoise(c)→c′…(8)
这里，c表示由infer函数生成的着色图像，并且c′表示在执行噪声去除之后的着色图像。
divide函数对执行噪声去除之后的着色图像c′执行诸如文件格式的改变和各颜色的层分割等的处理，由此生成图像文件的着色层。例如，在通过denoise函数去除了噪声、使得要用单个颜色对单个区域进行涂色时，可以进行按各颜色的层分割。上述的按各颜色的层分割使得用户可以容易地进行编辑和修改。此外，divide函数将所生成的着色层插入到包括与输入至infer函数的要着色的线条画图像sa相对应的线条画层的图像文件中。可以如等式(9)那样定义divide函数。
{等式9}
divide(c′)→D′...(9)
这里，D′表示从divide函数输出的图像文件，该图像文件包括与输入至infer函数的要着色的线条画图像sa相对应的线条画层，并且在该图像文件中，插入了由divide函数生成的着色层。
本实施例中的学习处理如下。
·步骤L1：将normalize函数应用于学习用的图像文件D。
·步骤L2：执行append函数，以将步骤L1的结果针对各个元素存储在学习桶B中。
·步骤L3：将learn函数应用于各个学习桶Ba以生成学习模型Ma。
本实施例中的推理处理如下。
·步骤I1：在用户将与特定元素a相对应的线条画图像输入到图像处理系统时，图像处理系统通过使用与元素a相对应的学习模型Ma来将infer函数应用于线条画图像，由此生成着色图像c。
·步骤I2：将denoise函数应用于在步骤I1中获得的着色图像c，由此获得噪声已被去除的着色图像c'。
·步骤I3：将divide函数应用于在步骤I2中获得的着色图像c'，由此获得具有层结构的图像文件D'。
本实施例中的用户的修改处理如下。
·步骤H1：修改在步骤I3中输出的图像文件D'的着色层，并且在输出修改后的图像文件D'作为学习用的图像文件D时，执行从上述的步骤L1开始的学习处理。
如上所述，在手动进行修改时，调用作为学习处理的开始的步骤L1，由此实现根据本发明的永久改善。
以下附加参考模式的示例。
1.一种图像处理方法，其中，计算机：
针对各元素，存储包括成对的线条画图像和着色图像的学习数据；
针对各元素，通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型；
获得对象线条画图像，所述对象线条画图像是要着色的对象的线条画图像；
识别与所述对象线条画图像相对应的元素；
基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层；
将所生成的着色层插入到对象图像文件中，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层；
提取修改后的着色层和相应的线条画层作为学习用的图像对；以及
同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地，存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据。
2.一种图像处理方法，其中，计算机：
针对各元素，存储包括成对的线条画图像和着色图像的学习数据；
获得学习用的图像文件，所述图像文件包括线条画层和着色层；
从学习用的所述图像文件中提取所述线条画层和所述着色层；
识别与学习用的所述图像文件所表示的图像相对应的元素；
与所识别的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据；
针对各元素，通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型；
获得对象线条画图像，所述对象线条画图像是要着色的对象的线条画图像；
识别与所述对象线条画图像相对应的元素；
基于与对应于所述对象线条画图像的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
通过使用所述对象着色图像来生成所述图像文件的所述着色层；
将所生成的着色层插入到对象图像文件中，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层；以及
获得包括修改后的着色层的对象图像文件作为学习用的所述图像文件。
3.根据1或2所述的图像处理方法，
其中，所述计算机基于用于分别标识所述图像文件中所包括的多个层的信息，来从所述图像文件中提取所述线条画层和所述着色层。
4.根据1至3中任一项所述的图像处理方法，
其中，所述计算机基于所述图像文件的名称来识别与所述图像文件所表示的图像相对应的元素。
5.根据1至4中任一项所述的图像处理方法，
其中，所述计算机在基于用户输入而修改所述对象图像文件的所述着色层之后，在接受到预定用户输入时，获得包括修改后的着色层的对象图像文件作为学习用的所述图像文件。
6.根据1至5中任一项所述的图像处理方法，
其中，在单个的学习用的所述图像文件所表示的图像中描绘单个元素。
7.一种图像处理系统，包括：
用于针对各元素存储包括成对的线条画图像和着色图像的学习数据的部件；
用于针对各元素、通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型的部件；
用于获得对象线条画图像的部件，所述对象线条画图像是要着色的对象的线条画图像；
用于识别与所述对象线条画图像相对应的元素的部件；
用于基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像的部件，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
用于通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层的部件；
用于将所生成的着色层插入到对象图像文件中的部件，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
用于基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层的部件；
用于提取修改后的着色层和相应的线条画层作为学习用的图像对的部件；以及
用于同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据的部件。
8.一种程序，用于使得计算机用作：
用于针对各元素存储包括成对的线条画图像和着色图像的学习数据的部件；
用于针对各元素、通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型的部件；
用于获得对象线条画图像的部件，所述对象线条画图像是要着色的对象的线条画图像；
用于识别与所述对象线条画图像相对应的元素的部件；
用于基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像的部件，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
用于通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层的部件；
用于将所生成的着色层插入到对象图像文件中的部件，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
用于基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层的部件；
用于提取修改后的着色层和相应的线条画层作为学习用的图像对的部件；以及
用于同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据的部件。
本申请要求2018年12月28日提交的日本专利申请2018-247800的优先权，其全部内容被并入本文。

Claims (8)

1.一种图像处理方法，其中，计算机：
针对各元素，存储包括成对的线条画图像和着色图像的学习数据；
针对各元素，通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型；
获得对象线条画图像，所述对象线条画图像是要着色的对象的线条画图像；
识别与所述对象线条画图像相对应的元素；
基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层；
将所生成的着色层插入到对象图像文件中，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层；
提取修改后的着色层和相应的线条画层作为学习用的图像对；以及
同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地，存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据。
2.一种图像处理方法，其中，计算机：
针对各元素，存储包括成对的线条画图像和着色图像的学习数据；
获得学习用的图像文件，所述图像文件包括线条画层和着色层；
从学习用的所述图像文件中提取所述线条画层和所述着色层；
识别与学习用的所述图像文件所表示的图像相对应的元素；
与所识别的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据；
针对各元素，通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型；
获得对象线条画图像，所述对象线条画图像是要着色的对象的线条画图像；
识别与所述对象线条画图像相对应的元素；
基于与对应于所述对象线条画图像的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
通过使用所述对象着色图像来生成所述图像文件的所述着色层；
将所生成的着色层插入到对象图像文件中，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层；以及
获得包括修改后的着色层的对象图像文件作为学习用的所述图像文件。
3.根据权利要求1或2所述的图像处理方法，
其中，所述计算机基于用于分别标识所述图像文件中所包括的多个层的信息，来从所述图像文件中提取所述线条画层和所述着色层。
4.根据权利要求1至3中任一项所述的图像处理方法，
其中，所述计算机基于所述图像文件的名称来识别与所述图像文件所表示的图像相对应的元素。
5.根据权利要求1至4中任一项所述的图像处理方法，
其中，所述计算机在基于用户输入而修改所述对象图像文件的所述着色层之后，在接受到预定用户输入时，获得包括修改后的着色层的对象图像文件作为学习用的所述图像文件。
6.根据权利要求1至5中任一项所述的图像处理方法，
其中，在单个的学习用的所述图像文件所表示的图像中描绘单个元素。
7.一种图像处理系统，包括：
用于针对各元素存储包括成对的线条画图像和着色图像的学习数据的部件；
用于针对各元素、通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型的部件；
用于获得对象线条画图像的部件，所述对象线条画图像是要着色的对象的线条画图像；
用于识别与所述对象线条画图像相对应的元素的部件；
用于基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像的部件，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
用于通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层的部件；
用于将所生成的着色层插入到对象图像文件中的部件，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
用于基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层的部件；
用于提取修改后的着色层和相应的线条画层作为学习用的图像对的部件；以及
用于同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据的部件。
8.一种程序，用于使得计算机用作：
用于针对各元素存储包括成对的线条画图像和着色图像的学习数据的部件；
用于针对各元素、通过使用该元素的学习数据的机器学习来生成用于从所述线条画图像估计所述着色图像的估计模型的部件；
用于获得对象线条画图像的部件，所述对象线条画图像是要着色的对象的线条画图像；
用于识别与所述对象线条画图像相对应的元素的部件；
用于基于与所识别的元素相对应的估计模型以及所述对象线条画图像来生成对象着色图像的部件，所述对象着色图像是与所述对象线条画图像要配对的着色图像；
用于通过使用所述对象着色图像来生成包括线条画层和着色层的图像文件的所述着色层的部件；
用于将所生成的着色层插入到对象图像文件中的部件，所述对象图像文件是包括与所述对象线条画图像相对应的线条画层的图像文件；
用于基于用户输入来修改被插入了所述着色层的所述对象图像文件的所述着色层的部件；
用于提取修改后的着色层和相应的线条画层作为学习用的图像对的部件；以及
用于同与在生成所述对象着色图像时使用的估计模型相对应的元素相关联地存储成对的所提取的线条画层的线条画图像和所提取的着色层的着色图像作为所述学习数据的部件。
CN201980086315.3A 2018-12-28 2019-12-25 图像处理方法、图像处理系统和程序 Pending CN113228111A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018247800A JP6676744B1 (ja) 2018-12-28 2018-12-28 画像処理方法、画像処理システム及びプログラム
JP2018-247800 2018-12-28
PCT/JP2019/050853 WO2020138182A1 (ja) 2018-12-28 2019-12-25 画像処理方法、画像処理システム及びプログラム

Publications (1)

Publication Number Publication Date
CN113228111A true CN113228111A (zh) 2021-08-06

Family

ID=70058010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086315.3A Pending CN113228111A (zh) 2018-12-28 2019-12-25 图像处理方法、图像处理系统和程序

Country Status (4)

Country Link
US (1) US11880912B2 (zh)
JP (1) JP6676744B1 (zh)
CN (1) CN113228111A (zh)
WO (1) WO2020138182A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553961B (zh) * 2020-04-27 2023-09-08 北京奇艺世纪科技有限公司 线稿对应色图的获取方法和装置、存储介质和电子装置
CN113706645A (zh) * 2021-06-30 2021-11-26 酷栈(宁波)创意科技有限公司 用于山水画绘制的信息处理方法
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477695A (zh) * 2009-01-05 2009-07-08 东南大学 一种图像和视频快速着色的方法
CN107330956A (zh) * 2017-07-03 2017-11-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
CN108288296A (zh) * 2016-11-30 2018-07-17 上海仙剑文化传媒股份有限公司 数字图像上色方法及数字化出版的图片批量上色方法
CN108830913A (zh) * 2018-05-25 2018-11-16 大连理工大学 基于用户颜色引导的语义级别线稿上色方法
US20180342084A1 (en) * 2017-05-23 2018-11-29 Preferred Networks, Inc. Method and apparatus for automatic line drawing coloring and graphical user interface thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9566522B2 (en) * 2005-05-27 2017-02-14 Nokia Technologies Oy Device, method, and computer program product for customizing game functionality using images
US11238623B2 (en) * 2017-05-01 2022-02-01 Preferred Networks, Inc. Automatic line drawing coloring program, automatic line drawing coloring apparatus, and graphical user interface program
JP7242165B2 (ja) * 2017-09-20 2023-03-20 株式会社Preferred Networks プログラム、情報処理装置、および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477695A (zh) * 2009-01-05 2009-07-08 东南大学 一种图像和视频快速着色的方法
CN108288296A (zh) * 2016-11-30 2018-07-17 上海仙剑文化传媒股份有限公司 数字图像上色方法及数字化出版的图片批量上色方法
US20180342084A1 (en) * 2017-05-23 2018-11-29 Preferred Networks, Inc. Method and apparatus for automatic line drawing coloring and graphical user interface thereof
CN107330956A (zh) * 2017-07-03 2017-11-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
CN108830913A (zh) * 2018-05-25 2018-11-16 大连理工大学 基于用户颜色引导的语义级别线稿上色方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KURATA SAORI: "《Automatic coloring to freehand line drawings online》", 《 VISUAL INFORMATION PROCESSING AND COMMUNICATION VI》 *

Also Published As

Publication number Publication date
US20210327104A1 (en) 2021-10-21
WO2020138182A1 (ja) 2020-07-02
JP6676744B1 (ja) 2020-04-08
JP2020107239A (ja) 2020-07-09
US11880912B2 (en) 2024-01-23

Similar Documents

Publication Publication Date Title
US10839575B2 (en) User-guided image completion with image completion neural networks
US11880977B2 (en) Interactive image matting using neural networks
Gooch et al. Artistic vision: painterly rendering using computer vision techniques
US11880912B2 (en) Image processing method, image processing system, and program for colorizing line-drawing images using machine learning
CN108961369A (zh) 生成3d动画的方法和装置
US20140085293A1 (en) Method of creating avatar from user submitted image
US11010932B2 (en) Method and apparatus for automatic line drawing coloring and graphical user interface thereof
CN114187633B (zh) 图像处理方法及装置、图像生成模型的训练方法及装置
US10489946B1 (en) Generalized primitives for smooth coloring of vector graphics artwork in constant time
US11494980B2 (en) Virtual asset map and index generation systems and methods
JP7474793B2 (ja) 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム
CN112221145B (zh) 游戏脸模生成方法及装置、存储介质及电子设备
CN112717414B (zh) 游戏场景编辑方法、装置、电子设备以及存储介质
JP4842242B2 (ja) キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置
US20230267686A1 (en) Subdividing a three-dimensional mesh utilizing a neural network
US20200013232A1 (en) Method and apparatus for converting 3d scanned objects to avatars
US20200394828A1 (en) Image object pose synchronization
CN113487475B (zh) 交互式图像编辑方法、系统、可读存储介质及电子设备
CN113223128B (zh) 用于生成图像的方法和装置
CN112396680B (zh) 毛发流向图的制作方法及装置、存储介质、计算机设备
Liu et al. Video cloning for paintings via artistic style transfer
US20200013233A1 (en) Method and apparatus for fitting an accessory object to an avatar
CN117649477B (zh) 图像处理方法、装置、设备以及存储介质
CN117649477A (zh) 图像处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40047675

Country of ref document: HK