CN112561786A - 基于图像卡通化的在线直播方法、装置和电子设备 - Google Patents

基于图像卡通化的在线直播方法、装置和电子设备 Download PDF

Info

Publication number
CN112561786A
CN112561786A CN202011523785.2A CN202011523785A CN112561786A CN 112561786 A CN112561786 A CN 112561786A CN 202011523785 A CN202011523785 A CN 202011523785A CN 112561786 A CN112561786 A CN 112561786A
Authority
CN
China
Prior art keywords
cartoon
image
head portrait
face image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011523785.2A
Other languages
English (en)
Inventor
安�晟
王岩
杨森
蔡红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zuoyebang Education Technology Beijing Co Ltd
Original Assignee
Zuoyebang Education Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zuoyebang Education Technology Beijing Co Ltd filed Critical Zuoyebang Education Technology Beijing Co Ltd
Priority to CN202011523785.2A priority Critical patent/CN112561786A/zh
Publication of CN112561786A publication Critical patent/CN112561786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于教育领域，提供一种基于图像卡通化的在线直播方法、装置、电子设备，该方法用于实时识别直播视频流中的原始图像，并将该原始图像中的人脸图像进行卡通化，所述方法还包括：收集真实人脸数据集和卡通人脸数据集，建立训练数据集；基于生成对抗网络，建立初始人物卡通头像生成模型，使用训练数据集进行交替训练；根据约束规则，确定损失函数，并使用损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；获取当前直播视频流中待转换的原始图像，使用最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。本发明能够保证人物卡通图像生成前后的图像在颜色、位置、边缘、纹理、头像属性等多维度上的一致性。

Description

基于图像卡通化的在线直播方法、装置和电子设备
技术领域
本发明属于教育领域，特别适用于线上教育领域，更具体的是涉及一种基于图像卡通化的在线直播方法、装置和电子设备。
背景技术
随着互联网络的发展，越来越多的网络课程涌现，老师通过网络授课或在线课堂来传授知识成为了重要的学习方式。
然而，在现有的一部分在线教育系统中，在具体课程学习过程中，通常存在老师与学员的交互过程。但是，在相关技术中，定位人脸以及各五官，再将人脸的各个器官分别转化，然后再拼接在一起。上述方法对检测模型的稳定性要求很高，对于交互场景中，位置的检测还需要配合人工标注，显然，上述方法无法满足直播场景，并且分别生成再拼合的生成过程，成本相对较高。此外，由于分别生成的五官之间可能存在互相不协调的问题，同时还存在如何将生成好的五官拼合在一起、五官和面部连接处的处理、颜色一致性差等其他问题。因此，在如何生成更自然、更真实的卡通头像方面，仍存在很大改进空间。
因此，有必要提供一种更有效的在线直播方法，能够更自然且更有效进行图像卡通化转换。
发明内容
(一)要解决的技术问题
本发明旨在解决现有卡通图像生成方法无法满足直播场景中的实时生成、图像颜色一致性差等问题。
(二)技术方案
为解决上述技术问题，本发明的一方面提出一种基于图像卡通化的在线直播方法，其用于实时识别直播视频流中的原始图像，并将该原始图像中的人脸图像进行卡通化，所述方法还包括：收集真实人脸数据集和卡通人脸数据集，建立训练数据集；基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练；根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。
根据本发明的优选实施方式，还包括：预设约束规则，所述约束规则包括设定一致性参数、使损失函数最小化，所述一致性参数包括颜色一致性、位置一致性、纹理一致性、边缘信息一致性中的至少两个；所述约束规则还包括判断特定缩放尺寸范围内的真实人脸图像与所生的人物卡通头像中的脸部肤色、头发颜色、背景颜色一致性。
根据本发明的优选实施方式，所述确定损失函数包括：选择一致性参数，以确定损失函数，所确定的损失函数为：
Ltotal＝λ1LGAN(G,DY,X,Y)+λ2LGAN(F,DX,Y,X)+λ3Lcycle+λ4Lcolor+λ5Ltexture(G,X)+λ6Lattribute(G,X)
其中，G是第一生成器；F为第二生成器；X为训练样本中的真实人脸图像，Y是训练样本中的卡通人脸头像；DX是第一判别器；DY是第二判别器；λ1、λ2、λ3、λ4、λ5、λ6是可设定参数；LGAN是判别器的损失值；Lcycle是循环损失值；Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和/或五官位置上的损失值；Lattribute为表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值。
根据本发明的优选实施方式，还包括计算Lattribute，Lattribute的计算表达式如下：
Figure BDA0002850137240000021
其中，Lattribute是表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；AX是用于计算用户的真实人脸图像的头像属性值；AY是用于计算所生成的用户的人物卡通头像的头像属性值；
Figure BDA0002850137240000031
是用于表示取AX与AY的欧氏距离的均值；‖AX(x)-AY(G(x))‖2表示计算生成前后头像属性特征向量的欧氏距离；构建第一计算模型和第二计算模型，所述第一计算模型用于计算真实人脸图像的头像属性值，所述第二计算模型用于计算人物卡通头像的头像属性值。
根据本发明的优选实施方式，还包括计算Ltexture，Ltexture的计算表达式如下：
Figure BDA0002850137240000032
其中，Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和五官位置上的损失值；Candy(x)是表示对用户的真实人脸图像使用Candy算子进行边缘提取的特征值；Candy(G(x))是表示对所生成的用户的人物卡通头像使用Candy算子进行边缘提取的特征值；
Figure BDA0002850137240000033
是表示‖Candy(x)-Candy(G(x))‖1的均值；‖Candy(x)-Candy(G(x))‖1是表示Candy(x)与Candy(G(x))之间的欧式距离。
根据本发明的优选实施方式，还包括计算Lcolor(G,X)，Lcolor(G,X)的计算表达式如下：
Figure BDA0002850137240000034
其中，Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Re(x)是表示将用户的真实人脸图像缩放到特定范围内的颜色值；Re(G(x))是表示将所生成的用户的人物卡通头像在所述特定范围内的颜色值；
Figure BDA0002850137240000035
Figure BDA0002850137240000036
是表示‖Re(x)-Re(G(x))‖1的均值；‖Re(x)-Re(G(x))‖1是表示Re(x)与Re(G(x))之间的欧式距离。
根据本发明的优选实施方式，还包括：使用MobileNetV2方法，确定历史视频流中原始图像所包含的真实人脸图像的位置，并截取真实人脸图像，以建立真实人脸数据集。
根据本发明的优选实施方式，还包括：使用MobileNetV2方法，确定当前直播视频流中原始图像所包含的真实人脸图像的位置，并截取与该真实人脸图像相对应的特定区域，以用于替换成卡通头像。
根据本发明的优选实施方式，进一步包括：对所述真实人脸数据集和所述卡通头像数据集中的真实人脸图像和人物卡通头像进行检测，并分别从所述真实人脸图像和所述人物卡通头像提取头像属性，以确定生成卡通头像前后的头像属性特征向量，并建立第一模型和第二模型的训练数据集；所述头像属性包括头发长短、头发颜色、脸型、眼睛大小和位置、鼻子大小和位置、是否有表情动作。
本发明第二方面提出一种基于图像卡通化的在线直播装置，所述装置包括：收集模块，用于收集真实人脸数据集和卡通人脸数据集，建立训练数据集；建立模块，基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练；控制模块，根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；转换模块，用于获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。
根据本发明的优选实施方式，还包括：设定模块，用于预设约束规则，所述约束规则包括设定一致性参数、使损失函数最小化，所述一致性参数包括颜色一致性、位置一致性、纹理一致性、边缘信息一致性中的至少两个；所述约束规则还包括判断特定缩放尺寸范围内的真实人脸图像与所生的人物卡通头像中的脸部肤色、头发颜色、背景颜色一致性。
根据本发明的优选实施方式，所述确定损失函数包括：选择一致性参数，以确定损失函数，所确定的损失函数为：
Ltotal＝λ1LGAN(G,DY,X,Y)+λ2LGAN(F,DX,Y,X)+λ3Lcycle+λ4Lcolor+λ5Ltexture(G,X)+λ6Lattribute(G,X)
其中，G是第一生成器；F为第二生成器；X为训练样本中的真实人脸图像，Y是训练样本中的卡通人脸头像；DX是第一判别器；DY是第二判别器；λ1、λ2、λ3、λ4、λ5、λ6是可设定参数；LGAN是判别器的损失值；Lcycle是循环损失值；Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和/或五官位置上的损失值；Lattribute为表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值。
根据本发明的优选实施方式，还包括计算模块，所述计算模块用于计算Lattribute，Lattribute的计算表达式如下：
Figure BDA0002850137240000051
其中，Lattribute是表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；AX是用于计算用户的真实人脸图像的头像属性值；AY是用于计算所生成的用户的人物卡通头像的头像属性值；
Figure BDA0002850137240000052
是用于表示取AX与AY的欧氏距离的均值；‖AX(x)-AY(G(x))‖2表示计算生成前后头像属性特征向量的欧氏距离；构建第一计算模型和第二计算模型，所述第一计算模型用于计算真实人脸图像的头像属性值，所述第二计算模型用于计算人物卡通头像的头像属性值。
根据本发明的优选实施方式，所述计算模块还用于计算Ltexture，Ltexture的计算表达式如下：
Figure BDA0002850137240000053
其中，Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和五官位置上的损失值；Candy(x)是表示对用户的真实人脸图像使用Candy算子进行边缘提取的特征值；Candy(G(x))是表示对所生成的用户的人物卡通头像使用Candy算子进行边缘提取的特征值；
Figure BDA0002850137240000054
是表示‖Candy(x)-Candy(G(x))‖1的均值；‖Candy(x)-Candy(G(x))‖1是表示Candy(x)与Candy(G(x))之间的欧式距离。
根据本发明的优选实施方式，所述计算模块还用于计算Lcolor(G,X)，Lcolor(G,X)的计算表达式如下：
Figure BDA0002850137240000055
其中，Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Re(x)是表示将用户的真实人脸图像缩放到特定范围内的颜色值；Re(G(x))是表示将所生成的用户的人物卡通头像在所述特定范围内的颜色值；
Figure BDA0002850137240000061
Figure BDA0002850137240000062
是表示‖Re(x)-Re(G(x))‖1的均值；‖Re(x)-Re(G(x))‖1是表示Re(x)与Re(G(x))之间的欧式距离。
根据本发明的优选实施方式，还包括：使用MobileNetV2方法，确定历史视频流中原始图像所包含的真实人脸图像的位置，并截取真实人脸图像，以建立真实人脸数据集。
根据本发明的优选实施方式，还包括：使用MobileNetV2方法，确定当前直播视频流中原始图像所包含的真实人脸图像的位置，并截取与该真实人脸图像相对应的特定区域，以用于替换成卡通头像。
根据本发明的优选实施方式，进一步包括：对所述真实人脸数据集和所述卡通头像数据集中的真实人脸图像和人物卡通头像进行检测，并分别从所述真实人脸图像和所述人物卡通头像提取头像属性，以确定生成卡通头像前后的头像属性特征向量，并建立第一模型和第二模型的训练数据集；所述头像属性包括头发长短、头发颜色、脸型、眼睛大小和位置、鼻子大小和位置、是否有表情动作。
本发明第三方面提出一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的基于图像卡通化的在线直播方法。
本发明第四方面提出一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的基于图像卡通化的在线直播方法。
(三)有益效果
与现有技术相比，本发明通过选择一致性参数，重新确定损失函数，以对交替训练进行控制，能够保证人物卡通图像生成前后的图像在颜色、位置、边缘、纹理、头像属性等多维度上的一致性，并能够进一步提高生成图像的质量；能够实时将真实人脸图像转换成相似的人物卡通头像，在一定程度上保存相貌特征的同时，能够生成更自然的人物卡通图像，还能够解决老师或者学生的隐私问题。
附图说明
图1是本发明的实施例1的基于图像卡通化的在线直播方法的一示例的流程图；
图2是本发明的实施例1的基于图像卡通化的在线直播方法的另一示例的流程图；
图3是本发明的实施例1的基于图像卡通化的在线直播方法的又一示例的流程图；
图4是本发明的实施例2的基于图像卡通化的在线直播装置的一示例的示意图；
图5是本发明的实施例2的基于图像卡通化的在线直播装置的另一示例的示意图；
图6是本发明的实施例2的基于图像卡通化的在线直播装置的又一示例的示意图；
图7是本发明的一个实施例的电子设备的结构示意图；
图8是本发明的一个实施例的计算机可读记录介质的示意图。
具体实施方式
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
为了解决现有卡通图像生成方法无法满足直播场景中的实时生成、图像颜色一致性差等问题。本发明提供了一种基于图像卡通化的在线直播方法，该方法能够实时将直播过程中老师或者学生的真实人脸图像转换成卡通头像，并且能够有效地保护老师或者学生的隐私信息。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
图1是是本发明的实施例1的基于图像卡通化的在线直播方法的一示例的流程图。
如图1所示，所述在线直播方法包括如下步骤：
步骤S101，收集真实人脸数据集和卡通人脸数据集，建立训练数据集。
步骤S102，基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练。
步骤S103，根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型。
步骤S104，获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。
在本示例中，本发明的在线直播方法应用于在线教育APP的在线直播场景，从移动端获取本地视频流并实时检测出真实人脸作为进行卡通画的原始图像，由此能够实时将直播过程中老师或者学生的真实人脸图像转换成卡通头像，并且能够有效地保护老师或者学生的隐私信息。
需要说明的是，上述仅作为优选的示例进行说明，不能理解成对本发明的限制，在其他示例中，还可以从运程端获取视频流以及将本地获取的视频流发送到运程端，进行卡通化转换，其中，所述运程端可以是服务器或者另一客户端。
首先，在步骤S101中，收集真实人脸数据集和卡通人脸数据集，建立训练数据集。
在本示例中，获取在线教育的历史视频流中的真实人脸图像，建立真实人脸数据集。
优选地，使用MobileNetV2方法，确定历史视频流中原始图像所包含的真实人脸图像的位置，并截取真实人脸图像，以建立真实人脸数据集。
例如，将历史视频流中原始图像输入MobileNetV2模型，输出N*4的矩阵，N表示检测到的人脸数量，每个人脸对应输出一个位置向量，例如为[x1,y1,x2,y2]，其中，x1、y1、x2、y2分别表示矩形截取框截取真实人脸图像在原始图像中的位置坐标。
需要说明的是，上述位置向量会根据截取框和截取方式而变化，上述仅作为示例进行说明，不能理解成对本发明的限制。
优选地，对所述真实人脸数据集和所述卡通头像数据集中的真实人脸图像和人物卡通头像进行检测，并分别从所述真实人脸图像和所述人物卡通头像提取头像属性，以确定生成卡通头像前后的头像属性特征向量。
具体地，所述头像属性包括头发长短、头发颜色、脸型、眼睛大小和位置、鼻子大小和位置、是否有表情动作。
此外，从网上爬取并收集人物卡通头像，建立卡通头像数据集。
进一步地，根据所述真实人脸数据集和动漫人脸数据集，建立训练数据集，以用于训练模型。
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。
接下来，在步骤S102中，基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练。
在本示例中，基于CycleGAN方法，构造生成对抗网络，以建立初始人物卡通头像生成模型，该生成对抗网络包括两个生成器和两个判别器，具体包括第一生成器、第一判别器、第二生成器和第二判别器，分别实现真实人脸图像到人物卡通头像的转换和人物卡通头像到真实人脸图像的转换。
具体地，使用训练数据集中相应数据集(包括真实人脸数据集)，训练一个生成器G(第一生成器)，将一张真实人脸图像x生成为人物卡通头像y。并且，使用训练数据集中相应数据集(包括卡通头像数据集)，训练一个判别器DY，以判别一个人物卡通头像是真实图片还是第一生成器G生成的。
进一步地，再训练一个生成器F(第二生成器)，将一张卡通头像y生成为真实人脸图像x’(即F(G(x)))。并且，训练一个判别器DX(第二判别器)，判别一个“真实人脸图像”是真实图片还是第二生成器F生成的。由此，使得人物卡通头像和真实人脸图像(即原始图像)更相近。
需要说明的是，上述生成器和判别器的loss函数和GAN是一样的，判别器D尽力检测出生成器G产生的假图片(或假图像)，生成器尽力生成图片骗过判别器。此外，使用CycleGAN方法，在源域和目标域之间无须建立训练数据间一对一的映射。
接下来，在步骤S103中，根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型。
如图2所示，还包括预设约束规则的步骤S201。
在步骤S201中，预设约束规则，以用于对交替训练进行控制，从而能够保证生成更真实、更精确的人物卡通头像。
具体地，所述约束规则包括设定一致性参数、使损失函数最小化，所述一致性参数包括颜色一致性、位置一致性、纹理一致性、边缘信息一致性、头像属性一致性中的至少两个。
进一步地，所述约束规则还包括判断特定缩放尺寸范围内的真实人脸图像与所生的人物卡通头像中的脸部肤色、头发颜色、背景颜色一致性。
优选地，选择一致性参数，以确定损失函数，由此能够对交替训练进行控制，并能够进一步保证人物卡通头像生成前后的图片在颜色、位置、纹理、边缘等多种维度上的一致性来确保图像生成的质量。
在一示例中，选择颜色一致性、位置一致性和头像属性一致性，确定损失函数，则损失函数为：
Ltotal＝λ1LGAN(G,DY,X,Y)+λ2LGAN(F,DX,Y,X)+λ3Lcycle+λ4Lcolor+λ5Ltexture(G,X)+λ6Lattribute(G,X)
其中，G是第一生成器；F为第二生成器；X为训练样本中的真实人脸图像，Y是训练样本中的卡通人脸头像；DX是第一判别器；DY是第二判别器；λ1、λ2、λ3、λ4、λ5、λ6是可设定参数；LGAN是判别器的损失值；Lcycle是循环损失值；Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和/或五官位置上的损失值；Lattribute为表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值。
具体地，还包括计算Lattribute，Lattribute的计算表达式如下：
Figure BDA0002850137240000121
其中，Lattribute是表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；AX是用于计算用户的真实人脸图像的头像属性值；AY是用于计算所生成的用户的人物卡通头像的头像属性值；
Figure BDA0002850137240000122
是用于表示取AX与AY的欧氏距离的均值；‖AX(x)-AY(G(x))‖2表示计算生成前后头像属性特征向量的欧氏距离。
在本示例中，构建第一计算模型AX和第二计算模型AY，所述第一计算模型AX用于计算真实人脸图像的头像属性值，所述第二计算模型AY用于计算人物卡通头像的头像属性值，由此，能够更精确地计算Lattribute。
优选地，所述头像属性包括头发长短、头发颜色、脸型、眼睛大小和位置、鼻子大小和位置、是否有表情动作。
具体地，对所述真实人脸数据集和所述卡通头像数据集中的真实人脸图像和人物卡通头像进行检测，并分别从所述真实人脸图像和所述人物卡通头像提取头像属性，以确定生成卡通头像前后的头像属性特征向量。
更具体地，根据上述头像属性，从训练数据中筛选出用于训练模型AX与AY的子训练数据集，其中，训练模型AX的子训练数据集包括真实人脸图像(即输入特征)、特定维度的向量；训练模型AY的子训练数据集包括人物卡通头像(即输入特征)、特定维度的向量。
例如，输入一张真实人脸图像，输出20维～100维的特征向量，优选为36维的特征向量。
由此，能够实现对头像属性的监督，并能够保证生成的人物卡通头像和原始图像在头像属性上的一致性。
进一步地，还包括计算Ltexture，Ltexture的计算表达式如下：
Figure BDA0002850137240000123
其中，Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和五官位置上的损失值；Candy(x)是表示对用户的真实人脸图像使用Candy算子进行边缘提取的特征值；Candy(G(x))是表示对所生成的用户的人物卡通头像使用Candy算子进行边缘提取的特征值；
Figure BDA0002850137240000131
是表示‖Candy(x)-Candy(G(x))‖1的均值；‖Candy(x)-Candy(G(x))‖1是表示Candy(x)与Candy(G(x))之间的欧式距离。
由此，能够实现对头发、面部轮廓，五官位置等的监督，并能够保证生成的人物卡通头像和原始图像在头发、面部轮廓、五官位置等的一致性。
优选地，还包括计算Lcolor(G,X)，Lcolor(G,X)的计算表达式如下：
Figure BDA0002850137240000132
其中，Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Re(x)是表示将用户的真实人脸图像缩放到特定范围内的颜色值；Re(G(x))是表示将所生成的用户的人物卡通头像在所述特定范围内的颜色值；
Figure BDA0002850137240000133
Figure BDA0002850137240000134
是表示‖Re(x)-Re(G(x))‖1的均值；‖Re(x)-Re(G(x))‖1是表示Re(x)与Re(G(x))之间的欧式距离。
在本示例中，Re(x)代表将图像x缩放到特定尺寸范围内的图像(例如16*16的小图)，因此，使用Lcolor(G,X)能够衡量出生成的人物卡通头像和原始图像上像素值颜色的一致程度。
由此，能够实现对颜色的监督，并能够保证生成的人物卡通头像和原始图像在脸部肤色、头发颜色、背景颜色等颜色上的一致性。
在另一示例中，选择颜色一致性、位置一致性、头像头像属性一致性、边缘信息一致性，确定损失函数，则损失函数为：
Ltotal＝λ1LGAN(G,DY,X,Y)+λ2LGAN(F,DX,Y,X)+λ3Lcycle+λ4Lcolor+λ5Ltexture(G,X)+λ6Lattribute(G,X)+λ7LCAM(η,X)
其中，G是第一生成器；F为第二生成器；X为训练样本中的真实人脸图像，Y是训练样本中的卡通人脸头像；DX是第一判别器；DY是第二判别器；λ1、λ2、λ3、λ4、λ5、λ6、λ7是可设定参数；LGAN是判别器的损失值；Lcycle是循环损失值；Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和五官位置上的损失值；Lattribute是表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；LCAM是表示用户的真实人脸图像与所生成的人物卡通图像在颜色、形状上的损失值。
需要说明的是，LCAM为是具有衡量颜色、形状等属性一致性的损失参数，在损失函数中增加LCAM，能够使卡通头像生成结果更加真实。例如，在网络内部添加一个额外的分类模块，通过分类层前的特征图的一致性，来衡量真实人脸图像(或原始图像)和生成的卡通头像在整体风格上的一致性，具体反应在颜色、形状等不同方面。因此，能够实现对形状、颜色的监督，并能够进一步保证生成的人物卡通头像和原始图像在形状、颜色上的一致性。
进一步地，使用上述所确定的损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型。由此，通过选择一致性参数，重新确定损失函数，以对交替训练进行控制，能够保证人物卡通图像生成前后的图像在颜色、位置、边缘、纹理、头像属性等多维度上的一致性，并能够进一步提高生成图像的质量。
需要说明的是，上述仅作为优选示例进行说明，不能理解成对本发明的限制。
接下来，在步骤S104中，获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。
如图3所示，还包括对当前直播视频流中原始图像所包含的真实人脸图像的位置进行检测的步骤S301。
在步骤S301中，对当前直播视频流中原始图像所包含的真实人脸图像的位置进行检测，以确定待截取的真实图像的区域。
具体地，使用MobileNetV2方法，确定当前直播视频流中原始图像所包含的真实人脸图像的位置，并截取与该真实人脸图像相对应的特定区域，以用于替换成卡通头像。
进一步地，使用步骤S103中的最终人物卡通头像生成模型，输入当前用户的待转换的原始图像，输出该当前用户的人物卡通头像。
需要说明的是，上述仅作为优先示例，进行说明，不能理解成对本发明的限制。
与现有技术相比，本发明通过选择一致性参数，重新确定损失函数，以对交替训练进行控制，能够保证人物卡通图像生成前后的图像在颜色、位置、边缘、纹理、头像属性等多维度上的一致性，并能够进一步提高生成图像的质量；能够实时将真实人脸图像转换成相似的人物卡通头像，在一定程度上保存相貌特征的同时，能够生成更自然的人物卡通图像，还能够解决老师或者学生的隐私问题。
实施例2
下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。
参照图4至图6，将说明本发明的实施例2的基于图像卡通化的在线直播装置400。
根据本发明的第二方面，本发明还提供了一种基于图像卡通化的在线直播装置400，所述装置400包括：收集模块401，用于收集真实人脸数据集和卡通人脸数据集，建立训练数据集；建立模块402，基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练；控制模块403，根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；转换模块404，用于获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。
如图5所示，还包括：设定模块501，用于预设约束规则，所述约束规则包括设定一致性参数、使损失函数最小化，所述一致性参数包括颜色一致性、位置一致性、纹理一致性、边缘信息一致性中的至少两个；所述约束规则还包括判断特定缩放尺寸范围内的真实人脸图像与所生的人物卡通头像中的脸部肤色、头发颜色、背景颜色一致性。
优选地，所述确定损失函数包括：选择一致性参数，以确定损失函数，所确定的损失函数为：
Ltotal＝λ1LGAN(G,DY,X,Y)+λ2LGAN(F,DX,Y,X)+λ3Lcycle+λ4Lcolor+λ5Ltexture(G,X)+λ6Lattribute(G,X)
其中，G是第一生成器；F为第二生成器；X为训练样本中的真实人脸图像，Y是训练样本中的卡通人脸头像；DX是第一判别器；DY是第二判别器；λ1、λ2、λ3、λ4、λ5、λ6是可设定参数；LGAN是判别器的损失值；Lcycle是循环损失值；Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和/或五官位置上的损失值；Lattribute为表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值。
如图6所示，还包括计算模块601，所述计算模块601用于计算Lattribute，Lattribute的计算表达式如下：
Figure BDA0002850137240000161
其中，Lattribute是表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；AX是用于计算用户的真实人脸图像的头像属性值；AY是用于计算所生成的用户的人物卡通头像的头像属性值；
Figure BDA0002850137240000162
是用于表示取AX与AY的欧氏距离的均值；‖AX(x)-AY(G(x))‖2表示计算生成前后头像属性特征向量的欧氏距离；构建第一计算模型和第二计算模型，所述第一计算模型用于计算真实人脸图像的头像属性值，所述第二计算模型用于计算人物卡通头像的头像属性值。
优选地，所述计算模块601还用于计算Ltexture，Ltexture的计算表达式如下：
Figure BDA0002850137240000163
其中，Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和五官位置上的损失值；Candy(x)是表示对用户的真实人脸图像使用Candy算子进行边缘提取的特征值；Candy(G(x))是表示对所生成的用户的人物卡通头像使用Candy算子进行边缘提取的特征值；
Figure BDA0002850137240000171
是表示‖Candy(x)-Candy(G(x))‖1的均值；‖Candy(x)-Candy(G(x))‖1是表示Candy(x)与Candy(G(x))之间的欧式距离。
优选地，所述计算模块601还用于计算Lcolor(G,X)，Lcolor(G,X)的计算表达式如下：
Figure BDA0002850137240000172
其中，Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Re(x)是表示将用户的真实人脸图像缩放到特定范围内的颜色值；Re(G(x))是表示将所生成的用户的人物卡通头像在所述特定范围内的颜色值；
Figure BDA0002850137240000173
Figure BDA0002850137240000174
是表示‖Re(x)-Re(G(x))‖1的均值；‖Re(x)-Re(G(x))‖1是表示Re(x)与Re(G(x))之间的欧式距离。
优选地，还包括：使用MobileNetV2方法，确定历史视频流中原始图像所包含的真实人脸图像的位置，并截取真实人脸图像，以建立真实人脸数据集。
优选地，还包括：使用MobileNetV2方法，确定当前直播视频流中原始图像所包含的真实人脸图像的位置，并截取与该真实人脸图像相对应的特定区域，以用于替换成卡通头像。
优选地，进一步包括：对所述真实人脸数据集和所述卡通头像数据集中的真实人脸图像和人物卡通头像进行检测，并分别从所述真实人脸图像和所述人物卡通头像提取头像属性，以确定生成卡通头像前后的头像属性特征向量，并建立第一模型和第二模型的训练数据集；所述头像属性包括头发长短、头发颜色、脸型、眼睛大小和位置、鼻子大小和位置、是否有表情动作。
与现有技术相比，本发明通过选择一致性参数，重新确定损失函数，以对交替训练进行控制，能够保证人物卡通图像生成前后的图像在颜色、位置、边缘、纹理、头像属性等多维度上的一致性，并能够进一步提高生成图像的质量；能够实时将真实人脸图像转换成相似的人物卡通头像，在一定程度上保存相貌特征的同时，能够生成更自然的人物卡通图像，还能够解决老师或者学生的隐私问题。
实施例3
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图7是本发明的一个实施例的电子设备的结构示意图，该电子设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行图1的方法。
如图7所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。
所述存储器包括易失性存储器，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(ROM)。
可选的，该实施例中，电子设备还包括有I/O接口，其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
应当理解，图7显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。
图8是本发明的一个实施例的计算机可读记录介质的示意图。如图8所示，计算机可读记录介质中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现，例如由微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像卡通化的在线直播方法，其用于实时识别直播视频流中的原始图像，并将该原始图像中的人脸图像进行卡通化，其特征在于，所述方法还包括：
收集真实人脸数据集和卡通人脸数据集，建立训练数据集；
基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练；
根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；
获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。
2.根据权利要求1所述的基于图像卡通化的在线直播方法，其特征在于，还包括：
预设约束规则，所述约束规则包括设定一致性参数、使损失函数最小化，所述一致性参数包括颜色一致性、位置一致性、纹理一致性、边缘信息一致性中的至少两个；
所述约束规则还包括判断特定缩放尺寸范围内的真实人脸图像与所生的人物卡通头像中的脸部肤色、头发颜色、背景颜色一致性。
3.根据权利要求1或2所述的基于图像卡通化的在线直播方法，其特征在于，所述确定损失函数包括：
选择一致性参数，以确定损失函数，所确定的损失函数为：
Ltotal＝λ1LGAN(G，DY，X，Y)+λ2LGAN(F，DX，Y，X)+λ3Lcycle+λ4Lcolor+λ5Ltexture(G，X)+λ6Lattribute(G，X)
其中，G是第一生成器；F为第二生成器；X为训练样本中的真实人脸图像，Y是训练样本中的卡通人脸头像；DX是第一判别器；DY是第二判别器；λ1、λ2、λ3、λ4、λ5、λ6是可设定参数；LGAN是判别器的损失值；Lcycle是循环损失值；Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和/或五官位置上的损失值；Lattribute为表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值。
4.根据权利要求1-3任一所述的基于图像卡通化的在线直播方法，其特征在于，还包括计算Lattribute，Lattribute的计算表达式如下：
Figure FDA0002850137230000021
其中，Lattribute是表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；AX是用于计算用户的真实人脸图像的头像属性值；AY是用于计算所生成的用户的人物卡通头像的头像属性值；
Figure FDA0002850137230000022
是用于表示取AX与AY的欧氏距离的均值；||AX(x)-AY(G(x))||2表示计算生成前后头像属性特征向量的欧氏距离；
构建第一计算模型和第二计算模型，所述第一计算模型用于计算真实人脸图像的头像属性值，所述第二计算模型用于计算人物卡通头像的头像属性值。
5.根据权利要求1-4任一所述的基于图像卡通化的在线直播方法，其特征在于，还包括计算Ltexture，Ltexture的计算表达式如下：
Figure FDA0002850137230000023
其中，Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和五官位置上的损失值；Candy(x)是表示对用户的真实人脸图像使用Candy算子进行边缘提取的特征值；Candy(G(x))是表示对所生成的用户的人物卡通头像使用Candy算子进行边缘提取的特征值；
Figure FDA0002850137230000024
是表示||Candy(x)-Candy(G(x))||1的均值；||Candy(x)-Candy(G(x))||1是表示Candy(x)与Candy(G(x))之间的欧式距离。
6.根据权利要求1-5任一所述的基于图像卡通化的在线直播方法，其特征在于，还包括计算Lcolor(G，X)，Lcolor(G，X)的计算表达式如下：
Figure FDA0002850137230000025
其中，Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Re(x)是表示将用户的真实人脸图像缩放到特定范围内的颜色值；Re(G(x))是表示将所生成的用户的人物卡通头像在所述特定范围内的颜色值；
Figure FDA0002850137230000031
Figure FDA0002850137230000032
是表示||Re(x)-Re(G(x))||1的均值；||Re(x)-Re(G(x))||1是表示Re(x)与Re(G(x))之间的欧式距离。
7.根据权利要求1-6任一所述的基于图像卡通化的在线直播方法，其特征在于，还包括：
使用MobileNetV2方法，确定历史视频流中原始图像所包含的真实人脸图像的位置，并截取真实人脸图像，以建立真实人脸数据集。
8.根据权利要求1-7任一所述的基于图像卡通化的在线直播方法，其特征在于，还包括：
使用MobileNetV2方法，确定当前直播视频流中原始图像所包含的真实人脸图像的位置，并截取与该真实人脸图像相对应的特定区域，以用于替换成卡通头像。
9.根据权利要求1-8任一所述的基于图像卡通化的在线直播方法，其特征在于，进一步包括：
对所述真实人脸数据集和所述卡通头像数据集中的真实人脸图像和人物卡通头像进行检测，并分别从所述真实人脸图像和所述人物卡通头像提取头像属性，以确定生成卡通头像前后的头像属性特征向量，并建立第一模型和第二模型的训练数据集；
所述头像属性包括头发长短、头发颜色、脸型、眼睛大小和位置、鼻子大小和位置、是否有表情动作。
10.一种基于图像卡通化的在线直播装置，其特征在于，所述装置包括：
收集模块，用于收集真实人脸数据集和卡通人脸数据集，建立训练数据集；
建立模块，基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练；
控制模块，根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；
转换模块，用于获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。
CN202011523785.2A 2020-12-22 2020-12-22 基于图像卡通化的在线直播方法、装置和电子设备 Pending CN112561786A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011523785.2A CN112561786A (zh) 2020-12-22 2020-12-22 基于图像卡通化的在线直播方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011523785.2A CN112561786A (zh) 2020-12-22 2020-12-22 基于图像卡通化的在线直播方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN112561786A true CN112561786A (zh) 2021-03-26

Family

ID=75032104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011523785.2A Pending CN112561786A (zh) 2020-12-22 2020-12-22 基于图像卡通化的在线直播方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112561786A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112015A (zh) * 2021-04-06 2021-07-13 咪咕动漫有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
CN113222810A (zh) * 2021-05-21 2021-08-06 北京大米科技有限公司 图像处理方法和图像处理装置
CN113345058A (zh) * 2021-06-30 2021-09-03 杭州妙绘科技有限公司 漫画人脸生成方法及装置
CN113507573A (zh) * 2021-08-13 2021-10-15 维沃移动通信（杭州）有限公司 视频生成方法、视频生成装置、电子设备和可读存储介质
CN113658088A (zh) * 2021-08-27 2021-11-16 诺华视创电影科技(江苏)有限公司 一种基于多判别器的人脸合成方法及装置
CN114501065A (zh) * 2022-02-11 2022-05-13 广州方硅信息技术有限公司 基于面部拼图的虚拟礼物互动方法、系统及计算机设备
CN114898021A (zh) * 2022-07-12 2022-08-12 湖南师范大学 音乐舞台表演视频的智能卡通化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219298A1 (en) * 2008-02-28 2009-09-03 Befun Bilgi Teknolojileri A.S. Method and system for generating online cartoon outputs
CN107577985A (zh) * 2017-07-18 2018-01-12 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
CN110070483A (zh) * 2019-03-26 2019-07-30 中山大学 一种基于生成式对抗网络的人像卡通化方法
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219298A1 (en) * 2008-02-28 2009-09-03 Befun Bilgi Teknolojileri A.S. Method and system for generating online cartoon outputs
CN107577985A (zh) * 2017-07-18 2018-01-12 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
CN110070483A (zh) * 2019-03-26 2019-07-30 中山大学 一种基于生成式对抗网络的人像卡通化方法
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN-YAN ZHU 等: "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", ARXIV:1703.10593V1, 30 March 2017 (2017-03-30) *
贾加;: "基于条件生成网络的图像转换算法研究", 电脑编程技巧与维护, no. 20, 18 October 2017 (2017-10-18) *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112015A (zh) * 2021-04-06 2021-07-13 咪咕动漫有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
CN113112015B (zh) * 2021-04-06 2023-10-20 咪咕动漫有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
CN113222810A (zh) * 2021-05-21 2021-08-06 北京大米科技有限公司 图像处理方法和图像处理装置
CN113345058A (zh) * 2021-06-30 2021-09-03 杭州妙绘科技有限公司 漫画人脸生成方法及装置
CN113345058B (zh) * 2021-06-30 2022-06-10 杭州妙绘科技有限公司 漫画人脸生成方法及装置
CN113507573A (zh) * 2021-08-13 2021-10-15 维沃移动通信（杭州）有限公司 视频生成方法、视频生成装置、电子设备和可读存储介质
CN113658088A (zh) * 2021-08-27 2021-11-16 诺华视创电影科技(江苏)有限公司 一种基于多判别器的人脸合成方法及装置
CN113658088B (zh) * 2021-08-27 2022-12-02 诺华视创电影科技(江苏)有限公司 一种基于多判别器的人脸合成方法及装置
CN114501065A (zh) * 2022-02-11 2022-05-13 广州方硅信息技术有限公司 基于面部拼图的虚拟礼物互动方法、系统及计算机设备
CN114898021A (zh) * 2022-07-12 2022-08-12 湖南师范大学 音乐舞台表演视频的智能卡通化方法
CN114898021B (zh) * 2022-07-12 2022-09-27 湖南师范大学 音乐舞台表演视频的智能卡通化方法

Similar Documents

Publication Publication Date Title
CN112561786A (zh) 基于图像卡通化的在线直播方法、装置和电子设备
EP3923248A1 (en) Image processing method and apparatus, electronic device and computer-readable storage medium
CN107484428B (zh) 用于显示对象的方法
EP3992918A1 (en) Method for generating 3d expression base, voice interactive method, apparatus and medium
WO2023050650A1 (zh) 动画视频生成方法、装置、设备及存储介质
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN113516781A (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
CN112581632B (zh) 一种房源数据的处理方法和装置
CN112070137A (zh) 训练数据集的生成方法、目标对象检测方法及相关设备
CN112330709A (zh) 一种前景图像提取方法、装置、可读存储介质及终端设备
WO2023019995A1 (zh) 训练方法、译文展示方法、装置、电子设备以及存储介质
CN115393872A (zh) 一种训练文本分类模型的方法、装置、设备及存储介质
CN111754431A (zh) 一种图像区域替换方法、装置、设备及存储介质
CN114373050A (zh) 一种基于HoloLens的化学实验教学系统及方法
CN110248235A (zh) 软件教学方法、装置、终端设备及介质
CN111079752A (zh) 识别红外图像中的断路器的方法、装置及可读存储介质
EP4086853A2 (en) Method and apparatus for generating object model, electronic device and storage medium
CN113762173B (zh) 人脸光流估计及光流值预测模型的训练方法和装置
CN113538639B (zh) 一种图像处理方法、装置、电子设备及存储介质
JP6892557B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
CN110941728A (zh) 一种电子文件的处理方法及装置
CN112508772A (zh) 图像生成方法、装置及存储介质
CN115205707B (zh) 样本图像生成方法、存储介质以及电子设备
CN111192276B (zh) 图像处理方法、装置、电子设备及存储介质
CN114025219B (zh) 增强现实特效的渲染方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination