CN113409187A - 漫画风格图像的转换方法、装置、计算机设备及存储介质 - Google Patents

漫画风格图像的转换方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113409187A
CN113409187A CN202110733796.1A CN202110733796A CN113409187A CN 113409187 A CN113409187 A CN 113409187A CN 202110733796 A CN202110733796 A CN 202110733796A CN 113409187 A CN113409187 A CN 113409187A
Authority
CN
China
Prior art keywords
image
style
cartoon
eye
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110733796.1A
Other languages
English (en)
Other versions
CN113409187B (zh
Inventor
林彦硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wondershare Software Co Ltd
Original Assignee
Shenzhen Sibo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sibo Technology Co ltd filed Critical Shenzhen Sibo Technology Co ltd
Priority to CN202110733796.1A priority Critical patent/CN113409187B/zh
Publication of CN113409187A publication Critical patent/CN113409187A/zh
Application granted granted Critical
Publication of CN113409187B publication Critical patent/CN113409187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种漫画风格图像的转换方法、装置、计算机设备及存储介质，该方法包括：接收含有人脸的图像并对含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据轻量化神经网络对眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对非眼睛区域的图像进行漫画风格处理；将含有漫画风格的眼睛图像与漫画风格处理处理后的图像进行拼接，得到含有漫画风格的图像。本发明通过采用轻量化神经网络对含有人脸的图像中的眼睛进行转换以得到具有漫画风格的眼睛，同时采用传统图像处理方法对非眼睛区域进行处理便可将含有人脸的图像转换成漫画风格的图像，极大的提高了漫画风格图像的转换效率。

Description

漫画风格图像的转换方法、装置、计算机设备及存储介质
技术领域
本发明属于神经网络技术领域，尤其涉及一种漫画风格图像的转换方法、装置、计算机设备及存储介质。
背景技术
漫画的起源可以追溯到很久以前，早在人类社会的智人时期，漫画就已经存在，如今的漫画不仅仅是作为生活的记录，更是一种流行娱乐方式以及人们的理想寄托。漫画不单单是孩子们的喜爱，更是受到不同阶级不同年龄段人们的喜爱，在大多数人的心中，漫画已经不仅是一种娱乐放松的方式，它也能带来更加深刻的意义，传递给人们不同的文化，让人们感受到激情与梦想。在二十世纪这最近的一百年来，可谓是漫画飞速发展的时代，无论是我们从小熟知的漫威超人等美国英雄主义的漫画，还是这一代青年人青春回忆的日本动漫，都让我们看到了漫画在近一百年的飞速发展。现有技术中在将普通人脸图像转换成漫画人脸图像时，需要使用三个生成模型分别对眉眼、嘴鼻、头发进行转换，导致在进行转换的过程中，运算速度慢，效率低下。
发明内容
本发明实施例提供了一种漫画风格图像的转换方法、装置、计算机设备及存储介质，解决了现有技术中在进行人脸漫画转换的过程中运算速度慢，效率低下的问题。
第一方面，本发明实施例提供了一种漫画风格图像的转换方法，其包括：
接收含有人脸的图像；
对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；
根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；
根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；
将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
优选地，在所述的漫画风格图像的转换中，所述对所述含有人脸的图像进行分割处理之前，还包括：根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像。
更优选地，在所述的漫画风格图像的转换中，所述根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像，包括：
对所述含有人脸的图像进行裁剪处理，得到裁剪处理后的图像；
将所述裁剪处理后的图像进行缩放处理，得到缩放处理后的图像；
将所述缩放处理后的图像进行归一化处理，得到所述预处理后的图像。
优选地，在所述的漫画风格图像的转换中，所述对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像，包括：
获取所述预处理后的图像中眼睛区域的坐标数据；
根据所述坐标数据对所述预处理后的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。
优选地，在所述的漫画风格图像的转换中，所述获取所述预处理后的图像中眼睛区域的坐标数据，包括：将所述预处理后的图像输入至预置的人脸检测器中，得到所述坐标数据。
优选地，在所述的漫画风格图像的转换中，所述根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像，包括：
将所述眼睛区域的图像输入至预置的Cycle GAN模型的MobileNet中进行编码处理，得到所述眼睛区域的图像的特征信息
将所述特征信息输入至所述Cycle GAN模型的Unet中进行解码并根据所述CycleGAN模型中的辨别器识别出所述含有漫画风格的眼睛图像。
优选地，在所述的漫画风格图像的转换中，所述根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像，包括：
对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓；
根据k均值聚类算法对所述非眼睛区域中非人脸轮廓区域进行处理，得到所述漫画风格处理后的图像。
第二方面，本发明实施例提供了一种漫画风格图像的转换装置，其包括：
接收单元，用于接收含有人脸的图像；
第一分割单元，用于对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；
转换单元，用于根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；
第一处理单元，用于根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；
拼接单元，用于将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
第三方面，本发明实施例又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面所述的漫画风格图像的转换方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的漫画风格图像的转换方法。
本发明实施例提供了一种漫画风格图像的转换方法、装置及计算机设备，该方法通过接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。本发明基于漫画与原始照片中人眼的差异性，采用轻量化神经网络对含有人脸的图像中的眼睛进行转换以得到具有漫画风格的眼睛，同时采用传统图像处理方法对非眼睛区域进行处理并同转换得到的具有漫画风格的眼睛进行拼接，便可将含有人脸的图像转换成漫画风格的图像，极大的提高了漫画风格图像的转换效率，同时减少了运算量。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的漫画风格图像的转换方法的流程示意图；
图2为本发明实施例提供的漫画风格图像的转换方法的另一流程示意图；
图3为本发明实施例提供的漫画风格图像的转换方法的子流程示意图；
图4为本发明实施例提供的漫画风格图像的转换方法的另一子流程示意图；
图5为本发明实施例提供的漫画风格图像的转换方法的另一子流程示意图；
图6为本发明实施例提供的漫画风格图像的转换方法的另一子流程示意图；
图7为本发明实施例提供的漫画风格图像的转换装置的示意性框图；
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的漫画风格图像的转换方法的流程示意图。该基于残差的卡尔曼滤波模型的参数调节方法应用于含有触控屏的电子设备中，该方法通过安装于用户终端中的应用软件进行执行，用户终端即是用于执行漫画风格图像的转换方法的电子设备中，例如平板电脑、手机、笔记本、台式电脑、智能可穿戴设备(如智能手表、智能手环)等。下面对所述的漫画风格图像的转换方法进行详细说明。
如图1所示，该方法包括以下步骤S110～S150。
S110、接收含有人脸的图像。
接收含有人脸的图像。具体的，所述含有人脸的图像为不具备漫画风格的图像，所述含有人脸的图像既可以为RGB图像，也可以为灰阶图像，还可以为YCBCR图像。在本发明实施例中，所述含有人脸的图像为RGB图像，用户终端在接收到所述含有人脸的图像后，便可执行对所述含有人脸的图像进行漫画风格的转换，进而得到所述含有人脸的图像的漫画风格的图像。其中，RGB图像使用R、G、B三个分量标识一个像素的颜色，R、G、B分别代表红、绿、蓝三种不同的基础颜色，通过三基色可以合成出任意颜色。图形文件格式把RGB图像存储为24位的图像，红、绿、蓝分量分别占用8位。
S120、对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。
对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。具体的，用户终端在接收到所述含有人脸的图像后，通过对所述含有人脸的图像进行扫描以获取所述含有人脸的图像中人脸中眼睛的像素信息，进而便可对所述含有人脸的图像进行分割处理，以将所述含有人脸的图像中分割成所述眼睛区域的图像和非眼睛区域的图像，然后对眼睛区域的图像进行转换处理，便可使得所述眼睛区域的图像具备漫画风格。
在另一实施例中，如图2所示，步骤S120之前还包括步骤S120a。
S120a、根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像。
根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像。具体的，所述预处理规则为用于将所述含有人脸的图像进行预处理的规则信息，所述含有人脸的图像根据所述预处理规则进行预处理后，便可进一步减少后续终端设备对所述含有人脸图像的运算量，进而提高对所述含有人脸的图像进行漫画风格转换的效率。
在另一实施例中，如图3所示，步骤S120a包括子步骤S120a1。
S120a1、对所述含有人脸的图像进行裁剪处理，得到裁剪处理后的图像。
对所述含有人脸的图像进行裁剪处理，得到裁剪处理后的图像。在本发明实施例中，所述含有人脸的图像为RGB图像，即所述含有人脸的图像为三通道数据，该三通道数据的范围在0-255之间，用户终端在接收到所述含有人脸的图像后，为了减少用户终端对所述含有人脸的图像的计算量，需要将所述含有人脸的图像进行剪裁处理，进而更好的进行漫画风格的转换。其中，所述含有人脸的图像在进行裁剪处理后，所述裁剪处理后的图像的尺寸不超过320mm*240mm。
S120a2、将所述裁剪处理后的图像进行缩放处理，得到缩放处理后的图像。
将所述裁剪处理后的图像进行缩放处理，得到缩放处理后的图像。在本发明实施例中，所述含有人脸的图像在进行裁剪处理后，为了进一步减少用户终端的计算量，需将所述裁剪处理后的图像进行缩放处理。其中，所述裁剪处理后的图像在进行缩放处理后，得到的缩放处理后的图像的尺寸不超过320mm*240mm。
S120a3、将所述缩放处理后的图像进行归一化处理，得到所述预处理后的图像。
将所述缩放处理后的图像进行归一化处理，得到所述预处理后的图像。在本发明实施例中，所述含有人脸的图像在进行裁剪和缩放处理后，对所述缩放处理后的图像的三通道数据减去均值127，使得所述缩放处理后的图像的数据的范围从0～255变换为-127～128，进而将所述缩放处理后的图像的数据的中心变成以(0，0)为中心，然后将换换后的数据除以255，便可完成所述缩放处理后的图像的归一化，使得所述含有人脸的图像的数据范围变成-0.5～0.5之间。
在另一实施例中，如图4所示，步骤S120包括子步骤S121、S122。
S121、获取所述预处理后的图像中眼睛区域的坐标数据。
获取所述预处理后的图像中眼睛区域的坐标数据。在本发明实施例中，通过将所述预处理后的图像输入至预置的人脸检测器中，得到所述坐标数据。其中，所述人脸检测器为用于检测所述预处理后的图像中眼睛区域的坐标数据，所述人脸检测器可用于对所述预处理后的图像中的关键点进行检测，便可从所述预处理后的图像中获取所述眼睛区域的坐标数据，在获取所述坐标数据后，便可对所述预处理后的图像进行分割处理，进而得到所述眼睛区域的图像和非眼睛区域的图像。其中，所述人脸检测器为Haar级联分类器，所述Haar级联分类器采用矩形框在所述预处理后的图像中从左往右和从上往下进行扫描并比对，便可从所述预处理后的图像中搜寻到所述眼睛区域的坐标数据。
S122、根据所述坐标数据对所述预处理后的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。
根据所述坐标数据对所述预处理后的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。在本发明实施例中，通过Haar级联分类器确定所述预处理后的图像中眼睛区域的坐标数据后，对从所述预处理后的图像中对所述眼睛区域的图像进行分割处理，便可将所述预处理后的图像分割成眼睛区域的图像和非眼睛区域的图像，进而便于后续分别对所述眼睛区域的图像和所述非眼睛区域的图像进行漫画风格的处理。
S130、根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像。
根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像。具体的，所述轻量化神经网络为在原有的深度神经网络的基础上减少网络的参数量，使得轻量化后的神经网络可以进行快速运算，进而便可提高漫画转换的效率。在本发明实施例中，由于含有人脸的漫画与原始图像的差异性比较低，眼睛是最大的差异地方，而且以人类主观的视觉感受也是眼睛是最重要的部分。因此，通过采用轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像，进而保证含有人脸的图像进行漫画转后的效果。
在另一实施例中，如图5所示，步骤S130包括子步骤S131和S132。
S131、将所述眼睛区域的图像输入至预置的Cycle GAN模型的MobileNet中进行卷积处理，得到所述眼睛区域的图像的特征信息。
将所述眼睛区域的图像输入至预置的Cycle GAN模型的MobileNet中进行卷积处理，得到所述眼睛区域的图像的特征信息。具体的，所述Cycle GAN(循环生成对抗网络)模型为预先训练好且用于对所述含有人脸的图像中的眼睛进行漫画转换，循环生成对抗网络是一种功能强大的计算机算法，具有改善数字生态系统的潜力，能够将信息从一种表示形式转换为另一种表示形式。在本发明实施例中，所述Cycle GAN模型中的编码器为MobileNet，MobileNet为一种轻量级的卷积神经网络，MobileNet的基本单元是深度级可分离卷积(depthwise separable convolution)，深度级可分离卷积其实是一种可分解卷积操作(factorized convolutions)，其可以分解为两个更小的操作：深度卷积(depthwiseconvolution)和逐点卷积(pointwise convolution)，在进行深度卷积的时每个卷积核只关注单个通道的信息，而在逐点卷积中每个卷积核可以联合多个通道的信息，通过CycleGAN模型的MobileNet对所述眼睛区域的图像进行卷积处理，不仅降低了用户终端的计算量，提高了运算速度，同时也保证了对所述眼睛区域的图像进行编码的精确度。
S132、将所述特征信息输入至所述Cycle GAN模型的Unet中进行解码并根据所述Cycle GAN模型中的辨别器识别出所述含有漫画风格的眼睛图像。
将所述特征信息输入至所述Cycle GAN模型的Unet中进行解码并根据所述CycleGAN模型中的辨别器识别出所述含有漫画风格的眼睛图像。在本发明实施例中，所述CycleGAN模型中的编码器为Unet架构，所述Cycle GAN模型中的MobileNet在对所述眼睛区域的图像进行卷积操作后，得到所述眼睛区域的图像的特征信息，然后通过所述Cycle GAN模型的Unet进行解码，得到多个含有漫画风格的眼睛图像，然后通过所述Cycle GAN模型中的辨别器从多个含有漫画风格的眼睛图像中进行识别筛选，便可得到所述含有漫画风格的眼睛图像，进而便可完成对所述含有人脸的图像中眼睛区域的漫画风格的转换。
S140、根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像。
根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像。具体的，所述传统图像算法为现有技术中对图像进行图像去噪、图像变换、图像分析、图像压缩、图像增强、图像模糊处理等算法，通过采用传统图像算法对所述非眼睛区域的图像进行漫画风格处理，既可以减少用户终端的计算量，同时也保证了所述含人脸的图像中非眼睛区域的漫画风格特征。
在另一实施例中，如图6所示，步骤S140包括子步骤S141、S142。
S141、对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓。
对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓。具体的，所述边缘检测为用于在所述非眼睛区域的图像中进行人脸轮廓的检测，进而得到所述非眼睛区域的人脸轮廓，其中，边缘检测本质上就是一种滤波算法，区别在于滤波器的选择，滤波的规则是完全一致的。所述边缘检测包括：一阶边缘检测算子、Sobel边缘检测算子、Canny边缘检测算子、二阶边缘检测算子。在本实施例中，采用Canny边缘检测算子对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓。其中，Canny边缘检测算法不仅具有严格定义，而且可以提供良好可靠检测，Canny边缘检测算子的具体流程为：使用高斯滤波器，以平滑图像，滤除噪声；计算图像中每个像素点的梯度强度和方向；应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应；应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘；通过抑制孤立的弱边缘最终完成边缘检测。
S142、根据k均值聚类算法对所述非眼睛区域中非人脸轮廓区域进行处理，得到所述漫画风格处理后的图像。
根据k均值聚类算法对所述非眼睛区域中非人脸轮廓区域进行处理，得到所述漫画风格处理后的图像。具体的，所述k均值聚类算法是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。在本发明实施例中，通过k均值聚类算法对所述非眼睛区域中非人脸轮廓区域的像素进行聚类分析，使得像素相差不大的区域聚类为同一像素，进而便可得到类似于漫画风格的颜色，然后将所述非眼睛区域的人脸轮廓添加进去后，便可得到所述漫画风格处理后的图像。
S150、将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。在本发明实施例中，通过所述轻量级神经网络对所述含有人脸的图像中的眼睛区域单独进行漫画风格处理，同时采用传统图像处理算法对所述含有人脸的图像中非人脸区域进行漫画风格处理，最后将两者得到的图像进行拼接，便可完成对所述含有人脸的图像的漫画风格的转换，不仅提高了漫画转换的效率，减少了计算量，同时还保证了转换后得到的图像的漫画效果。
在本发明实施例所提供的漫画风格图像的转换方法中，通过接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。本发明基于漫画与原始照片中人眼的差异性，采用轻量化神经网络对含有人脸的图像中的眼睛进行转换以得到具有漫画风格的眼睛，同时采用传统图像处理方法对非眼睛区域进行处理并同转换得到的具有漫画风格的眼睛进行拼接，便可将含有人脸的图像转换成漫画风格的图像，极大的提高了漫画风格图像的转换效率，减少了运算量。
本发明实施例还提供了一种漫画风格图像的转换装置100，该装置用于执行前述漫画风格图像的转换方法的任一实施例。
具体地，请参阅图7，图7是本发明实施例提供的漫画风格图像的转换装置100的示意性框图。
如图7所示，所述的漫画风格图像的转换装置100，该装置包括接收单元110、第一分割单元120、转换单元130、第一处理单元140和拼接单元150。
接收单元110，用于接收含有人脸的图像。
第一分割单元120，用于对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。
在其他发明实施例中，所述的漫画风格图像的转换装置100还包括：预处理单元。
预处理单元，用于根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像。
在其他发明实施例中，所述预处理单元包括：裁剪单元、缩放单元和归一化单元。
裁剪单元，用于对所述含有人脸的图像进行裁剪处理，得到裁剪处理后的图像；缩放单元，用于将所述裁剪处理后的图像进行缩放处理，得到缩放处理后的图像；归一化单元，用于将所述缩放处理后的图像进行归一化处理，得到所述预处理后的图像。
在其他发明实施例中，所述第一分割单元120包括：获取单元和第二分割单元。
获取单元，用于获取所述预处理后的图像中眼睛区域的坐标数据；第二分割单元，用于根据所述坐标数据对所述预处理后的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。
转换单元130，用于根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像。
在其他发明实施例中，所述转换单元130包括：第一输入单元和第二输入单元。
第一输入单元，用于将所述眼睛区域的图像输入至预置的Cycle GAN模型的MobileNet中进行编码处理，得到所述眼睛区域的图像的特征信息第二输入单元，用于将所述特征信息输入至所述Cycle GAN模型的Unet中进行解码并根据所述Cycle GAN模型中的辨别器识别出所述含有漫画风格的眼睛图像。
第一处理单元140，用于根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像。
在其他发明实施例中，所述第一处理单元140包括：检测单元和第二处理单元。
检测单元，用于对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓；第二处理单元，用于根据k均值聚类算法对所述非眼睛区域中非人脸轮廓区域进行处理，得到所述漫画风格处理后的图像。
拼接单元150，用于将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
本发明实施例所提供的漫画风格图像的转换装置100用于执行上述接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。
参阅图8，该设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行漫画风格图像的转换方法。
该处理器502用于提供计算和控制能力，支撑整个设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行漫画风格图像的转换方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的设备500的限定，具体的设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
本领域技术人员可以理解，图8中示出的设备500的实施例并不构成对设备500具体构成的限定，在其他实施例中，设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，设备500可以仅包括存储器及处理器502，在这样的实施例中，存储器及处理器502的结构及功能与图8所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器502、数字信号处理器502(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器502可以是微处理器502或者该处理器502也可以是任何常规的处理器502等。
在本发明的另一实施例中提供计算机存储介质。该存储介质可以为非易失性的计算机可读存储介质，也可以是易失性的存储介质。该存储介质存储有计算机程序5032，其中计算机程序5032被处理器502执行时实现以下步骤：接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备500(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种漫画风格图像的转换方法，其特征在于，包括以下步骤：
接收含有人脸的图像；
对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；
根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；
根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；
将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
2.根据权利要求1所述的漫画风格图像的转换方法，其特征在于，所述对所述含有人脸的图像进行分割处理之前，还包括：
根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像。
3.根据权利要求2所述的漫画风格图像的转换方法，其特征在于，所述根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像，包括：
对所述含有人脸的图像进行裁剪处理，得到裁剪处理后的图像；
将所述裁剪处理后的图像进行缩放处理，得到缩放处理后的图像；
将所述缩放处理后的图像进行归一化处理，得到所述预处理后的图像。
4.根据权利要求3所述的漫画风格图像的转换方法，其特征在于，所述对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像，包括：
获取所述预处理后的图像中眼睛区域的坐标数据；
根据所述坐标数据对所述预处理后的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。
5.根据权利要求4所述的漫画风格图像的转换方法，其特征在于，所述获取所述预处理后的图像中眼睛区域的坐标数据，包括：
将所述预处理后的图像输入至预置的人脸检测器中，得到所述坐标数据。
6.根据权利要求1所述的漫画风格图像的转换方法，其特征在于，所述根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像，包括：
将所述眼睛区域的图像输入至预置的Cycle GAN模型的MobileNet中进行编码处理，得到所述眼睛区域的图像的特征信息；
将所述特征信息输入至所述Cycle GAN模型的Unet中进行解码并根据所述Cycle GAN模型中的辨别器识别出所述含有漫画风格的眼睛图像。
7.根据权利要求1所述的漫画风格图像的转换方法，其特征在于，所述根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像，包括：
对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓；
根据k均值聚类算法对所述非眼睛区域中非人脸轮廓区域进行处理，得到所述漫画风格处理后的图像。
8.一种漫画风格图像的转换装置，其特征在于，包括：
接收单元，用于接收含有人脸的图像；
第一分割单元，用于对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；
转换单元，用于根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；
第一处理单元，用于根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；
拼接单元，用于将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的漫画风格图像的转换方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的漫画风格图像的转换方法。
CN202110733796.1A 2021-06-30 2021-06-30 漫画风格图像的转换方法、装置、计算机设备及存储介质 Active CN113409187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110733796.1A CN113409187B (zh) 2021-06-30 2021-06-30 漫画风格图像的转换方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110733796.1A CN113409187B (zh) 2021-06-30 2021-06-30 漫画风格图像的转换方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113409187A true CN113409187A (zh) 2021-09-17
CN113409187B CN113409187B (zh) 2023-08-15

Family

ID=77680497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110733796.1A Active CN113409187B (zh) 2021-06-30 2021-06-30 漫画风格图像的转换方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113409187B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140790A3 (zh) * 2022-01-24 2023-09-14 脸萌有限公司 图像处理方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914683A (zh) * 2013-12-31 2014-07-09 闻泰通讯股份有限公司 基于人脸图像的性别识别方法及系统
CN106295600A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 驾驶员状态实时检测方法和装置
CN106682679A (zh) * 2016-06-24 2017-05-17 大连理工大学 一种基于水平集超像素和贝叶斯框架的显著性检测方法
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
CN111435533A (zh) * 2019-01-15 2020-07-21 北京京东尚科信息技术有限公司 图像分割方法、装置、设备及计算机可读存储介质
CN112132153A (zh) * 2020-09-22 2020-12-25 山东大学 基于聚类和形态学处理的番茄果实识别方法及系统
CN112258387A (zh) * 2020-10-30 2021-01-22 北京航空航天大学 一种基于人脸照片生成漫画人像的图像转换系统及方法
CN112927180A (zh) * 2020-10-15 2021-06-08 内蒙古鄂尔多斯资源股份有限公司 一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914683A (zh) * 2013-12-31 2014-07-09 闻泰通讯股份有限公司 基于人脸图像的性别识别方法及系统
CN106682679A (zh) * 2016-06-24 2017-05-17 大连理工大学 一种基于水平集超像素和贝叶斯框架的显著性检测方法
CN106295600A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 驾驶员状态实时检测方法和装置
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
CN111435533A (zh) * 2019-01-15 2020-07-21 北京京东尚科信息技术有限公司 图像分割方法、装置、设备及计算机可读存储介质
CN112132153A (zh) * 2020-09-22 2020-12-25 山东大学 基于聚类和形态学处理的番茄果实识别方法及系统
CN112927180A (zh) * 2020-10-15 2021-06-08 内蒙古鄂尔多斯资源股份有限公司 一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法
CN112258387A (zh) * 2020-10-30 2021-01-22 北京航空航天大学 一种基于人脸照片生成漫画人像的图像转换系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140790A3 (zh) * 2022-01-24 2023-09-14 脸萌有限公司 图像处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113409187B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US9286537B2 (en) System and method for classifying a skin infection
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
US9251429B2 (en) Superpixel-based refinement of low-resolution foreground segmentation
CN111881913A (zh) 图像识别方法及装置、存储介质和处理器
US20160314616A1 (en) 3d identification system with facial forecast
US20110292051A1 (en) Automatic Avatar Creation
CN111507994A (zh) 一种人像提取方法、人像提取装置及移动终端
EP3338217A1 (en) Feature detection and masking in images based on color distributions
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
CN111062314B (zh) 图像选取方法、装置、计算机可读存储介质及电子设备
JPH06150000A (ja) 画像クラスタリング装置
CN111192226B (zh) 一种图像融合去噪方法及装置、系统
CN110674837A (zh) 视频相似度获取方法、装置、计算机设备及存储介质
CN111428671A (zh) 人脸结构化信息识别方法、系统、装置及存储介质
CN112035821A (zh) 图形验证码识别方法、装置、计算机设备及存储介质
CN112990016A (zh) 表情特征提取方法、装置、计算机设备及存储介质
CN113409187B (zh) 漫画风格图像的转换方法、装置、计算机设备及存储介质
CN116569218A (zh) 图像处理方法和图像处理装置
Bugeau et al. Influence of color spaces for deep learning image colorization
CN112597911A (zh) 一种磨皮处理方法、装置、移动终端和存储介质
CN111274145A (zh) 关系结构图生成方法、装置、计算机设备及存储介质
CN110765832A (zh) 基于图像识别的信息推送方法、装置、及计算机设备
CN113628148B (zh) 红外图像降噪方法和装置
CN114449362A (zh) 视频封面的选取方法、装置、设备及存储介质
CN113313653A (zh) 一种基于生成式对抗网络的图像去噪声方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211125

Address after: 518000 1001, block D, building 5, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Wanxing Software Co.,Ltd.

Address before: 518000 1002, block D, building 5, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN SIBO TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant