CN112991151B - 图像处理方法、图像生成方法、装置、设备和介质 - Google Patents

图像处理方法、图像生成方法、装置、设备和介质 Download PDF

Info

Publication number
CN112991151B
CN112991151B CN202110180562.9A CN202110180562A CN112991151B CN 112991151 B CN112991151 B CN 112991151B CN 202110180562 A CN202110180562 A CN 202110180562A CN 112991151 B CN112991151 B CN 112991151B
Authority
CN
China
Prior art keywords
image
paper
information
cut
color block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110180562.9A
Other languages
English (en)
Other versions
CN112991151A (zh
Inventor
周财进
胡兴鸿
李云颢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202110180562.9A priority Critical patent/CN112991151B/zh
Publication of CN112991151A publication Critical patent/CN112991151A/zh
Priority to US18/259,954 priority patent/US20240095886A1/en
Priority to JP2023541027A priority patent/JP2024502117A/ja
Priority to PCT/CN2022/074130 priority patent/WO2022170982A1/zh
Priority to EP22752143.2A priority patent/EP4254315A4/en
Application granted granted Critical
Publication of CN112991151B publication Critical patent/CN112991151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例涉及一种图像处理方法、图像生成方法、装置、设备和介质，其中，该图像处理方法可以包括：获取原始图像；确定原始图像对应的漫画图像；获取漫画图像的线条信息和色块信息；根据漫画图像的线条信息和色块信息确定原始图像对应的剪纸图像。本公开实施例保证了剪纸图像的优质展示效果，丰富了电子设备中支持的图像处理功能，进而丰富了电子设备中支持的风格图像的转换类型。

Description

图像处理方法、图像生成方法、装置、设备和介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像生成方法、装置、设备和介质。
背景技术
目前，随着视频交互应用的功能逐渐丰富化，图像风格转换成为了一种新的趣味性玩法。图像风格转换是指将一幅或者多幅图像进行风格转换，生成符合用户需求的风格图像。
然而，现有的视频交互应用中支持的风格转换类型仍然有限，不能满足用户的个性化风格图像的生成需求。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种图像处理方法、图像生成方法、装置、设备和介质。
第一方面，本公开实施例提供了一种图像处理方法，包括：
获取原始图像；
确定所述原始图像对应的漫画图像；
获取所述漫画图像的线条信息和色块信息；
根据所述漫画图像的线条信息和色块信息确定所述原始图像对应的剪纸图像。
第二方面，本公开实施例提供了一种图像生成方法，包括：
获取待处理图像；
利用剪纸风格图像生成模型，得到与所述待处理图像对应的剪纸风格图像；
其中，所述剪纸风格图像生成模型是基于原始图像及与所述原始图像对应的剪纸图像训练得到，所述剪纸图像是基于本公开实施例提供的任一所述的图像处理方法得到。
第三方面，本公开实施例提供了一种图像处理装置，包括：
原始图像获取模块，用于获取原始图像；
漫画图像确定模块，用于确定所述原始图像对应的漫画图像；
线条和色块信息获取模块，用于获取所述漫画图像的线条信息和色块信息；
剪纸图像生成模块，用于根据所述漫画图像的线条信息和色块信息确定所述原始图像对应的剪纸图像。
第四方面，本公开实施例提供了一种图像生成装置，包括：
待处理图像获取模块，用于获取待处理图像；
剪纸风格图像生成模块，用于利用剪纸风格图像生成模型，得到与所述待处理图像对应的剪纸风格图像；
其中，所述剪纸风格图像生成模型是基于原始图像及与所述原始图像对应的剪纸图像训练得到，所述剪纸图像是基于本公开实施例提供的任一所述的图像处理方法得到。
第五方面，本公开实施例还提供了一种电子设备，包括存储器和处理器，其中：所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得电子设备实现本公开实施例提供的任一所述的图像处理方法或者图像生成方法。
第六方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现本公开实施例提供的任一所述的图像处理方法或者图像生成方法。
本公开实施例提供的技术方案与现有技术相比至少具有如下优点：在本公开实施例中，通过基于原始图像的漫画图像进行线条信息和色块信息的提取，提高了原始图像上线条信息和色块信息的提取效果；利用基于漫画图像提取得到的线条信息和色块信息生成需求的剪纸图像，提供了一种新的剪纸图像生成方法，保证了剪纸图像的优质展示效果，丰富了电子设备中支持的图像处理功能，进而丰富了电子设备中支持的风格图像的转换类型，解决了现有方案中支持的风格图像转换类型有限，无法满足用户的风格图像生成需求的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种图像处理方法的流程图；
图2为本公开实施例提供的一种线条信息和色块信息的提取结果的示意图；
图3为本公开实施例提供的另一种图像处理方法的流程图；
图4为本公开实施例提供的一种基于多个信息提取区域的线条信息和色块信息的提取结果拼接得到剪纸图像的示意图；
图5为本公开实施例提供的一种经过预设处理得到剪纸图像的示意图；
图6为本公开实施例提供的一种图像生成方法的流程图；
图7为本公开实施例提供的一种剪纸风格模板图像的示意图；
图8为本公开实施例提供的另一种剪纸风格模板图像的示意图；
图9为本公开实施例提供的一种剪纸风格图像的对比示意图；
图10为本公开实施例提供的一种图像处理装置的结构示意图；
图11为本公开实施例提供的一种图像生成装置的结构示意图；
图12为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1为本公开实施例提供的一种图像处理方法的流程图，可以适用于如何生成剪纸图像的情况，该方法可以由剪纸图像处理装置执行，该装置可以采用软件和/硬件实现，并可集成在任意具有计算能力的电子设备上，例如各种用户终端或者服务器等。
在本公开实施例中，剪纸图像是指一种具有剪纸效果的风格图像，由预设颜色的线条和色块形成。针对任意原始图像，采用本公开实施例提供的图像处理方法，能够得到的与原始图像对应的剪纸图像，丰富了图像风格化需求，提升了用户体验，此外采用本公开实施例方法得到的剪纸图像，不仅与原始图像保持较高的相似性，而且线条光滑，色块干净不含杂点。剪纸图像的预设颜色可以根据具体的剪纸图像生成需求而定，例如可以是与特定节日相关的颜色，如红色等，本公开实施例对此不作具体限定。
如图1所示，本公开实施例提供的图像处理方法可以包括：
S101、获取原始图像。
其中，原始图像可以任意类型的图像，例如人脸图像、动物图像、风景图像等。示例性地，电子设备可以通过调用拍摄装置拍摄得到原始图像，也可以通过用户的图像上传操作得到原始图像，还可以通过互联网数据收集的方式得到原始图像。
S102、确定原始图像对应的漫画图像。
漫画图像是指带有漫画风格的图像，例如带有特定地区的漫画风格的图像等。原始图像对应的漫画图像与原始图像具有较高的相似性。示例性地，可以利用预先训练得到的漫画风格图像生成模型得到原始图像对应的漫画图像。漫画风格图像生成模型具有生成漫画图像的功能，例如可以基于生成对抗网络模型训练得到，当然并不仅限于此。
S103、获取漫画图像的线条信息和色块信息。
在得到漫画图像之后，可以利用任意可用的具有特定频率信息提取功能的算法提取漫画图像上的线条信息和色块信息，例如可以利用xdog算法等任意可用的带通滤波算法等。
相比于原始图像上像素颜色分布比较杂乱导致提取得到的线条信息和色块信息比较杂乱，漫画图像上像素颜色比较单一，颜色分布均匀，提取得到的线条信息比较光滑，且色块信息相对比较干净，本公开实施例通过基于漫画图像进行线条信息和色块信息的提取，保证了剪纸图像的优质展示效果。
可选地，获取漫画图像的线条信息和色块信息，包括：
识别漫画图像上的一个或多个信息提取区域；其中，信息提取区域的具体数量可以预先设定，也可以通过对漫画图像进行不同的颜色区域识别而进行确定，关于颜色区域的识别可以利用现有的任意可用的图像处理算法(例如目标检测与识别算法等)实现，本公开实施例不作具体限定；
基于与每个信息提取区域对应的提取参数，获取每个信息提取区域内的线条信息和色块信息，以得到漫画图像的线条信息和色块信息。
由于不同信息提取区域上的像素颜色存在差异，也即不同信息提取区域可以对应不同频率的图像特征信息，通过针对每个信息提取区域，设置对应的提取参数，可以实现针对性地提取每个信息提取区域内的线条信息和色块信息，保证线条信息和色块信息的提取结果，有利于进一步确保剪纸图像的优质展示效果。
其中，提取参数用于确定每个信息提取区域内待提取的特定频率的图像特征信息，提取参数的具体内容可以根据不同的提取算法而定，本公开实施例不作具体限定。
示例性地，在本公开实施例中，原始图像为包括目标对象的原始图像，漫画图像为目标对象的漫画图像，漫画图像为与原始图像对应漫画图像，目标对象例如可以包括目标人物，相应地，信息提取区域可以为目标人物的目标部位区域(如脸部区域、头发区域、身体区域等)以及漫画图像上除目标部位区域之外的其他区域(如图像背景区域)，其中，身体区域是指该漫画图像的目标人物图像中除去脸部区域、头发区域等之外的剩余区域。此时，基于与每个信息提取区域对应的提取参数，获取每个信息提取区域内的线条信息和色块信息，例如可以是基于与脸部区域对应的提取参数获取脸部区域的线条信息和色块信息，基于与头发区域对应的提取参数获取头发区域的线条信息和色块信息，基于与身体区域对应的提取参数获取身体区域的线条信息和色块信息等等。
当然，目标对象也可以为目标动物，具体与目标人物类似，此处不再赘述。
图2为本公开实施例提供的一种线条信息和色块信息的提取结果的示意图，具体以包括目标人物的原始图像为例，对本公开实施例进行示例性说明，不应理解为对本公开实施例的具体限定。如图2所示，如果直接基于原始图像进行线条信息(例如人物头发区域的线条信息)和色块信息(例如人物衣服区域的色块信息等)的提取，提取得到的线条和色块均较为杂乱，例如头发区域的线条信息存在较多锯齿，衣服区域的色块信息存在较多杂点等，最终的剪纸图像的展示效果也欠佳；如果将原始图像转换为漫画图像，并基于漫画图像进行线条信息和色块信息的提取，提取得到的线条较为光滑，色块也较为干净，最终的剪纸图像的展示效果也较好。
S104、根据漫画图像的线条信息和色块信息确定原始图像对应的剪纸图像。
示例性地，可以按照预设图像颜色(即预设剪纸颜色)和预设图像分辨率，具体可以根据剪纸图像的生成需求而定，基于提取得到的线条信息和色块信息进行图像渲染，得到与原始图像对应的剪纸图像。
采用本公开实施例提供的图像处理方法得到的剪纸图像，以及对应的原始图像，可以作为训练样本，用于剪纸风格图像生成模型的训练中。剪纸风格图像生成模型具有生成剪纸风格图像的功能，可以基于条件生成对抗网络(CGAN，Conditional GenerativeAdversarial Nets)、pixel2pixel网络等任意可用的神经网络实现。
在本公开实施例中，通过基于原始图像的漫画图像进行线条信息和色块信息的提取，提高了原始图像上线条信息和色块信息的提取效果；利用基于漫画图像提取得到的线条信息和色块信息生成需求的剪纸图像，提供了一种新的剪纸图像生成方法，保证了剪纸图像的优质展示效果，丰富了电子设备中支持的图像处理功能，进而丰富了电子设备中支持的风格图像的转换类型，解决了现有方案中支持的风格图像转换类型有限，风格化效果单一，无法满足用户的风格图像生成多样化需求的问题。
图3为本公开实施例提供的另一种图像处理方法的流程图，基于上述实施例进一步优化与扩展，并可以与上述各个可选实施方式结合。如图3所示，本公开实施例提供的图像处理方法可以包括：
S201、获取原始图像。
S202、确定原始图像对应的漫画图像。
S203、识别漫画图像上的一个或多个信息提取区域。
其中，信息提取区域的具体数量可以预先设定，也可以通过对漫画图像进行不同的颜色区域识别而进行确定，关于颜色区域的识别可以利用现有的任意可用的图像处理算法(例如图像分割算法等)实现，本公开实施例不作具体限定。
S204、基于与每个信息提取区域对应的提取参数，获取每个信息提取区域内的线条信息和色块信息。
其中，提取参数用于确定每个信息提取区域内待提取的特定频率的图像特征信息，提取参数的具体内容可以根据不同的提取算法而定，本公开实施例不作具体限定。
由于不同信息提取区域上的像素颜色存在差异，也即不同信息提取区域可以对应不同频率的图像特征信息，通过针对每个信息提取区域，设置对应的提取参数，可以实现针对性地提取每个信息提取区域内的线条信息和色块信息，保证线条信息和色块信息的提取结果，进一步确保剪纸图像的优质展示效果。
可选地，基于与每个信息提取区域对应的提取参数，获取每个信息提取区域内的线条信息和色块信息，包括：
基于与每个信息提取区域对应的提取参数，分别获取漫画图像中与各提取参数对应候选线条信息和候选色块信息；
按照每个信息提取区域在漫画图像上的位置，分别从与提取参数对应的漫画图像的候选线条信息和候选色块信息中，确定每个信息提取区域内的线条信息和色块信息。
即在一种可选实施方式中，在确定漫画图像上的一个或多个信息提取区域后，可以利用与每个信息提取区域对应的提取参数，分别对漫画图像整体进行一次或多次的线条信息和色块信息的提取操作，并将每次的提取结果作为漫画图像的候选线条信息和候选色块信息，然后，按照每个信息提取区域在漫画图像上的位置，从与每个提取参数对应的漫画图像的候选线条信息和候选色块信息中，确定属于每个信息提取区域内的线条信息和色块信息。例如，利用与脸部区域对应的提取参数，对整个漫画图像进行线条信息和色块信息的提取操作，将提取结果作为漫画图像的候选线条信息和候选色块信息(其包括脸部区域的线条信息和色块信息，也包括漫画图像上除脸部区域之外的其他区域的线条信息和色块信息)，之后，根据脸部区域在整个漫画图像中的位置，从漫画图像的候选线条信息和候选色块信息确定出脸部区域的线条信息和候选色块信息。
图4为本公开实施例提供的一种基于多个信息提取区域的线条信息和色块信息的提取结果拼接得到剪纸图像的示意图，具体以包括目标人物的原始图像，以及该目标人物的漫画图像为例，对本公开实施例进行示例性说明，但不应理解为对本公开实施例的具体限定。如图4所示，漫画图像上的信息提取区域可以包括脸部区域(包括五官)、头发区域、目标身体区域(可以包括人物颈部以及上身服饰区域)，针对每个信息提取区域，分别设置相应的提取参数，以xdog算法为例，脸部区域对应一套xdog参数，头发区域对应另一套xdog参数，目标身体区域对应又一套xdog参数。例如，利用与脸部区域对应的提取参数，对漫画图像进行线条信息和色块信息的提取，得到漫画图像的一种候选线条信息和候选色块信息，如图4中所示出的针对脸部区域的信息提取结果的示意图；利用与头发区域对应的提取参数，对漫画图像进行线条信息和色块信息的提取，得到漫画图像的一种候选线条信息和候选色块信息，如图4中所示出的针对头发区域的信息提取结果的示意图；利用与目标身体区域对应的提取参数，对漫画图像进行线条信息和色块信息的提取，得到漫画图像的一种候选线条信息和候选色块信息，如图4中所示出的针对目标身体区域的信息提取结果的示意图。
此外，针对漫画图像上的背景区域，可以利用任意一个其它信息提取区域对应的提取参数，对漫画图像进行线条信息和色块信息的提取后所得到的与背景区域对应的提取结果，作为背景区域内的线条信息和色块信息。如图4所示，可以将利用与脸部区域对应的提取参数对漫画图像进行线条信息和色块信息的提取后，将漫画图像的候选线条信息和候选色块信息中对应背景区域的提取结果，作为背景区域内的线条信息和色块信息，此时，也可以认为背景区域和脸部区域采用相同的提取参数。此外，也可以针对背景区域单独设置对应的提取参数，本公开实施例对此不作具体限定，可以根据针对图像背景的展示需求而定。
可选地，基于与每个信息提取区域对应的提取参数，获取每个信息提取区域内的线条信息和色块信息，包括：
按照每个信息提取区域在漫画图像上的位置，对漫画图像进行区域分割，得到与每个信息提取区域对应的区域子图；
基于与每个信息提取区域对应的提取参数，分别获取与每个信息提取区域对应的区域子图的线条信息和色块信息。
即在一种可选实施方式中，可以利用图像分割算法检测出漫画图像上的各个信息提取区域，然后按照各个信息提取区域的区域面积对漫画图像进行区域分割，得到与每个信息提取区域对应的区域子图，例如检测出包括目标人物的漫画图像上的脸部区域、头发区域、目标身体区域之后，可以按照这些区域对漫画图像进行分割，得到多个区域子图，然后按照与每个信息提取区域对应的提取参数，单独对相应的各个区域子图进行线条信息和色块信息的提取。
S205、按照各个信息提取区域在漫画图像上的位置，对各个信息提取区域内的线条信息和色块信息进行拼接，以得到漫画图像的线条信息和色块信息。
继续如图4所示，得到各个信息提取区域内的线条信息和色块信息后，可以按照各个信息提取区域在漫画图像上的位置，对各个信息提取区域内的线条信息和色块信息进行拼接，从而得到漫画图像的线条信息和色块信息。例如，根据脸部区域、头发区域、身体区域等在漫画图像中的位置关系对各个信息提取区域内的线条信息和色块信息进行拼接，得到包括目标人物的漫画图像的线条信息和色块信息。
S206、根据漫画图像的线条信息和色块信息确定原始图像对应的剪纸图像。
在本公开实施例中，通过按照不同的信息提取区域对漫画图像上的线条信息和色块信息进行针对性的提取，提高了信息提取效果，但是由于不同的信息提取区域的提取参数不同，导致各个信息提取区域的提取结果进行拼接后，拼接结果的整体风格不统一，线条上仍然会存在大量的锯齿和噪点等影响剪纸图像的展示效果的因素，因此，本公开实施例还可以对剪纸图像的生成过程进一步优化。即可选地，根据漫画图像的线条信息和色块信息确定原始图像对应的剪纸图像可以包括：根据漫画图像的线条信息和色块信息得到候选图像；对候选图像进行预设处理，并基于预设处理结果得到原始图像对应的剪纸图像；其中，预设处理包括去除线条信息上的锯齿和去除线条信息上的噪点中的至少一种。关于锯齿和噪点的去除，可以采用现有技术中任意可用的具有去除锯齿和噪点的功能的算法实现，本公开实施例不作具体限定。
在一种可选实施方式中，对候选图像进行预设处理，并基于预设处理结果得到原始图像对应的剪纸图像，包括：
将候选图像转化为矢量化图像；具体地，可以利用现有的任意可用的矢量化技术将候选图像(属于一种位图)转为矢量化图像，矢量化后针对图像的任意放大处理，均可以避免图像失真，通过矢量化处理，可以减少候选图像上的锯齿和噪点，从而实现对候选图像的优化；
按照预设图像颜色和预设图像分辨率，对矢量化图像进行渲染，得到原始图像对应的剪纸图像。可选地，预设图像颜色包括与预设节日信息关联的颜色，例如红色等。
图5为本公开实施例提供的一种经过预设处理得到剪纸图像的示意图，用于对本公开实施例进行示例性说明，如图5所示，经过前述预设处理得到的剪纸图像上几乎不存在锯齿和噪点，展示了较好的图像效果。
在本公开实施例中，通过基于原始图像对应的漫画图像上的各个信息提取区域，进行线条信息和色块信息的针对性提取，提高了原始图像上线条信息和色块信息的提取效果；利用基于漫画图像提取得到的线条信息和色块信息生成需求的剪纸图像，提供了一种新的剪纸图像生成方法，保证了剪纸图像的优质展示效果，丰富了电子设备中支持的图像处理功能，进而丰富了电子设备中支持的风格图像的转换类型，解决了现有方案中支持的风格图像转换类型有限，无法满足用户的风格图像生成需求的问题。
图6为本公开实施例提供的一种图像生成方法的流程图，可以适用于如何生成剪纸风格图像的情况。该图像生成方法可以由图像生成装置执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如移动智能终端、平板电脑、笔记本电脑等。
本公开实施例提供的图像生成方法基于预先训练剪纸风格图像生成模型实现，该剪纸风格图像生成模型基于原始图像以及原始图像对应的剪纸图像训练得到，该剪纸图像是基于本公开实施例提供的任意可用的图像处理方法得到。即利用本公开实施提供的任意图像处理方法，可以得到原始图像对应的剪纸图像，将原始图像以及对应的剪纸图像作为成对训练数据，用于训练得到剪纸风格图像生成模型。相比于直接绘制剪纸图像作为训练数据，采用本公开上述图像处理方法得到的训练数据效率更高，成本更低。示例性地，剪纸风格图像生成模型可以基于条件生成对抗网络(CGAN，Conditional GenerativeAdversarial Nets)、pixel2pixel网络等任意可用的神经网络实现。关于图像处理方法的具体解释可以参考上述实施例的内容。
并且，在本公开实施例中，图像生成方案可以采用独立的应用程序或者公众平台上集成的小程序的形式实现，还可以作为具有图像编辑功能的应用程序或者小程序中集成的功能模块实现，该应用程序或者小程序可以包括但不限于视频交互类应用程序或者视频交互类小程序等。
如图6所示，本公开实施例提供的图像生成方法可以包括：
S301、获取待处理图像。
其中，待处理图像可以是任意类型的图像，例如人脸图像、动物图像、风景图像等。示例性地，电子设备可以通过调用拍摄装置拍摄得到待处理图像，还可以通过用户的图像上传操作得到待处理图像。
S302、利用剪纸风格图像生成模型，得到与待处理图像对应的剪纸风格图像。
其中，剪纸风格图像生成模型是基于原始图像及与原始图像对应的剪纸图像训练得到，剪纸图像是基于本公开实施例提供的任意可用的图像处理方法得到。
可选地，在获取待处理图像之前，本公开实施例提供的图像生成方法还包括：
响应于用户的剪纸风格图像生成请求，展示原始模板图像；
在利用剪纸风格图像生成模型，得到与待处理图像对应的剪纸风格图像之后，本公开实施例提供的图像生成方法还包括：
将剪纸风格图像叠加展示在与原始模板图像对应的剪纸风格模板图像上，生成目标图像。
其中，原始模板图像是一种预先设置的背景图像，可以包括任意类型的预设图像，本公开实施例不作具体限定。示例性地，用户可以通过触控电子设备界面上展示的模板图像所对应的道具图标，触发剪纸风格图像生成请求，或者用户可以直接通过触控设备界面上展示的拍照按钮，触发剪纸风格图像生成请求，或者用户可以通过手势控制或者语音控制等方式，触发剪纸风格图像生成请求；电子设备响应于用户的剪纸风格图像生成请求，可以随机展示一种原始模板图像，也可以按照预设规则展示原始模板图像，预设规则例如可以包括按照原始模板图像的热度(或者被大量用户使用的次数，具体由服务器后台进行统计)进行展示、或者按照原始模板图像的默认顺序进行展示，本公开实施例不作具体限定，当然，还可以在响应于用户的剪纸风格图像生成请求后，按照用户的原始模板图像选择操作，展示用户选择的原始模板图像等。
剪纸风格模板图像为原始模板图像进行剪纸风格化后的模板图像。每种原始模板图像对应的剪纸风格模板图像也可以是预先生成，在生成目标图像的过程中，可以按照原始模板图像和剪纸风格模板图像对应关系，调用与当前使用的原始模板图像对应的剪纸风格模板图像即可。
示例性地，本公开实施例提供的原始模板图像可以包括与预设节日信息关联的模板图像；剪纸风格图像和剪纸风格模板图像的颜色包括与预设节日信息关联的颜色，例如红色。
图7为本公开实施例提供的一种剪纸风格模板图像的示意图，如图7所示，剪纸风格模板图像上可以包括与生肖相关的元素，与节日相关的元素，如灯笼等，此时对应的原始模板图像包括剪纸风格化之前的灯笼元素，剪纸风格模板图像包括剪纸风格化之后的灯笼元素。图8为本公开实施例提供的另一种剪纸风格模板图像的示意图，如图8所示，剪纸风格模板图像上可以包括与特定植物相关的元素。应当理解，图7和图8作为一种示例，用于对本公开实施例的剪纸风格模板图像进行示例性说明，不应理解为对本公开实施例的具体限定。
通过将生成的剪纸风格图像与剪纸风格模板图像一同展示，有助于提高风格图像的展示效果。关于目标图像展示效果，可以参考图9中示出的展示效果，图9具体以图8中示出的剪纸风格模板图像，以及待处理图像为人脸图像为例，示出了一种目标图像的展示效果。
在一种可选实施方式中，将剪纸风格图像叠加展示在与模板图像对应的剪纸风格模板图像上，生成目标图像，包括：
按照剪纸风格图像上目标对象的位置，对剪纸风格图像进行区域分割，得到与目标对象对应的区域子图；
将与目标对象对应的区域子图叠加展示在与原始模板图像对应的剪纸风格模板图像上，生成目标图像。
目标对象，或称为拍摄对象，与待处理图像的类型有关。示例性地，以目标对象为目标人物为例，待处理图像以及对应的剪纸风格图像均为包括目标人物的图像，剪纸风格图像上目标对象对应的区域子图即为仅展示该目标人物的图像。将与目标对象对应的区域子图叠加展示在与原始模板图像对应的剪纸风格模板图像上，可以避免剪纸风格图像上的背景区域对目标图像的整体展示效果的影响，即可以使用剪纸风格模板图像上的背景作为目标图像的背景，从而保证图像整体展示风格的统一性，呈现较高的图像展示效果。
在一种可选实施方式中，在利用预先训练的剪纸风格图像生成模型，得到与待处理图像对应的剪纸风格图像之后，本公开实施例提供的图像生成方法还包括：
对剪纸风格图像进行特征增强处理和/或去模糊处理。
考虑剪纸风格图像生成模型的输入图像尺寸通常为预设尺寸，用户的待处理图像不满足该预设尺寸时，通常需要经过缩放等处理操作，直至满足输入图像的尺寸要求，然后再输入模型，经过模型处理输出风格图像，最后将模型输出的风格图像再次缩放到与待处理图像相同的尺寸，从而得到剪纸风格图像，并展示为用户，其中的缩放操作容易导致剪纸风格图像的展示效果较为模糊，因此，为了改善剪纸风格图像的展示效果，可以对剪纸风格图像进行特征增强处理和/或去模糊处理。
示例性一，对剪纸风格图像进行特征增强处理，包括：
对剪纸风格图像进行模糊处理，得到模糊风格图像；模糊处理可以利用任意可用的模糊处理算法实现，本公开实施例不作具体限定；
基于剪纸风格图像和模糊风格图像，确定与剪纸风格图像对应的残差图像；
对残差图像进行特征放大处理，并将特征放大处理后的残差图像与模糊风格图像进行叠加处理，得到特征增强处理后的剪纸风格图像。
例如，可以利用高斯模糊算法对剪纸风格图像A进行模糊处理，得到模糊风格图像B，其中的模糊信息属于一种低频信息；然后基于剪纸风格图像A和模糊风格图像B，确定残差图像C，该残差图像C可以表示为C＝A-B(表示相同图像位置上的图像特征进行相减)即残差图像可以用于表示剪纸风格图像上的高频信息；最后，对残差图像进行特征放大处理，即指将高频信息进行特征放大，例如将预设参数t与残差图像C进行相乘，将特征放大处理后的残差图像与模糊风格图像进行叠加处理，得到特征增强处理后的剪纸风格图像D，可以表示为D＝B+t·C，其中，预设参数t的取值越大，得到的特征增强处理后的剪纸风格图像D越清晰。
示例性二，对剪纸风格图像进行去模糊处理，包括：
对剪纸风格图像进行高频信息提取，得到去模糊处理后的剪纸风格图像。由于剪纸风格图像上的低频信息属于一种低频信息，因此可以通过对剪纸风格图像进行高频信息提取，例如利用xdog算法进行高频信息提取，从而达到去模糊的效果。
图9为本公开实施例提供的一种剪纸风格图像的对比示意图，用于对本公开实施例中特征增强处理和/或去模糊处理之前、以及特征增强处理和/或去模糊处理之后的剪纸风格图像进行示例性说明，不应理解为对本公开实施例的具体限定。如图9所示，特征增强处理和/或去模糊处理后的剪纸风格图像的展示效果更为清晰。
在本公开实施例中，通过基于原始图像以及原始图像对应的剪纸图像训练得到剪纸风格图像生成模型，利用剪纸风格图像生成模型得到与待处理图像对应的剪纸风格图像，解决了现有方案中支持的风格图像转换类型有限，无法满足用户的风格图像生成需求的问题，丰富了电子设备支持的风格图像转换类型，实现了剪纸风格图像的高效率生成，提高了风格图像生成的趣味性。
图10为本公开实施例提供的一种图像处理装置400的结构示意图，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如各种用户终端或者服务器等。
如图10所示，本公开实施例提供的图像处理装置400可以包括原始图像获取模块401、漫画图像确定模块402、线条和色块信息获取模块403和剪纸图像生成模块404，其中：
原始图像获取模块401，用于获取原始图像；
漫画图像确定模块402，用于确定原始图像对应的漫画图像；
线条和色块信息获取模块403，用于获取漫画图像的线条信息和色块信息；
剪纸图像生成模块404，用于根据漫画图像的线条信息和色块信息确定原始图像对应的剪纸图像。
可选地，线条和色块信息获取模块403包括：
信息提取区域识别单元，用于识别漫画图像上的一个或多个信息提取区域；
线条和色块信息提取单元，用于基于与每个信息提取区域对应的提取参数，获取每个信息提取区域内的线条信息和色块信息；
信息拼接单元，用于按照各个信息提取区域在漫画图像上的位置，对各个信息提取区域内的线条信息和色块信息进行拼接，以得到漫画图像的线条信息和色块信息。
可选地，线条和色块信息提取单元包括：
第一信息获取子单元，用于基于与每个信息提取区域对应的提取参数，分别获取漫画图像中与各提取参数对应的候选线条信息和候选色块信息；
第一信息确定子单元，用于按照每个信息提取区域在漫画图像上的位置，分别从与提取参数对应的漫画图像的候选线条信息和候选色块信息中，确定每个信息提取区域内的线条信息和色块信息。
可选地，线条和色块信息提取单元包括：
区域分割子单元，用于按照每个信息提取区域在漫画图像上的位置，对漫画图像进行区域分割，得到与每个信息提取区域对应的区域子图；
第二信息获取子单元，用于基于与每个信息提取区域对应的提取参数，分别获取与每个信息提取区域对应的区域子图的线条信息和色块信息。
可选地，剪纸图像生成模块404包括：
候选图像确定单元，用于根据漫画图像的线条信息和色块信息得到候选图像；
预设处理单元，用于对候选图像进行预设处理，并基于预设处理结果得到原始图像对应的剪纸图像；其中，预设处理包括去除线条信息上的锯齿和去除线条信息上的噪点中的至少一种。
可选地，预设处理子单元包括：
图像转化子单元，用于将候选图像转化为矢量化图像；
图像渲染子单元，用于按照预设图像颜色和预设图像分辨率，对矢量化图像进行渲染，得到原始图像对应的剪纸图像。
本公开实施例所提供的图像处理装置可执行本公开实施例所提供的任意图像处理方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
图11为本公开实施例提供的一种图像生成装置的结构示意图，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如移动智能终端、平板电脑、笔记本电脑等。
如图11所示，本公开实施例提供的图像生成装置500可以包括待处理图像获取模块501和图像生成模块502，其中：
待处理图像获取模块501，用于获取待处理图像；
图像生成模块502，用于利用剪纸风格图像生成模型，得到与待处理图像对应的剪纸风格图像；
其中，剪纸风格图像生成模型是基于原始图像及与原始图像对应的剪纸图像训练得到，剪纸图像是基于本公开实施例提供的任一图像处理方法得到。
可选地，本公开实施例提供的图像生成装置500还可以包括：
模板图像展示模块，用于响应于用户的剪纸风格图像生成请求，展示原始模板图像；
目标图像生成模块，用于将剪纸风格图像叠加展示在与模板图像对应的剪纸风格模板图像上，生成目标图像。
可选地，目标图像生成模块包括：
区域分割单元，用于按照剪纸风格图像上目标对象的位置，对剪纸风格图像进行区域分割，得到与目标对象对应的区域子图；
叠加展示单元，用于将与目标对象对应的区域子图叠加展示在与原始模板图像对应的剪纸风格模板图像上，生成目标图像。
可选地，本公开实施例提供的图像生成装置500还可以包括：
风格图像处理模块，用于对剪纸风格图像进行特征增强处理和/或去模糊处理。
可选地，风格图像处理模块包括：
模糊处理单元，用于对剪纸风格图像进行模糊处理，得到模糊风格图像；
残差图像确定单元，用于基于剪纸风格图像和模糊风格图像，确定与剪纸风格图像对应的残差图像；
图像叠加处理单元，用于对残差图像进行特征放大处理，并将特征放大处理后的残差图像与模糊风格图像进行叠加处理，得到特征增强处理后的剪纸风格图像。
可选地，风格图像处理模块包括：
高频信息提取单元，用于对剪纸风格图像进行高频信息提取，得到去模糊处理后的剪纸风格图像。
本公开实施例所提供的图像生成装置可执行本公开实施例所提供的任意图像生成方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
图12为本公开实施例提供的一种电子设备的结构示意图，用于对实现本公开实施例提供的图像处理方法或者图像生成方法的电子设备进行示例性说明。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、智能家居设备、可穿戴电子设备、服务器等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和占用范围带来任何限制。
如图12所示，电子设备600包括一个或多个处理器601和存储器602。
处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备600中的其他组件以执行期望的功能。
存储器602可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行程序指令，以实现本公开实施例提供的图像处理方法或者图像生成方法，还可以实现其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
一方面，本公开实施例提供的图像处理方法可以包括：获取原始图像；确定原始图像对应的漫画图像；获取漫画图像的线条信息和色块信息；根据线条信息和色块信息确定原始图像对应的剪纸图像。
另一方面，本公开实施例提供的图像生成方法可以包括：获取待处理图像；利用剪纸风格图像生成模型，得到与待处理图像对应的剪纸风格图像；其中，剪纸风格图像生成模型是基于原始图像及与原始图像对应的剪纸图像训练得到，剪纸图像是基于本公开实施例提供的任意图像处理方法得到。
应当理解，电子设备600还可以执行本公开方法实施例提供的其他可选实施方案。
在一个示例中，电子设备600还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置603还可以包括例如键盘、鼠标等等。
该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图12中仅示出了该电子设备600中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备600还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开实施例还提供一种计算机程序产品，其包括计算机程序或计算机程序指令，计算机程序或计算机程序指令在被计算设备执行时使得计算设备实现本公开实施例所提供的任意图像处理方法或者图像生成方法。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上且部分在远程电子设备上执行、或者完全在远程电子设备上执行。
此外，本公开实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被计算设备执行时使得计算设备实现本公开实施例所提供的任意图像处理方法或者图像生成方法。
一方面，本公开实施例提供的图像处理方法可以包括：获取原始图像；确定原始图像对应的漫画图像；获取漫画图像的线条信息和色块信息；根据线条信息和色块信息确定原始图像对应的剪纸图像。
另一方面，本公开实施例提供的图像生成方法可以包括：获取待处理图像；利用剪纸风格图像生成模型，得到与待处理图像对应的剪纸风格图像；其中，剪纸风格图像生成模型是基于原始图像及与原始图像对应的剪纸图像训练得到，剪纸图像是基于本公开实施例提供的任意图像处理方法得到。
应当理解，计算机程序指令在被计算设备执行时，还可以使得计算设备实现本公开方法实施例提供的其他可选实施方案。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
获取原始图像；
确定所述原始图像对应的漫画图像；
获取所述漫画图像的线条信息和色块信息；根据所述漫画图像的线条信息和色块信息确定所述原始图像对应的剪纸图像；
获取所述漫画图像的线条信息和色块信息包括：识别所述漫画图像上的一个或多个信息提取区域；
基于与每个信息提取区域对应的提取参数，获取所述每个信息提取区域内的线条信息和色块信息；
基于所述每个信息提取区域内的线条信息和色块信息得到所述漫画图像的线条信息和色块信息；
根据所述漫画图像的线条信息和色块信息确定所述原始图像对应的剪纸图像包括：按照预设图像颜色基于所述线条信息和所述色块信息进行图像渲染，得到所述原始图像对应的剪纸图像。
2.根据权利要求1所述的方法，其特征在于，基于所述每个信息提取区域内的线条信息和色块信息得到所述漫画图像的线条信息和色块信息，包括：按照各个信息提取区域在所述漫画图像上的位置，对所述各个信息提取区域内的线条信息和色块信息进行拼接，以得到所述漫画图像的线条信息和色块信息。
3.根据权利要求1所述的方法，其特征在于，基于与每个信息提取区域对应的提取参数，获取所述每个信息提取区域内的线条信息和色块信息，包括：
基于与所述每个信息提取区域对应的提取参数，分别获取所述漫画图像中与各提取参数对应的候选线条信息和候选色块信息；
按照所述每个信息提取区域在所述漫画图像上的位置，分别从与所述提取参数对应的所述漫画图像的候选线条信息和候选色块信息中，确定所述每个信息提取区域内的线条信息和色块信息。
4.根据权利要求1所述的方法，其特征在于，基于与每个信息提取区域对应的提取参数，获取所述每个信息提取区域内的线条信息和色块信息，包括：
按照所述每个信息提取区域在所述漫画图像上的位置，对所述漫画图像进行区域分割，得到与所述每个信息提取区域对应的区域子图；
基于与所述每个信息提取区域对应的提取参数，分别获取与所述每个信息提取区域对应的区域子图的线条信息和色块信息。
5.根据权利要求1所述的方法，其特征在于，根据所述漫画图像的线条信息和色块信息确定所述原始图像对应的剪纸图像，包括：
根据所述漫画图像的线条信息和色块信息得到候选图像；
对所述候选图像进行预设处理，并基于预设处理结果得到所述原始图像对应的剪纸图像；其中，所述预设处理包括去除线条信息上的锯齿和去除线条信息上的噪点中的至少一种。
6.根据权利要求5所述的方法，其特征在于，对所述候选图像进行预设处理，并基于预设处理结果得到所述原始图像对应的剪纸图像，包括：
将所述候选图像转化为矢量化图像；
按照预设图像颜色和预设图像分辨率，对所述矢量化图像进行渲染，得到所述原始图像对应的剪纸图像。
7.一种图像生成方法，其特征在于，包括：
获取待处理图像；
利用剪纸风格图像生成模型，得到与所述待处理图像对应的剪纸风格图像；
其中，所述剪纸风格图像生成模型是基于原始图像及与所述原始图像对应的剪纸图像训练得到，所述剪纸图像是基于权利要求1-6中任一项所述的图像处理方法得到。
8.根据权利要求7所述的方法，其特征在于，在获取待处理图像之前，还包括：
响应于用户的剪纸风格图像生成请求，展示原始模板图像；
在利用剪纸风格图像生成模型，得到与所述待处理图像对应的剪纸风格图像之后，还包括：
将所述剪纸风格图像叠加展示在与所述原始模板图像对应的剪纸风格模板图像上，生成目标图像。
9.根据权利要求8所述的方法，其特征在于，将所述剪纸风格图像叠加展示在与所述原始模板图像对应的剪纸风格模板图像上，生成目标图像，包括：
按照所述剪纸风格图像上目标对象的位置，对所述剪纸风格图像进行区域分割，得到与所述目标对象对应的区域子图；
将与所述目标对象对应的区域子图叠加展示在所述剪纸风格模板图像上，生成所述目标图像。
10.根据权利要求7所述的方法，其特征在于，在利用剪纸风格图像生成模型，得到与所述待处理图像对应的剪纸风格图像之后，还包括：
对所述剪纸风格图像进行特征增强处理和/或去模糊处理。
11.根据权利要求10所述的方法，其特征在于，对所述剪纸风格图像进行特征增强处理，包括：
对所述剪纸风格图像进行模糊处理，得到模糊风格图像；
基于所述剪纸风格图像和所述模糊风格图像，确定与所述剪纸风格图像对应的残差图像；
对所述残差图像进行特征放大处理，并将特征放大处理后的所述残差图像与所述模糊风格图像进行叠加处理，得到所述特征增强处理后的剪纸风格图像。
12.根据权利要求10所述的方法，其特征在于，对所述剪纸风格图像进行去模糊处理，包括：
对所述剪纸风格图像进行高频信息提取，得到所述去模糊处理后的剪纸风格图像。
13.一种图像处理装置，其特征在于，包括：
原始图像获取模块，用于获取原始图像；
漫画图像确定模块，用于确定所述原始图像对应的漫画图像；
线条和色块信息获取模块，用于获取所述漫画图像的线条信息和色块信息；
剪纸图像生成模块，用于根据所述漫画图像的线条信息和色块信息确定所述原始图像对应的剪纸图像；
所述线条和色块信息获取模块还用于：
识别漫画图像上的一个或多个信息提取区域；
基于与每个信息提取区域对应的提取参数，获取每个信息提取区域内的线条信息和色块信息；
基于所述每个信息提取区域内的线条信息和色块信息得到所述漫画图像的线条信息和色块信息；
所述剪纸图像生成模块还用于按照预设图像颜色基于所述线条信息和所述色块信息进行图像渲染，得到所述原始图像对应的剪纸图像。
14.一种图像生成装置，其特征在于，包括：
待处理图像获取模块，用于获取待处理图像；
剪纸风格图像生成模块，用于利用剪纸风格图像生成模型，得到与所述待处理图像对应的剪纸风格图像；
其中，所述剪纸风格图像生成模型是基于原始图像及与所述原始图像对应的剪纸图像训练得到，所述剪纸图像是基于权利要求1-6中任一项所述的图像处理方法得到。
15.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备实现权利要求1-6中任一项所述的图像处理方法，或者实现权利要求7-12中任一项所述的图像生成方法。
16.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-6中任一项所述的图像处理方法，或者实现权利要求7-12中任一项所述的图像生成方法。
CN202110180562.9A 2021-02-09 2021-02-09 图像处理方法、图像生成方法、装置、设备和介质 Active CN112991151B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110180562.9A CN112991151B (zh) 2021-02-09 2021-02-09 图像处理方法、图像生成方法、装置、设备和介质
US18/259,954 US20240095886A1 (en) 2021-02-09 2022-01-26 Image processing method, image generating method, apparatus, device, and medium
JP2023541027A JP2024502117A (ja) 2021-02-09 2022-01-26 画像処理方法、画像生成方法、装置、機器及び媒体
PCT/CN2022/074130 WO2022170982A1 (zh) 2021-02-09 2022-01-26 图像处理方法、图像生成方法、装置、设备和介质
EP22752143.2A EP4254315A4 (en) 2021-02-09 2022-01-26 IMAGE PROCESSING METHOD AND APPARATUS, IMAGE FORMATION METHOD AND APPARATUS, APPARATUS AND MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110180562.9A CN112991151B (zh) 2021-02-09 2021-02-09 图像处理方法、图像生成方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112991151A CN112991151A (zh) 2021-06-18
CN112991151B true CN112991151B (zh) 2022-11-22

Family

ID=76392898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110180562.9A Active CN112991151B (zh) 2021-02-09 2021-02-09 图像处理方法、图像生成方法、装置、设备和介质

Country Status (5)

Country Link
US (1) US20240095886A1 (zh)
EP (1) EP4254315A4 (zh)
JP (1) JP2024502117A (zh)
CN (1) CN112991151B (zh)
WO (1) WO2022170982A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991151B (zh) * 2021-02-09 2022-11-22 北京字跳网络技术有限公司 图像处理方法、图像生成方法、装置、设备和介质
CN115100334B (zh) * 2022-08-24 2022-11-25 广州极尚网络技术有限公司 一种图像描边、图像动漫化方法、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102153A (zh) * 2020-08-20 2020-12-18 北京百度网讯科技有限公司 图像的卡通化处理方法、装置、电子设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5487610B2 (ja) * 2008-12-18 2014-05-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN109068122A (zh) * 2018-09-25 2018-12-21 上海玮舟微电子科技有限公司 图像显示方法、装置、设备及存储介质
CN111127304B (zh) * 2018-10-31 2024-02-20 微软技术许可有限责任公司 跨域图像转换
CN110021050A (zh) * 2019-03-21 2019-07-16 宁夏艺盟礼益文化艺术品有限公司 一种基于人工智能的肖像剪纸生成方法
CN110210347B (zh) * 2019-05-21 2021-03-23 赵森 一种基于深度学习的彩色套层剪纸智能设计方法
CN110930297B (zh) * 2019-11-20 2023-08-18 咪咕动漫有限公司 人脸图像的风格迁移方法、装置、电子设备及存储介质
CN111696028A (zh) * 2020-05-22 2020-09-22 华南理工大学 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
CN112991151B (zh) * 2021-02-09 2022-11-22 北京字跳网络技术有限公司 图像处理方法、图像生成方法、装置、设备和介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102153A (zh) * 2020-08-20 2020-12-18 北京百度网讯科技有限公司 图像的卡通化处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112991151A (zh) 2021-06-18
EP4254315A4 (en) 2024-06-05
US20240095886A1 (en) 2024-03-21
WO2022170982A1 (zh) 2022-08-18
EP4254315A1 (en) 2023-10-04
JP2024502117A (ja) 2024-01-17

Similar Documents

Publication Publication Date Title
CN112261424B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN106651877B (zh) 实例分割方法及装置
CN112991151B (zh) 图像处理方法、图像生成方法、装置、设备和介质
CN108932702B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111290684B (zh) 图像显示方法、图像显示装置及终端设备
CN110349161B (zh) 图像分割方法、装置、电子设备、及存储介质
CN112837213A (zh) 脸型调整图像生成方法、模型训练方法、装置和设备
CN110619656A (zh) 基于双目摄像头的人脸检测跟踪方法、装置及电子设备
CN106156794B (zh) 基于文字风格识别的文字识别方法及装置
CN115937033A (zh) 图像生成方法、装置及电子设备
CN110827301A (zh) 用于处理图像的方法和装置
WO2024120223A1 (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN112651399B (zh) 检测倾斜图像中同行文字的方法及其相关设备
WO2020155984A1 (zh) 人脸表情图像处理方法、装置和电子设备
CN111049735B (zh) 群组头像显示方法、装置、设备及存储介质
CN116596748A (zh) 图像风格化处理方法、装置、设备、存储介质和程序产品
CN114741144B (zh) 一种web端复杂表格显示方法、装置及系统
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN110619597A (zh) 一种半透明水印去除方法、装置、电子设备及存储介质
CN111127310B (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2020155981A1 (zh) 表情图像效果生成方法、装置和电子设备
CN114495190A (zh) 换脸网络模型的训练方法、图像换脸方法及相关设备
CN111079771A (zh) 点读图像的特征提取方法、系统、终端设备及存储介质
CN111353929A (zh) 图像处理方法、装置和电子设备
CN116309274B (zh) 图像中小目标检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant