CN113570052B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113570052B
CN113570052B CN202010351704.9A CN202010351704A CN113570052B CN 113570052 B CN113570052 B CN 113570052B CN 202010351704 A CN202010351704 A CN 202010351704A CN 113570052 B CN113570052 B CN 113570052B
Authority
CN
China
Prior art keywords
semantic
line
lines
auxiliary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010351704.9A
Other languages
English (en)
Other versions
CN113570052A (zh
Inventor
李潇
马一冰
马重阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010351704.9A priority Critical patent/CN113570052B/zh
Priority to PCT/CN2020/129799 priority patent/WO2021218121A1/zh
Priority to JP2022543040A priority patent/JP7332813B2/ja
Publication of CN113570052A publication Critical patent/CN113570052A/zh
Priority to US18/049,152 priority patent/US20230065433A1/en
Application granted granted Critical
Publication of CN113570052B publication Critical patent/CN113570052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，本公开涉及图像处理技术领域。该方法包括：获取包括目标物体的原始图像之后，对原始图像进行语义信息提取，得到辅助线条；其中，辅助线条包括目标物体的区域边界线和/或目标物体的部位轮廓线，将辅助线条和原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果；其中，辅助线条用于引导预测神经网络获取预测结果；语义线条的预测结果用于指示原始图像中像素点是语义线条中的像素点的概率，语义线条用于呈现目标物体；根据语义线条的预测结果获取语义线条。本公开实施例能够解决相关技术中从原始图像提取的用于标识目标物体轮廓的线条语义性差的问题。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
线条提取，是对数字图像进行变换处理，以抽象出数字图像所描述的场景中主要物体轮廓及边界信息的技术，被广泛应用于各种娱乐化信息生产中，为用户带来全新的体验。例如，智能手机短视频应用(application，APP)中接入人像线条提取功能，以快速实现人像照片风格化渲染。
然而，在相关线条提取技术提取的线条中，用于标识人像轮廓的线条语义性差，如线条不连续、线条过于细碎杂乱等，也就无法很好地呈现人像，导致用户观感效果差。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中从原始图像中提取的用于标识目标物体轮廓的线条语义性差的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，该图像处理方法包括：获取包括目标物体的原始图像之后，对原始图像进行语义信息提取，得到辅助线条；其中，辅助线条包括目标物体的区域边界线和/或目标物体的部位轮廓线；再将辅助线条和原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果；其中，辅助线条用于引导预测神经网络获取预测结果，语义线条的预测结果用于指示原始图像中像素点是语义线条中的像素点的概率，语义线条用于呈现目标物体；然后，根据语义线条的预测结果获取语义线条。
在本公开实施例提供的图像处理方法中，先从原始图像中获取具备语义信息的辅助线条，在预测原始图像的语义线条时，预测神经网络基于辅助线条和原始图像进行预测。由于辅助线条能够引导预测神经网络获取预测结果，所以，通过预测神经网络的预测结果来获取语义线条，能够使得语义线条的语义性更强。如此，用于标识目标物体轮廓的语义线条更连贯，语义线条过于细碎的可能性较低，有助于提升用户的观感效果。
在一些实施例中，对原始图像进行语义信息提取，得到辅助线条，包括：将原始图像输入语义识别神经网络，得到辅助线条的坐标，再根据辅助线条的坐标，绘制辅助线条。
如此，通过语义识别神经网络识别出不同辅助线条的坐标，进而依据辅助线条的坐标来绘制辅助线条，从而实现辅助线条的整合，如将不同的区域边界线和/或不同的部位轮廓线整合在同一二值化图像中。
在一些实施例中，将辅助线条和原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果，包括：将辅助线条和原始图像拼接后的图像，输入预测神经网络，再使用预测神经网络，执行以下步骤：根据辅助线条和原始图像拼接后的图像，确定辅助线条的坐标和辅助线条具备的语义信息，根据辅助线条的坐标，确定语义线条中的像素点在原始图像中的分布区域，根据辅助线条具备的语义信息，确定分布区域中的像素点是语义线条中的像素点的概率。
这里，辅助线条的坐标能够为预测神经网络指示语义线条的分布区域，进而使得预测神经网络在语义线条的分布区域中确定是语义线条的像素点，以提高预测效率。并且，辅助线条的语义信息能够体现语义线条的属性或特征，以使得预测神经网络能够更准确地识别出语义线条中的像素点，以提高预测准确度。
在一些实施例中，本公开实施例图像处理方法还包括：调整语义线条的宽度，以使语义线条中不同线条的宽度一致，再对宽度一致的语义线条进行矢量化，得到矢量化描述参数。其中，矢量化描述参数用于描述语义线条的几何特征。
如此，语义线条的宽度是一致的，且采用矢量化描述参数来描述语义线条的几何特征，以使得语义线条的宽度可控性更强，能够在不同分辨率下呈现宽度一致的语义线条，以提升用户的观感效果，避免现有技术中“由于线条宽度不统一而影响图像整体风格”的问题。
在一些实施例中，在目标物体的图像为人像的情况下，若辅助线条包括区域边界线，区域边界线包括以下至少一项：人体区域边界线，头发区域边界线和衣物区域边界线；若辅助线条包括部位轮廓线，部位轮廓线包括以下至少一项：脸部轮廓线，眼部轮廓线，鼻子轮廓线和嘴部轮廓线。
这里，对于人像而言，上述区域边界线和上述部位轮廓线均能够体现人像的特征。如此，在辅助线条包括上述区域边界线和/或上述部位轮廓线的情况下，预测神经网络也就能够预测出更具备语义信息的语义线条，有助于提升用户的观感效果。
根据本公开实施例的第二方面，提供一种图像处理装置，该图像处理装置包括：图像获取模块、辅助线条获取模块、语义线条预测模块和语义线条确定模块；
其中，图像获取模块，被配置为获取包括目标物体的原始图像；
辅助线条获取模块，被配置为对原始图像进行语义信息提取，得到辅助线条。其中，辅助线条包括目标物体的区域边界线和/或目标物体的部位轮廓线；
语义线条预测模块，被配置为将辅助线条和原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果；其中，辅助线条用于引导预测神经网络获取预测结果，语义线条的预测结果用于指示原始图像中像素点是语义线条中的像素点的概率，语义线条用于呈现目标物体；
语义线条确定模块，被配置为根据语义线条的预测结果获取语义线条。
在一些实施例中，辅助线条获取模块，具体被配置为：将原始图像输入语义识别神经网络，得到辅助线条的坐标；辅助线条获取模块，还具体被配置为：根据辅助线条的坐标，绘制辅助线条。
在一些实施例中，语义线条预测模块，具体被配置为：将辅助线条和原始图像拼接后的图像，输入预测神经网络；语义线条预测模块，还具体被配置为：使用预测神经网络，执行以下步骤：根据辅助线条和原始图像拼接后的图像，确定辅助线条的坐标和辅助线条具备的语义信息，再根据辅助线条的坐标，确定语义线条中的像素点在原始图像中的分布区域，然后根据辅助线条具备的语义信息，确定分布区域中的像素点是语义线条中的像素点的概率。
在一些实施例中，本公开实施例图像处理装置还包括宽度处理模块和矢量化处理模块；其中：
宽度处理模块，被配置为调整语义线条的宽度，以使语义线条中不同线条的宽度一致；
矢量化处理模块，被配置为对宽度一致的语义线条进行矢量化，得到矢量化描述参数；其中，矢量化描述参数用于描述语义线条的几何特征。
在一些实施例中，目标物体的图像为人像；若辅助线条包括区域边界线，区域边界线包括以下至少一项：人体区域边界线，头发区域边界线和衣物区域边界线；若辅助线条包括部位轮廓线，部位轮廓线包括以下至少一项：脸部轮廓线，眼部轮廓线，鼻子轮廓线和嘴部轮廓线。
根据本公开实施例的第三方面，提供一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器；其中，处理器被配置为执行该指令，以实现上述第一方面或第一方面的任一种可能的实施例所示的图像处理方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有指令，该指令被处理器执行时实现上述第一方面或第一方面的任一种可能的实施例所示的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面或第一方面的任一种可能的实施例所示的图像处理方法。
上述提供的任一种装置或计算机可读存储介质或计算机程序产品用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文提供的对应的方法中对应方案的有益效果，此处不再赘述。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用场景的界面示意图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种图像处理过程的实例示意图。
图4是根据再一示例性实施例示出的一种图像处理过程的实例示意图。
图5是根据再一示例性实施例示出的一种图像处理方法的流程图。
图6是根据又一示例性实施例示出的一种图像处理过程的实例示意图。
图7是根据又一示例性实施例示出的一种图像处理过程的实例示意图。
图8是根据又一示例性实施例示出的一种图像处理方法的流程图。
图9是根据又一示例性实施例示出的一种图像处理方法的流程图。
图10是根据又一示例性实施例示出的一种图像处理过程的实例示意图。
图11是根据一示例性实施例示出的一种图像处理装置的框图。
图12是根据再一示例性实施例示出的一种图像处理装置的框图。
图13是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在对本公开提供的图像处理方法进行详细介绍之前，先对本公开涉及的应用场景和实施环境进行简单介绍。
首先，对本公开实施例涉及的应用场景进行简单介绍。
本公开实施例提供的图像处理方法可以应用于人像风格化渲染等场景中。首先，电子设备确定待风格化渲染的原始图像。其中，原始图像中包括目标物体的图像。这里，目标物体的图像可以是人像，如图1中的(a)所示。原始图像可以是用户拍摄的照片，也可以是手机播放的一段视频中的某一帧图像。电子设备采用预先训练的预测神经网络，对原始图像进行线条提取，得到用于标识人像轮廓的线条，如图1中的(b)所示，从而实现了人像风格化渲染。其中，预先训练的预测神经网络可以是深度卷积神经网络，其通过对输入的原始图像进行函数变换，得到待提取的线条。这里，预先训练的预测神经网络是一个复杂的非线性变换函数，通常由一系列的卷积算子、激活函数、上采样函数和下采样函数等复合而成。对于人像而言，人像轮廓和五官轮廓具有很强的语义信息。然而，相关的线条提取技术中，预先训练的预测神经网络未考虑待提取目标物体的语义信息，仅依赖于输入的原始图像进行预测，所以，在预先训练的预测神经网络所输出的线条中，线条的语义性差，如用于标识人像轮廓的线条不连续、过于杂碎等，从而导致用户观感效果差。为了解决相关线条提取技术中提取的线条语义性差的问题，本公开实施例提供了一种图像处理方法，该方法能够提高线条提取结果中线条的语义性，有助于提升用户的观感体验。
接下来，对本公开实施例涉及的实施环境进行简单介绍。
在本公开实施例提供的一种实施环境中，电子设备或服务器用于实现本公开实施例提供的图像处理方法。该电子设备可以配置有摄像装置、显示装置等。在一些实施例中，该电子设备可以为手机、平板电脑、笔记本电脑、台式计算机、便携式计算机等设备。在一些实施例中，服务器可以为一台服务器，或者，也可以为由多台服务器组成的服务器集群，本公开对此不做限定。
在介绍完本公开实施例涉及的应用场景和实施环境后，接下来将结合附图对本公开实施例提供的图像处理方法进行详细介绍。
请参考图2，图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该图像处理方法包括以下步骤。
在S21中，获取包括目标物体的原始图像。
这里，目标物体的图像可以是人像，如图3中的(a)所示。
示例性的，原始图像可以是用户拍摄的照片，也可以是手机播放的一段视频中的某一帧图像。
在S22中，对原始图像进行语义信息提取，得到辅助线条。
其中，语义信息能够体现目标物体的属性或特征。辅助线条具备目标物体的语义信息，具体通过目标物体的区域边界线和/或目标物体的部位轮廓线来呈现。
示例性的，以人像为例，语义信息可以是人像中的人体特征、发型特征、衣物特征等。相应的，辅助线条可以是人像的区域轮廓线，如人体区域边界线，头发区域边界线或衣物区域边界线等。语义信息还可以是人像中的五官特征等。相应的，辅助线条可以是人像的部位轮廓线等，如脸部轮廓线，眼部轮廓线，鼻子轮廓线或嘴部轮廓线等。参见图3中的(b)，辅助线条为二值化图像中的线条。
在S23中，将辅助线条和原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果。
其中，辅助线条用于引导预测神经网络获取语义线条的预测结果。语义线条的预测结果用于指示原始图像中像素点是语义线条中的像素点的概率。在实际应用过程中，语义线条的预测结果可以具体实现为线条概率图。语义线条用于呈现目标物体，如图3中的(c)所示。
其中，预测神经网络为预先训练的。预测神经网络可以是深度卷积神经网络，包括卷积层、下采样层和反卷积层，支持任意分辨率的原始图像。预测神经网络也可以是其他卷积神经网络。
示例性的，辅助线条可以是通过二值化图像呈现。将呈现辅助线条的二值化图像和原始图像进行拼接，得到四通道输入图像，作为拼接后的图像，输入预测神经网络。这里，原始图像为彩色图像，通过红(red，R)、蓝(blue，B)和绿(green，G)三个通道输入。第四个通道用于输入呈现辅助线条的二值化图像。预测神经网络基于辅助线条所具备的语义信息，以语义信息作为约束，对原始图像进行预测，以得到语义线条的预测结果。结合图3中(b)和(c)，预测神经网络基于人体区域边界线，预测手指边界线，丰富部分人体的细节等。预测神经网络基于衣物区域边界线，预测衣领边界线、衣角边界线等，丰富衣物部分的细节等。
在S24中，根据语义线条的预测结果获取语义线条。
其中，“根据语义线条的预测结果获取语义线条”的具体实现方式有多种，可以例如但不限于如下两种示例：
示例一、以线条概率图作为语义线条的预测结果为例，以一定的阈值对线条概率图进行二值化处理，得到二值化图像。其中，二值化图像中的线条即为语义线性，以呈现目标物体。二值化处理过程中采用的阈值可以是0.5。
示例二、仍以线条概率图作为语义线条的预测结果为例，先对线条概率图进行高反差保留处理，得到高反差概率图，以达到滤波、降噪的效果，有助于提高语义线条的鲁棒性。再对高反差概率图进行二值化处理，得到二值化图像。其中，二值化图像中的线条即为语义线性，以呈现目标物体。高反差概率图仍指示原始图像中像素点是语义线条中的像素点的概率。
这里，线条概率图与高反差概率图之间的关系满足如下公式：
Eraw-high＝Eraw-G(Eraw)+0.5 公式(1)
其中，Eraw-high表示高反差概率图，Eraw表示线条概率图，G(Eraw)表示对线条概率图进行高斯滤波操作。
再以图4中的(a)所示的原始图像为例，若采用已有的线条提取技术，得到的用于标识人像轮廓的线条不连续，如图4中的(b)所示。若采用本公开实施例提供的图像处理方法，得到的语义线条如图4中的(c)所示。与图4中的(b)相比，图4中的(c)中的用于标识人像轮廓的语义线条具备更强的语义性，语义线条连贯性较强，且能够相对清晰地呈现人像的五官特征、人体的轮廓、头发的轮廓和衣物的轮廓等，图像的观感效果好。
在本公开实施例提供的图像处理方法中，先从原始图像中获取具备语义信息的辅助线条，在预测原始图像的语义线条时，预测神经网络基于辅助线条和原始图像进行预测。由于辅助线条能够引导预测神经网络获取预测结果，所以，通过预测神经网络的预测结果来获取语义线条，能够使得语义线条的语义性更强。如此，用于标识目标物体轮廓的语义线条更连贯，语义线条过于细碎的可能性较低，有助于提升用户的观感效果。
在一些实施例中，参见图5，S22的具体实现过程如下：
S221、将原始图像输入语义识别神经网络，得到辅助线条的坐标。
其中，语义识别神经网络是预先训练的。语义识别神经网络的种类有多种。在目标物体的图像是人像的情况下，语义识别神经网络可以例如但不限于：人体分割神经网络、头发分割神经网络、衣物分割神经网络、部位轮廓识别神经网络等。
其中，辅助线条的种类有多种。仍以目标物体的图像是人像为例，辅助线条可以例如但不限于：人体区域边界线、头发区域边界线、衣物区域边界线、脸部轮廓线、眼部轮廓线、鼻子轮廓线、嘴部轮廓线等。这里，人体区域边界线、头发区域边界线和衣物区域边界线均属于区域边界线；脸部轮廓线、眼部轮廓线、鼻子轮廓线和嘴部轮廓线均属于部位轮廓线。下面分三种情况，对S221的具体实现过程进行说明：
情况一，辅助线条包括区域边界线。本公开实施例图像处理方法通过步骤一和步骤二得到区域边界线的坐标。其中，步骤一和步骤二的具体说明如下：
步骤一、将原始图像输入区域分割神经网络，得到不同区域的区域分割概率图。
其中，区域分割神经网络用于对原始图像进行区域分割。区域分割神经网络可以是上述人体分割神经网络、头发分割神经网络或衣物分割神经网络等。某一区域的区域分割概率图用于指示原始图像中不同像素点属于相应区域的概率。示例性的，原始图像如图6中的(a)所示。其中：
采用人体分割神经网络对原始图像进行区域识别，计算原始图像中不同像素点属于人体区域中的像素点的概率，得到人体区域分割概率图，如图6中的(b)所示。人体区域分割概率图与原始图像的大小一致，且亮度越高的位置表征该位置属于人体区域的概率越大。
采用头发分割神经网络对原始图像进行区域识别，计算原始图像中不同像素点属于头发区域中的像素点的概率，得到头发区域分割概率图，如图6中的(c)所示。头发区域分割概率图与原始图像的大小一致，且亮度越高的位置表征该位置属于头发区域的概率越大。
采用衣物分割神经网络对原始图像进行区域识别，计算原始图像中不同像素点属于衣服区域中的像素点的概率，得到衣物区域分割概率图，如图6中的(d)所示。衣物区域分割概率图与原始图像的大小一致，且亮度越高的位置表征该位置属于衣物区域的概率越大。
步骤二、根据不同区域的区域分割概率图，得到区域边界线的坐标。
示例性的，以人体区域分割概率图为例，由于人体区域分割概率图能够指示不同像素点属于人体区域的概率，先对人体区域分割概率图进行二值化处理，得到人体区域的二值化图像。再采用预设的处理函数(如开源计算机视觉库(open source computervision library，OpenCV)函数)对人体区域的二值化图像进行边界提取，得到人体区域边界线的坐标。其中，二值化处理的阈值可以是0.5。
类似的，对头发区域分割概率图进行同样的处理，得到头发区域边界线的坐标。对衣物区域分割概率图进行同样的处理，得到衣物区域边界线的坐标。这里，对不同区域分割概率图进行二值化处理时，可以采用相同的阈值，也可以采用不同的阈值，本申请实施例对此不作限定。
情况二，辅助线条包括部位轮廓线。本公开实施例图像处理方法通过执行如下处理过程得到部位轮廓线的坐标：
将原始图像输入部位轮廓识别神经网络，识别不同部位的部位轮廓点，得到部位轮廓线的坐标。
其中，某一部位的部位轮廓点用于呈现该部位的轮廓。
示例性的，原始图像如图7中(a)所示，采用部位轮廓识别神经网络对原始图像进行识别，得到分布有部位轮廓点的原始图像，且部位轮廓点主要分布于人像中的脸部，如图7中的(b)所示。其中，图7中的(b)中的脸部放大图如图7中的(c)所示。图7中的(c)示出了脸部的部位轮廓点，如人脸轮廓点、眼部轮廓点、鼻子轮廓点、嘴部轮廓点等。
情况三，辅助线条包括区域边界线和部位轮廓线。获得辅助线条的坐标的过程可以参见情况一和情况二相关说明，此处不再赘述。
S222、根据辅助线条的坐标，绘制辅助线条。
示例性的，采用开放图形库(open graphics library，Open GL)着色器，根据辅助线条的坐标，来绘制完整的辅助线条。
如此，通过语义识别神经网络识别出不同辅助线条的坐标，进而依据辅助线条的坐标来绘制辅助线条，从而实现辅助线条的整合，如将不同的区域边界线和/或不同的部位轮廓线整合在同一二值化图像中。
另外，在辅助线条包括区域边界线的情况下，也可以采用深度学习的方法，对原始图像进行区域分割，得到区域边界线。类似的，在辅助线条包括部位轮廓线的情况下，也可以采用深度学习的方法，对原始图像进行部位轮廓点识别，得到部位轮廓线。
在一些实施例中，在辅助线条包括部位轮廓线的情况下，本公开实施例图像处理方法还包括步骤三和步骤四：
步骤三，确定目标部位的特征所属类别。
示例性的，在目标物体的图像是人像的情况下，若目标部位为眼部，则眼部的特征所属类型可以是单眼皮或双眼皮。采用眼皮类型检测神经网络对原始图像进行识别，得到人像中左眼和右眼的类别，即人像中的左眼属于单眼皮还是双眼皮，人像中的右眼属于单眼皮还是双眼皮。
若目标部位为嘴部，则嘴部的特征所属类型可以是仰月形、伏月形、四字形或一字形等。采用嘴型检测神经网络对原始图像进行识别，得到人像中嘴型的类别，即人像中的嘴型属于仰月形、伏月形、四字形或一字形中的哪一种类型。
步骤四，根据目标部位的特征所属类别，调整目标部位的轮廓线。
示例性的，若眼部的特征所属类型是双眼皮，则在眼部轮廓线的基础上添加双眼皮曲线。若嘴部的特征所属类型是仰月形，则在嘴部轮廓线的基础上调整嘴角的角度或形状。
如此，在语义线条包括目标部位的部位轮廓线的情况下，还能够基于目标部位的特征所属类型，调整相应目标部位的部位轮廓线，从而使得辅助线条具有更多的语义信息。如此，基于该调整后的目标部位的部位轮廓线进行预测时，得到的语义线条的语义性更强，使得语义线条的完整性和连贯性更好，以更全面地呈现目标物体。
在一些实施例中，参见图8，S23的具体实现过程如下：
在S231中，将辅助线条和原始图像拼接后的图像，输入预测神经网络。
其中，辅助线条通过二值化图像来呈现，二值化图像中的线条即为辅助线条。用于呈现辅助线条的二值化图像与原始图像的大小一致。关于辅助线条、预设神经网络和拼接后的图像的说明可以参见S23中的相关介绍，此处不再赘述。
在S232中，使用预测神经网络，执行以下步骤：根据辅助线条和原始图像拼接后的图像，确定辅助线条的坐标和辅助线条具备的语义信息，根据辅助线条的坐标，确定语义线条中的像素点在原始图像中的分布区域，根据辅助线条具备的语义信息，确定分布区域中的像素点是语义线条中的像素点的概率。
示例性的，基于辅助线条的坐标能够确定一个封闭区域，预测神经网络按照预设的数值，以封闭区域的中心点向外扩展，以得到语义线条中的像素点在原始图像中的分布区域。
这里，辅助线条的坐标能够为预测神经网络指示语义线条的分布区域，进而使得预测神经网络在语义线条的分布区域中确定是语义线条的像素点，以提高预测效率。并且，辅助线条的语义信息能够体现语义线条的属性或特征，以使得预测神经网络能够更准确地识别出语义线条中的像素点，以提高预测准确度。
在一些实施例中，本公开实施例图像处理方法得到语义线条之后，还能够对语义线条进行优化处理。参见图9，本公开实施例图像处理方法还包括S25和S26。其中，关于S25和S26的具体说明如下：
在S25中，调整语义线条的宽度，以使语义线条中不同线条的宽度一致。
示例性的，语义线条可以是高反差概率图经过二值化处理后的线条。其中，高反差概率图仍指示原始图像中像素点是语义线条中的像素点的概率。
在设置预设宽度值的情况下，根据预设宽度值，标记语义线条中待删除的像素点，再将已标记的像素点删除。如此，即可得到语义线条的骨架，使得语义线条细化至预设宽度。这里，预设宽度值可以是用户设置的数据。预设宽度值可以是一定数量的像素点的宽度值。调整语义线条的宽度时，可以采用的算法是Zhang-Suen骨骼化算法。
在S26中，对宽度一致的语义线条进行矢量化，得到矢量化描述参数。
其中，矢量化描述参数用于描述语义线条的几何特征。例如，以曲线为例，几何特征可以是该曲线的圆心、角度、半径等。
示例性的，执行矢量化处理的算法可以是Potrace矢量化算法，语义线条的矢量化表达参数可以是二次贝塞尔曲线表达参数。矢量化表达参数所指示的语义线条与分辨率无关，且以可缩放的矢量图形(scalable vector graphics，SVG)格式存储，能够通过任意的应用渲染至显示屏，在显示屏上进行显示。参见图10，图10中的(a)示出了包括人像的原始图像，与图3所示的原始图像相同，图10中的(c)是通过语义线条所呈现的人像。图10中的(d)是经过优化处理后的图像，在图10中的(d)中，语义线条的宽度一致。
如此，语义线条的宽度是一致的，且采用矢量化描述参数来描述语义线条的几何特征，以使得语义线条的宽度可控性更强，能够在不同分辨率下呈现宽度一致的语义线条，以提升用户的观感效果，避免现有技术中“由于线条宽度不统一而影响图像整体风格”的问题。
另外，本公开实施例图像处理方法处理效率高，若原始图像的分辨率为512x512，耗时1秒钟即可完成上述图像处理方法的全部步骤的计算。
图11是根据一示例性实施例示出的一种图像处理装置框图。该装置包括图像获取模块111、辅助线条获取模块112、语义线条预测模块113和语义线条确定模块114。
其中，图像获取模块111，被配置为获取包括目标物体的原始图像。
辅助线条获取模块112，被配置为对原始图像进行语义信息提取，得到辅助线条。其中，辅助线条包括目标物体的区域边界线和/或目标物体的部位轮廓线。
语义线条预测模块113，被配置为将辅助线条和原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果。其中，辅助线条用于引导预测神经网络获取预测结果。语义线条的预测结果用于指示原始图像中像素点是语义线条中的像素点的概率。语义线条用于呈现目标物体。
语义线条确定模块114，被配置为根据语义线条的预测结果获取语义线条。
在一些实施例中，辅助线条获取模块112具体被配置为：将原始图像输入语义识别神经网络，得到辅助线条的坐标。辅助线条获取模块112还具体被配置为：根据辅助线条的坐标，绘制辅助线条。
在一些实施例中，语义线条预测模块113具体被配置为：将辅助线条和原始图像拼接后的图像，输入预测神经网络。语义线条预测模块113还具体被配置为：使用预测神经网络，执行以下步骤：根据辅助线条和原始图像拼接后的图像，确定辅助线条的坐标和辅助线条具备的语义信息，根据辅助线条的坐标，确定语义线条中的像素点在原始图像中的分布区域，根据辅助线条具备的语义信息，确定分布区域中的像素点是语义线条中的像素点的概率。
在一些实施例中，参见图12，本公开实施例图像处理装置还包括宽度处理模块115和矢量化处理模块116。
其中，宽度处理模块115，被配置为调整语义线条的宽度，以使语义线条中不同线条的宽度一致。
矢量化处理模块116，被配置为对宽度一致的语义线条进行矢量化，得到矢量化描述参数。其中，矢量化描述参数用于描述语义线条的几何特征。
在一些实施例中，目标物体的图像为人像。若辅助线条包括区域边界线，区域边界线包括以下至少一项：人体区域边界线，头发区域边界线和衣物区域边界线。若辅助线条包括部位轮廓线，部位轮廓线包括以下至少一项：脸部轮廓线，眼部轮廓线，鼻子轮廓线和嘴部轮廓线。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
当图像处理装置为电子设备时，图13示出了电子设备的一种可能的结构示意图。如图13所示，电子设备130包括有处理器131和存储器132。
可以理解，图13所示的电子设备130可以实现上述图像处理装置的所有功能。上述图像处理装置中各个模块的功能可以在电子设备130的处理器131中实现。图像处理装置的存储单元(图11和图12中未示出)相当于电子设备130的存储器132。
其中，处理器131可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器131可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
存储器132可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器132还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器132中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器131所执行以实现本申请方法实施例提供的图像处理方法。
在一些实施例中，电子设备130还可选包括有：外围设备接口133和至少一个外围设备。处理器131、存储器132和外围设备接口133之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口133相连。具体地，外围设备包括：射频电路134、显示屏135、摄像头组件136、音频电路137、定位组件138和电源139中的至少一种。
外围设备接口133可被用于将输入/输出(input/output，I/O)相关的至少一个外围设备连接到处理器131和存储器132。在一些实施例中，处理器131、存储器132和外围设备接口133被集成在同一芯片或电路板上；在一些其他实施例中，处理器131、存储器132和外围设备接口133中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不予限定。
射频电路134用于接收和发射射频(radio frequency，RF)信号，也称电磁信号。射频电路134通过电磁信号与通信网络以及其他通信设备进行通信。射频电路134将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路134包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路134可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或无线保真(wireless fidelity，Wi-Fi)网络。在一些实施例中，射频电路134还可以包括近距离无线通信(near field communication，NFC)有关的电路，本公开对此不加以限定。
显示屏135用于显示用户界面(user interface，UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏135是触摸显示屏时，显示屏135还具有采集在显示屏135的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器131进行处理。此时，显示屏135还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏135可以为一个，设置电子设备130的前面板；显示屏135可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等材质制备。
摄像头组件136用于采集图像或视频。可选地，摄像头组件136包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备130的前面板，后置摄像头设置在电子设备130的背面。音频电路137可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器131进行处理，或者输入至射频电路134以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备130的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器131或射频电路134的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路137还可以包括耳机插孔。
定位组件138用于定位电子设备130的当前地理位置，以实现导航或基于位置的服务(location based service，LBS)。定位组件138可以是基于美国的全球定位系统(globalpositioning system，GPS)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源139用于为电子设备130中的各个组件进行供电。电源139可以是交流电、直流电、一次性电池或可充电电池。当电源139包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备130还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器、陀螺仪传感器、压力传感器、指纹传感器、光学传感器以及接近传感器。
加速度传感器可以检测以电子设备130建立的坐标系的三个坐标轴上的加速度大小。陀螺仪传感器可以检测电子设备130的机体方向及转动角度，陀螺仪传感器可以与加速度传感器协同采集用户对电子设备130的3D动作。压力传感器可以设置在电子设备130的侧边框和/或显示屏135的下层。当压力传感器设置在电子设备130的侧边框时，可以检测用户对电子设备130的握持信号。指纹传感器用于采集用户的指纹。光学传感器用于采集环境光强度。接近传感器，也称距离传感器，通常设置在电子设备130的前面板。接近传感器用于采集用户与电子设备130的正面之间的距离。
本公开还提供了一种计算机可读存储介质，计算机可读存储介质上存储有指令，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述本公开实施例提供的图像处理方法。
本公开实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行上述本公开实施例提供的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取包括目标物体的原始图像；
对所述原始图像进行语义信息提取，得到辅助线条；所述辅助线条包括所述目标物体的区域边界线和/或所述目标物体的部位轮廓线；
将所述辅助线条和所述原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果；所述辅助线条用于引导所述预测神经网络获取所述预测结果；所述预测结果用于指示所述原始图像中像素点是所述语义线条中的像素点的概率；所述语义线条用于呈现所述目标物体；
根据所述语义线条的预测结果获取所述语义线条；
所述将所述辅助线条和所述原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果，包括：
将所述辅助线条和所述原始图像拼接后的图像，输入所述预测神经网络；
使用所述预测神经网络，执行以下步骤：
根据所述辅助线条和所述原始图像拼接后的图像，确定所述辅助线条的坐标和所述辅助线条具备的语义信息；
根据所述辅助线条的坐标，确定所述语义线条中的像素点在所述原始图像中的分布区域；
根据所述辅助线条具备的语义信息，确定所述分布区域中的像素点是所述语义线条中的像素点的概率。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述原始图像进行语义信息提取，得到辅助线条，包括：
将所述原始图像输入语义识别神经网络，得到所述辅助线条的坐标；
根据所述辅助线条的坐标，绘制所述辅助线条。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述方法还包括：
调整所述语义线条的宽度，以使所述语义线条中不同线条的宽度一致；
对所述宽度一致的语义线条进行矢量化，得到矢量化描述参数；所述矢量化描述参数用于描述所述语义线条的几何特征。
4.根据权利要求1或2所述的图像处理方法，其特征在于，所述目标物体的图像为人像；
若所述辅助线条包括所述区域边界线，所述区域边界线包括以下至少一项：人体区域边界线，头发区域边界线和衣物区域边界线；
若所述辅助线条包括所述部位轮廓线，所述部位轮廓线包括以下至少一项：脸部轮廓线，眼部轮廓线，鼻子轮廓线和嘴部轮廓线。
5.一种图像处理装置，其特征在于，包括：
图像获取模块，被配置为获取包括目标物体的原始图像；
辅助线条获取模块，被配置为对所述原始图像进行语义信息提取，得到辅助线条；所述辅助线条包括所述目标物体的区域边界线和/或所述目标物体的部位轮廓线；
语义线条预测模块，被配置为将所述辅助线条和所述原始图像拼接后的图像，输入预测神经网络，得到语义线条的预测结果；所述辅助线条用于引导所述预测神经网络获取所述预测结果；所述预测结果用于指示所述原始图像中像素点是所述语义线条中的像素点的概率；所述语义线条用于呈现所述目标物体；
语义线条确定模块，被配置为根据所述语义线条的预测结果获取所述语义线条；
所述语义线条预测模块，具体被配置为：将所述辅助线条和所述原始图像拼接后的图像，输入所述预测神经网络；
所述语义线条预测模块，具体被配置为：使用所述预测神经网络，执行以下步骤：根据所述辅助线条和所述原始图像拼接后的图像，确定所述辅助线条的坐标和所述辅助线条具备的语义信息；根据所述辅助线条的坐标，确定所述语义线条中的像素点在所述原始图像中的分布区域；根据所述辅助线条具备的语义信息，确定所述分布区域中的像素点是所述语义线条中的像素点的概率。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述辅助线条获取模块，具体被配置为：将所述原始图像输入语义识别神经网络，得到所述辅助线条的坐标；
所述辅助线条获取模块，具体被配置为：根据所述辅助线条的坐标，绘制所述辅助线条。
7.根据权利要求5或6所述的图像处理装置，其特征在于，所述装置还包括宽度处理模块和矢量化处理模块；
所述宽度处理模块，被配置为调整所述语义线条的宽度，以使所述语义线条中不同线条的宽度一致；
所述矢量化处理模块，被配置为对所述宽度一致的语义线条进行矢量化，得到矢量化描述参数；所述矢量化描述参数用于描述所述语义线条的几何特征。
8.根据权利要求5或6所述的图像处理装置，其特征在于，所述目标物体的图像为人像；
若所述辅助线条包括所述区域边界线，所述区域边界线包括以下至少一项：人体区域边界线，头发区域边界线和衣物区域边界线；
若所述辅助线条包括所述部位轮廓线，所述部位轮廓线包括以下至少一项：脸部轮廓线，眼部轮廓线，鼻子轮廓线和嘴部轮廓线。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的图像处理方法。
CN202010351704.9A 2020-04-28 2020-04-28 图像处理方法、装置、电子设备及存储介质 Active CN113570052B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010351704.9A CN113570052B (zh) 2020-04-28 2020-04-28 图像处理方法、装置、电子设备及存储介质
PCT/CN2020/129799 WO2021218121A1 (zh) 2020-04-28 2020-11-18 图像处理方法、装置、电子设备及存储介质
JP2022543040A JP7332813B2 (ja) 2020-04-28 2020-11-18 画像処理方法、装置、電子デバイス及び記憶媒体
US18/049,152 US20230065433A1 (en) 2020-04-28 2022-10-24 Image processing method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010351704.9A CN113570052B (zh) 2020-04-28 2020-04-28 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113570052A CN113570052A (zh) 2021-10-29
CN113570052B true CN113570052B (zh) 2023-10-31

Family

ID=78158276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010351704.9A Active CN113570052B (zh) 2020-04-28 2020-04-28 图像处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20230065433A1 (zh)
JP (1) JP7332813B2 (zh)
CN (1) CN113570052B (zh)
WO (1) WO2021218121A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529978B (zh) * 2020-12-07 2022-10-14 四川大学 一种人机交互式抽象画生成方法
US20220237414A1 (en) * 2021-01-26 2022-07-28 Nvidia Corporation Confidence generation using a neural network
US20230129240A1 (en) * 2021-10-26 2023-04-27 Salesforce.Com, Inc. Automatic Image Conversion
CN114119427B (zh) * 2022-01-28 2022-05-27 深圳市明源云科技有限公司 图片转换方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN109033945A (zh) * 2018-06-07 2018-12-18 西安理工大学 一种基于深度学习的人体轮廓提取方法
CN109409262A (zh) * 2018-10-11 2019-03-01 北京迈格威科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445877B2 (en) * 2016-12-30 2019-10-15 International Business Machines Corporation Method and system for crop recognition and boundary delineation
US10664702B2 (en) * 2016-12-30 2020-05-26 International Business Machines Corporation Method and system for crop recognition and boundary delineation
US10410353B2 (en) * 2017-05-18 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Multi-label semantic boundary detection system
KR102177233B1 (ko) * 2017-09-27 2020-11-10 구글 엘엘씨 고해상도 이미지 세분화를 위한 종단간 네트워크 모델
CN110930427B (zh) * 2018-09-20 2022-05-24 银河水滴科技（北京）有限公司 一种基于语义轮廓信息的图像分割方法、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN109033945A (zh) * 2018-06-07 2018-12-18 西安理工大学 一种基于深度学习的人体轮廓提取方法
CN109409262A (zh) * 2018-10-11 2019-03-01 北京迈格威科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Also Published As

Publication number Publication date
WO2021218121A1 (zh) 2021-11-04
CN113570052A (zh) 2021-10-29
JP2023510375A (ja) 2023-03-13
JP7332813B2 (ja) 2023-08-23
US20230065433A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113570052B (zh) 图像处理方法、装置、电子设备及存储介质
CN110555839A (zh) 缺陷检测识别方法、装置、计算机设备及存储介质
EP4083904A1 (en) Method and apparatus for beautifying selfies
US20220309836A1 (en) Ai-based face recognition method and apparatus, device, and medium
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN108830186B (zh) 文本图像的内容提取方法、装置、设备及存储介质
CN111091166A (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110059685A (zh) 文字区域检测方法、装置及存储介质
CN113706440B (zh) 图像处理方法、装置、计算机设备及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110647881B (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN110675412A (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
CN110675413B (zh) 三维人脸模型构建方法、装置、计算机设备及存储介质
CN113723164A (zh) 获取边缘差异信息的方法、装置、设备及存储介质
CN113569052A (zh) 知识图谱的表示学习方法及装置
CN112818979A (zh) 文本识别方法、装置、设备及存储介质
CN112528760A (zh) 图像处理方法、装置、计算机设备及介质
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant