CN111127486A - 图像分割方法、装置、终端及存储介质 - Google Patents

图像分割方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111127486A
CN111127486A CN201911360678.XA CN201911360678A CN111127486A CN 111127486 A CN111127486 A CN 111127486A CN 201911360678 A CN201911360678 A CN 201911360678A CN 111127486 A CN111127486 A CN 111127486A
Authority
CN
China
Prior art keywords
image
area
region
background
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911360678.XA
Other languages
English (en)
Other versions
CN111127486B (zh
Inventor
侯允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911360678.XA priority Critical patent/CN111127486B/zh
Publication of CN111127486A publication Critical patent/CN111127486A/zh
Application granted granted Critical
Publication of CN111127486B publication Critical patent/CN111127486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像分割方法、装置、终端及存储介质,属于图像处理技术领域。该方法包括:获取待处理图像;通过第一图像分割模型,对待处理图像进行图像分割,得到待处理图像中目标对象所在的第一前景区域和待处理图像中除目标对象以外的第一背景区域;通过第二图像分割模型,对待处理图像进行图像分割,得到分割结果,分割结果至少包括目标对象的轮廓区域;根据轮廓区域,分别对第一前景区域和第一背景区域进行修正,得到待处理图像中目标对象所在的第二前景区域和待处理图像中除目标对象以外的第二背景区域,使得在对待处理图像进行分割时,可以强化待处理图像中的目标对象的轮廓区域,从而提高图像分割的准确性。

Description

图像分割方法、装置、终端及存储介质
技术领域
本申请实施例涉及图像处理技术领域,特别涉及一种图像分割方法、装置、终端及存储介质。
背景技术
图像处理中的人像分割技术在终端上有广泛的应用,例如,对图像中的背景进行虚化、更换背景时,常使用人像分割技术,将图像中人物所在的区域和图像中的背景区域进行分割,再对图像的背景区域进行相关操作。
其中,对图像进行人像分割时,一般采用事先训练的图像分割模型,通过该图像分割模型对待处理图像中的人像所在区域和其他区域进行分割,得到该待处理图像的人像区域和背景区域。
发明内容
本申请实施例提供了一种图像分割方法、装置、终端及存储介质,提高了图像分割的准确度。所述技术方案如下:
一方面,提供了一种图像分割方法,所述方法包括:
获取待处理图像;
通过第一图像分割模型,对所述待处理图像进行图像分割,得到所述待处理图像中目标对象所在的第一前景区域和所述待处理图像中除所述目标对象以外的第一背景区域;
通过第二图像分割模型,对所述待处理图像进行图像分割,得到分割结果,所述分割结果至少包括所述目标对象的轮廓区域;
根据所述轮廓区域,分别对所述第一前景区域和所述第一背景区域进行修正,得到所述待处理图像中目标对象所在的第二前景区域和所述待处理图像中除所述目标对象以外的第二背景区域。
另一方面,提供了一种图像分割装置,所述装置包括:
第一获取模块,用于获取待处理图像;
第一分割模块,用于通过第一图像分割模型,对所述待处理图像进行图像分割,得到所述待处理图像中目标对象所在的第一前景区域和所述待处理图像中除所述目标对象以外的第一背景区域;
第二分割模块,用于通过第二图像分割模型,对所述待处理图像进行图像分割,得到分割结果,所述分割结果至少包括所述目标对象的轮廓区域;
修正模块,用于根据所述轮廓区域,分别对所述第一前景区域和所述第一背景区域进行修正,得到所述待处理图像中目标对象所在的第二前景区域和所述待处理图像中除所述目标对象以外的第二背景区域。
在一种可能的实现方式中,所述修正模块,还用于在所述第一前景区域中确定除所述轮廓区域以外的第一图像区域;在所述第一背景区域中确定包括所述轮廓区域以内的第二图像区域;将所述第一前景区域中的所述第一图像区域移除,将所述第一图像区域填充到所述第一背景区域中,以及,将所述第一背景区域中的所述第二图像区域移除,将所述第二图像区域填充到所述第一前景区域中,得到所述第二前景区域和所述第二背景区域。
在另一种可能的实现方式中,所述分割结果中还包括所述待处理图像中所述目标对象所在的第三前景区域和所述待处理图像中除所述目标对象以外的第三背景区域;
所述修正模块,还用于在所述第一前景区域中确定除所述轮廓区域以外的第一图像区域;在所述第一背景区域中确定包括所述轮廓区域以内的第二图像区域;所述第三背景区域中确定所述第一图像区域对应的第一图像数据;在所述第三前景区域中确定所述第二图像区域对应的第二图像数据;将所述第一图像数据渲染至所述第一图像区域中,得到所述第二背景区域,以及,将所述第二图像数据渲染至所述第二图像区域中,得到所述第二前景区域。
在另一种可能的实现方式中,所述装置还包括:
第一确定模块,用于确定第三图像分割模型;
替换模块,用于将所述第三图像分割模型中的第一网络替换为第二网络,得到第四图像分割模型,所述第二网络的量级小于所述第一网络的量级;
第二获取模块,用于获取多个样本图像,所述多个样本图像中至少标注了所述样本图像的轮廓区域;
模型训练模块,用于通过所述多个样本图像对所述第四图像分割模型进行训练,得到所述第二图像分割模型。
在另一种可能的实现方式中,所述第一图像分割模型包括的卷积层的数量大于所述第二图像分割模型包括的卷积层的数量。
在另一种可能的实现方式中,所述装置还包括:
第三获取模块,用于获取目标背景颜色对应的背景图像数据;
背景更换模块,用于根据所述背景图像数据,将第二背景区域的背景颜色更改为所述目标背景颜色,得到第五背景区域;
图像生成模块,用于根据所述第二前景区域和所述第五背景区域,生成目标图像。
在另一种可能的实现方式中,所述装置还包括:
第二确定模块,用于对比所述第二前景区域和所述三前景区域,确定所述第二前景区域中的第三图像区域,所述第三图像区域为所述第二前景区域中所述轮廓区域以内的空洞区域,从所述第三前景区域中,确定所述第三图像区域对应的第三图像数据,将所述第三图像数据渲染至所述第三图像区域中;
第三确定模块,用于对比所述第二背景区域和所述第三背景区域,确定所述第二背景区域中的第四图像区域,所述第四图像区域为所述第二背景区域中所述轮廓区域以外的空洞区域,从所述第三背景区域中,确定所述第四图像区域对应的第四图像数据,将所述第四图像数据区域渲染至所述第三图像区域中。
另一方面,提供了一种终端,所述终端包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如上述方面所述的图像分割方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如上述方面所述的图像分割方法。
在本申请实施例中,通过获取待处理图像;通过第一图像分割模型,对待处理图像进行图像分割,得到待处理图像中目标对象所在的第一前景区域和待处理图像中除目标对象以外的第一背景区域;通过第二图像分割模型,对待处理图像进行图像分割,得到分割结果,分割结果至少包括目标对象的轮廓区域;根据轮廓区域,分别对第一前景区域和第一背景区域进行修正,得到待处理图像中目标对象所在的第二前景区域和待处理图像中除目标对象以外的第二背景区域,使得在对待处理图像进行分割时,可以强化待处理图像中的目标对象的轮廓区域,从而提高图像分割的准确性。
附图说明
图1示出了本申请一个示例性实施例所提供的终端的结构示意图;
图2示出了本申请一个示例性实施例示出的图像分割方法的流程图;
图3示出了本申请一个示例性实施例示出的图像分割方法的流程图;
图4示出了本申请一个示例性实施例示出的待处理图像的示意图;
图5示出了本申请一个示例性实施例示出的图像分割的示意图;
图6示出了本申请一个示例性实施例示出的图像分割方法的流程图;
图7示出了本申请一个示例性实施例示出的图像分割的示意图;
图8示出了本申请一个示例性实施例示出的图像分割的示意图;
图9示出了本申请一个示例性实施例示出的图像分割方法的流程图;
图10示出了本申请一个示例性实施例示出的图像分割方法的流程图;
图11示出了本申请一个示例性实施例示出的图像分割方法的流程图;
图12示出了本申请一个实施例提供的图像分割装置的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参考图1,其示出了本申请一个示例性实施例提供的终端100的结构方框图。终端100可以是智能手机、平板电脑等具有图像处理功能的终端。本申请中的终端100可以包括一个或多个如下部件:处理器110、存储器120、显示屏130。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个终端100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行终端100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)、神经网络处理器(Neural-network Processing Unit,NPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏130所需要显示的内容的渲染和绘制;NPU用于实现人工智能(Artificial Intelligence,AI)功能;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块芯片进行实现。
在一种可能的实现方式中,在本申请实施例中,终端100获取待处理图像,对该待处理图像进行图像处理时,首先对获取到的图像进行图像分割,得到该图像的前景区域和背景区域,后续从该图像的前景区域和背景区域中选择目标处理区域,对目标处理区域进行图像处理。
通过NPU调用至少一个图像分割模型对该待处理图像进行图像分割,将图像分割结果发送给该GPU,GPU通过对该至少图像分割模型得到的图像分割结果进行融合,将融合后的图像分割结果渲染在显示屏130上。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选地,该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等;存储数据区可存储根据终端100的使用所创建的数据(比如音频数据、电话本)等。
在一种可能的实现方式中,在本申请实施例中,存储器120中可以存储至少一个图像分割模型对应的代码集。该至少一个图像分割模型用于对待处理图像进行分割,将每个图像分割模型得到的图像分割结果进行融合,根据融合后的结果,确定该待处理图像的前景区域和背景区域。
显示屏130是用于显示用户界面的显示组件。可选的,该显示屏130为具有触控功能的显示屏,通过触控功能,用户可以使用手指、触摸笔等任何适合的物体在显示屏130上进行触控操作。
显示屏130通常设置在终端100的前面板。显示屏130可被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。显示屏130还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合等,本实施例对此不加以限定。
在一种可能的实现方式中,在本申请实施例中,终端100通过该显示屏显示该待处理图像和处理后的待处理图像的第二前景区域和第二背景区域。
除此之外,本领域技术人员可以理解,上述附图所示出的终端100的结构并不构成对终端100的限定,终端100可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,终端100中还包括麦克风、扬声器、射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity,Wi-Fi)模块、电源、蓝牙模块等部件,在此不再赘述。
终端在对图像进行背景虚化、更换背景等操作时,常通过图像分割模型对图像中的目标区域进行分割,得到前景区域和背景区域。其中,前景区域为包含目标对象的区域,背景区域为除目标对象以外的区域。相关技术中,对图像进行分割时,常通使用一个图像分割模型,对待处理图像进行图像分割,得到该待处理图像的前景区域和背景区域。在这种方式中,当待处理图像的背景颜色和目标对象的边缘颜色相近时,通过该图像分割模型进行图像分割,可能会出现将图像中目标对象所在的部分区域分割到背景区域中,导致前景区域出现图像空洞的问题,或者,将图像中目标对象以外的部分区域分割到前景区域中,导致背景区域出现图像空洞的问题,导致图像分割不准确。
例如,当待处理图像为以人流较多的广场为背景时,从该待处理图像中选择任一人像作为目标对象时,由于待处理图像中背景较为嘈杂,背景中可能有与该目标对象穿着相同颜色的衣服,导致将该目标对象的胳膊分割到背景区域中,造成前景区域空洞。
而本申请实施例中提供的图像分割方法中,在对待处理图像进行分割时,从该待处理图像中分割出第一前景区域和第一背景区域,并且,还从该待处理图像中分割出目标对象的轮廓区域,通过该轮廓区域对该第一前景区域和第一背景区域进行修正,得到第二前景区域和第二背景区域。由于通过轮廓区域,对第一前景区域和第一背景区域进行修正,从而能够避免第一背景区域和第一前景区域出现图像空洞的问题,提高图像分割的准确性。
在本申请实施例中,通过图像分割模型进行前景区域、背景区域和轮廓区域进行分割。第一种实现方式,可以通过一个图像分割模型,对前景区域、背景区域和轮廓区域的分割;为了便于区分,将该图像分割模型称为第五图像分割模型。相应的,对待处理图像进行分割时,直接将待处理图像输入第五图像分割模型中,得到第一前景区域、第一背景区域和轮廓区域。
第二种实现方式,可以通过两个图像分割模型(第一图像分割模型和第二图像分割模型)对前景区域、背景区域和轮廓区域进行分割;第一图像分割模型用于对前景区域和背景区域进行分割,第二图像分割模型用于对轮廓区域进行分割。相应的,对待处理图像进行分割时,将待处理图像输入第一图像分割模型中,得到第一前景区域和第一背景区域,将待处理图像输入第二图像分割模型中,得到轮廓区域。
第三种实现方式,参见图2,可以通过两个图像分割模型(第一图像分割模型和第二图像分割模型)对前景区域、背景区域和轮廓区域进行分割;第一图像分割模型用于对前景区域和背景区域进行分割,第二图像分割模型不仅能够对轮廓区域进行分割,还能够对前景区域和背景区域进行分割。相应的,对待处理图像进行分割时,将待处理图像输入第一图像分割模型中,得到第一前景区域和第一背景区域,将待处理图像输入第二图像分割模型中,得到轮廓区域、第三前景区域和第三背景区域。
在这种实现方式中,还可以通过第三前景区域和第三背景区域,对第一背景区域和第一前景区域中的图像空洞进行修复,进一步提高了图像分割的效果。
需要说明的一点是,第一图像分割模型包括的卷积层的数量大于第二图像分割模型包括的卷积层的数量,也即第一图像分割模型是重量级的图像分割模型(两类分割模型),第二图像分割模型是轻量级的图像分割模型(轻量级三类分割模型)。
在本申请实施例中,通过重量级的图像分割模型实现对图像进行分割,而通过轻量级的图像分割模型分割出轮廓区域、第三前景区域和第三背景区域,对重量级的图像分割模型分割出的第一前景区域和第一背景区域进行修正;从而不仅提高了分割准确性,还降低了运算量,提高了分割效率。
请参考图3,其示出了本申请一个示例性实施例示出的图像分割方法的流程图。本申请实施例中的执行主体可以为终端100,也可以为终端100中的处理器110或终端100中的操作系统,本实施例以执行主体为终端100为例进行说明。在本申请实施例中,通过第一图像分割模型获取第一前景区域和第一背景区域,通过第二图像分割模型获取轮廓区域为例进行说明。该方法包括:
步骤301:终端获取待处理图像。
待处理图像中包含目标对象,该目标对象可以为人物、动物、植物或车辆等,在本申请实施例中,对目标对象的类型不作具体限定。例如,参见图4,该待处理图像中目标对象为人物。待处理图像可以终端当前拍摄的图像、还可以为终端中存储的图像,还可以为其他设备发送给终端的图像。
终端上可以安装图像分割应用,该图像分割应用的主界面中显示图像分割按钮;用户可以通过触发该图像分割按钮触发终端获取待处理图像;相应的,当该图像分割按钮被触发时,终端获取待处理图像,执行步骤302。
步骤302:终端通过第一图像分割模型,对该待处理图像进行图像分割,得到待处理图像中目标对象所在的第一前景区域和待处理图像中除该目标对象以外的第一背景区域。
该第一图像分割模型为任一图像分割模型,该第一图像分割模型可以为语义分割网络模型deeplabv3+模型等。通过该第一图像分割模型可以将该待处理图像进行分割,得到该待处理图像中目标对象所在的第一前景区域和待处理图像中除该目标对象以外的第一背景区域。参见图5,通过第一图像分割模型,对图4所示的人物图像进行分割,得到图5所示的第一前景区域和第一背景区域,其中,第一前景区域为图5中的人脸区域,第一背景区域为其他区域。第一图像分割模型对待处理图像进行分割,得到第一前景区域和第一背景区域可能为不准确的图像,继续参见图5,该待处理图像中,目标对象的一只耳朵被分割到第一背景区域中,导致第一前景区域中不显示该目标对象的其中一只耳朵。需要说明的一点是,第一图像分割模型在对待处理图像进行图像分割时,获取一个较准确前景区域和背景区域,本申请实施例中,对此不作具体限定。
在本步骤之前需要通过模型训练得到该第一图像分割模型。该模型训练的过程可以为终端获取第六图像分割模型,以及获取多个第一样本图像,通过该多个第一样本图像对该第六图像分割模型进行模型训练,得到该第一图像分割模型。其中,该第六图像分割模型为基于deeplabv3+模型的图像分割模型,该基于deeplabv3+模型中的网络框架为backbone网络框架。该多个第一样本图像为标注了前景区域和背景区域的多个第一样本图像。
在本实现方式中,采用基于deeplabv3+模型的图像分割模型,在图像分割模型中使用量级较大的backbone网络框架,通过网络框架的量级比较大的第一图像分割模型,对待处理图像进行图像分割,使得获取的第一前景区域和第一背景区域的图像更清晰和准确。
需要说明的一点是,该第一前景区域和第一背景区域可以分别显示在两张图像上,当该第一前景区域和第一背景区域分别显示在两张图像上时,图像中只显示第一前景区域或第一背景区域,对于显示第一前景区域的图像,其第一背景区域对应的部分显示空白图像或灰色图像,对于显示第一背景区域的图像,其第一前景区域对应的部分显示空白图像或灰色图像。本申请实施例中,对该第一前景区域和第一背景区域的显示方式不作具体限定。
该第一前景区域和第一背景区域还可以显示在同一图像中,以不同的标注方式进行标注。例如,可以在该图形中,以红色标注第一前景区域,以绿色标注第一背景区域。
步骤303:终端通过第二图像分割模型,对该待处理图像进行图像分割,得到分割结果,该分割结果至少包括该目标对象的轮廓区域。
该第二图像分割模型为任一图像分割模型,该第二图像分割模型也可以为语义分割网络模型deeplabv3+模型等。在一种可能的实现方式中,该第二图像分割模型为轻量级图像分割模型,在这种实现方式中,可以将该语义分割网络模型deeplabv3+模型中的网络框架由backbone网络框架替换为mobilenet网络框架,其中,mobilenet网络框架的量级小于backbone网络框架的量级。也即,mobilenet网络框架包括的卷积层的数量小于backbone网络框架包括的卷积层的数量。
在本步骤之前需要通过模型训练得到该第二图像分割模型。该模型训练的过程可以为终端获取第三图像分割模型,以及获取多个第二样本图像,通过该多个第二样本图像对该第三图像分割模型进行模型训练,得到该第二图像分割模型。其中,该第三图像分割模型为基于deeplabv3+模型的图像分割模型,该基于deeplabv3+模型中的网络框架为backbone网络框架。该多个第二样本图像为至少标注了轮廓区域的多个第二样本图像。
在一种可能的实现方式中,该第一图像分割模型的量级大于该第二图像分割模型的量级,该第二图像分割模型和第一图像分割模型中的网络框架不同,该第三图像分割网络中的网络框架的量级小于该第一图像分割模型中的网络框架的量级,例如,第一图像分割模型的网络框架为backbone网络框架,第二图像分割模型的网络框架为mobilenet网络框架。
在本实现方式中,该第二图像分割模型的量级小于该第一图像分割模型的量级,则该第二图像分割模型在进行图像分割时的计算量小于该第一图像分割模型在进行图像分割时的计算量,因此,在保证了可以为通过轮廓区域对该第二样本图像进行重新进行调整,以保证提高图像分割的准确性的同时,减少了模型的计算量,提高了图像分割的效率。
当终端对获取到的第三图像分割模型进行训练的过程中,当该第三图像分割模型中的网络框架与该第一图像分割模型中的网络框架相同时,先将该第三图像分割模型中的网络框架替换为量级低与该第一图像分割模型中网络框架的量级的网络框架。因此,该对第三图像分割模型进行模型训练得到第二图像分割模型的过程可以通过以下步骤(1)-(4)实现,包括:
(1)终端确定第三图像分割模型。
其中,该第三图像分割模型的网络框架可以为第一网络,该第一网络为量级比较高的网络框架,例如,该第一网络可以为backbone网络框架。
(2)终端将该第三图像分割模型中的第一网络替换为第二网络,得到第四图像分割模型,该第二网络的量级小于该第一网络的量级。
例如,该第一网络可以为backbone网络框架,该第二网络可以为mobilenet网络框架。在本步骤中,将该第三图像分割模型中的第一网络替换为第二网络,也即将该第三图像分割模型中的backbone网络框架替换为mobilenet网络框架。
(3)终端获取多个第二样本图像,该多个第二样本图像中至少标注了该样本图像的轮廓区域。
对于该多个第二样本图像中的每个第二样本图像,在对第二样本图像的轮廓区域进行标注时,可以通过腐蚀膨胀操作确定该第二样本图像的轮廓区域,对该轮廓区域进行标注。通过先对第二样本图像进行腐蚀操作,再对第二样本图像进行膨胀操作,使得可以消除第二样本图像中的小物体,在纤细点处分离物体,平滑目标对象的边界,并且,通过相同次数的腐蚀操作和膨胀操作,保证的第二样本图像中目标对象的面积不发生明显改变,得到该第二样本图像的光滑的轮廓区域,对该轮廓区域进行标注。
(4)终端通过该多个样本图像对该第四图像分割模型进行训练,得到该第二图像分割模型。
当该第二样本图像中只对目标对象的轮廓区域进行标注时,通过该第二样本图像对第四图像分割模型进行训练得到的第二图像分割模型在进行图像分割时,只能将待处理图像中的轮廓区域分割出来。当该第二样本图像中标注了目标对象的轮廓区域以外,还标注了第二样本图像的前景区域和背景区域时,通过该第二样本图像对该第四图像分割模型进行训练得到的第二图像分割模型在进行图像分割时,可以将待处理图像的轮廓区域、前景区域和背景区域都分割出来。
在本实现方式中,该第二图像分割模型的量级小于该第一图像分割模型的量级,则该第二图像分割模型在进行图像分割时的计算量小于该第一图像分割模型在进行图像分割时的计算量,因此,在保证了可以为通过轮廓区域对该第二样本图像进行重新进行调整,以保证提高图像分割的准确性的同时,减少了模型的计算量,提高了图像分割的效率。
在另一种可能的实现方式中,该第二图像分割模型的量级和第一图像分割模型的量级相同,则该第二图像分割模型和第一图像分割模型使用相同的网络框架,例如,该第二图像分割模型和第一图像分割模型的网络框架都可以为backbone网络框架。终端进行模型训练时,直接对获取到的第三图像分割模型进行模型训练,得到该第二图像分割模型。
在本实现方式中,该第二图像分割模型和第一图像分割模型的量级相同,该第二图像分割模型和第一图像分割模型使用相同的网络框架,则该第二图像分割模型和第一图像分割模型在进行图像分割的过程中,得到的分割结果的清晰度相同,使得该第二图像分割模型和第一图像分割模型的分割结果更精确。
需要说明的一点是,该训练第六图像分割模型得到第一图像分割模型和对第三图像分割模型进行训练得到第二图像分割模型的过程,可以由该终端进行,也可以由其他电子设备进行,在本申请实施例中,对此不作具体限定。当该训练第六图像分割模型得到第一图像分割模型和对第三图像分割模型进行训练得到第二图像分割模型的过程由其他电子设备进行时,终端可以从该其他电子设备中获取该第一图像分割模型和第二图像分割模型。相应的,终端向其他电子设备发送获取请求,该获取请求用于获取该第一图像分割模型和第二图像分割模型,其他电子设备接收到该获取请求时,根据该获取请求向该终端发送该第二图像分割模块和第二图像分割模型,终端接收该其他电子设备发送的第二图像分割模块和第二图像分割模型。
需要说明的另一点是,在进行图像分割时,终端可以先通过第一图像分割模型获取该待处理图像中目标对象所在的第一前景区域和待处理图像中除目标对象以外的第一背景区域,再通过该第二图像分割模型获取该待处理图像的轮廓区域;终端也可以先通过第二图像分割模型获取该待处理图像的轮廓区域,再通过第一图像分割模型获取该待处理图像中目标对象所在的第一前景区域和待处理图像中除目标对象以外的第一背景区域;终端还可以同时通过该第一图像分割模型获取该待处理图像中目标对象所在的第一前景区域和待处理图像中除目标对象以外的第一背景区域,通过该第二图像分割模型获取该待处理图像的轮廓区域。也即,终端可以先步骤302再执行步骤303;也可以先执行步骤303再执行步骤302;还可以同时执行步骤302和303,在本申请实施例中,对此不作具体限定。
步骤304:终端根据该轮廓区域,分别对该第一前景区域和该第一背景区域进行修正,得到该待处理图像中目标对象所在的第二前景区域和待处理图像中除目标对象以外的第二背景区域。
轮廓区域为根据目标对象的轮廓确定的图像区域,则该轮廓区域以内的图像区域可以作为该目标对象对应的前景区域的标准区域,该轮廓区域以外的图像区域可以作为目标对象对应的背景区域的标准区域。
在本实现方式中,参见图6,该根据该轮廓区域,分别对该第一前景区域和该第一背景区域进行修正,得到该待处理图像的第二前景区域和第二背景区域的过程可以通过步骤(A1)-(A5)实现,包括:
(A1)终端在该第一前景区域中确定除该轮廓区域以外的第一图像区域。
在本步骤中,终端根据该轮廓区域确定该第一前景区域中是否存在该轮廓区域以外的图像区域,将该第一前景区域中轮廓区域以外的图像区域确定人为第一图像区域,执行步骤(A3)。
其中,终端可以通过检测第一前景区域的边缘像素点与该轮廓区域的位置关系,确定该第一前景区域中对否存在该轮廓区域以外的第一图像区域。当该第一前景区域的边缘像素点中存在该轮廓区域以外的像素点时,确定第一前景区域中存在该第一轮廓区域,将该轮廓区域以外的像素点与该轮廓区域围成的图像区域作为第一图像区域;当该第一前景区域的边缘像素点都在该轮廓区域以内或在该轮廓区域以上时,确定该第一前景区域中不存在第一图像区域。
(A2)终端在该第一背景区域中确定包括该轮廓区域以内的第二图像区域。
在本步骤中,终端根据该轮廓区域确定该第一背景区域中是否存在该轮廓区域以内的图像区域,将该第一背景区域中轮廓区域以内的图像区域确定为第二图像区域,执行步骤(A4)。
其中,终端可以通过检测第一背景区域的边缘像素点与该轮廓区域的位置关系,确定该第一背景区域中是否存在该轮廓区域以内的第二图像区域。当该第一背景区域的边缘像素点中存在该轮廓区域以内的像素点时,确定该第一背景区域中存在该第二图像区域,将该轮廓区域以内的像素点与该轮廓区域围成的图像区域作为第而图像区域;当该第一背景区域的边缘像素点都在该轮廓区域以外或在该轮廓区域以上时,确定该第一背景区域中不存在第二图像区域。
需要说明的一点是,终端可以先根据该轮廓区域确定该第一图像区域,再根据该轮廓区域确定第二图像区域;终端也可以先根据该轮廓区域确定该第二图像区域,再根据该轮廓区域确定该第一图像区域;终端还可以同时根据该轮廓区域确定该第一图像区域和第二图像区域。也即,终端可以先执行步骤(A1),再执行步骤(A2),终端也可以先执行步骤(A2),再执行步骤(A1),终端还可以同时执行步骤(A1)和步骤(A2),在本申请实施例中,对步骤(A1)和步骤(A2)的执行顺序不作具体限定。
需要说明的另一点是,在步骤304之前,终端还可以先检测边缘像素点与该轮廓区域的像素关系,当该边缘像素点都在该轮廓区域上是,确定该第一前景区域和第一背景区域与该轮廓区域匹配,不许要调整,则终端不执行步骤304;
当边缘像素点都在该轮廓区域以外时,确定第一背景区域中不存在第二图像区域,终端不执行步骤(A2)。同理,当边缘像素点都在该轮廓区域以内时,确定第一前景区域中不存在第一图像区域,终端不执行步骤(A1)。
(A3)终端将该第一前景区域中的该第一图像区域移除,将该第一图像区域填充到该第一背景区域中。
该第一图像区域为被划分到第一前景区域中的第一背景区域中的图像区域。
当该第一前景区域和第一背景区域为在一张图像中不同标注的图像区域时,在本步骤中,将直接将该第一图像区域的标注信息修改为第一背景区域对应的标注信息。
当该第一前景区域和第一背景区域为在两张图像中的图像区域时,在本步骤中,可以从该第一前景区域中删除该第一图像区域对应的图像数据,根据该第一图像区域对应的图像数据,第一背景区域中渲染该第一图像区域对应的图像画面。
(A4)终端将该第一背景区域中的该第二图像区域移除,将该第二图像区域填充到该第一前景区域中。
该第二图像区域为被划分到第一背景区域中的第一前景区域中的图像区域。
当该第一前景区域和第一背景区域为在一张图像中不同标注的图像区域时,在本步骤中,将直接将该第二图像区域的标注信息修改为第一前景区域对应的标注信息。
当该第一前景区域和第一背景区域为在两张图像中的图像区域时,在本步骤中,可以从该第一背景区域中删除该第二图像区域对应的图像数据,根据该第二图像区域对应的图像数据,第一前景区域中渲染该第二图像区域对应的图像画面。
(A5)终端将移除了第一图像区域和添加了第二图像区域的第一前景区域,确定为第二前景区域,将移除了第二图像区域和添加了第一图像区域的第一背景区域,确定为第二背景区域。
在本步骤中,当终端只执行了步骤(A1)和(A3)时,本步骤可以为:终端将移除了第一图像区域的第一前景区域,确定为第二前景区域,将添加了第一图像区域的第一背景区域,确定为第二背景区域。当终端只执行了步骤(A2)和(A4)时,本步骤可以为:终端将添加了第二图像区域的第一前景区域,确定为第二前景区域,将移除了第二图像区域第一背景区域,确定为第二背景区域。当终端执行了步骤(A1)-(A4)时,本步骤可以为:终端将移除了第一图像区域和添加了第二图像区域的第一前景区域,确定为第二前景区域,将移除了第二图像区域和添加了第一图像区域的第一背景区域,确定为第二背景区域。
在本实现方式中,通过集成第二图形分割模型和第二图像分割模型,对待处理图像进行分割,使得可以将第一图像分割模型得到的图像分割结果与第二图像分割模型得到的图像分割结果进行融合,从而强化待处理图像中的目标对象的轮廓区域,从而提高图像分割的准确性。
在一种可能的实现方式中,参见图7,该第二图像分割模型的分割结果中仅包括该轮廓区域,相应的,终端可以根据该轮廓区域对该第一前景区域和第一背景区域进行调整,得到调整的第二前景区域和第二背景区域。则终端可以通过上述步骤(A1)-(A4)实现对第一前景区域和第一背景区域的调整。
在另一种可能的实现方式中,参见图8,该第二图像分割模型的分割结果包括第三前景区域、第三背景区域和轮廓区域。则终端在根据轮廓区域对该第一前景区域和第一背景区域进行修正时,可以从该第三前景区域、第三背景区域和轮廓区域中,获取该轮廓区域,然后通过上述步骤(A1)-(A4)实现对第一前景区域和第一背景区域的调整。终端可以通过从第三前景区域和第三背景区域中获取图像数据,实现对该第一前景区域和第一背景区域的修正。相应的,参见图9,终端根据该轮廓区域,分别对该第一前景区域和该第一背景区域进行修正,得到该待处理图像中目标对象所在的第二前景区域和待处理图像中除目标对象以外的第二背景区域的过程,可以通过以下步骤(B1)-(B6)实现,包括:
(B1)终端在该第一前景区域中确定除该轮廓区域以外的第一图像区域。
本步骤与步骤(A1)相似,在此不再赘述。在本步骤中终端获取到第一图像区域后,执行步骤(B3)。
(B2)终端在该第一背景区域中确定包括该轮廓区域以内的第二图像区域。
本步骤与步骤(A2)相似,在此不再赘述。在本步骤中终端获取到第二图像区域后,执行步骤(B4)。
(B3)终端从该第三背景区域中确定该第一图像区域对应的第一图像数据。
在本步骤中,终端根据该第一图像区域,从该第三背景区域中,确定第三背景区域中与该第一图像区域的位置对应的图像区域,获取该第三背景区域中获取与该第一图像区域的位置对应的图像位置的第一图像数据。
(B4)终端在该第三前景区域中确定该第二图像区域对应的第二图像数据。
在本步骤中,终端根据该第二图像区域,从该第三前景区域中,确定第三前景区域中与该第二图像区域的位置对应的图像区域,获取该第三前景区域获取与该第二图像区域的位置对应的图像位置的第二图像数据
(B5)终端将该第一图像数据渲染至该第一图像区域中,得到该第二前景区域。
(B6)终端将该第二图像区域渲染至该第二图像区域中,得到该第二背景区域。
需要说明的一点是,当该第二图像分割模型输出第三前景区域、第三背景区域和轮廓区域时,终端在根据第二样本图像对该第三图像分割模型进行模型训练时,该第二样本图像中,还可以标注该第二样本图像的区域和背景区域,当该第二样本图像中还标注该第二样本图像的前景区域和背景区域时,可以先对该第二样本图像的前景区域和背景区域进行标注,再对标注了前景区域和背景区域的第二样本图像进行腐蚀膨胀操作,防止腐蚀膨胀操作影响该第二样本图像中前景区域和背景区域的确定。
需要说明的另一点是,终端获取第一图像区域和第二图像区域时,还可以通过对比该第一前景区域和第三前景区域得到第一图像区域,通过对比该第一背景区域和第三背景区域得到第二图像区域。在这种实现方式中,该第一图像区域中还可以包括该第一前景区域内部的空洞区域,该第二图像区域中还可以包括该第一背景区域中内部的空洞区域。相应的,终端获取第一图像区域对应的第一图像数据时,可以从该第三前景区域和第三背景区域中获取,终端获取第二图像区域对应的第二图像数据时,可以从该第三前景区域和第三背景区域中获取,相应的,终端将第一图像数据渲染到第一前景区域和第一背景区域中,将第二图像数据也渲染到第一前景区域和第一背景区域中,得到该第二前景区域和第二背景区域。
在本实现方式中,终端通过对比第一前景区域和第三前景区域,确定第一图像区域,通过对比第一背景区域和第三背景区域确定第二图像区域;使得第一图像区域中包括该第一前景区域中的空洞区域和该第一前景区域中除轮廓区域以外的图像区域,给第二退昂区域中包括第一背景区域中的空洞区域和该第一背景区域中除轮廓区域以内的图像区域,从而通过第三前景区域和第三背景区域中获取相应的第一图像数据和第二图像数据,对图像的空洞区域和轮廓区域对应的空洞区域进行渲染,实现对图像的重新分割的同时,对图像内部空洞区域的填充,从而提高了图像分割的精确度。
在获取到该待处理图像的第二前景区域和第二背景区域后,终端还可以对该第二前景区域和第二背景区域进行处理。以下是通过该第二背景区域和第二区域对该待处理图像进行更换背景操作的过程。参见图10,该过程可以通过以下步骤(1)-(3)实现,包括:
(1)终端获取目标背景颜色对应的背景图像数据。
其中,该背景图像数据可以为用户向该终端中输入的背景图像数据。该背景图像数据可以为更换的新的背景图像数据,该背景图像数据还可以为对原背景图像数据进行更改的图像数据,例如,该背景图像数据可以为对原背景图像数据进行模糊处理的图像数据。
(2)终端根据该背景图像数据,将第二背景区域的背景颜色更改为该目标背景颜色,得到第五背景区域。
在本步骤中,终端根据该背景图像数据,对该第二背景区域进行渲染,得到新的图像背景对应的第五背景区域。
(3)终端根据该第二前景区域和该第五背景区域,生成目标图像。
在本步骤中,终端将该第五背景区域和第二前景区域中的图像组成更换背景后的目标图像。
在本实现方式中,通过对第二前景区域和第二背景区域进行图像处理,防止了待处理图像中空洞区域错误处理,提高了图像处理的精度。
在本申请实施例中,通过获取待处理图像;通过第一图像分割模型,对待处理图像进行图像分割,得到待处理图像中目标对象所在的第一前景区域和待处理图像中除目标对象以外的第一背景区域;通过第二图像分割模型,对待处理图像进行图像分割,得到分割结果,分割结果至少包括目标对象的轮廓区域;根据轮廓区域,分别对第一前景区域和第一背景区域进行修正,得到待处理图像中目标对象所在的第二前景区域和待处理图像中除目标对象以外的第二背景区域,使得在对待处理图像进行分割时,可以强化待处理图像中的目标对象的轮廓区域,从而提高图像分割的准确性。
另外,通过集成第二图形分割模型和第二图像分割模型,对待处理图像进行分割,使得可以将第一图像分割模型得到的图像分割结果与第二图像分割模型得到的图像分割结果进行融合,从而强化待处理图像中的目标对象的轮廓区域,从而提高图像分割的准确性。
请参考图11,其示出了本申请一个示例性实施例示出的图像分割方法的流程图。本申请实施例中的执行主体可以为终端100,也可以为终端100中的处理器110或终端100中的操作系统,本实施例以执行主体为终端100为例进行说明。在本申请实施例中,通过第六图像分割模型获取第一前景区域、第一背景区域和轮廓区域为例进行说明。该方法包括:
步骤1101:终端获取待处理图像。
本步骤与步骤301相似,再洗不再赘述。
步骤1102:终端将该待处理图像输入第六图像分割模型中,得到该待处理图像中目标对象所在第一前景区域、该待处理图像中除目标对象以外的第一背景区域和该目标对象的轮廓区域。
该第六图像处理模型为任一图像分割模型,该第六图像分割模型也可以为语义分割网络模型deeplabv3+模型等。通过该第六分割模型可以将该待处理图像进行分割,得到该待处理图像对应的第一前景区域、第一背景区域和轮廓区域。
该第六图像分割模型的网络框架可以为backbone网络框架等量级较大的网络,从而使图像分割模型在进行图像分割时,可以更精确。
在通过该第六图像分割模型进行图像分割时,需要对第七图像分割模型进行训练,得到该第一图像分割模型。该对第七图像分割模型进行训练,得到该第一图像分割模型的过程可以为:终端获取第七图像分割模型,以及获取多个第三样本图像,通过该多个第三样本图像对该第七图像分割模型进行模型训练,得到该第一图像分割模型。其中,该多个第三样本图像为标注了前景区域、背景区域和轮廓区域的多个样本图像。
对于该多个第三样本图像中的每个第三样本图像,在对第三样本图像的轮廓区域进行标注时,可以通过腐蚀膨胀操作确定该第三样本图像的轮廓区域,对该轮廓区域进行标注。通过先对第三样本图像进行腐蚀操作,再对第三样本图像进行膨胀操作,使得可以消除第三样本图像中的小物体,在纤细点处分离物体,平滑较目标对象的边界,并且,通过相同次数的腐蚀操作和膨胀操作,保证的第三样本图像中目标对象的面积不发生明显改变,得到该第三样本图像的光滑的轮廓区域,对该轮廓区域进行标注。
需要说明的一点是,在对该第三样本图像进行标注时,可以先对该第三样本图像的前景区域和背景区域进行标注,再对标注了前景区域和背景区域的第三样本图像进行腐蚀膨胀操作,防止腐蚀膨胀操作影响该第三样本图像中前景区域和背景区域的确定。
步骤1103:终端根据该轮廓区域,分别对该第一前景区域和该第一背景区域进行修正,得到该待处理图像中目标对象所在的第二前景区域和待处理图像中除目标对象以外的第二背景区域。
本步骤与步骤304相似,再洗不再赘述。
在本申请实施例中,通过获取待处理图像;通过第一图像分割模型,对待处理图像进行图像分割,得到待处理图像中目标对象所在的第一前景区域和待处理图像中除目标对象以外的第一背景区域;通过第二图像分割模型,对待处理图像进行图像分割,得到分割结果,分割结果至少包括目标对象的轮廓区域;根据轮廓区域,分别对第一前景区域和第一背景区域进行修正,得到待处理图像中目标对象所在的第二前景区域和待处理图像中除目标对象以外的第二背景区域,使得在对待处理图像进行分割时,可以强化待处理图像中的目标对象的轮廓区域,从而提高图像分割的准确性。
请参考图12,其示出了本申请一个实施例提供的图像分割装置的结构框图。该图像分割装置可以通过软件、硬件或者两者的结合实现成为处理器110的全部或一部分。该装置包括:
第一获取模块1201,用于获取待处理图像;
第一分割模块1202,用于通过第一图像分割模型,对该待处理图像进行图像分割,得到该待处理图像中目标对象所在的第一前景区域和该待处理图像中除该目标对象以外的第一背景区域;
第二分割模块1203,用于通过第二图像分割模型,对该待处理图像进行图像分割,得到分割结果,该分割结果至少包括该目标对象的轮廓区域;
修正模块1204,用于根据该轮廓区域,分别对该第一前景区域和该第一背景区域进行修正,得到该待处理图像中目标对象所在的第二前景区域和该待处理图像中除该目标对象以外的第二背景区域。
在一种可能的实现方式中,该修正模块1204,还用于在该第一前景区域中确定除该轮廓区域以外的第一图像区域;在该第一背景区域中确定包括该轮廓区域以内的第二图像区域;将该第一前景区域中的该第一图像区域移除,将该第一图像区域填充到该第一背景区域中,以及,将该第一背景区域中的该第二图像区域移除,将该第二图像区域填充到该第一前景区域中,得到该第二前景区域和该第二背景区域。
在另一种可能的实现方式中,该分割结果中还包括该待处理图像中该目标对象所在的第三前景区域和该待处理图像中除该目标对象以外的第三背景区域;
该修正模块1204,还用于在该第一前景区域中确定除该轮廓区域以外的第一图像区域;在该第一背景区域中确定包括该轮廓区域以内的第二图像区域;该第三背景区域中确定该第一图像区域对应的第一图像数据;在该第三前景区域中确定该第二图像区域对应的第二图像数据;将该第一图像数据渲染至该第一图像区域中,得到该第二背景区域,以及,将该第二图像数据渲染至该第二图像区域中,得到该第二前景区域。
在另一种可能的实现方式中,该装置还包括:
第一确定模块,用于确定第三图像分割模型;
替换模块,用于将该第三图像分割模型中的第一网络替换为第二网络,得到第四图像分割模型,该第二网络的量级小于该第一网络的量级;
第二获取模块,用于获取多个样本图像,该多个样本图像中至少标注了该样本图像的轮廓区域;
模型训练模块,用于通过该多个样本图像对该第四图像分割模型进行训练,得到该第二图像分割模型。
在另一种可能的实现方式中,该第一图像分割模型包括的卷积层的数量大于该第二图像分割模型包括的卷积层的数量。
在另一种可能的实现方式中,该装置还包括:
第三获取模块,用于获取目标背景颜色对应的背景图像数据;
背景更换模块,用于根据该背景图像数据,将第二背景区域的背景颜色更改为该目标背景颜色,得到第五背景区域;
图像生成模块,用于根据该第二前景区域和该第五背景区域,生成目标图像。
在另一种可能的实现方式中,该装置还包括:
第二确定模块,用于对比该第二前景区域和该三前景区域,确定该第二前景区域中的第三图像区域,该第三图像区域为该第二前景区域中该轮廓区域以内的空洞区域,从该第三前景区域中,确定该第三图像区域对应的第三图像数据,将该第三图像数据渲染至该第三图像区域中;
第三确定模块,用于对比该第二背景区域和该第三背景区域,确定该第二背景区域中的第四图像区域,该第四图像区域为该第二背景区域中该轮廓区域以外的空洞区域,从该第三背景区域中,确定该第四图像区域对应的第四图像数据,将该第四图像数据区域渲染至该第三图像区域中。
在本申请实施例中,通过获取待处理图像;通过第一图像分割模型,对待处理图像进行图像分割,得到待处理图像中目标对象所在的第一前景区域和待处理图像中除目标对象以外的第一背景区域;通过第二图像分割模型,对待处理图像进行图像分割,得到分割结果,分割结果至少包括目标对象的轮廓区域;根据轮廓区域,分别对第一前景区域和第一背景区域进行修正,得到待处理图像中目标对象所在的第二前景区域和待处理图像中除目标对象以外的第二背景区域,使得在对待处理图像进行分割时,可以强化待处理图像中的目标对象的轮廓区域,从而提高图像分割的准确性。
本申请实施例还提供了一种计算机可读介质,该计算机可读介质存储有至少一条指令,该至少一条指令由该处理器加载并执行以实现如上各个实施例示出的图像分割方法。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,该至少一条指令由该处理器加载并执行以实现如上各个实施例示出的图像分割方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像分割方法,其特征在于,所述方法包括:
获取待处理图像;
通过第一图像分割模型,对所述待处理图像进行图像分割,得到所述待处理图像中目标对象所在的第一前景区域和所述待处理图像中除所述目标对象以外的第一背景区域;
通过第二图像分割模型,对所述待处理图像进行图像分割,得到分割结果,所述分割结果至少包括所述目标对象的轮廓区域;
根据所述轮廓区域,分别对所述第一前景区域和所述第一背景区域进行修正,得到所述待处理图像中目标对象所在的第二前景区域和所述待处理图像中除所述目标对象以外的第二背景区域。
2.根据权利要求1所述的方法,其特征在于,所述根据所述轮廓区域,分别对所述第一前景区域和所述第一背景区域进行修正,得到所述待处理图像中目标对象所在的第二前景区域和所述待处理图像中除所述目标对象以外的第二背景区域,包括:
在所述第一前景区域中确定除所述轮廓区域以外的第一图像区域;
在所述第一背景区域中确定包括所述轮廓区域以内的第二图像区域;
将所述第一前景区域中的所述第一图像区域移除,将所述第一图像区域填充到所述第一背景区域中,以及,将所述第一背景区域中的所述第二图像区域移除,将所述第二图像区域填充到所述第一前景区域中,得到所述第二前景区域和所述第二背景区域。
3.根据权利要求1所述的方法,其特征在于,所述分割结果中还包括所述待处理图像中所述目标对象所在的第三前景区域和所述待处理图像中除所述目标对象以外的第三背景区域;
所述根据所述轮廓区域,分别对所述第一前景区域和所述第一背景区域进行修正,得到所述待处理图像的第二前景区域和第二背景区域,包括:
在所述第一前景区域中确定除所述轮廓区域以外的第一图像区域;
在所述第一背景区域中确定包括所述轮廓区域以内的第二图像区域;
从所述第三背景区域中确定所述第一图像区域对应的第一图像数据;
在所述第三前景区域中确定所述第二图像区域对应的第二图像数据;
将所述第一图像数据渲染至所述第一图像区域中,得到所述第二背景区域,以及,将所述第二图像数据渲染至所述第二图像区域中,得到所述第二前景区域。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定第三图像分割模型;
将所述第三图像分割模型中的第一网络替换为第二网络,得到第四图像分割模型,所述第二网络的量级小于所述第一网络的量级;
获取多个样本图像,所述多个样本图像中至少标注了所述样本图像的轮廓区域;
通过所述多个样本图像对所述第四图像分割模型进行训练,得到所述第二图像分割模型。
5.根据权利要求1所述的方法,其特征在于,所述第一图像分割模型包括的卷积层的数量大于所述第二图像分割模型包括的卷积层的数量。
6.根据权利要求1所述的方法,其特征在于,所述根据所述轮廓区域,分别对所述第一前景区域和所述第一背景区域进行修正,得到所述待处理图像中目标对象所在的第二前景区域和所述待处理图像中除所述目标对象以外的第二背景区域之后,所述方法还包括:
获取目标背景颜色对应的背景图像数据;
根据所述背景图像数据,将第二背景区域的背景颜色更改为所述目标背景颜色,得到第五背景区域;
根据所述第二前景区域和所述第五背景区域,生成目标图像。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对比所述第二前景区域和所述三前景区域,确定所述第二前景区域中的第三图像区域,所述第三图像区域为所述第二前景区域中所述轮廓区域以内的空洞区域,从所述第三前景区域中,确定所述第三图像区域对应的第三图像数据,将所述第三图像数据渲染至所述第三图像区域中;
对比所述第二背景区域和所述第三背景区域,确定所述第二背景区域中的第四图像区域,所述第四图像区域为所述第二背景区域中所述轮廓区域以外的空洞区域,从所述第三背景区域中,确定所述第四图像区域对应的第四图像数据,将所述第四图像数据区域渲染至所述第三图像区域中。
8.一种图像分割装置,其特征在于,所述装置包括:
第一获取模块,用于获取待处理图像;
第一分割模块,用于通过第一图像分割模型,对所述待处理图像进行图像分割,得到所述待处理图像中目标对象所在的第一前景区域和所述待处理图像中除所述目标对象以外的第一背景区域;
第二分割模块,用于通过第二图像分割模型,对所述待处理图像进行图像分割,得到分割结果,所述分割结果至少包括所述目标对象的轮廓区域;
修正模块,用于根据所述轮廓区域,分别对所述第一前景区域和所述第一背景区域进行修正,得到中目标对象所在所述待处理图像的第二前景区域和所述待处理图像中除所述目标对象以外的第二背景区域。
9.一种终端,其特征在于,所述终端包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如权利要求1至7任一所述的图像分割方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如权利要求1至7任一所述的图像分割方法。
CN201911360678.XA 2019-12-25 2019-12-25 图像分割方法、装置、终端及存储介质 Active CN111127486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911360678.XA CN111127486B (zh) 2019-12-25 2019-12-25 图像分割方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911360678.XA CN111127486B (zh) 2019-12-25 2019-12-25 图像分割方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111127486A true CN111127486A (zh) 2020-05-08
CN111127486B CN111127486B (zh) 2023-09-08

Family

ID=70502579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911360678.XA Active CN111127486B (zh) 2019-12-25 2019-12-25 图像分割方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111127486B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968181A (zh) * 2020-08-21 2020-11-20 中科微至智能制造科技江苏股份有限公司 一种基于图像处理的包裹位置实时检测方法及系统
CN112150486A (zh) * 2020-09-30 2020-12-29 维沃移动通信有限公司 图像处理方法及装置
CN112598687A (zh) * 2021-01-05 2021-04-02 网易(杭州)网络有限公司 图像分割方法和装置、存储介质、电子设备
CN113079383A (zh) * 2021-03-25 2021-07-06 北京市商汤科技开发有限公司 视频处理方法、装置、电子设备及存储介质
WO2022017163A1 (zh) * 2020-07-23 2022-01-27 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及存储介质
WO2022077958A1 (zh) * 2020-10-13 2022-04-21 上海商汤智能科技有限公司 水体分割方法及装置、电子设备和存储介质
CN116363152A (zh) * 2023-03-15 2023-06-30 阿里巴巴(中国)有限公司 图像分割的方法、训练图像分割模型的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080170783A1 (en) * 2007-01-15 2008-07-17 Samsung Electronics Co., Ltd. Method and apparatus for processing an image
US20170358092A1 (en) * 2016-06-09 2017-12-14 Lytro, Inc. Multi-view scene segmentation and propagation
CN108961303A (zh) * 2018-07-23 2018-12-07 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
CN110544258A (zh) * 2019-08-30 2019-12-06 北京海益同展信息科技有限公司 图像分割的方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080170783A1 (en) * 2007-01-15 2008-07-17 Samsung Electronics Co., Ltd. Method and apparatus for processing an image
US20170358092A1 (en) * 2016-06-09 2017-12-14 Lytro, Inc. Multi-view scene segmentation and propagation
CN108961303A (zh) * 2018-07-23 2018-12-07 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
CN110544258A (zh) * 2019-08-30 2019-12-06 北京海益同展信息科技有限公司 图像分割的方法、装置、电子设备和存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022017163A1 (zh) * 2020-07-23 2022-01-27 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及存储介质
CN111968181A (zh) * 2020-08-21 2020-11-20 中科微至智能制造科技江苏股份有限公司 一种基于图像处理的包裹位置实时检测方法及系统
CN112150486A (zh) * 2020-09-30 2020-12-29 维沃移动通信有限公司 图像处理方法及装置
WO2022077958A1 (zh) * 2020-10-13 2022-04-21 上海商汤智能科技有限公司 水体分割方法及装置、电子设备和存储介质
CN112598687A (zh) * 2021-01-05 2021-04-02 网易(杭州)网络有限公司 图像分割方法和装置、存储介质、电子设备
CN112598687B (zh) * 2021-01-05 2023-07-28 网易(杭州)网络有限公司 图像分割方法和装置、存储介质、电子设备
CN113079383A (zh) * 2021-03-25 2021-07-06 北京市商汤科技开发有限公司 视频处理方法、装置、电子设备及存储介质
CN113079383B (zh) * 2021-03-25 2023-06-20 北京市商汤科技开发有限公司 视频处理方法、装置、电子设备及存储介质
CN116363152A (zh) * 2023-03-15 2023-06-30 阿里巴巴(中国)有限公司 图像分割的方法、训练图像分割模型的方法及装置
CN116363152B (zh) * 2023-03-15 2024-03-19 阿里巴巴(中国)有限公司 图像分割的方法、训练图像分割模型的方法及装置

Also Published As

Publication number Publication date
CN111127486B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN111127486B (zh) 图像分割方法、装置、终端及存储介质
US20220261960A1 (en) Super-resolution reconstruction method and related apparatus
US11488293B1 (en) Method for processing images and electronic device
CN112288665B (zh) 图像融合的方法、装置、存储介质及电子设备
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN108269220B (zh) 定位数字水印的方法及装置
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN112669197A (zh) 图像处理方法、装置、移动终端及存储介质
KR101214675B1 (ko) 휴대용 단말의 영상 처리 방법 및 장치
CN112333385B (zh) 电子防抖控制方法及装置
CN112767281A (zh) 图像鬼影消除方法、装置、电子设备及存储介质
CN113469883B (zh) 动态分辨率的渲染方法、装置、电子设备及可读存储介质
CN113658196A (zh) 红外图像中船舶的检测方法、装置、电子设备和介质
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
CN111784726A (zh) 人像抠图方法和装置
CN113791857B (zh) Linux系统中应用窗口背景模糊处理方法及装置
CN115619904A (zh) 图像处理方法、装置及设备
US20230169785A1 (en) Method and apparatus for character selection based on character recognition, and terminal device
CN114972604A (zh) 图像渲染方法、装置、设备及存储介质
CN114519753A (zh) 图像生成方法、系统、电子设备、存储介质和产品
CN110784648B (zh) 一种图像处理方法和电子设备
JP2015032261A (ja) 表示装置および制御方法
CN109829963B (zh) 一种图像绘制方法及装置、计算设备和存储介质
CN113625983A (zh) 图像显示方法、装置、计算机设备及存储介质
CN112150486A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant